土木工程科學(xué)數(shù)據(jù)分析方法授課內(nèi)容Page:22026/1/41授課內(nèi)容第四章：線性回歸分析

回歸分析（regressionanalysis）是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。同時，回歸分析法可建立一個相關(guān)性較好的回歸方程（函數(shù)表達(dá)式），以用于預(yù)測因變量今后的變化規(guī)律。在各種回歸分析方法中，線性回歸通常是學(xué)習(xí)預(yù)測模型時首選的技術(shù)之一。本章介紹一元及多元線性回歸方法的相關(guān)知識。授課內(nèi)容Page:32026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型

一元線性回歸是描述兩個變量之間相關(guān)關(guān)系的最簡單回歸模型，通過一元線性回歸模型的建立過程，可以了解回歸分析方法的基本思想以及它在實際問題研究中的應(yīng)用原理。1、回歸模型的數(shù)學(xué)形式

在對所研究的問題首先要收集與它有關(guān)的n組樣本數(shù)據(jù)（xi，yi），其中i=1，2，…，n。若只考慮兩個變量間的關(guān)系，描述上述x與y間線性關(guān)系的數(shù)學(xué)結(jié)構(gòu)通常用式（4.1-1）的形式。(4.1-1)授課內(nèi)容Page:42026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型

式（4.1-1）將實際問題中變量y與x之間的關(guān)系用兩個部分描述。一部分是由于x的變化引起y線性變化的部分，即β0

+β1x，另一部分是由其他一切隨機(jī)因素引起的，記為ε。式（4.1-1）確切地表達(dá)了變量x與y之間的密切相關(guān)關(guān)系，但密切的程度又沒有到由x唯一確定y的這種特殊關(guān)系。(4.1-1)授課內(nèi)容Page:52026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型(4.1-1)

式（4.1-1）稱為變量y對x的一元線性回歸理論模型。一般稱y為被解釋變量（因變量），x為解釋變量（自變量）。式中β0和β1是未知參數(shù)，稱β0為回歸常數(shù)，β1為回歸系數(shù)。ε表示其他隨機(jī)因素的影響。在式（4.1-1）中一般假定ε是不可觀測的隨機(jī)誤差，它是一個隨機(jī)變量，通常假定ε滿足(4.1-2)授課內(nèi)容Page:62026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型(4.1-2)(4.1-1)式中，E(ε)表示ε的數(shù)學(xué)期望，Var(ε)表示ε的方差。對式（4.1-1）兩端求期望得如下回歸方程(4.1-3)授課內(nèi)容Page:72026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型(4.1-1)

一般情況下，對所研究的某個實際問題，獲得n組樣本觀測值（x1，y1），（x2，y2），…，（xn，yn），如果他們符合模型（4.1-1），則(4.1-4)式（4.1-4）即為一元線性回歸模型。其均值和方差分別為：(4.1-5)授課內(nèi)容Page:82026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型(4.1-4)(4.1-5)

通常還假定n組數(shù)據(jù)是獨(dú)立觀測的，因而y1,y2,…,yn與ε1,ε2,…,εn都是相互獨(dú)立的隨機(jī)變量。而xi(i=1,2,…,n)是確定性變量，其值是可以精確測量和控制的。對式（4.1-4）兩邊分別求數(shù)學(xué)期望和方差，得(4.1-6)授課內(nèi)容Page:92026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型(4.1-6)

式（4.1-6）表明隨機(jī)變量y1，y2，，…，yn的期望不等，方差相等，因而y1，y2，…，yn是獨(dú)立的隨機(jī)變量，但并不同分布。而ε1，ε2，…，εn是獨(dú)立同分布的隨機(jī)變量。(4.1-5)E(yi)=β0+β1xi，從平均意義上表達(dá)了變量y與x的統(tǒng)計規(guī)律性，正確理解回歸方程的這個特點對實際應(yīng)用有重要的指導(dǎo)意義。授課內(nèi)容Page:102026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型（實際問題）

回歸分析的主要任務(wù)就是通過n組樣本觀測值（x1,y1）（i=1，2，…，n）對β0和β1進(jìn)行估計。一般用分別表示β0，β1的估計值，則稱式(4.1-7)為y關(guān)于x的一元線性經(jīng)驗回歸方程。？？？？？？授課內(nèi)容Page:112026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型

在實際問題的研究中，為了方便地作區(qū)間估計和假設(shè)檢驗，還假定模型（4.1-1）中誤差項ε遵從正態(tài)分布，即

。由于ε1，ε2，…，εn是ε的獨(dú)立且同分布的樣本，因而有(4.1-9)在遵從正態(tài)分布的假定下，隨機(jī)變量yi也遵從正態(tài)分布，即(4.1-10)

一元線性回歸方程的一般形式（4.1-4）可用矩陣表示為(4.1-12)授課內(nèi)容Page:122026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型

一元線性回歸方程的一般形式（4.1-4）可用矩陣表示為(4.1-12)授課內(nèi)容Page:132026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型2、回歸參數(shù)的估計

為了由樣本數(shù)據(jù)得到回歸參數(shù)β0和β1的理想估計值，一般使用最小二乘法估計（ordinaryleastsquaresestimate，OLSE）。

所謂最小二乘法，就是尋找參數(shù)β0，β1的估計值

，使下式定義的離差平方和為極小。(4.1-13)

而后，依照式（4.1-14）求出的

就稱為回歸參數(shù)β0和β1的最小二乘估計。(4.1-14)授課內(nèi)容Page:142026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型2、回歸參數(shù)的估計(4.1-14)

按式（4.1-14）求

是一個求極值問題。由于Q是關(guān)于

的非負(fù)二次函數(shù)，因而它的最小值總是存在的。根據(jù)微積分中求極值的原理可求得的具體取值。進(jìn)而，式（4.1-15）被稱為yi(i=1,2,…,n)的回歸擬合值，簡稱回歸值或擬合值，式（4.1-16）中SSE稱為殘差平方和。(4.1-15)(4.1-16)授課內(nèi)容Page:152026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型2、回歸參數(shù)的估計(4.1-15)(4.1-16)

如果殘差平方和為0，則得到一條直線且所有點都在該直線上；如果殘差平方和不為0，則所有點（xi，yi）不會落在同一條直線上，所以不得不移動直線，使其離某些點較近、離其它點較遠(yuǎn)。因此，擬合直線的過程為先計算出各點的殘差，進(jìn)而算出殘差平方和，再通過最小化殘差平方和，最后選出最好的擬合直線（確定截距和斜率）。授課內(nèi)容Page:162026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型2、回歸參數(shù)的估計令式（4.1-16）右端對

求偏導(dǎo)數(shù)均為0，則有

(4.1-16)(4.1-17)解未知數(shù)為

的二元一次方程（4.1-17），得到(4.1-18)授課內(nèi)容Page:172026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型2、回歸參數(shù)的估計可以得到β0和β1的最小二乘估計量為式中，

。由于

，(4.1-18)(4.1-19)得到一個實際問題的經(jīng)驗回歸方程授課內(nèi)容Page:182026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗

當(dāng)?shù)玫揭粋€實際問題的經(jīng)驗回歸方程

后，還不能直接就用它去作分析和預(yù)測，因為

是否真正描述了變量y與x之間的統(tǒng)計規(guī)律性，還需運(yùn)用統(tǒng)計方法對回歸方程進(jìn)行檢驗，在對回歸方程進(jìn)行檢驗時，通常需要將其假設(shè)為正態(tài)分布，即。

常用的顯著性檢驗方法包括t檢驗、F檢驗、相關(guān)系數(shù)、樣本決定系數(shù)及統(tǒng)計軟件計算檢驗值等方法。對一元線性回歸分析而言，t檢驗、

F檢驗和相關(guān)系數(shù)這三種檢驗的結(jié)果是等價的，因而對一元線性回歸實際只需要做其中的一種檢驗即可。對于多元線性回歸，這三種檢驗所考慮的問題已有所不同，是三種不同的檢驗，因而并不等價。授課內(nèi)容Page:192026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗t檢驗、F檢驗的原理及方法在第五章有詳細(xì)介紹，本節(jié)僅針對相關(guān)系數(shù)、樣本決定系數(shù)及統(tǒng)計軟件計算檢驗值這三種方法進(jìn)行介紹。本節(jié)以下的檢驗內(nèi)容若無特別聲明，都是在正態(tài)分布的假設(shè)下進(jìn)行的。授課內(nèi)容Page:202026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗1）相關(guān)系數(shù)的顯著性檢驗

若設(shè)（xi,yi）（i=1,2,···,n）是（x，y）的n組樣本觀測值，式（4.1-17）稱為x與y的簡單相關(guān)系數(shù)，簡稱相關(guān)系數(shù)。(4.1-17)式中，相關(guān)系數(shù)r表示x與y的線性關(guān)系的密切程度，相關(guān)系數(shù)的取值范圍為|r|≤1。授課內(nèi)容Page:212026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗1）相關(guān)系數(shù)的顯著性檢驗(4.1-17)

相關(guān)系數(shù)接近于1的程度與數(shù)據(jù)組數(shù)n有關(guān)。當(dāng)n較小時，相關(guān)系數(shù)的絕對值容易接近于1，當(dāng)n較大時，相關(guān)系數(shù)的絕對值容易偏小。特別是當(dāng)n=2時，相關(guān)系數(shù)的絕對值總為1。因此，在樣本容量較小時，不能僅憑相關(guān)系數(shù)較大就說明變量x與y之間有密切的線性關(guān)系。授課內(nèi)容Page:222026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗2）樣本決定系數(shù)

回歸平方和SSR與總離差平方和SST之比定義稱為樣本決定系數(shù)，記為r2，其表達(dá)式如式（4.1-18）所示。由式（4.1-19）可以證明式（4.1-18）的r2正好是式（4.1-17）中相關(guān)系數(shù)r的平方。(4.1-18)(4.1-19)(4.1-17)授課內(nèi)容Page:232026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗2）樣本決定系數(shù)(4.1-18)

決定系數(shù)r2是一個回歸直線與樣本觀測值擬合優(yōu)度的相對指標(biāo)，反映了因變量的波動中能用自變量解釋的比例，r2的值總是在0和1之間，也可以用百分量表示。一個線性回歸模型如果充分利用了x的信息，因變量不確定性的絕大部分能由回歸方程解釋，則r2越接近于1，擬合優(yōu)度就越好。反之，如果r2不大，說明以模型中給出的x對y解釋的信息還不充分，回歸方程的效果不好，應(yīng)進(jìn)行修改，使x與y的信息得到充分利用。授課內(nèi)容Page:242026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗2）樣本決定系數(shù)(4.1-18)

一般而言，回歸方程的顯著性檢驗與r2值的大小是一致的，即檢驗越顯著（概率P值越?。?，r2就越大，但是這種關(guān)系并不是完全確定的，在樣本容量n很大時，對高度顯著的檢驗結(jié)果仍然可能得到一個小的r2。授課內(nèi)容Page:252026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗3）用統(tǒng)計軟件計算檢驗值以SPSS為例，介紹檢驗值的計算方法R.Square即為樣本決定系數(shù)r2；Std.ErroroftheEstimate為標(biāo)準(zhǔn)誤差估計；SumofSquares為離均差平方和；df為自由度；F值是方差檢驗量；Sig是significance（顯著性）的簡寫；其它參數(shù)，請自查。授課內(nèi)容Page:262026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型3、回歸方程的顯著性檢驗3）用統(tǒng)計軟件計算檢驗值以SPSS為例，介紹檢驗值的計算方法授課內(nèi)容Page:272026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型4、預(yù)測和控制

建立回歸模型的目的就是為了應(yīng)用，預(yù)測和控制是回歸模型最重要的應(yīng)用。1）單值預(yù)測

單值預(yù)測就是用單個值作為因變量新值的預(yù)測值。例如研究水泥產(chǎn)量y與原材料用量x的關(guān)系時，在n塊單位面積的礦山上各原材料用量xi，最后求得相應(yīng)的產(chǎn)量yi，建立回歸方程

。某單位在一塊單位面積的礦山上原材料用量x=x0時，該塊礦山預(yù)期的水泥產(chǎn)量為

，此即因變量新值的單值預(yù)測。預(yù)測目標(biāo)是一個隨機(jī)變量，因而這個預(yù)測不能用無偏性來衡量。根據(jù)式

，說明預(yù)測值

與目標(biāo)值y0有相同的均值。授課內(nèi)容Page:282026/1/41授課內(nèi)容第四章：線性回歸分析4.1一元線性回歸模型4、預(yù)測和控制

建立回歸模型的目的就是為了應(yīng)用，預(yù)測和控制是回歸模型最重要的應(yīng)用。2）控制問題

預(yù)測和控制有著密切的關(guān)系，控制問題相當(dāng)于預(yù)測的反問題。在許多研究問題中，要獲得y在一定的范圍內(nèi)取值，這些問題用數(shù)學(xué)表達(dá)式描述，即要求T1<y<T2。另外，控制問題需要進(jìn)一步討論如何控制x的值才能以1-α的概率保證把目標(biāo)值y控制在T1<y<T2中，即(4.1-20)式中，α是事先給定的小的正數(shù)，其取值范圍是0<α<1。授課內(nèi)容Page:292026/1/41授課內(nèi)容第四章：線性回歸分析作業(yè)題：4.3.1中的表4.3-1，給出回歸模型、回歸參數(shù)、相關(guān)系數(shù)、樣本決定系數(shù)。土木工程科學(xué)數(shù)據(jù)分析方法授課內(nèi)容Page:312026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸模型

被解釋變量y與多個解釋變量x有關(guān)的線性回歸問題，即多元線性回歸模型。本節(jié)主要內(nèi)容包括多元線性回歸模型及其基本假設(shè)，回歸模型未知參數(shù)的估計及其性質(zhì)，回歸方程及回歸系數(shù)的顯著性檢驗等。授課內(nèi)容Page:322026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸1、回歸模型的數(shù)學(xué)形式設(shè)隨機(jī)變量y與一般變量x1,x2,…,xm的線性回歸模型為(4.2-1)式中，β0,β1,…,βm是m＋1個未知參數(shù)，β1,…,βm稱為回歸系數(shù)。y稱為被解釋變量（因變量），而x1,x2,…,xm是m個可以精確測量并可控制的一般變量，稱為解釋變量（自變量）。m=1時，式（4.2-1）即為一元線性回歸模型，m≥2時，就稱式（4.2-1）為多元線性回歸模型，ε是隨機(jī)誤差。授課內(nèi)容Page:332026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸1、回歸模型的數(shù)學(xué)形式設(shè)隨機(jī)變量y與一般變量x1,x2,…,xm的線性回歸模型為(4.2-1)式中，β1,…,βm稱為回歸系數(shù)，ε是隨機(jī)誤差，與一元線性回歸一樣，對隨機(jī)誤差項常假定(4.2-2)(4.2-3)在式（4.2-1）和式（4.2-2）基礎(chǔ)上，理論回歸方程可以寫成式（4.2-3）的形式：授課內(nèi)容Page:342026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸1、回歸模型的數(shù)學(xué)形式

對一個實際問題，如果獲得n組觀測數(shù)據(jù)（xi1,xi2,…,xim;yi），i=1,2,…,n，則線性回歸模型可表示為(4.2-4)式（4.2-4）寫成矩陣形式為(4.2-5)授課內(nèi)容Page:352026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸2、基本假定

為了便于進(jìn)行模型的參數(shù)估計，對回歸方程（4.2-4）做如下一些基本假定：

（1）解釋變量x1,x2,…,xm是確定性變量，不是隨機(jī)變量，且要求rank(X)=m+1＜n。這里的rank(X)=m+1＜n，表明設(shè)計矩陣X中的自變量列之間不相關(guān)，樣本容量的個數(shù)應(yīng)大于解釋變量的個數(shù)，X是滿秩矩陣。（2）隨機(jī)誤差項具有0均值和等方差，即（3）正態(tài)分布的假定條件為授課內(nèi)容Page:362026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸3、回歸參數(shù)的估計

多元線性回歸方程未知參數(shù)β0、β1、β2、…、βm的估計與一元線性回歸方程的參數(shù)估計原理一樣，仍然采用最小二乘法估計。對于式（4.2-5）矩陣形式表示的回歸模型y=Xβ+ε，就是尋找參數(shù)β0、β1、β2、…、βm的估計值

（β0尖）、、、···、，使離差平方和達(dá)極小值，即尋找

、、、…、

滿足：(4.2-12)

依照式（4.2-12）求出的

、、、···、就稱為回歸參數(shù)β0、β1、β2、…、βm的最小二乘估計。授課內(nèi)容Page:372026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸3、回歸參數(shù)的估計

根據(jù)微積分中求極值的原理，

、、、···、應(yīng)滿足下列方程組：(4.2-13)授課內(nèi)容Page:382026/1/41授課內(nèi)容第四章：線性回歸分析4.2多元線性回歸3、回歸參數(shù)的估計以上方程組經(jīng)整理后，得出用矩陣形式表示的方程組(4.2-14)移項得

，當(dāng)（XTX）-1存在時，即得回歸參數(shù)的最小二乘估計為(4.2-15)(4.2-16)式（4.2-16）稱為經(jīng)驗回歸方程。

多元回歸的計算量要比一元回歸大得多，手工計算難度非常大，費(fèi)時費(fèi)力，難以保證結(jié)果的準(zhǔn)確性，建議用SPSS或MATLAB軟件完成計算。授課內(nèi)容1授課內(nèi)容第四章：線性回歸分析4.3土木工程中的應(yīng)用案例編號庫水位（m）沉陷量（mm）（編號）庫水位（m）沉陷量（mm）1102.714-1.967135.046-5.46295.154-1.888140.373-5.693114.364-3.969144.958-3.944120.170-3.3110141.011-5.825126.630-4.9411130.308-4.186129.393-5.6912121.234-2.90表4.3-1大壩的水位與沉降量數(shù)據(jù)

表4.3-1為我國某水壩的庫水位與大壩沉降量的觀測數(shù)據(jù)，試采用回歸分析方法對大壩的變形值進(jìn)行預(yù)測。授課內(nèi)容1授課內(nèi)容第四章：線性回歸分析4.3土木工程中的應(yīng)用案例

設(shè)水庫水位為x，沉陷量y，將以上數(shù)據(jù)輸入MATLAB中進(jìn)行分析，利用matlab軟件可以得到y(tǒng)關(guān)于x的散點圖如圖3.3-1所示。圖4.3-1水壩沉降量與水庫水位的散點圖

由于提取的數(shù)據(jù)包含有其它各方面的影響因素，綜合考慮其它因素的影響，由圖1可知，沉陷量y和水庫水位x成線性相關(guān)關(guān)系，因此，可以設(shè)x與y為一元回歸線性模型，其具體表達(dá)式為：

，式中β0、ε為常數(shù)項，β1為變量的系數(shù)。授課內(nèi)容1授課內(nèi)容第四章：線性回歸分析4.3土木工程中的應(yīng)用案例在matlab中輸入編碼如下：x=[102.71495.154114.364120.170126.630129.393135.046140.373144.958141.011];y=[-1.96-1.88-3.96-3.31-4.94-5.69-5.46-5.69-3.94-5.82];X=sum(x)/10;Y=sum(y)/10;A=ones(1,10)*X;B=ones(1,10)*Y;Sx=x-A;Sy=y-B;Sxx=sum(Sx.*Sx);Sxy=sum(Sx.*Sy);P1=Sxy/Sxx;P0=Y-X*P1;結(jié)果輸出：P1=Sxy/SxxP1=-0.0749P0=Y-X*P1P0=5.0967故回歸模型為授課內(nèi)容1授課內(nèi)容第四章：線性回歸分析4.3土木工程中的應(yīng)用案例模型參數(shù)的顯著性檢驗在matlab中輸入以下的編碼：X=[ones(10,1),x'];[b,bint,r,rint,s]=regress(y',X);上式中，b表示回歸方程系數(shù)估計值；bint返回系數(shù)估計值的95%置信區(qū)間矩陣；r表示由殘差組成的向量；rint表示返回矩陣rint，其中包含可用于診斷離群值的區(qū)間；s也是返回值，包含R2統(tǒng)計量、F（檢驗）統(tǒng)計量及其p值及誤差方差S2（S2=sum(r2)/8）的估計值。有必要指出，p值（相關(guān)參考資料可以查算法）去匹配顯著性水平α（一般小于等于0.05）。p如果小于選定的a，那么就是顯著的有意義的。授課內(nèi)容1授課內(nèi)容第四章：線性回歸分析4.3土木工程中的應(yīng)用案例4.3.1模型參數(shù)的顯著性檢驗在matlab中輸入以下的編碼：X=[ones(10,1),x'];[b,bint,r,rint,s]=regress(y',X);結(jié)果輸出：b=5.0967-0.0749bint=0.004610.1887-0.1153-0.0345參數(shù)b1=5.0967、b2=-0.0749均在其置信區(qū)間[0.0046，10.1887]，[-0.1153，-0.0345]