第十章相關(guān)與回歸分析第一節(jié)變量間的相關(guān)關(guān)系第二節(jié)一元線性回歸第三節(jié)多元線性回歸第四節(jié)可化為線性回歸的曲線回歸第一節(jié)變量間的相關(guān)關(guān)系一.變量相關(guān)的概念二.相關(guān)系數(shù)及其計算變量間的關(guān)系（函數(shù)關(guān)系）是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當變量x取某個數(shù)值時，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點落在一條線上

變量間的關(guān)系（函數(shù)關(guān)系）

函數(shù)關(guān)系的例子某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為y=p

x(p為單價)圓的面積(S)與半徑之間的關(guān)系可表示為S=

R2

企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)

、單位產(chǎn)量消耗(x2)

、原材料價格(x3)之間的關(guān)系可表示為y=x1x2x3

變量間的關(guān)系（相關(guān)關(guān)系）變量間關(guān)系不能用函數(shù)關(guān)系精確表達一個變量的取值不能由另一個變量唯一確定當變量x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍

xy變量間的關(guān)系（相關(guān)關(guān)系）

相關(guān)關(guān)系的例子商品的消費量(y)與居民收入(x)之間的關(guān)系商品銷售額(y)與廣告費支出(x)之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系父親身高(y)與子女身高(x)之間的關(guān)系相關(guān)關(guān)系的類型相關(guān)關(guān)系非線性相關(guān)線性相關(guān)正相關(guān)正相關(guān)負相關(guān)負相關(guān)完全相關(guān)不相關(guān)相關(guān)關(guān)系的圖示

不相關(guān)

負線性相關(guān)

正線性相關(guān)

非線性相關(guān)

完全負線性相關(guān)完全正線性相關(guān)

相關(guān)關(guān)系的測度（相關(guān)系數(shù)）對變量之間關(guān)系密切程度的度量對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù)若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為

若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，記為r相關(guān)關(guān)系的測度（相關(guān)系數(shù)）

樣本相關(guān)系數(shù)的計算公式或化簡為相關(guān)關(guān)系的測度

（相關(guān)系數(shù)取值及其意義）

r

的取值范圍是[-1,1]|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負正相關(guān)

r=0，不存在線性相關(guān)關(guān)系相關(guān)-1

r<0，為負相關(guān)0<r

1，為正相關(guān)|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切相關(guān)關(guān)系的測度

（相關(guān)系數(shù)取值及其意義）-1.0+1.00-0.5+0.5完全負相關(guān)無線性相關(guān)完全正相關(guān)負相關(guān)程度增加r正相關(guān)程度增加

表10-1我國人均國民收入與人均消費金額數(shù)據(jù)單位:元年份人均國民收入人均消費金額年份人均國民收入人均消費金額1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148相關(guān)關(guān)系的測度

（相關(guān)系數(shù)計算例）【例10.1】在研究我國人均消費水平的問題中，把全國人均消費額記為y，把人均國民收入記為x。我們收集到1981～1993年的樣本數(shù)據(jù)(xi

，yi)，i=1,2,…，13，數(shù)據(jù)見表10-1，計算相關(guān)系數(shù)。相關(guān)關(guān)系的測度（計算結(jié)果）解：根據(jù)樣本相關(guān)系數(shù)的計算公式有

人均國民收入與人均消費金額之間的相關(guān)系數(shù)為0.9987相關(guān)系數(shù)的顯著性檢驗（概念要點）

檢驗兩個變量之間是否存在線性相關(guān)關(guān)系等價于對回歸系數(shù)b1的檢驗采用t檢驗檢驗的步驟為提出假設(shè)：H0：

；H1：

0

計算檢驗的統(tǒng)計量：

確定顯著性水平，并作出決策若t>t

，拒絕H0

若t<t

，接受H0相關(guān)系數(shù)的顯著性檢驗（實例）

對前例計算的相關(guān)系數(shù)進行顯著性檢(0.05)提出假設(shè)：H0：

；H1：

0計算檢驗的統(tǒng)計量3.根據(jù)顯著性水平＝0.05，查t分布表得t

(n-2)=2.201由于t=64.9809>t

(13-2)=2.201，拒絕H0，人均消費金額與人均國民收入之間的相關(guān)關(guān)系顯著相關(guān)系數(shù)的顯著性檢驗

（相關(guān)系數(shù)檢驗表的使用）

若IrI大于表上的

=5%相應(yīng)的值，小于表上

＝1%相應(yīng)的值，稱變量x與y之間有顯著的線性關(guān)系若IrI大于表上

=1%相應(yīng)的值，稱變量x與y之間有十分顯著的線性關(guān)系若IrI小于表上

=5%相應(yīng)的值，稱變量x與y之間沒有明顯的線性關(guān)系根據(jù)前例的r＝0.9987>=5%(n-2)=0.553，表明人均消費金額與人均國民收入之間有十分顯著的線性相關(guān)關(guān)系第二節(jié)一元線性回歸一.一元線性回歸模型參數(shù)的最小二乘估計回歸方程的顯著性檢驗預(yù)測及應(yīng)用什么是回歸分析？（內(nèi)容）從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度回歸方程一詞是怎么來的回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x

可以是隨機變量，也可以是非隨機的確定變量相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預(yù)測和控制回歸模型的類型一個自變量兩個及兩個以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸回歸模型回答“變量之間是什么樣的關(guān)系？”方程中運用1個數(shù)字的因變量(響應(yīng)變量)被預(yù)測的變量1個或多個數(shù)字的或分類的自變量(解釋變量)用于預(yù)測的變量3.主要用于預(yù)測和估計一元線性回歸模型（概念要點）當只涉及一個自變量時稱為一元回歸，若因變量y與自變量x之間為線性關(guān)系時稱為一元線性回歸對于具有線性關(guān)系的兩個變量，可以用一條線性方程來表示它們之間的關(guān)系描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型（概念要點）

對于只涉及一個自變量的簡單線性回歸模型可表示為

y=b0+b1x+e模型中，y是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性

0和

1稱為模型的參數(shù)一元線性回歸模型（基本假定）誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=

0+

1x對于所有的x值，ε的方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)回歸方程（概念要點）描述y的平均值或期望值如何依賴于x的方程稱為回歸方程簡單線性回歸方程的形式如下

E(y)=

0+

1x方程的圖示是一條直線，因此也稱為直線回歸方程

0是回歸直線在y軸上的截距，是當x=0時y的期望值

1是直線的斜率，稱為回歸系數(shù)，表示當x每變動一個單位時，y的平均變動值估計(經(jīng)驗)的回歸方程簡單線性回歸中估計的回歸方程為其中：是估計的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個給定的x

的值，是y

的估計值，也表示x

每變動一個單位時，y的平均變動值

用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計參數(shù)

0和

1的最小二乘法

（概念要點）使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小最小二乘法（圖示）xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘法

（

和的計算公式）

根據(jù)最小二乘法的要求，可得求解和的標準方程如下估計方程的求法

（實例）【例】根據(jù)例10.1中的數(shù)據(jù)，配合人均消費金額對人均國民收入的回歸方程

根據(jù)和的求解公式得估計(經(jīng)驗)方程

人均消費金額對人均國民收入的回歸方程為y=54.22286+0.52638x^估計方程的求法

（Excel的輸出結(jié)果）離差平方和的分解因變量y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示離差平方和的分解（圖示）xyy{}}

離差分解圖離差平方和的分解

（三個平方和的關(guān)系）2.兩端平方后求和有從圖上看有SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{離差平方和的分解

（三個平方和的意義）總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和樣本決定系數(shù)（判定系數(shù)r2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝(r)2回歸方程的顯著性檢驗

（線性關(guān)系的檢驗

）檢驗自變量和因變量之間的線性關(guān)系是否顯著具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系回歸方程的顯著性檢驗

（檢驗的步驟）提出假設(shè)H0：線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F

F

,拒絕H0；若F<F

,接受H0回歸方程的顯著性檢驗

（方差分析表）（續(xù)前例）Excel

輸出的方差分析表平方和均方估計標準誤差Sy實際觀察值與回歸估計值離差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況從另一個角度說明了回歸直線的擬合程度計算公式為注：上例的計算結(jié)果為14.949678回歸系數(shù)的顯著性檢驗

（要點）在一元線性回歸中，等價于回歸方程的顯著性檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布回歸系數(shù)的顯著性檢驗

（樣本統(tǒng)計量的分布）

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標準差：由于無未知，需用其估計量Sy來代替得到的估計的標準差回歸系數(shù)的顯著性檢驗

（樣本統(tǒng)計量的分布）

的抽樣分布回歸系數(shù)的顯著性檢驗

（步驟）提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量

確定顯著性水平，并進行決策

t>t

，拒絕H0；t<t

，接受H0回歸系數(shù)的顯著性檢驗

（實例）提出假設(shè)H0：b1=0人均收入與人均消費之間無線性關(guān)系H1：b1

0人均收入與人均消費之間有線性關(guān)系計算檢驗的統(tǒng)計量

t=65.0758>t

=2.201，拒絕H0，表明人均收入與人均消費之間有線性關(guān)系

對前例的回歸系數(shù)進行顯著性檢驗(

＝0.05)回歸系數(shù)的顯著性檢驗

(Excel輸出的結(jié)果）利用回歸方程進行估計和預(yù)測根據(jù)自變量x

的取值估計或預(yù)測因變量y的取值估計或預(yù)測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預(yù)測區(qū)間估計利用回歸方程進行估計和預(yù)測

（點估計）2.點估計值有y的平均值的點估計y的個別值的點估計3.在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0

，根據(jù)回歸方程得到因變量y的一個估計值利用回歸方程進行估計和預(yù)測

（點估計）

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得利用回歸方程進行估計和預(yù)測

（點估計）

y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計值，就是個別值的點估計2.比如，如果我們只是想知道1990年人均國民收入為1250.7元時的人均消費金額是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得利用回歸方程進行估計和預(yù)測

（區(qū)間估計）點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計預(yù)測區(qū)間估計利用回歸方程進行估計和預(yù)測

（置信區(qū)間估計）

y的平均值的置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值E(y0)的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間

E(y0)

在1-

置信水平下的置信區(qū)間為式中：Sy為估計標準誤差利用回歸方程進行估計和預(yù)測

（置信區(qū)間估計:算例）【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均消費金額95%的置信區(qū)間解：根據(jù)前面的計算結(jié)果＝712.57，Sy=14.95，t

(13-2)＝2.201，n=13

置信區(qū)間為712.57

10.265人均消費金額95%的置信區(qū)間為702.305元~722.835元之間利用回歸方程進行估計和預(yù)測

（預(yù)測區(qū)間估計）

y的個別值的預(yù)測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間

y0在1-

置信水平下的預(yù)測區(qū)間為注意！利用回歸方程進行估計和預(yù)測

（置預(yù)測區(qū)間估計:算例）【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時，人均消費金額的95%的預(yù)測區(qū)間解：根據(jù)前面的計算結(jié)果有＝712.57，Sy=14.95，t

(13-2)＝2.201，n=13

置信區(qū)間為712.57

34.469人均消費金額95%的預(yù)測區(qū)間為678.101元~747.039元之間影響區(qū)間寬度的因素1.置信水平(1-

)區(qū)間寬度隨置信水平的增大而增大2.數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3.樣本容量區(qū)間寬度隨樣本容量的增大而減小4.用于預(yù)測的xp與

x的差異程度區(qū)間寬度隨xp與

x的差異程度的增大而增大置信區(qū)間、預(yù)測區(qū)間、回歸方程xpyx

x預(yù)測上限置信上限預(yù)測下限置信下限第三節(jié)多元線性回歸一.多元線性回歸模型回歸參數(shù)的估計回歸方程的顯著性檢驗回歸系數(shù)的顯著性檢驗多元線性回歸的預(yù)測多元線性回歸模型

（概念要點）一個因變量與兩個及兩個以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項

的方程稱為多元線性回歸模型涉及p個自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項的隨機變量

y是x1,，x2

，

，xp

的線性函數(shù)加上誤差項

說明了包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

（概念要點）

對于n組實際觀察數(shù)據(jù)(yi;xi1,，xi2

，

，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是確定性變量，不是隨機變量隨機誤差項ε的期望值為0，且方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,σ2)，且相互獨立多元線性回歸方程

（概念要點）描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方程多元線性回歸方程的形式為

E(y)=

0+

1x1

+

2x2

+…+

pxpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當xi

每變動一個單位時，y的平均平均變動值多元線性回歸方方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面

0

ix1yx2(x1,x2)}多元線性回歸的估計(經(jīng)驗)方程總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計用樣本統(tǒng)計量代替回歸方程中的未知參數(shù)

即得到估計的回歸方程

是估計值是y

的估計值參數(shù)的最小二乘法

（要點）根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即多重樣本決定系數(shù)

（多重判定系數(shù)R2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差等于多重相關(guān)系數(shù)的平方，即R2=(R)2修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2

）由于增加自變量將影響到因變量中被估計的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計算公式可表示為回歸方程的顯著性檢驗

（線性關(guān)系的檢驗

）檢驗因變量與所有的自變量和之間的是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗檢驗方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系回歸方程的顯著性檢驗

（步驟）提出假設(shè)H0：

1

2

p=0線性關(guān)系不顯著H1：

1，