第二章一元線性回歸模型古典線性回歸模型及其基本假設(shè)回歸參數(shù)的點(diǎn)估計(jì)——OLS法經(jīng)典假設(shè)滿足時(shí)的區(qū)間估計(jì)與假設(shè)檢驗(yàn)方差分析與擬合優(yōu)度用回歸模型進(jìn)行預(yù)測(cè)一元線性回歸分析案例一、古典線性回歸模型任意抽出一個(gè)婦女，試猜測(cè)其體重如何猜？準(zhǔn)確性如何？猜平均體重，最大偏差：26如何猜得更準(zhǔn)確？影響體重的最直接因素是身高：一般身高高的人體重大。平均身高：62.85inch,標(biāo)準(zhǔn)差：3.3以平均身高分界：最大偏差20E(weight/hight)=b0+b1hight，例：20個(gè)婦女的體重資料如表,

平均體重：123.6pound,標(biāo)準(zhǔn)差：15.5

最低體重：93pound,最大體重：155一個(gè)身高60的婦女體重平均111.5,最大偏差1293155體重均值123.6猜體重平均值，最大偏差：26身高相同的人體重不一定相同平均來(lái)看，體重隨身高的增加而增加平均身高62.85134.0113.2以平均身高分界，高于平均身高猜134，低于平均身高猜113.2：最大偏差20能不能猜得更準(zhǔn)？這條直線的含義是什么？一個(gè)身高60的婦女體重平均111.5,最大偏差12觀測(cè)值weighti估計(jì)值weight身高體重總體回歸線通常，身高高的人體重大。同樣身高的人體重不同，即在給定身高下，體重有一個(gè)分布。大樣本下為正態(tài)分布?？傮w回歸線反映了給定身高下，體重的平均水平：E(weight/hight)=b0+b1hight

，b0，b1是未知的參數(shù)已知20個(gè)婦女的身高體重資料以此為樣本估計(jì)總體參數(shù)樣本回歸線為什么要有

回歸分析的任務(wù)：從樣本回歸線估計(jì)總體回歸線一元線性回歸的一般模型其中：(Yi,Xi)-樣本觀測(cè)值，

0、1回歸系數(shù)（總體參數(shù)，待估），

i-隨機(jī)誤差項(xiàng)（方差為總體參數(shù)，待估，反映了因變量的離散程度）

1的經(jīng)濟(jì)意義：X對(duì)Y的影響程度：X增加一個(gè)單位，平均來(lái)說(shuō)將導(dǎo)致Y增加

1個(gè)單位經(jīng)典回歸模型的基本假定假設(shè)1：解釋變量x是非隨機(jī)變量，它的值是確定的——條件回歸。Yi與

i同分布。假設(shè)2：隨機(jī)誤差項(xiàng)具有0均值和同方差。即：E(

i)=0,Var(

i)=i=1,2,…,n

685810360111144hightweightE(

i)=0的說(shuō)明E(

i)=0即：凡是模型不顯含的、因而歸屬于

i的因素，對(duì)y的均值都沒(méi)有系統(tǒng)影響。如果E(

i)=

，即被省略的變量對(duì)y的均值有系統(tǒng)性影響，則有：Yi=

0+1Xi+i=0+1Xi+i+-=(0+)+1Xi+(i-)=+1Xi+——新模型，——所有系統(tǒng)性影響都包含在截距項(xiàng)（常數(shù)項(xiàng)）中，所以一般不予過(guò)多關(guān)注?？傮w回歸函數(shù)Var(

i)=的說(shuō)明隨機(jī)誤差項(xiàng)具有相同的散布程度，即對(duì)應(yīng)于不同x值的y總體具有同樣的方差。如果Var(

i)=則稱隨機(jī)誤差項(xiàng)具有異方差每周收入$每周支出$每周收入$每周支出$古典回歸模型的基本假定假設(shè)3：隨機(jī)誤差項(xiàng)在不同樣本點(diǎn)之間是獨(dú)立的，不存在序列相關(guān)，即：Cov(

i,j)=0iji,j=1,2,…,nCov(

i,j)=E[(i–E(i))(j–E(j))]=E(

i

j)=0當(dāng)來(lái)自于不同觀測(cè)值的誤差項(xiàng)相關(guān)時(shí)，即其協(xié)方差不為0，則稱這個(gè)誤差序列是序列相關(guān)的。古典回歸模型的基本假定

i

j

i

i

j

j古典回歸模型的基本假定假設(shè)4：隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)，即：Cov(Xi,

i)=0i=1,2,…,n此假定意味著X和

(代表了所有被省略的變量的影響）對(duì)Y有各自的影響，并且使可加的。當(dāng)X為非隨機(jī)變量時(shí)，此假設(shè)自動(dòng)成立。證明？Cov(Xi,

i)=E[(Xi–E(Xi))(i–E(i))]=0古典回歸模型的基本假定假設(shè)5：隨機(jī)誤差項(xiàng)服從0均值，同方差的正態(tài)分布，即：

iN(0,)YiN(0+1Xi,)前4個(gè)假設(shè)構(gòu)成了古典線性回歸模型。對(duì)于假設(shè)5，根據(jù)中心極限定理，但樣本容量趨于無(wú)窮大時(shí)，對(duì)于任何實(shí)際模型都是滿足的。二、回歸參數(shù)的點(diǎn)估計(jì)回歸參數(shù)的最小二乘估計(jì)最小二乘估計(jì)量的性質(zhì)1.普通最小二乘估計(jì)（OLS）一元線性回歸模型：Y=

0+1X+在μ的零均值假設(shè)下，——總體回歸線總體回歸線：說(shuō)明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。

0、1為總體參數(shù)1.普通最小二乘估計(jì)（OLS）隨機(jī)抽取n組樣本值Xi,Yi,i=1,2,…,n，有Yi=

0+1Xi+i利用樣本數(shù)據(jù)得到參數(shù)

0、

1的估計(jì)量、設(shè)被解釋變量Yi的估計(jì)值為：樣本回歸線可以看作是對(duì)總體回歸線的一個(gè)點(diǎn)估計(jì)樣本觀測(cè)值與估計(jì)值的關(guān)系為：

稱為回歸殘差，它是對(duì)隨機(jī)誤差項(xiàng)

i的一個(gè)估計(jì)——樣本回歸線回歸分析的主要目的：根據(jù)樣本回歸函數(shù)估計(jì)總體回歸函數(shù)。1.普通最小二乘估計(jì)（OLS）OLS的思路：使殘差平方和最小，即：極值條件：殘差的性質(zhì)正規(guī)方程組正規(guī)方程組的另一種寫(xiě)法：1.普通最小二乘估計(jì)（OLS）求解上述聯(lián)立方程得到回歸參數(shù)點(diǎn)估計(jì)量：其中：分別是xi和yi的離差隨機(jī)誤差項(xiàng)方差的估計(jì)量為：1.普通最小二乘估計(jì)（OLS）OLS回歸線的性質(zhì)：回歸線通過(guò)Y和X的樣本均值，即：

殘差之和為零，即：殘差和Xi不相關(guān)，即：殘差和?i不相關(guān)，即：證明？*極大似然估計(jì)基本原理：當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。ML必須已知隨機(jī)項(xiàng)的分布。Yi的分布Yi的概率函數(shù)

Y的所有樣本觀測(cè)值的聯(lián)合概率—似然函數(shù)

對(duì)數(shù)似然函數(shù)

對(duì)數(shù)似然函數(shù)極大化的一階條件結(jié)構(gòu)參數(shù)的ML估計(jì)量結(jié)果與參數(shù)的OLS估計(jì)相同。分布參數(shù)的ML估計(jì)量分布參數(shù)估計(jì)結(jié)果與OLS不同2.最小二乘估計(jì)量的性質(zhì)高斯-馬爾可夫定理：在給定經(jīng)典線性回歸模型的假定下，最小二乘估計(jì)量在無(wú)偏線性估計(jì)量一類中具有最小方差，即它們是最優(yōu)線性無(wú)偏估計(jì)量（BLUE）。線性性：

0、1的最小二乘估計(jì)量是Y的觀測(cè)值的線性函數(shù)，即：無(wú)偏性：一個(gè)估計(jì)量的均值(期望)等于其真值，即：有效性：在所有線性無(wú)偏估計(jì)量中方差最小OSL估計(jì)量與各類估計(jì)量的關(guān)系全部估計(jì)量線性估計(jì)量子集線性無(wú)偏估計(jì)量子集BLUEOLS估計(jì)量性質(zhì)的證明線性性的證明：性質(zhì)：1.ki非隨機(jī)

2.

ki=03.4.基本假設(shè)1OLS估計(jì)量性質(zhì)的證明無(wú)偏性證明：0均值假設(shè)OLS估計(jì)量性質(zhì)的證明有效性證明：方差的推導(dǎo)方差的性質(zhì)：同方差假設(shè)無(wú)序列相關(guān)假設(shè)最小二乘估計(jì)量的方差OLS估計(jì)量性質(zhì)的證明有效性證明：設(shè)為

1的任一線性無(wú)偏估計(jì)量，則有：且

i=0

，

iXi=1只要iki,關(guān)于OLS估計(jì)量方差的說(shuō)明對(duì)給定的，方差越大，回歸系數(shù)估計(jì)量的方差就越大，估計(jì)精度越低；對(duì)給定的，x值越分散，的方差越小，估計(jì)的精度越高。

和之間的依賴性由它們間的協(xié)方差來(lái)衡量。

隨著樣本容量n的增大，總和中的項(xiàng)數(shù)將增加，1的估計(jì)精度也隨之增加。負(fù)號(hào)表明：如果

1被高估，0就將被低估三、經(jīng)典假設(shè)滿足時(shí)的區(qū)間估計(jì)與假設(shè)檢驗(yàn)只有在經(jīng)典假設(shè)滿足時(shí)，OLS估計(jì)量是最優(yōu)線性無(wú)偏估計(jì)量——區(qū)間估計(jì)和統(tǒng)計(jì)檢驗(yàn)的前提條件回歸系數(shù)的置信區(qū)間回歸系數(shù)的假設(shè)檢驗(yàn)——t檢驗(yàn)1.回歸系數(shù)的置信區(qū)間求

1的置信區(qū)間在

i正態(tài)性假定下，OLS估計(jì)量也是正態(tài)分布的:

構(gòu)造t變量:設(shè)給定的顯著性水平是,其/2的臨界值為t變量遵循自由度為n-2的t分布

置信上限置信下限例1.手表需求函數(shù)根據(jù)我國(guó)1973-1983年手表價(jià)格和銷售的實(shí)際資料擬合手表需求函數(shù)，置信度95%。解題步驟：作散點(diǎn)圖，觀察銷售量與價(jià)格的相關(guān)形式建立一元線性回歸模型yi=

0+1xi+i i=1,2,…,ny：手表銷售量x:手表平均價(jià)格，結(jié)果：?i=9642.6-64.95xi

se:(1009.8)(8.4)

195%的置信區(qū)間：t=2.262

的95%的置信區(qū)間為(0.42,0.60)

例2.凱恩斯消費(fèi)函數(shù)每周家庭消費(fèi)支出y和每周家庭收入x的數(shù)據(jù)如表，求凱恩斯消費(fèi)函數(shù)。建立一元線性回歸模型yi=

0+1xi+i i=1,2,…,ny：每周家庭消費(fèi)支出x:每周家庭收入結(jié)果：?i=24.45+0.51xise:(6.41)(0.04)

195%的置信區(qū)間：t=2.306，

=2.306*0.04=0.092.回歸系數(shù)的顯著性檢驗(yàn)凱恩斯消費(fèi)函數(shù)例。樣本回歸方程為(一次估計(jì))：

?i=24.45+0.51xi→E(yi/xi)=

0+1xise:(6.41)(0.04)H0:1=0；H1:10檢驗(yàn)統(tǒng)計(jì)量t服從n-2的t分布接受域：或t的精確p值大于

。結(jié)果：計(jì)量經(jīng)濟(jì)學(xué)中，回歸系數(shù)的顯著性檢驗(yàn)主要是針對(duì)回歸參數(shù)真值是否為零來(lái)進(jìn)行的。2.回歸系數(shù)的顯著性檢驗(yàn)對(duì)一元模型yi=

0+1xi+i

得到回歸系數(shù)的估計(jì)值后，軟件輸出兩個(gè)常規(guī)檢驗(yàn)的t統(tǒng)計(jì)量，并給出各自的精確p值：一般t檢驗(yàn)：經(jīng)濟(jì)意義檢驗(yàn)一般回歸系數(shù)的顯著性檢驗(yàn)用t檢驗(yàn)：邊際消費(fèi)傾向1<1的假設(shè)檢驗(yàn)?H0:11H1:1<1拒絕域：或t的精確p值小于

=0.05,T

=-1.86

統(tǒng)計(jì)上顯著，拒絕原假設(shè)p(t)=3.88E-07四.方差分析與方程顯著性檢驗(yàn)方差分析：一個(gè)好的方程應(yīng)該是有助于解釋y的大部分變異的方程。回歸誤差，可由X的改變解釋殘差：隨機(jī)四.方差分析與方程顯著性檢驗(yàn)TSS=RSS+ESS總平方和殘差平方和回歸平方和Y的變異擬合優(yōu)度擬合優(yōu)度由判定系數(shù)來(lái)衡量：含義：Y的總變異中可由X變化解釋的部分所占百分比0r2

1如果實(shí)際觀測(cè)點(diǎn)離樣本回歸線越近，則ESS在TSS中占的比重越大，r2越接近1，擬合程度越高方程的顯著性檢驗(yàn)：對(duì)模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否成立做出判斷。H0:1=0，H1:1≠0檢驗(yàn)統(tǒng)計(jì)量F構(gòu)造如下：如果

I服從正態(tài)分布，則F服從分子自由度為1，分母自由度為n-2的F分布。F

(n1,n2)

給定顯著性水平

，則當(dāng)F1,n-2F臨界或當(dāng)F1,n-2的p值小于時(shí)，拒絕原假設(shè)。注意F統(tǒng)計(jì)量與t統(tǒng)計(jì)量的區(qū)別注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：

1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

參數(shù)估計(jì)的標(biāo)準(zhǔn)誤回歸參數(shù)估計(jì)值單零檢驗(yàn)之t統(tǒng)計(jì)量：H0:B=0方程顯著性檢驗(yàn)之F統(tǒng)計(jì)量判定系數(shù)假設(shè)檢驗(yàn)例：凱恩斯消費(fèi)函數(shù)殘差平方和因變量均值因變量標(biāo)準(zhǔn)差假設(shè)檢驗(yàn)例凱恩斯消費(fèi)函數(shù)估計(jì)結(jié)果

?i=24.45+0.51xi

Se:6.4140.036t:3.81314.243p:0.00510.0000在5%的水平下顯著R2=0.962即：96%的每周支出的變異能由收入來(lái)說(shuō)明F=202.868p(F)=0.0000在5%的水平下顯著在$80-$260這個(gè)極差范圍內(nèi)，收入每增加$1，平均消費(fèi)估計(jì)增加$0.5120個(gè)婦女的體重對(duì)身高作回歸身高對(duì)體重的影響是顯著的嗎？求回歸系數(shù)95%的置信區(qū)間五.利用回歸方程做預(yù)測(cè)給定樣本以外的觀測(cè)值X=X0，可以得到Y(jié)的條件均值

E(Y0/X0)=

0+1X0的估計(jì)值:xy均值預(yù)測(cè)方差的特征？1.均值預(yù)測(cè):給定X0，預(yù)測(cè)E(Y0/X0)均值預(yù)測(cè)的置信區(qū)間可以證明?0也遵循正態(tài)分布。以代替，構(gòu)造t統(tǒng)計(jì)量：2.個(gè)值預(yù)測(cè):給定x0，預(yù)測(cè)Y0=

0+1X0+0給定樣本以外的觀測(cè)值X0，可以得到單個(gè)Y值（Y0=

0+1X0+0）的估計(jì)值：則：個(gè)值預(yù)測(cè)方差的特征？凱恩斯消費(fèi)函數(shù)例：?i=24.45+0.51xi每周家庭收入為300元（x0=300），估計(jì)其消費(fèi)支出的均值和個(gè)值95%的置信區(qū)間。x0=300，均值置信區(qū)間：177.45±5.08t2/

=個(gè)值置信區(qū)間：177.45±8.24t2/

=177.45±5.08×2.306=(165.74,189.16)177.45±8.24×2.306=(158.45,196.45)六、一元線性回歸分析案例我國(guó)1980-2001年發(fā)電量與GDP數(shù)據(jù)如表，試作一元回歸模型，并作回歸系數(shù)的區(qū)間估計(jì)與假設(shè)檢驗(yàn)作發(fā)電量與GDP的散點(diǎn)圖，選擇合適的函數(shù)形式建立模型yi=

0+1xi+i

EVIEW估計(jì)結(jié)果線性模型yi=

0+1xi+i參數(shù)估計(jì)值參數(shù)估計(jì)值的標(biāo)準(zhǔn)誤差參數(shù)t檢驗(yàn):H0:=0t檢驗(yàn)的精確p值估計(jì)結(jié)果本章小結(jié)一元線性回歸的一般模型隨機(jī)誤差項(xiàng)的內(nèi)涵一元線性回歸模型的經(jīng)典假設(shè)回歸參數(shù)的OLS估計(jì)基本思想：殘差平方和最小幾個(gè)基本關(guān)系式Y(jié)i=

0+1Xi+iOLS估計(jì)量的性質(zhì)高斯-馬爾可夫定理線性性、無(wú)偏性、有效性的含義及證明OLS回歸線的性質(zhì)及證明OLS估計(jì)量方差的性質(zhì)回歸系數(shù)的區(qū)間估計(jì)回歸系數(shù)的假設(shè)檢驗(yàn)：?jiǎn)瘟銠z驗(yàn)，一般t檢驗(yàn)：查表法、精確P值方差分析、擬合優(yōu)度與方程的顯著性檢驗(yàn)三種平方和，聯(lián)合零檢驗(yàn)，F(xiàn)統(tǒng)計(jì)量利用回歸方程作預(yù)測(cè)均值點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)、個(gè)值點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)課堂練習(xí)1：下面的陳述是正確的、錯(cuò)誤的或