第二 線性回歸模型回顧與拓理論和應(yīng)用兩個(gè)方面都取得了長足的進(jìn)步。尤其是自從1941年第一節(jié)

yfy|x

Ey|xyPy|xy|

x(LawofIteratedExpectations,Eg(y)h(x)|yg(y)Eh(x)|Eg(y)h(x)Eg(y)Eh(x)|

這是因?yàn)镋g(y)h(x)EEgy)h(x)|yEgy)Eh(x)|Eaxby|zaEx|zbEy|或者更為一般的情形是：設(shè)a1x,a2x, ,aGx和bx為x的標(biāo)量函數(shù)y1, ,yG為隨量，那么 Eajxyjbx|xajxEyj|xbx 對于任何二元變量的分布Covx,yCovx,Ey|xExEy|xfxxdxxE(u|x)0Cov(x,u)0ui的條件均值為零，和弱外生假定（隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相 Vary|xEyEy|x2|xEy2|xEy| 它的簡化公式是：Vary|xEy2|xEy|x2（1）Varaxybx|xax2Vary|xkkYi12X2i

其中Y為被解釋變量，X2 Xk，為k-1個(gè)解釋變量，u為隨機(jī)擾動(dòng)項(xiàng)或隨機(jī)差項(xiàng)。1,2, K則是k個(gè)待估計(jì)的參數(shù)。上式可寫為矩陣形式Y(jié)X

Y2, XXk1XXk2,u2, u12Yn XXkn n u kE(u|X) （ui的條件均值為零Var(u|X2I（u同方差，無自相關(guān)，或稱球形擾動(dòng)iEXu)0（解釋變量非隨機(jī)，或若隨機(jī)也與u不相關(guān)，亦稱為外生性RankXX) （滿秩性條件，解釋變量無共線性，這里kn N(0,2I

（擾動(dòng)項(xiàng)的分布

通過普通最小二乘估計(jì)法（OLS，得出未知參數(shù)的估計(jì)量?。 一、最小二乘估計(jì)法（OLS）最小二乘法的基本原理是，尋求使殘差（擾動(dòng)項(xiàng)的估計(jì)）平方和ee小的?，即于

要X'X滿秩。但在滿足相應(yīng)古典假定下，OLS是的最佳線性無偏估計(jì)（BLUE。并且可以證明

N(,2XX)1)n此外，隨機(jī)擾動(dòng)項(xiàng)的方差也可基?而估計(jì)出來，即?2n

是2（UMVUE重合。此外可以證明上述的OLS估計(jì)?和2是完備的充分統(tǒng)計(jì)量二、極大似然估計(jì)法（ML）OLS就估計(jì)而言，不需要 N(0,2I)（只是在有關(guān)檢驗(yàn)時(shí)，才由此引 N(,2XX)1uY可考慮對不同的x極大似然估計(jì)就是要尋找使這種可能性或似然達(dá)到最大的未知參數(shù)。就線性回歸模型（2.1）及五條古典假定，我們有Y L(X,Y;,)(22

2

(YX)(YX

lnL

InLnln2nln2(YX)(YX 1(2XY2XX)lnL

1(YX)(YX)024?

1(YX

)(YX

可以看出

OLS?相同。?

估計(jì)均勻分布U(0,)中的時(shí) 果以均方誤差做標(biāo)準(zhǔn)，n1 一致優(yōu)于 (n

(n，相比之下性回歸模型的參數(shù)估計(jì)時(shí)，OLS較ML更為優(yōu)越常用，但對于非線性模型有時(shí)ML比OLS有用。，三、帶約束條件的最小二乘估計(jì)（拉格朗日估計(jì)（2.1H

H是mk矩陣（mk，rank(H)m。是k112, k現(xiàn)在的問題是，尋求滿足（2.6）式又使(YX?)(YX??H。為此，構(gòu)造拉格朗日函數(shù)（是m1的向量

于

2XY2XX

H HLH

H H由（8）

（2.10）式的?是OLSH，并結(jié)合（2.9）0H

H2[H(XX)1H]1HH代入（2.10）HH

?H也是帶約束的極大似然估計(jì)量（證明從略。四、廣義最小二乘估計(jì)（12（即utut1tEuu'

1 其中 時(shí)u存在異方差 w wn

n2 111n2n1時(shí) 11

t非奇異矩陣P，使得 P1(P)1在模型YX 兩邊同時(shí)左乘P1，P1YP1X令P1YY*P1XX*P1uu*Y*X*

即u*已無異方差和自相關(guān)那么，對（2.13）OLS?(X*X*)1X*Y*(X(P1)P1X)1X(P1)P1Y(X1X)1X

的廣義最小二乘估計(jì)量GLS(E?,Var?2X1X)1的估計(jì)量。GLSAitken定理，當(dāng)I2、WLS當(dāng)已知時(shí)，比如異方差時(shí)，各個(gè)

i

已知，此時(shí)，矩陣 P w

111 ，P11 2 w

w1nwn 1 1Y*P1Y ，X*P1X ，u*P1unn nn w w n n n1

n2已知，此時(shí)

12 1 11000010000100 P1 1 那么（2.13）112Y

12X 1Y*P1YY2Y1

，X*P1X

X2X1 Y X n1 n1差分法也是GLSGLS是一個(gè)普遍適用的方法。3、未知時(shí)的當(dāng)然，上述情形只是已知的情況。而在現(xiàn)實(shí)應(yīng)用時(shí)，往往是未知的。于是我們一個(gè)問題——如何確定？回答當(dāng)然是對中的未知量進(jìn)行估（比Wi我們先一下GLS與最大似然估計(jì)的關(guān)系（可對照OLS與ML的關(guān)系）一般來說，當(dāng)uN(0,2或YNX,2YInLnIn21In21(YX)(2)1(YX 或者考慮到PPP1YY*P1XX*，又有（經(jīng)過適當(dāng)?shù)倪\(yùn)算lnLnln2nln2ln|P|1(Y*X*)(Y*X* 最大化上式，對0，可得到的極大似然估計(jì)量（GLS。對或P0，可得到中未知量（）差存在時(shí)。為此，我們介紹另法——可行廣義最小二乘法FGLS4、可行廣義最小二乘法i（i）i

01Zi1p

i01Zi1ppi

01Zi1

（或

01Zi1 )pppi的X或X（比如Z=X,Z=X2ZXX等等 1及最終的GLS結(jié)果。FGLS的步驟如下：（1）Y對常數(shù)項(xiàng)和X1,X2 ,XK回歸，求得的OLS估計(jì)值 1（3i）e2對常數(shù)項(xiàng)及Z ,Z回歸，求得的估計(jì)值。這是針對上述 ZX（i） i方式并不能保證所有的?2都為正，如果其中出現(xiàn)了0或負(fù)數(shù)，那么我們就只i使用原來的e2代替?2了 （ii ,ZP回歸求得的ii

e為負(fù)，那么權(quán)數(shù)為 ei（iii ,Z回歸求出的 很有的地方以上便是可行廣義最小二乘法的一般步驟。由此得到的S（大樣本場合估計(jì)更有效。GMM的一般理論和方法作一簡要介紹。設(shè)是k1的未知參數(shù)向量。m(z,

1的向量函數(shù)

k)E[m(z,)]0對于樣本容量ng(1n

m(zi,如果k（稱為恰好識別g(0，我們可得矩估計(jì)量（MM）

minJ()ng()Wg(可得到廣義矩估計(jì)量GMMargmin1m(z,)]W1m(z, W為矩陣GMMn(GMM)N(0,VV其中

E[m(z,)]，E[m(z,)m(z,而且，若取W1，GMM具有最小方差V'1)1GMMV

V?。進(jìn)而得到參數(shù)j的1

nyizi

E(xii)

km(zixiixiyiziYZ 其中Z'z

)，X

的第iz，X的第ixxn。 xn。下g(1m(z1X1X'(YZi。in ii那么若取W1（此時(shí)的E[m(z)m(z)E(xx2ii數(shù)GMM?argminJ()argminng()1g((X1X)1X1X n()

其中E[m(z)m(z)E(xx2)E[m(zE(xz)1Xii i 而具體運(yùn)用時(shí)(ZX1XZ)1ZX1XY，這里的是未知的一致估計(jì)量?；蛘呖刹捎脙刹紾MM估計(jì)方法得到有效估計(jì)量。即，先取矩陣W=單I，或者對于線性模型YXuWXX)1GMM（或。然后再 矩陣W()1[1m(z,)m(z,)']1,可以證明 是1的一致估計(jì)量。于argming()'()1g(GMMGMME[m(z,0H0E[m(zi,0，尤其是對于2統(tǒng)計(jì)量

k

2

k)J2

H0，即矩條件之一。有關(guān)GMM的具體內(nèi)容可參見相應(yīng)文獻(xiàn)。下面?zhèn)鹘y(tǒng)的單一方程的估計(jì)方法總結(jié)如下估方

法GLS(廣義最小二乘廣義差分(存在自相關(guān)且可估計(jì)量 第三節(jié)線性回歸模型的檢驗(yàn)方法及拓（1）（2）而犯這兩類錯(cuò)誤的概率（分別記為和）是一種此消彼長的情況，于是如何控F(x,是未知參數(shù)?？傮w真實(shí)分布完全由未知參數(shù)的取值所決定。對提出某種假設(shè)H0:0(H1:0或>0,0等n00

0

XW），

XW）F(x,時(shí)，事件{XW}0

X0時(shí)，1是犯第二類錯(cuò)誤的概率。max(),s.t.(), 0,x(x)0,x它是域W的示性函數(shù)，僅取0、1兩個(gè)值。反之如果一個(gè)函數(shù)中(

或1，則W{x|(x)1}可作為一個(gè)域。也就是說，W和之間建立了一種對立關(guān)系，給出一個(gè)（我們稱為檢驗(yàn)函數(shù)。那么，對于檢驗(yàn)法的勢函數(shù)為()E(X)(x)dF(x,max(), 我們稱滿足上式的檢驗(yàn)法為最優(yōu)勢檢驗(yàn)(MPT)（如果是對于復(fù)雜原假設(shè)和備擇假設(shè)，則稱為一致最優(yōu)勢檢驗(yàn)（UMPT奈曼—基本引理給出于

是MPT[定理 設(shè) ,Xn是來自總體分布密度為p(x,)的樣本，為未知參數(shù)，對H0:0H1:1(MPTK0，使得(

是顯著性水平為的最優(yōu)E(X)0(x)1,當(dāng)p(x,1)Kp(x,00,當(dāng)p(x,1)Kp(x,0這就是著名的奈曼 基本引理，需 的是，上述定理中的檢驗(yàn)函( (x)

p(x,1p(x,0稱為似然比統(tǒng)計(jì)量。如果x)較大，意味著p(x,1)較大，所以在H0為真時(shí)觀測到樣本點(diǎn)x的可能性比H1為真時(shí)觀察到樣本點(diǎn)x的可能性小，因而應(yīng)原假H0；反之，如果xH0。此外，利用x，上述定理中的(

0,(x)(x)0,(x)是似然比檢驗(yàn)法。而大量的文獻(xiàn)都已證明了傳統(tǒng)假設(shè)檢驗(yàn)中的Zt2檢驗(yàn)F檢驗(yàn)都是最優(yōu)勢檢驗(yàn)kXk多元回歸模型Y12kXk

u（1）（2）（3） 10、H0X 20、H

。i0是某一具體值。例如i表示價(jià)格彈性，我們也許希它是-1 30、H1 40H或 50H

k0Y 60H0。這里的含義是把向量分為兩個(gè)子向量，分別含有k1和k2H0II0XII（ kkR

（注意：這里，r1）的q1（i）R 0),r0.(q（ii）R 0),ri0.(q（iii）R(0,1,1, 0),r1.(q（iv）R(0,0,1, 0),r0.(qRR

Ik1),r0.(qkIk2,r0.(qk2H0:Rr為了檢驗(yàn)這個(gè)假設(shè)，應(yīng)先估計(jì)出?，計(jì)R?r，若其值較“?。ń咏?則不應(yīng)否定原假設(shè)；而如果其值較大，那么應(yīng)對H0提出懷疑。為此我們先R?的分布。對于OLS的?，我們知道 N(,2(XX)1)。E(R?)Var(R?)E[R(?)(?)R]RVar?R2R(XX)1所以， N(R,2R(XX)1H0Rr0 N(0,2R(XX)122

2(nk因此，由上述兩式，得到在H0下的檢驗(yàn)統(tǒng)計(jì)量(R?r(R?r)[R(XX)1R]1(R?r)ee(nk F(q,n

（ee(nk?2F

H0 10H ii?2F

22

Var

t ii

t(nkt 20H i it(nki同時(shí)也可以計(jì)算，比如i的95%置信區(qū)間，而不用檢驗(yàn)關(guān)于i的具體假設(shè)，這置信區(qū)間是? 0 30H R???RXX)1R

2c （注：(XX)1(c)， ,0)。那

[R(XX)1

?

(c222c23c33

[Var22Cov(2,3)

[Var(2t(nk)t(nk) Var(? 或者，也可以計(jì)算的95%置信區(qū)間(?Var(? 0 40H或 類似30，可推得此時(shí)的檢驗(yàn)統(tǒng)計(jì)量t(nk)t(nk) k 50Hk 此時(shí)R Ik1)，r=0，q=k-1，那F?x' k1ESSk

ee(nk RSSn ,?)，x'x為X'X去掉了第一行第一列的矩陣。這就是我們熟kF 60H 這里對應(yīng)于I。把X分塊為X

，可以證明（過程略 II

此

F(k,nk

ee(nk

是Y對所有X回歸的RSS上面第60情況出現(xiàn)的統(tǒng)計(jì)量就是這里所說的另一種形式。顯然50是60的特殊情況，而事實(shí)上我們還將看到其它的情況也可歸于60。另外，這里還有一個(gè)即類似于第30種情況的檢驗(yàn)與上一章所講的帶約束的最小二乘估計(jì)的關(guān)系50還是60H0中的約束條件實(shí)際上是估計(jì)方程施加的。即50 X2,XK2,,k為零；在60X（kk個(gè)。而50、60兩種情 差平方和RSS是ee，有約束模型的殘差平方和RSS記為e*e*，因此對某些iXi加入模型后，殘差平方和RSS具體到第3

y1x12x2對其施加約束121，代入回歸方程y1x111)x2或yx21(x1x2由變量yx2對(x1x2的回歸便可得到1RSS就是有約束的RSS，即e*e**R*rRSS達(dá)到最小的?*LYX*)(YX*(R*r（過程略

其中?是無約束的OLS估計(jì)量，而受約束回歸的殘差 eY

這與（2.16）式中除qH0R?ree(nk)F(q,n

k 這也恰好說明前面所述的6種檢驗(yàn)的情形都可以用上述方式進(jìn)行即擬合一個(gè)受約束的回歸，用受約束模型的殘差平方和與無約束模型的殘差平方和之差的線性假設(shè)情形都是60的特例，或者（2.20）式的F統(tǒng)計(jì)量是普遍適應(yīng)于一般(RSSRRSSU(RSSRRSSU)RSSU(nkF(q,nRSSRRSSUq四、似然比檢驗(yàn)（LR（2.4）?

1(YX

)(YX

e -ne

eeHoRr0Rr0和2L(,2L(,2，太小我們則應(yīng)該原假設(shè)似然比檢驗(yàn)的建立就是要使得當(dāng)k時(shí)P(0kH0（為顯著性水平域k可以轉(zhuǎn)化為含有我們熟知的t統(tǒng)計(jì)量或F統(tǒng)計(jì)量的形式。不過，普遍適用的是大，

2

具體地，如果LR很大，則應(yīng)原假設(shè)，或者說似然比檢驗(yàn)的域LR

(q)，其中

(q為卡方分布的1L(,2)lnL(Rr（式中的是q1lnL就是無約束的對數(shù)似然函數(shù)**相同。與前面一樣，此時(shí)的殘差為YXYX?e，而2 n似然估計(jì)為2 ，因此（類似于（2.21）式nL(,2常數(shù)

LRn(lne'eln

*LR統(tǒng)計(jì)需要擬合無約束模型和有約束模型。而事實(shí)上，前面（2.20）2.1]：某動(dòng)態(tài)消費(fèi)模型，檢驗(yàn)010。（LnCt=0.3181+0.8756LnIt+0.6466LnCt-1-0.6078LnIt-1+0.0218LnPt- (- R2=0.9989,RSS=0.0015,DW=1.95,LnL=105.87,n=LRLnItLnIt-1的系數(shù)010LnCt=0.1932+0.9600LnCt-1-0.0168LnPt- (-R2=0.9935,RSS=0.0088,DW=2.27,LnL=79.47,n=于 因?yàn)長R=52.82)=5.99，所以，約束條件0=1=0被。LnItLnIt-1Eviews在非約束模型（U）的輸出結(jié)果窗口中點(diǎn)擊View，選CoefficientTests,五、沃爾德檢驗(yàn)（Wald2OLS估計(jì)量?服從正態(tài)分布推（2.15Ho:R2

n這里qR中約束條件個(gè)數(shù)，用2的一致估計(jì)量?2n

代替式中的2a22n(e'e2W *

LR檢驗(yàn)的情況一樣，W呈大樣本卡方分布。如果W上側(cè)分位數(shù)2， 原假設(shè)。而前面的（2.20）式也可歸為Wald檢驗(yàn)類而WaldH0c( （是未知參數(shù)22WaldEviewsc(2)+c(3)=1，Lnyt=-8.4+0.67Lnxt2+1.18 R2=0.89,F=48.45,檢驗(yàn)2/30.5在模型估計(jì)的輸出結(jié)果窗口中點(diǎn)擊View，選CoefficientTests,Wald-CoefficientTests；在約束框輸入c(2)/c(3)=0.5，即得如下結(jié)果六、拉格朗日乘數(shù)檢驗(yàn)（LMo漸近服從均值為I1(HRr0下，R?rN(0RI1()RI1(2XX)1。從而得出Wald統(tǒng)計(jì)量的o一般地，如果?是的極大似然估計(jì)量，由其大樣本性或漸近性知， ln

lnL

2lnL

)(

I )

即上述WaldI1(2XX)1S(lnL為lnL在?的得分S(?0的得分S()在約束條件有效的情況下，應(yīng)接近于0?？梢宰C明，得分向量S()的均值為零，方差－協(xié)方差矩陣為信息矩陣I(，于是S()I1()S(服從分布2，所H0:0下，有LMS()I1()S()a2

lnL

1X 的估計(jì)量）

S() ln

uu

YX

2e'en代替上式的u2Rr*1Xe*S() * ne'X(X'X)1X'ee'LM=e'*

LM檢驗(yàn)可分兩步完成。第一步，計(jì)算受約束的估計(jì)量殘差向量e，第二步，讓eXR2 恩格爾(Engle198222

當(dāng)nR22(卡方分布的上側(cè)分位數(shù))時(shí)，則原假設(shè)LM第一步就是對簡單模型(變量較少)回歸，得到殘差e*。如果“真實(shí)”模型變量很R2RrnR22)，則說明新增變量對e 或者說對參數(shù)的約束(比如某些0)R2nR22 Lnyt=-8.4+0.67Lnxt2+1.18 R2=0.89,F=48.45,LMLnxt3的系數(shù)，30OLS法估計(jì)受約束模型，得到殘差序列etLnyt=2.16+1.24Lnxt2+ R2=0.96,F=把etLMLMet=+1Lnxt2+2Lnxt3+vtOL