多元線性回來與最小二乘估計

1.假定條件、最小二乘估計量和高斯一馬爾可夫定理

多元線性問來模型：

>7=Bo+BIHI+BBS+...+Bhix〃-i+〃,（1.1）

其中M是被說明變量（因變量），期是說明變量（自變量），均是隨機(jī)誤差項，m，i=（）,1,…,

k-\是回來參數(shù)（通常未知）。

對經(jīng)濟(jì)問題的實際意義：乃與句存在線件關(guān)系，為人j=0,1,...,；-1,是），，的重要

說明變量。如代表眾多影響力變更的微小因素。使X的變更偏離了E（M=多元線性回

來與最小二乘估計

1.假定條件、最小二乘估計量和高斯一馬爾可夫定理

多元線性回來模型：

yt=Po+3ix/i+P2X/2+...+8上1為卜1+出(M)

其中，是被說明變量（因變量），切是說明變量（自變量），也是隨機(jī)誤差項，/=0,1,

k-1是回來參數(shù)（通常未知）。

對經(jīng)濟(jì)問題的實際意義：y與叼存在線性關(guān)系，即力/=0,1,…，八1,是M的重要說明

變量。出代表眾多影響M變更的微小因素。使M的變更偏離了E（川=Bo+Bix,i+B洶2+…+

Bk-\xtk.x確定的k維空間平面。

當(dāng)給定一個樣本（M，即1,即2,…，Xrjt.1）,t=1,2,…，7時，上述模型表示為

yi=0o+3i^n+3jxi2+...+Bk可★/+經(jīng)濟(jì)意義:M?是M的重要說明變量。

3^2=3o+131X21+P2X22+…+Bh1X2hl+"2,代數(shù)意義：州與切存在線性關(guān)系,

......幾何意義：表示一個多維平面。

yr=M+B+BKT2+...+Pk-IXTA-I+UT,(1.2)

止匕時yt與x”已如，B/與未知。

(13)

y=xB+“，(1.4)

為保證得到最優(yōu)估計量，回來模型（1.4）應(yīng)滿意如下假定條件。

假定⑴隨機(jī)誤差項場是非自相關(guān)的，每一誤差項都滿意均值為零，方差戲相同且

為有限值，即

〃o

?

圾?

S4-工O.

>—?_

E(?)=0=Var(w)=E(Mw')=o2/=o-■

O/=.

假定⑵說明變量與誤差項相互獨立，即

E(Xu)=0.

假定⑶說明變量之間線性無關(guān)。

rk(X'X)=rk(X)=k.

其中rk(.)表示矩陣的秩。

假定⑷說明變量是非隨機(jī)的，且當(dāng)7-8時

T]X'X-Q.

其中。是一個有限值的非退化矩陣。

最小二乘(OLS)法的原理是求殘差(誤差項的估計值)平方和最小.代數(shù)卜是求極值

問題。

minS=(Y-Xfiy(Y-Xfl)=Y'Y-fl,X,Y-YXfl+p'X'Xp

=Y'Y-2P'X'Y+8'X'XB'(1.5)

因為是一個標(biāo)量，所以有=P'X'Y.(1.51的一階條件為：

畛=-2XY+2X%6=0(1.6)

化簡得

X'Y=X'Xp

因為(X'X)是一個非退化矩陣(見假定(3)),所以有

fi=(X'XylXY(1.7)

因為(1.5)的二階條件

L.=2X'X>0(1.8)

b

得到滿意,所以(1.7)是(1.5)的解。

因為X的元素是非隨機(jī)的，(x，x)?，是一個常數(shù)矩陣，則e是y的線性組合，為線性

估計量。

求出6,估計的回來模型寫為

Y=Xfi+u(1.9)

其中￡=(瓦A...北一)'是B的估計值列向量，6=(y-xf)稱為殘差列向量。因為

it=Y-xfi=y-x(X'xy]xY=[I-X(X'xy]x']Y(I.IO)

所以小也是y的線性組合，》的期望和方差是

E(6)=E[(X'XfX'Y]=E[(X'X)AX\XB+u)]

=B+(XB(l.H)

Var(1)=E[(/-6)(/-B)口=E[(X'X)"X'〃■X(X'X)」]

=E[(X,XyxX'a2IX(X'X]A]=o2(X'X)-'.(1.12)

高斯一馬爾可夫定理：若前述假定條件成立，OLS估計量是最佳線性無偏估計量，分具

有無偏性。液具有最小方差特性。液具有一樣性，漸近無偏性和漸近有效性。

2.殘差的方差

52=u'u/(T-k)(1.13)

N是〉的無偏估計量，E(S2)=/。6的估計的方差協(xié)方差矩陣是

0

1

Var(^)=?(X'Xy(1.14)

3.多重確定系數(shù)(多重可決系數(shù))

Y=Xfi+u=Y+u(1.15)

總平方和

SST=a刃”丁-療，(1.16)

其中5是M的樣本平均數(shù)，定義為》=(a:YJ/T0回來平方和為

4—/

TL，2

SSR=al=/(yt-y)=y,y-Ty(1.17)

其中y的定義同上。殘差平方和為

SSE=自產(chǎn)=aI*'=GF(1.18)

則有如下關(guān)系存在，

SST=SSR+SSE(1.19)

,SSRyy-Ty2

R2_____二_______)(1.20)

SSTY^-Ty2

明顯有0<R2<kR2』,擬合優(yōu)度越好。

4.調(diào)整的多重確定系數(shù)

當(dāng)說明變量的個數(shù)增加時，通常R?不下降，而是上升。為調(diào)整因自由度減小帶來的損

失，又定義調(diào)整的多重確定系數(shù)Q如下：

SSE/T-k,J-I“SST-SSR.T-//r

R2=i.-S-S--T-/-(：-T-----1)-=1-[(-T-----k-X，-----S-S--T-----；=1--T-----k-(，1-R-7(1.21)

5.OLS估計量的分布

若〃~N(0,。2/),則每個處都聽從正態(tài)分布。于是有

y~N(XB,02!)(1.22)

因6也是〃的線性組合(見公式1.7),依據(jù)(1.11)和(1.12)有

6~N(B,。2(X'X)-1)(1.23)

6.方差分析與〃檢驗

與SST相對應(yīng)，自由度T-\也被分解為兩部分,

(T-l)=(4?1)+(八攵)(1.24)

OODSSE

回來均方定義為MS/?：=二■，誤差均方定義為MSE=

k-1T-k

表1.1方差分析表

方差來源平方和自由度均方

回來hlMSR=SSR/(k-\)

SSR=YY-Ty2

誤差SSE=uiiT-kMSE=SSEf(T-k)

總和SST=Y'Y-Ty2T-l

Ho：B1=82=…=()：Hi：不全為零

MSR_SSR/(k-1)

(1.25)

MSE~SSE/(T-k)~3'攻

設(shè)檢驗水平為a,則檢驗規(guī)則是，若F<Fa(k-\,T-k)f接受Ho；若F>Fa(k-u-k),拒絕Ho?

尸檢驗示意圖/檢驗示意圖

7./檢驗

Ho：%=0,(/=1,2,…，hl),Hi：分工0

A

t=%I產(chǎn)S/\/s"x，x尸"AT-A)

s傳“

(1.26)

判別規(guī)則：若I//a(T-k)接受Ho；若I/I>T-k)拒絕H0。

8.再的置信區(qū)間

(1)全部力的聯(lián)合置信區(qū)間接受

尸=，(B-6)'(X'X)(B-6)/S2~Fs-k)(1.27)

k

(B-6)'(X%)(B")</4凡gTM它是一個A維橢球。(1.28)

(2)單個3的置信區(qū)間

Bi=Pi-yjvj+jStar2.{T-k).(1.29)

9.預(yù)料

(1)點預(yù)料

c=(Ixr+11AT+l2...XT+jhl)(1.30)

則T+1期被說明變量"X的點預(yù)料式是，

§T+\=CB=BQ+3I-VT4.Ii+…+/A.lXT*|jfc.1(1.31)

(2)E(.vr+i)的置信區(qū)間預(yù)料

首先求點預(yù)料式Cp的抽樣分布

E(yi)=E(C/)

r+(132)

Var(>'T+l)=Var(C/?)=E\(CR-C0)(C8-C。)'、

=E[C(6-￡)[C(//)]']=CE[(6/)(~/)']C'

=CVar(6)C'=C『(X'X尸C，=o2C(X'K)/。'，(1.33)

因為力聽從多元正態(tài)分布，所以c￡也是一個多元正態(tài)分布變量，即

!

_vr+1=cB~N(C尸.(TC(X'X)-0(1.34)

構(gòu)成/分布統(tǒng)計量如下

,=b+廠E%/=Cb-Cb

(T-k)

S《C(X”)」CS《C(X，X『C

(1.35)

置信區(qū)間cp±tai2^r-k)sJc(rx『c(1.36)

(3)單個"+1的置信區(qū)間預(yù)料

H+1值與點預(yù)料值％+/有以下關(guān)系

yr+1=%+/+〃7+1(1.37)

其中〃7■“是隨機(jī)誤差項。因為

E(yr+i)=E(%+]+ig)=CP(1.38)

22

Var()Y+I)=Var(y7+;)+Var(Wr+l)=aC(X'X)'C'+。

=o2(C(X,XyiC,+1)(139)

因為力聽從多元正態(tài)分布，所以yr+i也是一個多元正態(tài)分布變量，即

"+i~N(CB,02c(X'X)/C'+1)

與上相仿，單個.vr+i的置信區(qū)間是

，l

Cp+tal'2（T-k）^C（XX）-C+l(1.40)

計算舉例：（見《計量經(jīng)濟(jì)分析》第19-27頁，熟識矩陣運算）

10.預(yù)料的評價指標(biāo)

留意，以下6個公式中的日表示的是預(yù)料誤差，不是殘差。可以在樣本內(nèi)、外預(yù)料。

(1)預(yù)料誤差。預(yù)料誤差定義為

6二%-3%t=T+\,7+2,...

⑵相對誤差PE(PercentageError)。

PE=匕-丫二t=T+\,T+2,...

yt

(3)誤差均方根nnserror(RootMeanSquaredError)

rmserrors，卷(yt-yt)~

'I't=i

(4)確定誤差平均MAE(MeanAbsoluteError)

]T

-a\yt-y\

1

(5)相對誤差確定值平均M4PE(MeanAbsolutePercentageError)

以上6個式子中，力表示預(yù)料值，乃表示實際值。刀延〃的取值范圍是［0,1］。明顯在預(yù)

料區(qū)間內(nèi)，當(dāng)月與y完全相等時，Theil=0：當(dāng)預(yù)料結(jié)果最差時，77?〃=1。公式中的累加

范圍是用1至7表示的，當(dāng)然也可以用于樣本外預(yù)料評吩。

11.建模過程中應(yīng)留意的問題

（1）探討經(jīng)濟(jì)變量之間的關(guān)系要剔除物價變動因素。以上圖為例，按當(dāng)年價格計算，我

國1992年的GDP是1980年的5.9倍，而按固定價格計算，我國1992年的GDP是19B0年

的2.8倍。另外從圖中還可看出，1980-1992期間按名義價格計算的GDP曲線始終是上升的,

而按不變價格（1980年價格）計算的GDP曲線在1989年出現(xiàn)一次下降?？梢娞接懡?jīng)濟(jì)變

量應(yīng)當(dāng)剔除物價變動因素3

（2）依照經(jīng)濟(jì)理論以及對詳細(xì)經(jīng)濟(jì)問題的深化分析初步確定說明變量。

例：我國糧食產(chǎn)量二/（耕地面積、農(nóng)機(jī)總動力、施用化肥量、農(nóng)業(yè)人口等）。但依據(jù)

我國目前狀況，“耕地面積”不是“糧食產(chǎn)量”的重要說明變量。糧食產(chǎn)量的提高主要來自

科技含量的提高。

例：關(guān)于某市的食用油消費量，文革前常駐人口確足是重要說明變顯?，F(xiàn)在則不同，消

費水平是重要說明變量，因為食用油供應(yīng)方式已變更。

（3）當(dāng)引用現(xiàn)成數(shù)據(jù)時，要留意數(shù)據(jù)的定義是否與所選定的變量定義相符。

例：“農(nóng)業(yè)人口”要區(qū)分是“從事農(nóng)業(yè)勞動的人口”還是相對于城市人口的“農(nóng)業(yè)人口二

例：2002年起我國將執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、副、漁服務(wù)業(yè)從

原第三產(chǎn)業(yè)劃歸第一產(chǎn)業(yè)。

（4）通過散點圖，相關(guān)系數(shù)，確定說明變量與被說明變量的詳細(xì)函數(shù)關(guān)系。（線性、非

線性、無關(guān)系）

（5）謹(jǐn)慎對待異樣值。不能把建立模型簡怙化為一個純數(shù)學(xué)過程，目的是找尋經(jīng)濟(jì)規(guī)律。

年INV（投資）IMPORT（進(jìn)口）

19912.56200023.47000

19922.42970032.29000

19936.71240063.99000

199415.3760078.75000

199521.31000149.1300

199627.37000113.8100

199741.71000106.1500

199839.78000112.2000

（6）過原點回來模型與非過原點回來模型相比有如下不同點。以?元線性過原點模型,

>,/=3!X；+W,,為例，①2團(tuán)=0不確定成立。緣由是正規(guī)方程只有一個（不是兩個），

--------------=2E(yt-P\Xt)(-3)=0,

也

即工"即=0,而沒有不樂=0。所以殘差和等于零不確定成立。②可決系數(shù)R2有時會得

負(fù)值！緣由是有時會有SSE>SST。為維持SSE+SSR=SST,迫使SSR<0。

(7)變更變量的測量單位可能會引起回來系數(shù)值的變更，但不會影響，值。即不會影響統(tǒng)

計檢驗結(jié)果。

(8)向來模型給出估計結(jié)果后，首先應(yīng)進(jìn)行尸檢驗。尸檢驗是對模型整體回來顯著性的

檢驗。(檢驗一次，Ho：P1=152=...=3*-i=0;Hi：BJ不全為零。)若尸檢驗結(jié)果能拒絕

原假設(shè)，應(yīng)進(jìn)一步作/檢驗(檢驗〃次，Ho：8尸0,。=1,2,…，hl),H,：>wD)。/

檢驗是對單個說明變量的回來顯著性的檢驗。若回來系數(shù)估計值未通過，檢驗，則相應(yīng)說明

變量應(yīng)從模型中剔除。剔除該說明變量后應(yīng)重新回來。按經(jīng)濟(jì)理論選擇的變量剔出時要:慎重:。

(9)在作尸與,檢驗時，不要把自由度和檢驗水平用錯(正確查臨界值表)?；貋硐禂?shù)

的t檢驗是雙端檢驗，但!檢驗表的定義有P(|r|>ia)=a,P(t<ta)=a

(10)對于多元回來模型，當(dāng)說明變量的量綱不相同時，不能在估計的回來系數(shù)之間比

較大小。若要在多元【可來模型中比較說明變量的相對重要性，應(yīng)當(dāng)對1口I來系數(shù)作如下變換

(1.41)

其中$(無)和s()“)分別表示即和y的樣本標(biāo)準(zhǔn)差。4*可用來干脆比較大小。

以二元模型為例，標(biāo)準(zhǔn)化的回來模型表示如下(標(biāo)準(zhǔn)化后不存在截距項),

y,-y八x,,-x,八

1^-4=01*—―，+62*十x”一-x.?...+%*

s(yt)s(xjs(xt2)

兩側(cè)同乘$。力，得

G，L》)=B1*1(如■虧)+B2*S?'1(X〃■工2)+…+〃產(chǎn)$?！?/p>

5(之|)$(巧2)

所以有

p.*2i2il=p,即B*=i=1,2,…h(huán)l

s(勺)s(y1)

既是(1.41)式。

(11)利用回來模型預(yù)料時，說明變量的值最好不要離開樣本范圍太遠(yuǎn)。緣由是①依據(jù)

預(yù)料公式離樣本平均值越遠(yuǎn)，預(yù)料誤差越大；②有時，樣本以外變量的關(guān)系不清晰。當(dāng)樣本

外變量的關(guān)系與樣本內(nèi)變量的關(guān)系完全不同時，在樣本外預(yù)料就會發(fā)生錯誤。圖3.10給出

青銅硬度與錫含量的關(guān)系曲線。若以錫含量為0-16%為樣本，求得的關(guān)系近似是線性的。當(dāng)

把預(yù)料點選在錫含量為16%之外時，明顯這種預(yù)料會發(fā)生嚴(yán)峻錯誤。因為錫含最超過16%

之后，青銅的硬度急劇下降，不再遵從錫含量為0-16%時的關(guān)系。

圖3.9v的區(qū)間預(yù)料的變更圖3.10青銅硬度與錫含量的關(guān)系

(12)回來模型的估計結(jié)果應(yīng)與經(jīng)濟(jì)理論或常識相?樣。如邊際消費傾向估計結(jié)果為1.5,

則模型很難被接受。

(13)殘差項應(yīng)非自相關(guān)(用DW檢驗，亦可推斷虛假回來)。否則說明①仍有重要說明

變量被遺漏在模型之外。②選用的模型形式不妥。

(14)通過對變量取對數(shù)消退異方差。

(15)避開多重共線性。

(16)說明變量應(yīng)具有外生性，與誤差項不相關(guān)。

(17)應(yīng)具有高度概括性。若模型的各種檢驗及預(yù)料實力大致相同，應(yīng)選擇說明變量較

少的一個。

(18)模型的結(jié)構(gòu)稔定性要強(qiáng)，超樣本特性要好。

(19)世界是變更的，應(yīng)當(dāng)隨時間的推移剛好修改模型。

建模案例1：《全國味精需求量的計量經(jīng)濟(jì)模型》

(見《預(yù)料》1987年第2期)

1?依據(jù)經(jīng)濟(jì)理論選提影響味精需求量變更的因素

依據(jù)經(jīng)濟(jì)理論一種商品的需求最主要取決于四個因素，即①商品價格，②代用品價格，

③消費者收入水平，④消費者偏好。模型為：

商品需求量=/(商品價格，代用品價格，收入水平，消費者偏好)

對于特定商品嘗精，當(dāng)建立模型時要對上述四個因素能否作為重要說明變量逐一鑒別。

商品價格：味精是一種生活常用品，當(dāng)時又是一種價格較高的調(diào)味品。初步推斷價格會

對需求量產(chǎn)生影響。所以確定價格作為一個重要說明變量。

代用品價格：味精是?種獨特的調(diào)味品，目前尚沒有替代商品。所以不考慮代用品價格

這一因素。

消費者收入：明顯消費者收入應(yīng)當(dāng)是一個較重要的說明變量。

偏好：由于因偏好不食味精或大最食用味精的情形很少見，所以每人用最只會在小范圍

內(nèi)波動，所以不把偏好作為重要說明變量，而歸并入隨機(jī)誤差項。

分析結(jié)果，針對味精需求量只考慮兩個重要說明變量，商品價格和消費者收入水平。

味精需求量=/（商品價格，收入水平）

2.選擇恰當(dāng)?shù)淖兞浚奂纫紤]代表性，也要考慮可能性）

用銷售量代替需求量5因需求量不易度量，味精是自由銷售商品，不存在囤積現(xiàn)象，所

以銷售量口J較好地代表需求量。味精商品價格即銷售價格。

用人均消費水平代替收入水平。因為①消費水平與味精銷售量關(guān)系更親密。②消費水平

數(shù)據(jù)在統(tǒng)計年鑒上便于查找（收入水平的資料不全）。

味精銷售量二八銷售價格，人均消費水平）

用平均價格作為銷售價格的代表變量。不同地區(qū)和不同品牌的味精價格是不一樣的，應(yīng)

取平均價格（加權(quán)平均最好）。

取不變價格的人均消費水平:消費水平都是用當(dāng)年價格計算的，應(yīng)用物價指數(shù)進(jìn)行修正。

味精銷售量=/（平均銷售價格，不變價格的消費水平）

3.收集樣本數(shù)據(jù)（抽樣調(diào)查,引用數(shù)據(jù)）

從中國統(tǒng)計年鑒和有關(guān)部門收集樣本數(shù)據(jù)（1972-1982,7=ll）o定義銷售量為M（噸），

平均銷售價格為Er（元/公斤），不變價格的消費水平為x2r（元工相關(guān)系數(shù)表如下：

平均銷售價格（幻,）不變價格的消費水平（x2,）

味精銷售量g）-0.36710.9771

注：臨界值n）,o5（9）=0.60o

6000060000

50000-50000-

4000040000

3000030000-

20000-20000-

10000-10000-

11.0

4,確定模型形式并估計參數(shù)

y,=-144680.9+6313.4x1；+690.4x2,(1)

(-3.92)(2.17)(15.32)R1=0.97,DW=1.8,Zo.os(8)=2.3

回來系數(shù)6313.4無顯著性Gl與x2,應(yīng)當(dāng)是負(fù)相關(guān)，回來系數(shù)估計值卻為正，可見該估計

值不行信）。剔除不顯著變量xl”再次回來，

y,=-65373.6+642.4x2,(2)

(-10.32)(13.8)R2=0.95,DW=1.5,/o,O5⑼=2.26

問題：A=6313.4,為什么檢驗結(jié)果是伙=0?量綱的變更對回來結(jié)果會造成影響嗎？

建模案例2：《用回來方法估計純耕地面積》

（見《數(shù)理統(tǒng)計與管理》1986年第6期）

目前對土地的調(diào)查大多采納航空攝影，從照片上把各類資源圖斑轉(zhuǎn)繪到1:10000的地形

圖上，然后再從地形圖上測繪圖斑面積。

在處理如何獲得實際耕地面積時，關(guān)鍵技術(shù)難題是如何將耕地圖斑中包含的田展、土坎、

空隙地、寬度小于2米的路、溝、渠等面積從圖斑中分別出來。因為它們在航空圖片上的辨

別率很低，無法干脆勾繪，測算。

設(shè)一個毛耕地圖斑面積用S表示，其中不能耕種的面枳（扣除面積）用/S表示，則扣

除系數(shù)，

yi=AS/S=（扣除面積）/（毛耕地圖斑面積）。

對于每一個圖斑，知道精確的扣除系數(shù).就很簡潔依據(jù)毛耕地圖斑面積S計算出純耕

地面積?，F(xiàn)在用回來分析方法，找尋影響扣除系數(shù)變更的主要因素，從而建立關(guān)于“扣除系

數(shù)”的回來模型。

該論文探討的是湖南地區(qū)的耕地面積調(diào)查。湖南省屬丘陵山區(qū)，地形困難，各種地類犬

牙交織，影響扣除系數(shù)的因素許多。如田及寬度、地塊大小、地塊坡度、空隙地、地貌類型

等。通過實際調(diào)查和分析，初步確定三個主要因素，即

“坡度”、“地塊面積”和“田境寬度”

論文作者在五個縣共調(diào)杳了867個樣本點，其中水田樣本522個，旱田樣本345個。詳

細(xì)做法是首先把867個樣本數(shù)據(jù)按“坡度”分成25個等級，然后再把屬于同一個等級的樣

本數(shù)據(jù)用加權(quán)平均的方法求出另兩個因素的觀測值，“平均地塊面枳”和“平均田填寬度”。

整理樣本數(shù)據(jù)如下：

，（序號）y,?（扣除系數(shù)）X”（坡度）4（平均地塊面積）加（平均田及寬度）

14.235601.93000.6318

24.883811.49180.7312

37.830021.12530.9731

2539.4151241.06004.0721

擬建摸型為，

yi=+X\j+plX2i+&X3i+Ui

利用樣本得估計的回來方程

y,=1.672+1.145x1/+0.608必+2.081處

（7.3）（0.4）（1.85）F=221.62

（F.o5（3.2i）=3.07,Foi（3,2i）=4.87,Z.o5（2i）=2.08.<oi（2i）=2.84）

統(tǒng)計檢驗結(jié)果表明M?，刈為非重要說明變量。剔除之，用V對刈再次回來得，

y,=3.34+1.35xu

實際的驗證結(jié)果表明，用只考慮“地塊坡度”計算出來的扣除系數(shù)估計“純耕地面積”

完全能滿意精度要求，從而為削減野外作業(yè)強(qiáng)度（不必再測量“地塊面積”和“田域?qū)挾取保?

快速完成測算，供應(yīng)了科學(xué)依據(jù)。+四必+儂〃+…+4Ng確定的〃維空間平面。

當(dāng)給定一個樣本(為刈，即2,…，X”/),t=1,2,…，7時，上述模型表示為

-yi=R+0ixii+的ci2+...+人-g&-1+〃1,經(jīng)濟(jì)意義:叼是力的重要說明變量。

yi=優(yōu)+四Ml+A'22+...+"1X2A-I+"2,代數(shù)意義：與即j存在線性關(guān)系。

|.......幾何意義：％表示一個多維平面。

Iyr=+P\xT?+pixT2+...+Pk-\xrk-\+Mr,(1.2)

此時乃與■己知，廳與的未知。

/\T孫…X|j…匹卜［、/、

y1fA]

>'21A-21…x2J…x2IB\“2

=(13)

??????????????????+

kA-i；

k-Vr>xxX；ll

(Txl)JTl…7j…Tk-\(Tx幻(hl)\T)(Txl)

丫二牙/+〃，(1.4)

為保證得到最優(yōu)估計量，回來模型(1.4)應(yīng)滿意如下假定條件。

假定⑴隨機(jī)誤差項“,是非自相關(guān)的，每一誤差項都滿意均值為零，方差/相同且

為有限值，即

3(1。0、

E(〃)=0=：LVar(w)=E(w?')=<J2I=/°,°

[(JI。。D

假定⑵說明變量與誤差項相互獨立.，即

E(X*1/)=0.

假定⑶說明變量之間線性無關(guān)。

rk(X'X)=rk(X)=k.

其中rk()表示矩陣的秩。

假定⑷說明變量是非隨機(jī)的，且當(dāng)7-8時

T'XX-Q.

其中。是一個有限值的非退化矩陣。

最小二乘(OLS)法的原理是求殘差(誤差項的估計值)平方和最小。代數(shù)上是求極值

問題。

mins=(y_x/)'(y_x/)=y'y-6'x'y-Y'xp+p'x'xp

=Y,Y-2fi'X'Y+p'X'Xp.(1.5)

因為rxb是一個標(biāo)量，所以有rx/=B'XY(1.5I的一階條件為：

—=-2XT+2X'X夕=0(1.6)

化簡得

XY=XxB

因為(X'X)是一個非退化矩陣(見假定⑶)，所以有

B=(X'XVXY(1.7)

因為(1.5)的二階條件

-4X=2X'X>0(1.8)

斗即

得到滿意，所以(1.7)是(1.5)的解°

因為牙的元素是非隨機(jī)的，(牙，*)/*是個常數(shù)矩陣，則/是V的線性組合，為線性

估計量。

求出6,估計的回來模型寫為

Y=Xp+u(1.9)

其中￡=(瓦A...瓦T),是6的估計值列向量，G=(y-x/)稱為殘差列向量。因為

ii=Y-Xfi=Y-X(X'X)AXY=II-X(X'X)-1X'\Y(1.10)

所以o也是丫的線性組合，6的期望和方差是

E(6)=E[(XX'1X'Y]=E[(X'XylX\xp+?)]

二夕+(XX)“HE(〃)="(1.11)

Var(3)=E[(^-p)(p-〃]=E[(X'X尸X'uu'X{X'X)1]

=E[(X,XyxX'a2lX(X'X)-']=a2(X,Xyl.(1.12)

高斯一馬爾可夫定理：若前述假定條件成立，OLS估計量是最佳線性無偏估計量，6具

有無偏性。6具有最小方差特性。6具有一樣性，漸近無偏性和漸近有效性。

2.殘差的方差

52=u'u/(T-k)(1.13)

N是。2的無偏估計量，6的估計的方差協(xié)方差矩陣是

E(52)=O.2O

4(6)=Q(X'X)"(1.14)

3.多重確定系數(shù)(多重可決系數(shù))

y=x/+w=y+u(1.15)

總平方和

SST=TJX-y)2=Y'Y-Ty\(1.16)

其中》是M的樣本平均數(shù)，定義為(2:[乂)/7?；貋砥椒胶蜑?/p>

SSR=一月2=Y'Y-Ty2(1.17)

其中》的定義同上。殘差平方和為

SSE=2匚（--力）2==G'G(1.18)

則有如下關(guān)系存在，

SST=SSR+SSE(1.19)

R2=SSRY'Y-Ty2

(1.20)

"'SST=Y7-ly2

明顯有0?尺2VLR2.I,擬合優(yōu)度越好。

4.調(diào)整的多重確定系數(shù)

當(dāng)說明變量的個數(shù)增加時，通常R?不下降，而是上升。為調(diào)整因自由度減小帶來的損

失，又定義調(diào)整的多重確定系數(shù)后如下：

T2

(1.21)

SST/(T-1)T-kSSTT-k

5.OLS估計量的分布

若〃?N（0,。2/）,則每個出都聽從正態(tài)分布。于是有

Y~N〈XB、o］、（1.22）

因6也是〃的線性組合（見公式1.7）,依據(jù)（1.11）和（1.12）有

B~N（仇W（X、XY'）（1.23）

6.方差分析與尸檢驗

與ssr相對應(yīng)，自由度T-\也被分解為兩部分，

（T1）=伏一1）+（71女）（1.24）

回來均方定義為MSN=—,誤差均方定義為MSE二里

k-1T-k

表1.1方差分析表

方差來源平方和自由度均方

回來A.k-1MSR=SSR/(k-1)

SSR=Y'Y-Ty2

誤差SSE=it'uT-kMSE=SSE/(T-k)

總和SST=Y'Y-Ty27-1

H（）:仇=仇=…=仇八=。；Hi：力不全為零

MSR_SSR/(k-l)?

(1.25)

MSESSE/(T-k)

。

設(shè)檢驗水平為a,則檢驗規(guī)則是，若F<Fa（k-\j-kp接受Ho：若F>Fag.T拒絕H°。

Fa(k-\.T-k)/<4T-k)0/?T-k>

“檢驗示意圖/檢驗示意圖

7.1檢驗

Ho：耳=0,(/=1,2,…，hl),Hi：H±0

t=/河6)川=瓦/J$2(X、)T=?.

tTk}(1.26)

判別規(guī)則：若I/IKta(T-k)接受Ho：若I/I>Za(T-k)拒絕Ho。

8.用的置信區(qū)間

(1)全部力的聯(lián)合置信區(qū)間接受

1A

尸二；(夕-夕)'(X'X)(夕-A)//~Fau(1.27)

k

(66)，(XN)(夕-6)?$2女入伙,號)，它是一個k維橢球。(1.28)

(2)單個月的置信區(qū)間

A=瓦土"j+1Sto12gl.(1.29)

9.預(yù)料

(1)點預(yù)料

C=(1xy+lIAT+l2...XT+1A--I)(1.30)

則T+1期被說明變量"*的點預(yù)料式是，

即+[=C'/=6o+6IX丁+11+…+BA-IXr+|k-\(1.31)

(2)E(K+I)的置信區(qū)間預(yù)料

首先求點預(yù)料式。方的抽樣分布

E(務(wù)+i)=E(C/)=C￡(132)

Var(yr+1)=Var(C/?)=E[(Cfl-C/3)(Cfl-C/3)']

二E[C(6-m[C(64)]']=CE[(6/)(//)"C'

=CVar(/?)C'=Co2(X'X)-,C,=o2C(X,X)-,C\(1.33)

因為力聽從多元正態(tài)分布，所以也是一個多元正態(tài)分布變量，即

即+1=CB?N0(rC(XX)'C

(1.34)

構(gòu)成/分布統(tǒng)計量如下

L_cp-cp

I--I=------1=?t(T-k)(1.35)

s，C(X，X)-'CWc(XX)Tc

置信區(qū)間cp±is(I.T*、sJC(HX『C(1.36)

(3)單個的置信區(qū)間預(yù)料

yr+i值與點預(yù)料值孫川有以下關(guān)系

)'T+\=5'r+i+〃7+i(1.37)

其中〃7+1是隨機(jī)誤差項。因為

E(yy+1)=E(方+]+Wr+I)=Cfi(1.38)

2A2

Var(yr+i)=Var(yr+1)+Var(z/r+i)=aC(X'X)C'+a

=(y2(C(X'Xy}C'+1)(1.39)

因為方聽從多元正態(tài)分布，所以)7+1也是一個多元正態(tài)分布變量，即

yni~N(CR<rC(XrX)*'C'+1)

與上相仿，單個yr+i的置信區(qū)間是

CP±taJ2(T.k)SylC(X'X)-lC'+\(1.40)

計算舉例：(見《計量經(jīng)濟(jì)分析》第19-27頁，熟識矩陣運算)

10.預(yù)料的評價指標(biāo)

留意，以下6個公式中的6表示的是預(yù)料誤差，不是殘差?？梢栽跇颖緝?nèi)、外預(yù)料。

(3)預(yù)料誤差。預(yù)料誤差定義為

et=yt-yt,t=T+\,T+2,...

(4)相對誤差PE(PercentageError)o

PE=>",t=T+\,T+2,...

X

(3)誤差均方根nnserror(RooiMeanSquaredError)

miserror=

(4)確定誤差平均MAE(MeanAbsoluteError)

MAE回

=J11z=1fl

(5)相對誤差確定值平均MAPE(MeanAbsolutePercentageError)

(6)Theil系數(shù)(TheilCoefficent)

;=1,2,T

以上6個式子中，力表示預(yù)料值，州表示實際值。77%〃的取值范圍是［0,1］。明顯在預(yù)

料區(qū)間內(nèi)，當(dāng)月與V完全相等時，Theil=0；當(dāng)預(yù)料結(jié)果最差時，Theil=lo公式中的累加

范圍是用1至7表示的，當(dāng)然也可以用于樣本外預(yù)料評為。

11.建模過程中應(yīng)留意的問題

(1)探討