第三章多元線性回歸模型

基本規(guī)定:

1、理解多元線性回歸模型的定義

2、理解多元線性回歸模型的假定

I掌握參數(shù)估計(jì)的計(jì)算

4、理解參數(shù)記錄性質(zhì)

第一節(jié)多元線性回歸模型及假定

一、多元線性回歸模型

許多經(jīng)濟(jì)現(xiàn)象往往要受多種原因的影響，研究被解釋變量受多種解釋變量的影響，就要運(yùn)用

多元回歸模型。

多元線性回歸模型與一糕性回歸模型基本類似，只不過解釋變量由一種增長到兩個(gè)以上，

被解釋變量y與多種解釋變量％，X?,…,x?之間存在線性關(guān)系。

假定被解釋變量丫與多種解釋變量X|，X2,…,土之間具有線性關(guān)系，是解釋變量的多元線性函

數(shù)，稱為多元線性回歸模型。即

丫=。0+仇X/仇X?+…+0、＜Xk+4

(3-1)

其中y為被解釋變量，“尸"，…,幻為攵個(gè)解釋變量，為六°』，2,…，幻為八1個(gè)府口參數(shù)，

為隨機(jī)誤差項(xiàng)。

被解釋變量y的期望值與解釋變量X-XZJ'XA的線性方程為：

E（y）=4+1x+區(qū)x?+…+^x*

(3-2)

稱為多元總體線性回歸方程，簡稱總體回歸方程。

對于〃組觀測值

匕，X/X2j,…,X/=1,2,…,〃)

,其方程組形式為：

Yi=B\X“+…+。占*+4，(/'=1,2,???,/:)

(3-3)

即

其中

y2

Y-=Ml為被解釋變量的觀測值向量；=

1X”X》…X、

1九X22…X-

1Xi.x2n...xkn]

p.

A

魚〃2

為解釋變量的觀測值矩陣；瓦?詢=為總體回歸縫向量%=[4」為隨機(jī)誤差項(xiàng)向量。

總體回歸方程表達(dá)為:

E(Y)=xp(3-5)

元線性回歸分析同樣，多元線性回歸分析仍是根據(jù)觀測樣本估計(jì)模型中的各個(gè)參數(shù)，對

估計(jì)參數(shù)及回歸方程進(jìn)行記錄檢查，從而運(yùn)用回歸模型進(jìn)行經(jīng)濟(jì)預(yù)測和分析。多元線性回歸模型

包括多種解釋變量，多種解釋變量同步對被解釋變量y發(fā)生作用，若要考察其中一種解釋變量對丫

的影響就必須假設(shè)其他解釋變量保持不變來進(jìn)行分析。因此多元線性回歸模型中的回歸系數(shù)為偏

回歸系數(shù)，即反應(yīng)了當(dāng)模型中的其他變量不變時(shí)，其中一種解釋變量對因變量丫的均值的影響。

由于參數(shù)許凡氏…4都是未知的,可以運(yùn)用樣本觀測值(人心,…,X")對它們進(jìn)行估計(jì)。若

計(jì)算得到的參數(shù)估計(jì)值為氐/為，…,A,用參數(shù)估計(jì)值替代總體回歸函數(shù)的未知參數(shù)

練用血，…,風(fēng)，則得多元線性樣本回歸方程：

X=B°+B\X\，+及x*+…+吃.

G-6)

其中a(/=0,12…，幻為參數(shù)估計(jì)值，￡?=12…為工的樣本回歸值或樣本擬合值、樣本估計(jì)

值。

其矩陣體現(xiàn)形式為:

Y=XP(3-7)

其中廣田」為被解釋變量樣本觀測值向量y的〃x邛介擬合值列向量；X—

1X”x21-X。

iXi?x*2

iXwx2nx.

瓦

A

為解釋變量X的〃x(Z+l)階樣本觀測矩陣；自2)“二［3」為木知參數(shù)向量〃的(八1"1階估計(jì)

值列向量。

樣本回歸方程得到的被解釋變量估計(jì)值Z與實(shí)際觀測值工之間的偏差稱為殘差工

e尸耳-￡=匕-(氐+P\x“++…?+/X對)

(3-8)

二、多元線性回歸模型的假定

與一元線性回歸模型相似，多元線性回歸模型運(yùn)用一股最小二乘法(OLS)對參數(shù)進(jìn)行估計(jì)時(shí),

有如下假定：

假定1零均值假定：卬4)=0，，=1，2，-，〃,即

(3-9)

假定2同方均限定（M的方差為同一常數(shù)）：

Varg=）=/,（，=LN）

假定3無自有關(guān)性：

C”v(M,()=￡：(“/)=0,(i=),i,J=1,2,)

———

'/<

ZAR串】…M4

E(jiH')=E—(4,出,…,〃.)叢氏…

=E*??

:???

L^._

MM…M；_

4〃：)E(〃M)…E(M〃“)

E(〃0)Eg…ED

E(〃”〃2)…E(〃：)

<T；0…0

00…oj

(3-10)

假定4隨機(jī)誤差項(xiàng)"與解釋變量x不有關(guān)(這個(gè)假定自動(dòng)成立)：

COV(X/，M)=0,(/=1,2,…,=1,2,…

假定5隨機(jī)誤差項(xiàng)〃服從均值為零，方差為〃的正態(tài)分布：

4~N(()QI)

假定6解釋變量之間不存在多重共線性：

rank(X)=k+\<n

即各解釋變量的樣本觀測值之間線性無關(guān)，解釋變量的樣本觀測值矩陣X的秩為參數(shù)個(gè)數(shù)

k+1,從而保證參數(shù)%四八…3的估計(jì)值唯一。

第二節(jié)多元線性回歸模型的參數(shù)估計(jì)及記錄性質(zhì)

一、多元線性回歸模型的參數(shù)估計(jì)

(一)回歸參數(shù)的最小二乘估計(jì)

對于具有女個(gè)解釋變量的多元線性回歸模型

匕=4+￡氏+￡/汽+…+(i=l,2,…，n)

設(shè)點(diǎn),屏…戊分別作為參數(shù)許*…，瓦的估計(jì)量，得樣本回歸方程為：

Z=A+￡x“+Ax2j+…+-x后

觀測值工與回歸值丫的殘差與為：

4=X-g=%-(A+方Xj.+用+???+AXQ

由最小二乘法可知a，&，…，A應(yīng)使所有觀測值Y,與回歸值士的殘差’的平方和最小，雖然

岫和K，…=E（YT）2

=Z（匕一聞一方因,一Ax?,-…一瓦x*j2

（3-11）

獲得最小值。根據(jù)多元函數(shù)的極值原理，Q分別對求一階偏導(dǎo),并令其等于零,

即

(3-12)

即

等=2士(Y「Bo-p2x2i-Axj(-i)=o

冬=2g化-瓦M(jìn))(-XJ=O

萼=Z(Z—A—6x“一Ax?,「…一Ax/(—XQ=O

化簡得下列方程組

也+62兒+員2>2：+…+AZx「Zz

及gx^BZx；+AzX?.兒+…+自zXE“=匯x/

AZx/6Z幾x*j+AZXRZx；=zx前

(3-13)

上述（&+1）個(gè)方程稱為正規(guī)方程，其矩陣形式為

A)

Zx2/…。

ExuZx/“…zx/”A

A

Zx”,Ex/公…￡x：iZx/

(3-14)

由于

gx“

ExZXkiX'i

ZX/Q.Ex/.工X%

11???1

X”X|2?■'X1“

x22??'X?”

X-X,2???x*“

-1X”X。.■X

?X

1XI2Xs?

JX1“X?n.?X

=xx

1

〉]X”X|2X1

ZX|i，i_X?1xX：

22Y：=XfY

￡x.」[x*|X82L

A

3\

設(shè)［力」為估計(jì)值向量

樣本回歸模型Y=xge兩邊同乘樣本觀測值矩陣x的轉(zhuǎn)置矩陣X,則有

XY=XXp+Xe

得正規(guī)方程組：

XY=XXP(3-15)

由假定（6）,R（x）=k+i,xx為伏+1）階方陣，因此vx滿秩，xx的逆矩陣（x'x）1存在。因

R=(X'X尸X'Y(3-16)

則為向量。的OLS估計(jì)量。

以二元線性回歸模型為例，導(dǎo)出二元線性回歸模型的OLS估計(jì)量的體現(xiàn)式。由（3-3）式得二

元線性回歸模型為

為了計(jì)算的以便，先將模型中心化。

處,￡x“/=X廠%(j=l,2)

〃i=l

J=Z%%,(PM=1,2)

L”=WJX]y,(/=1,2)

LYY=ZW

設(shè)即=從+0區(qū)”x,則二元回歸模型改寫為中心化模型。

出

Yj=(x0+P\XU+/72x2f+

(3-17)

記

n00

XX=0ZEZ*，X'Y=

X4.

(3-18)

L

m=Z5%，(〃闖=12)

代入得

7700

XX=0LnL12

_0LL

2l22(3-19)

由于

/ran/i

+V)=EQJ+「Z勺

r=lJ=Ii=l:=l

=Zxay,=",(/=1,2)

i=l

則

XY=LiY

由(3-16)式得

_1_

p=(x,xrlx,v=i

o

(3-21)

其中

-1

4

/.2G.心11乙22一乙12七211—乙12

由(3-21)式可知

a0=Y

A.Zqy

AL”G一心；2「L|L2y

得

n_L\YL?2-Z2yL\?

「—心

(3-22)

卜_^22_LL_22_22.

L-E

(3-23)

氐=P—方尺—A又2(3-24)

（二）隨機(jī)誤差項(xiàng)〃的方差可的估計(jì)量

樣本回歸方程得到的被解釋變量估計(jì)值E與實(shí)際觀測值匕之間的偏差稱為殘差，

4=工一B=Z—（氐+&與+反/方+…+自//）

則

e=Y-Y=Y-Xp=(X|i+n)-X[(X'XVX'Y]

，,,

=(XP+M)-X|(XX)-X(XP+M)]

=xp+n-x[p+(x,x),x,n]

=H-X(X,X)_|X,p

,,

=[I/l-X(XX)-'X]p

設(shè)P=『X(XX)”,可以得出p是〃階對稱鬲等矩陣，p=p，,p、p。于是

而殘差的平方和為

Ze；=eze=(Pp)r(Pp)=pTTg=pTp

E(ee)=E{Mr[I?-X(X,X)-,X,lM}

=a；MI?-X(X,X)-,Xr]

,,

=<7；[/rIn-/rX(XX)K]

=瑞〃-伏+1)]

其中表達(dá)矩陣的跡，即矩陣主對角線元素的和C于是

“〃一(攵+1)(〃_(A+1)J

隨機(jī)誤差項(xiàng)〃的方差寸的無偏估計(jì)量，記作梟，即七⑸)二寸*河/,為殘差的原則差(或

回歸原則差)。

因此

s；=^L=-^-

n-k-ln-k-\

(3-25)

其中

2,

^e,=ee=(Y-Xpy(Y-Xp)

Y，Y_26'X'Y+BXXB

YY-2pXY+rx，X(X，X『XY

YY-pXY(3-26)

例如，對于二元線性回歸模型心=2)

o.—ee—

n-3〃-3(3-27)

￡e；=ee=Lyy—^L^y—

（3-28）

二、估計(jì)參數(shù)的記錄性質(zhì)

1、線性性

指最小二乘估計(jì)量6是被解釋變量的觀測值匕匕，…片的線性函數(shù)。

由于

6=（XX）”，Y

設(shè)P=（XX）TX',則矩陣P為一非隨機(jī)的（&+l）x〃階常數(shù)矩陣。因此

P=PY(3-29)

顯然最小一乘估計(jì)量0是被解釋變量的觀測值九…北的線性函數(shù)。

2、無偏性

將Y=XD+u代入⑶16）式得

Z,,-1f

p=(XX)-'X(Xp+P)=(XX)xxp+(X，X)TXV

f

p+(xx)'x^(3-30)

則

E(p)=p+El(X,xfXgl

=p+(x,xfXr￡：(n)

因此B是B的無偏估計(jì)量。

3.最小方差性

設(shè)p為〃X〃階數(shù)值矩陣，x為〃X〃階隨機(jī)矩陣（隨機(jī)變量為元素的矩陣），Q為〃X〃階數(shù)值矩陣,

E（PXQ）=P（E（X））Q

下面我們推導(dǎo)B的方差、協(xié)方差矩陣。

定義:

V?r（p）=E（P-P）（P-P）

A1-00

=EB'T低一

-自,…，瓦M(jìn)J

U-A.

VGyCo\{4㈤…c噸。,?

=Cov伉,A)&Vi)…a川伉,A)

瓦㈤丫血.

Coi伉,A)c<?v(

由(3-30)式得

p-p=(x,x)',x

r

(P-P)=[(xzx)Xp]=『X(XX)T

因此

V?r(p)=E(p-p)(p-p)

=E[(X'X)TXWX(XX)T]

=（xx）X4*）X（XM

,-,,,-

=(XX)X<T；I,IX(XX)'

引(X'X)'

(3-31)

這個(gè)矩陣主對角線上的元素表達(dá)B的方差，非主對角線上的元素表達(dá)6的協(xié)方差。例如&而，）

是位于4X'X）T的第行與第例交叉處的元素（主對角線上的元素）；。0依片）是位于b：（X'X）T的

第行與第/列交叉處的元素（非主對角線上的元素）

在應(yīng)用上，我們關(guān)懷的。的方差，而忽視協(xié)方差，因此把（3-31）式記作

V?r(P)=o；(X^)：'

(3-32)

記

S1=(x,x)-'=(cj(/；y=O,U,---,A:)

,則仿),因此°是口的最小方差線性無偏估計(jì)。這闡明,在(3-1)式系數(shù)的無偏估

計(jì)量中，OLS估計(jì)量的方差比用其他估計(jì)措施所得的無偏估計(jì)量的方差都要小，這正是OLS的

優(yōu)越性所在。

用S；替代寸則得自的原則估計(jì)量的估計(jì)值,乃稱為原則差。

s伉)-“況(3-33)

其中

對于二元回歸模型（攵=2）,求估計(jì)量ZA的方差，由（3-32）式得

Vw（8）=另（X陰；=4；0

0L,

其中

心12

4A”

于是

七:

LnL22-L{1—￡|2

因此

加伉）=b2伉）=與可

乙11乙22—L12

(3-34)

左；?優(yōu))="端

L\1L22「12

(3-35)

3伉)=JWH

(3-36)

(3-37)

其中

第三節(jié)明顯性檢查

一、擬合優(yōu)度檢查

（一）總離差平方和分解

設(shè)具有k個(gè)解釋變量的回歸模型為

匕=&+萬3：+打八+…+￡/前+從

其回歸方程為

g=A+6Xu+pyX2i+…+瓦xki

離差分解：

Yl-Y=（Yi-Yi）+（Yi-Y）

總離差平方和分解式為：

Z（x—行=2（心理+X化一廳

（3-38）

即

TSS-ESS+RSS(3-39)

總離差平方和分解為回歸平方和與殘差平方和兩部分。

(二)樣本決定系數(shù)

對于多元回歸方程，其樣本決定系數(shù)為復(fù)決定系數(shù)或多重決定系數(shù)。

R葭(i=12…,k),簡記為外。

TSS(3-40)

根據(jù)式(3-39)

…黑(3-41)

由于

75S=Z(-)2=ZZ2M

由(3-26)式知

RSS=Y'Y-B'X'Y

因此

ESS=TSS-RSS=pXY-wr2

o2PXY-Z/P

一Y'Y-〃尸(3-42)

R詐為檢查回歸方程與樣本值擬合優(yōu)度的指標(biāo)：*0"、")越大，表達(dá)回歸方程與樣本擬合

的越好；反之，回歸方程與樣本值擬合較差。

詳細(xì)的，當(dāng)A-2時(shí)，求樣本決定系數(shù)

7gd2XT"

由(3-28)式，得

?：=%-函-3工丫

,因此有

R2_B\LY+A&y

(3-43)

(三)調(diào)整后的樣本決定系數(shù)

在使用居時(shí)，輕易發(fā)現(xiàn)店的大小與模型中的解釋變量的數(shù)目有關(guān)。假如模型中增長一種新解

釋變量，總離差.SS不會變化，但總離差中由解釋變量解釋的部分，即回歸平方和ESS將會增長,

這就是說斤與模型中解釋變量個(gè)數(shù)有關(guān)。但通過增長模型中解釋變量的數(shù)目而使正增大是錯(cuò)誤

的，顯然這樣心來檢查被回歸方程與樣本值擬合優(yōu)度是不合適的，需要對收進(jìn)行調(diào)整，使它不僅

能闡明已被解釋離差與總離差的關(guān)系，并且又能闡明自由度的數(shù)目。

以后表達(dá)調(diào)整樣本決定系數(shù)，

Q=i-￡

S；(3-44)

其中

‘〃_左_］，3yn-\

這里〃-A-1是殘差平方和的自由度，〃-1是總離差平方和的自由度。

由（3-44）式得

"一舟、號=」"）號

其中」是樣本觀測值的個(gè)數(shù)呼是解釋變量的個(gè)數(shù)。從式中可以看出，當(dāng)增長一種解釋變量時(shí)，

n-1

由前面分析可知正會增長，引起（「內(nèi)）減少，而〃TT增長,因而齊不會增長。這樣用於鑒定

回歸方程擬合優(yōu)度，就消除了正對解釋變量個(gè)數(shù)的依賴。

內(nèi)或產(chǎn)只能闡明在給定的樣本條件下回歸方程與樣本觀測值擬合優(yōu)度，并不能做出對總體模

型的推測，因此不能單憑正或正來詵擇模型，必須對回歸方程和模型中各參數(shù)的估計(jì)量做明顯性

檢查。

二、方程明顯性檢查

由離差平方和分解(3-39)式可知，總離差平方和,SS的自由度為〃-1,回歸平方和KSS是由A

個(gè)解移變量X|，X2,…，XA對y的線性影響決定的。因此它的自由度為3因此，殘差平方和的自由

度由總離差平方和的自由度減去回歸平方和的自由度，即為〃-攵7。

檢查回歸方程與否明顯，

第一步，作出假設(shè)

H?：仇=仇='??=A=0

備擇假設(shè)Hi：bi、b2、…、bk不一樣步為0

第二步，在〃。成立的條件下，計(jì)算記錄量”

ESS/k

F(kji-k-

RSS/(n-k-\)

第三步，查表臨界值

對于假設(shè)”。，根據(jù)樣本觀測值計(jì)算記錄量/給定明顯水平。，查第一種自由度為女,第二個(gè)

自由度為〃47的小分布表得臨界值月依當(dāng)廠"4，〃乂7）時(shí)，拒絕”,則認(rèn)為回歸

方程明顯成立；當(dāng)心依時(shí)，接受％,則認(rèn)為回歸方程無明顯意義。

三、參數(shù)明顯性檢查

回歸方程明顯成立，并不意味著每個(gè)解釋變量小，、2,…,X/對被解釋變量y的影響都是重要

的。假如某個(gè)解釋變量對被解釋變量丫的影響不重要，即可從回歸模型中把它剔除掉，重新建立

回歸方程，以利于對經(jīng)濟(jì)問題的分析和對y進(jìn)行更精確的預(yù)測。為此需要對每個(gè)變量進(jìn)行考察，

假如某個(gè)解釋變量x對被解釋變量y的作用不明顯，那么它在多元線性回歸模型中，其前面的系

數(shù)可取值為零。因此必須對四與否為零進(jìn)行明顯性檢查。

由(3.44)式

伉)=才伉)=后

57(3-45)

其中

S；=-

n-k-\

對回歸系數(shù)夕進(jìn)行明顯性/檢查，環(huán)節(jié)如下：

⑴提出原假設(shè)"。:以=°；備擇假設(shè)修邙產(chǎn)°

_A；々t=?f(〃_k-1)

t,、

(2)構(gòu)造記錄量可訂，當(dāng)先=°成立時(shí)，記錄量,(用0這里s(A)是A的原則

差，及為解釋變量個(gè)數(shù)，計(jì)算由式(3-45)給出。

ta{n-k-\)

⑶給定明顯性水平。，查自由度為〃-&T的/分布表，得臨界值$

M>ta(〃k1)

⑷若,,則拒絕兒：處=°,接受%血°,即認(rèn)為夕，明顯不為零。若

,則接受"。:"二°,即認(rèn)為四明顯為零。

四、運(yùn)用多元線性回歸方程曲亍預(yù)測

對于多元線性回歸模型

X=氏+區(qū)1+B,x*+…+OkXz內(nèi)XP+M

其中

x,=(i,xb,x21.,...,xj

。=(用,品…㈤(i=12…㈤

根據(jù)樣本觀測值

（i,Xu，X2"?'X￡j；K）（i=i2...,m

運(yùn)用最小二乘法求得回歸方程

預(yù)測就是給解釋變量某一特定值

對被解釋變量的值、進(jìn)行估計(jì)，匕作為％的預(yù)測值。設(shè)/=%一％,稱其為預(yù)測誤差。e。為一

隨機(jī)變量，可以證明,服從正態(tài)分布，即

4?N(O,說(i+x°(xx)-x))

將式中可用它的估計(jì)值S；替代,則得％的原則差3(%)

3&)二邑爪或函函

其中

記錄量

對于給定置信水平，預(yù)測值匕置信區(qū)間為

月一%2e％)<%<%+%28分)

即為

%-%2S11+Xo(xx)-X<同力/X。)〈/+72S/1+X°(xx)-X

五、多元線性回歸分析實(shí)例

第四節(jié)最大似然估計(jì)

一、似然函數(shù)

（一）基本假定

對于所研究的模型丫=鄧忤，給定如下基本假設(shè):

(1)4?N(()C；I)

⑵

Cov(Xg,jUj)=0,(i=1,2,;J=1,2,…，A)

⑶P(x)=k

（4）隨機(jī)抽樣總是生產(chǎn)單一的最也許成果：任意樣本都是其所屬總體的代表。這個(gè)強(qiáng)假定是針

龍小樣本而言的。

（二）似然函數(shù)

確定隨機(jī)變量丫的任一觀測樣本的聯(lián)合概率的函數(shù),就稱為丫的似然函數(shù)。

一般體現(xiàn)式為：

懸尸xp卜姬丫一鄧），（丫一鄧）

￡(Y;Xp;r；I)=P(Y)=

(3-47)

二、極大似然估計(jì)法的基本思想

極人似然估計(jì)法(maximumlikelihoodeslimalion,MLE)需要對隨機(jī)擾動(dòng)項(xiàng)的分布做出假

定，一般選擇正態(tài)分布假定。在極大似然估計(jì)中，假定樣本是固定的，〃個(gè)觀測值都是獨(dú)立觀測

的，這個(gè)樣本可由多種不一樣的總體生成，而每個(gè)樣本總體均有自己的參數(shù)。那么在可供選擇的

總體中哪個(gè)總體最也許生成所觀測到的“個(gè)樣本值？為此需要估計(jì)每個(gè)也許總體獲得這〃個(gè)觀測

值的聯(lián)合概率，選擇其參數(shù)能使觀測樣本的聯(lián)合概率最大的那個(gè)總體。

三、線性回歸模型的最大似然估計(jì)

一元隨機(jī)擾動(dòng)變量的正態(tài)分布密度函數(shù)為

?(4-OF

P(M)=/1，。邛卜

I2<

(3-48)

互相獨(dú)立的多元隨機(jī)擾動(dòng)變量的正態(tài)分布密度函數(shù)為

p(〃)=…『0。)

1I山

S產(chǎn)？exp「

（2乃）c*

(3-49)

定義被解釋變量的概率密度函數(shù)，要根據(jù)丫與〃的關(guān)系進(jìn)行變換

叩）=「嚕

辿

式中的防是〃的偏微分矩陣的行列式的絕對值，該值就是Jacobean變換行列式的絕對值

加加

一

一叱

叱加

獨(dú)一

一叱

…叱…

也也

叱叱

因

是1。

式值

行列

，對應(yīng)

矩陣

單位

陣為

ean矩

acob

說，J

方程來

性回歸

究的線