第十二章yx1x2Lxm之間的回歸模型（經(jīng)驗(yàn)公式xi(i1,2,Lmy 在本章中，我們所涉及的均是樣本點(diǎn)×變量類型的數(shù)據(jù)表。如果有m，得到(xi1,xi2,L,xim)，i=1,2,L,1n式中ei(xi1xi2L,xim)T?Rmi1,2,Lnei被稱為第i1nx=(x1,x2,L,xm)，xj=xij，j=1,2,L,n S=(sij)m·m=n-1(ek-x)(ek-

kR=(r ij sij (xki-xi)(xkj-xjkx*=x-x，i=1,2,L,n；j=1,2,L, 行所謂的壓縮處理，即使每個(gè)變量的方差均變成1，即x*=x/1nn11nn1(xij-xj2其中sj x*=x/max{x}，x*=x/min{x x*=x/x，x*=x/(max{x}-min{x x*xij-xji1,2,Lnj1,2,Lm j b0b1為回歸系數(shù)，是隨機(jī)誤差項(xiàng)，總是假設(shè)e~N(0,s2y~N(b0b1x,s2(yi,xi)，i=1,2,L,這nyi=b0+b1x+ei，i=1,2,L,

的觀測(cè)，當(dāng)ijei 用最小二乘法估計(jì)b0b1的值，即取b0b1的一組估計(jì)值

b，使yi 0101Q(b,b)=(y-b-bx 則

1n b0,b1

1?Q=

(y-b-bx)=inn

1?Q=

x(y-b-bx)=

1 nb0+b1xi=

bx+bx2=x

i b?=i=1(xi-x)(yi-

b0=y-b ? bbbbxyxy x1xi in

，y

1ninin(xi-x)(yi-n2?12

i=1

(yi- (xi-x)(yi- = =y

ii

(ii

sxn-1(xi

，sy (yi-

n-1xiyix0y0sx1sy1有10?=0，b?=1011

n

nxi

證明n

(xi-x) (xi-x)(yi- (xi-x)yi-y(xi-b?= = n

ii

y(xi-x)=y(nx-nx)=n xi-n1=

11

E(b?)=Eky=kE(y

ii

nn

n=n

xi-

i=1

n x- (xi-x)(xi-kixi=

x= ini

i=1(xi

ii

11111n(xi-21n(xi-2

22

nky

2 =

Var(y)=k

=s i

nk2=n( x- 2

n(x-x)2

=

i=1

(x-x)2i i

11 1=ci E(b1)=ciE(yi)= ci=0，cixi=

ki

)=s2c2=s

k2+

d2+k i

kd=k(c-k)= x- -kinin

cixi-x ni -k2 ni 而

ii

ii

1s2ki1

bVar(~b

nn

2n2

n

~時(shí)，即c”k時(shí)，才 0 體參數(shù)b00 E(b?)= Var(b?)=s2[1 x

00

ei=yi-y?i，i=1,2,L,ne=n(y-

-b?x)=

1

?i n ni(y-b?-b?x)=inn

1yi

+b?x)nin

0 0nxiei=nn這個(gè)結(jié)論由第二個(gè)正規(guī)方程

x(y-

當(dāng)?shù)趇即nnnnn

?i

(b?+b?x)e= e+ xe= i 1最小二乘回歸線總是通過(guò)觀測(cè)數(shù)據(jù)的重心(xy的。事實(shí)上，當(dāng)自變量取值為x時(shí)，由式（5）1?000

1 1（或者說(shuō)解釋）yi值的取值變化？回歸方程的質(zhì)量如何？誤差多大？對(duì)這些，都必須ei=yi-y?i，i=1,2,L,1en

?inMSEn

(e-e)2

ne2

(y-y?n-

n-2i=1

n-2 由于有ei0和xiei0的約束，所以，殘差平方和有(n2)n

以證明，在對(duì)

e2除以其自由度(n2)后得到的MSE，是總體回歸模型中1n1niSe 0101 y的變異呢？又有多大部分是無(wú)法用這個(gè)回歸方程來(lái)解釋y1y2L,yn s (yi-（10s?2= n-1

?i

iiiinnnn

(

-y)2

(ii

-y?)2

(

-y)2+

(yi

?

?

(y-y?)(y?-y)=

1 1

(y-

x(y-b?-b?x)-

i0

1 (yi-y)2=(y?i-y)2+(yi-y?i 2記n

SST=(

y)2yidfTn-nnin

1SSE=(

SST=SSR+SSE，dfT=dfR+給y帶來(lái)的系統(tǒng)性變異；另一個(gè)是由除x以外的其它因素的影響。，R2=SSR=(1-SSE （1）0￡R2￡合值的變異來(lái)解釋，并且殘差為零（SSE0，即擬合點(diǎn)與原數(shù)據(jù)完全吻合；SSESST量y的相關(guān)度越大，擬合直線的優(yōu)良度就越高。

(

y)( (?

+

=r2(y,?) R =i n

(n

n

(

(?

11

yi=b0+b1

~N(0,s2)，i=1,2,L,樣本測(cè)度指標(biāo)具有一定的隨機(jī)因素，還不足以肯定y與x的線性關(guān)系。yi=b0+b1xi+ei，i=1,2,L,nSSE=(

yi=b0+1?=1b00?=y-b?x=b00因此，對(duì)所有的i1,2,Lnn(

y)2=

SSE￡認(rèn)為總體參數(shù)b1顯著不為零。F=SSRSSE/(n-

MSR=SSR/dfR=SSRMSE=SSE/dfE=SSE/(n-SSE/s2~c2(n-2)，SSR/s2~c2F=MSR~F(1,n-H0b10H1b10F= 對(duì)于檢驗(yàn)水平，按自由度（n11n2n2）F分布表，得到拒絕域的臨Fa(1,n2)。決策規(guī)則為系式來(lái)解釋y。線性關(guān)系來(lái)解釋y。習(xí)慣上說(shuō)，線性回歸方程的F檢驗(yàn)通過(guò)了。yi=b0+b1xi+x。與因變量之間的關(guān)系能否用一個(gè)線性模型來(lái)表示，這是由F檢驗(yàn)來(lái)完成的；另一個(gè)檢的影響程度是否顯著。這就是下面要討論的t檢驗(yàn)。在一元線性分析中，由于自變量的在多元線性回歸分析中，這兩個(gè)建議的意義是不同的。從邏輯上說(shuō)，一般常在F檢驗(yàn)通過(guò)后，再進(jìn)一步進(jìn)行t建議。 n(xi-22b?~N(b n(xi-22 s

2 (xi-2?-1 ~t(n-2)Sb?-b(b?-b) 1= 1111n MSE/(xi-

s2/(xi-1?1~t(n-S t1

b1b11檢驗(yàn)統(tǒng)計(jì)量t1b10假設(shè)為真時(shí)，服從自由度為(n2)的t對(duì)于給定的檢驗(yàn)水平，則通過(guò)t分布表可查到統(tǒng)計(jì)量t1的臨界值ta(n2)222 <ta(n-2)=1- 小二乘估計(jì)量b?0的抽樣分布為正態(tài)分布，即b?~N(b,s2[1 x i (x-i2002

x

S(b0)=MSE[n?0?b0~t(n-

nn

H0:b0=0，H1:b0?t0

?b0b00b00時(shí)，檢驗(yàn)統(tǒng)計(jì)量t0服從自由度為(n2)的t對(duì)于給定的檢驗(yàn)水平，則通過(guò)t分布表可查到統(tǒng)計(jì)量t0的臨界值ta(n2)2

22 S(b0?P

<ta(n-2)=1- b?-t(n-2)S(b?)￡b￡b?+t(n- y=b0+b1x1+L+bmxm+ bb,Lb,s2xx,Lxbb,Lb

現(xiàn)得到n個(gè)獨(dú)立觀測(cè)數(shù)據(jù)yixi1Lximi1,Lnnm，由（20）yi=b0+b1xi1+L+bmxim+ i=1,L,M記M

1 x1m X=

，Y

xnm

e= Len]T，b=Y=Xb+e~N(0,s2E

b1 bm

bjb?j時(shí)，j0,1,2,Lm Q=e2=(y-b-bx-L-bx i

1 m得

=0，j=0,1,2,L,

(y-b-bx-L-bx)=

1 mi n=-2(yi-b0-b1xi1-L-bmxim)xij= j=1,2,L, +bx+L+b =

i

x+

x2+bx

+L+bmx =x

n

1i1n

2

i1in

i1im

i1in0 +bxx+bxx+L+bx2=x0

im

imi

im

y?=b?+b?x+L+b? 1 m而這組數(shù)據(jù)的擬合值為Y?Xb?，擬合誤差eY-Y?稱為殘差，可作為隨機(jī)誤差的 Q=e2=(y-y? i i)

·記XTX)-1(cijnn·Q~c2(n-m-

s2

n

y)2nSST=Q+U，U=(?i

反映自變量對(duì)y的影響。上面的分解中利用了正規(guī)方程組。yx1Lxm之間是否存在如模型（20）

j1,Lmyx1LxmH0:bj=0(j=1,L,H0成立時(shí)由分解式（34）定義的UQF U/

~F(m,n-m- 在顯著性水 下有 分位數(shù)Fa(m,n-m-1)，若F<Fa(m,n-m-1)，接注意H0yx1Lxm的線性關(guān)系不明顯，可能存在非線性關(guān)系，yx1LxmR2=S

R Ryx1LxmR一步作如下m個(gè)檢驗(yàn)(j0,1,LmH(j):b= 0由（31）~（33）式，當(dāng)H(j)成立時(shí)0b?j/ctj ~t(n-m-Q/(n-m-

對(duì)給定的，若|tj|2

0 0

QQ。

cjj,b?+t(n-m-2

+L+b?

1 m給定可以算出y0的預(yù)測(cè)區(qū)間（區(qū)間估計(jì)，結(jié)果較復(fù)雜，但當(dāng)nx0i接近平均值xi時(shí)，y0的預(yù)測(cè)區(qū)間可簡(jiǎn)化為 a2 分位數(shù)22)ei服從均值為零的正態(tài)分布，所以若某個(gè)ei的置信區(qū)間不包含零點(diǎn)，則認(rèn)為這個(gè)§4Matlab

0.05，b,bint它們的置信區(qū)間，r,rint為殘差（向量）及其置信區(qū)間，stats是用于檢驗(yàn)回歸模型的統(tǒng)Fpp

例1 數(shù)據(jù)如下表1。xy解先畫(huà)出散點(diǎn)圖：y=b0+regress和rcoplot編程如下：

b bint stats 間是[75.7755,199.2245]R20.7985F27.7469p0.0012s24.0883含零點(diǎn)，第8個(gè)點(diǎn)應(yīng)視為異常點(diǎn)，將其剔除后重新計(jì)算，可得bbintstats x1x2y2yx1x2有yx1yx2yx2有較明顯的線性yx1x1=[120140125145180x2=[100110250270300y=[102100120774693266965

b -bint=-stats 例3 以考察年齡對(duì)這種運(yùn)動(dòng)能力的影響。現(xiàn)得到一組數(shù)據(jù)如表3。

y=a2x2+a1x+

y0=[20.4825.1326.1530.0 20.324.3528.1126.331.426.9225.7p=- 即a20.2003a18.9782a072.215020

圖1曲線，它兩側(cè)的紅線是y的置信區(qū)間。你可以用鼠標(biāo)移動(dòng)圖中的十字線來(lái)改變圖下方xy的預(yù)測(cè)值及其置信區(qū)間。通過(guò)左下方的其中輸入數(shù)據(jù)x,y分別為n·m矩陣和n維向量，alpha為顯著性水平（0.05，model：linear(線性)：yb0b1x1+Lbmxmpurequadratic(純二次)ybbx+Lbxbx 11 mm jjjj=1interaction（交叉yb0b1x1+Lbmxm+bjkxjquadratic(完全二次)yb0b1x1+Lbmxm+bjkxjy=b+bx+bx+bx2+bx 1 2 11 22x1=[120140190145180x2=[10011090270300y=[1021001206965x=[x1x2];0

圖2x2（=188）yx2及其置信區(qū)間。用鼠標(biāo)移動(dòng)圖中的十residuals(beta=-312.58717.2701-1.7337-0.0228rmsey=b+bx+bx+bxx+bx2+b 1 2 31 4 5 5.1yb1,Lbm（而不是自變量）是非線性的。 --b4 y 區(qū)間。b1,L,b5的參考值為（0.1，0.05，0.02，1，2。表123456789 function123456789beta=[0.1,0.05,0.02,1,2]';%回歸系數(shù)的初值,任意取的[betahat,r,