回Goodness-of-擬合優(yōu)Predictionand 和殘差分析EffectsofDataandFunctional數(shù)據(jù)的測度單位和函數(shù)形Goodness-of-Fit擬合優(yōu)每一個觀察值可被視為由解釋部

yi

?

y

:totalsumofsquares

總平方?

y :explainedsumofsquares

解釋平ii

:residualsumofsquares

殘差平方

R2

1

R2為（樣本）判定系數(shù)（coefficientof判定系數(shù)的取值范圍分利用回歸方程進(jìn)行根據(jù)自變量x的取值估計或因變量的取估計或的類y的平均值的置信區(qū)間估y的個別值的區(qū)間估置信區(qū)間、區(qū)間、回歸方y(tǒng)?x 代是線性關(guān)系嗎對誤差項作的假定適合嗎等方差相互獨立正態(tài)分布哪些數(shù)據(jù)屬于異常值哪些觀測屬于對回歸模型有很大影響的度量單位和函數(shù)形變量單位的縮 改變一個變量x的測度單位會導(dǎo)致該變量系數(shù)和標(biāo)準(zhǔn)差的相應(yīng)改變，所以所有解釋變量顯著性和對其解釋沒有改變。函數(shù)形 Functionalform函數(shù)形Logarithmic對數(shù)函數(shù)形Modelswith含二次式的模變量的原始形式和其自然對數(shù)的不同組InterpretationofLevel-yxyLevel-yy(2Log-y)xLog-y)%y2含二次式的模 對于形式為y=1+x+x2+e的模型，我們不能單獨將解釋為關(guān)于x，y變化的度量，我們需要將也考慮進(jìn)來，因為

?

x2

2b3xx,

2b 第五章多元回歸分MultipleRegressionMotivationforMultiple使用多元回歸的Motivation:動因：優(yōu)點（總結(jié)它可以解釋的因變量變動它適合于其它條件不變情況下的分析模擬社會科學(xué)中的實驗)它可以表現(xiàn)更一般的函數(shù)形式含有k個自變量的模一般的多元線性回歸模型可以y

2

3

kxk1仍是截距，將x1看作常數(shù)2到k都稱為斜率參數(shù)(偏回歸系數(shù)e仍是誤差項（或干擾項仍需作零條件期望的假設(shè)，所以現(xiàn)在假E(e|x1,x2,…,xk)=仍然最小化殘差平方和，所以得到k個一階條對多元回歸的解?

b2x2所以

b2x2即，每一個

都有一個偏效應(yīng)或其它情況不變效應(yīng)的解零條件期望的假E(e|x1,x2,…,xk)=在教育年限和工資之間的關(guān)系的例wage E(e|educ,exper)意味著影響wage的其他因素都與educ和expe經(jīng)典線性假MR.1（對參數(shù)而言為線性y

2

3

kxk其中12…k為所關(guān)心的未知參數(shù)，e為

0

E(y)

1

2

.....

kMR3.

2,var(

MR4.cov(ei,ej

0,cov(yi

yj

0,iMR5.xi非隨機(jī)，且不是其他解釋變量的線性函（無完全共線性 N(0,2注意：回歸的樣本表示 {(xi1,xi2…,xik;yi):i=1,…,n}，其中i代有時模型寫yi=1+2xi2+3xi3+假定MLR.5不存在完全共線(Noperfect完全共線性的例y=1+2x2+3x3+4x4+e，x3=3x2，y=1+2log(inc)+3log(inc2)+ey=1+2x2+3x3+4x4+5x5+e，x2+x3+x4當(dāng)n<k也發(fā)生完全共線性的情如何得到OLS估計bx ibx iiMini

(y

b 如何得到OLS估計i i in (i

bb

...bx i i

(y

b

...b

)i ni

(y

b

...b

) i i

i3

i

i i

(y

b

...b

)如何得到OLS估計?

...bk擬合優(yōu)Goodness-of-Fit擬合優(yōu)每一個觀察值可被視為由解釋部

yi

?

y

:totalsumofsquares

總平方?

y :explainedsumofsquares

解釋平ii

:residualsumofsquares

殘差平方

擬合優(yōu)度（續(xù)我們怎樣衡量我們的樣本回歸線擬合樣本數(shù)據(jù)有R2=SSR/SST=1–TheAdjustedR-調(diào)整過的因此R2增加并不意味著加入新的變量一定會提R21

k)

1

n1

nkOLS的統(tǒng)計性O(shè)LS估計量的統(tǒng)我們現(xiàn)在轉(zhuǎn)向L的統(tǒng)計特性，而我們知道OS是對潛在的總體模型參數(shù)的估計。統(tǒng)計性質(zhì)是估計量在隨機(jī)抽樣不斷重復(fù)時的性質(zhì)。我們并不關(guān)心在某一特定樣本中估計量如何。目標(biāo)OLS的無偏在假定MR.1～MR.5下，LS估計量是總體參數(shù)的無偏估計量，即E(bj)

j

j1,2,...,UnbiasednessofOLS估計量是法（過程），該方法使得給定一個樣本，我們可以得到一組估計值。我們評價的是方法的優(yōu)劣。定理（OLS斜率估計量的抽樣方差

bj

1

xjR2是x向所有其它回歸所得 對定理的解定理顯示估計斜率系數(shù)的方差受到三個因素的影響Theerror誤差項的方Thetotalsamplexj的總樣本變 Linearrelationshipsamongtheindependentvariables解釋變量之間的線性相關(guān)關(guān)對定理的解釋（1）：誤差項方更大的2意味著更大的OLS估計量方差更大的2意味著方程中的“噪音”越引入的解釋變量可以減小方差。但這樣做不（能導(dǎo)致多重共線性）2不依賴于樣本大對定理的解釋（2）：總的樣本變更大的SSTj意味著更小的估計量方差，反之亦然其它條件不變情況下，x的樣本方差越大越好增加樣本方差的法是增加樣本容量這是方差中系統(tǒng)地取決于樣本容量的部分對定理的解釋（3）：多重共線更大的Rj2意味著更大的估計量方差如果較大，就說明其它自變量可以解釋該變量的較大部分。當(dāng)Rj2非常接近1時，xj與其它解釋變量高度相嚴(yán)重的多重共線性意味著被估計參數(shù)的方差將非常大。對定理的解釋（3）：多重共線兩 情況 R2＝0

與其他每個自變量的樣本相關(guān)數(shù)都為0。估計βj最佳的情形。達(dá)到最小OLS估計量的方差Rj2＝1：完全共線性，違背了MLR.5對定理的解釋（3）：多重共線注意：雖然某些自變量之間可能高度相關(guān)，但與模型中其它參數(shù)的估計程度無關(guān)。factor,VIF）

bj SST1R2 R2是x向所有其它回歸所得到的R2 VIF(b) Rj 1 RjEstimatingtheError估計誤差項方我們希望構(gòu)造一個2的無偏估計如果我們知道e，通過計u2的樣本平均我們觀察不到誤ei，所以我們不知道EstimatingtheError估計誤差項方我們能觀察到的是殘差項我們可以用殘差項構(gòu)造一個誤差項方差的估

n

k

SSEidf=n–idf（度）,是觀察點個數(shù)－被估參數(shù)個EstimatingtheError為什么度是n-因為推導(dǎo)OLS估計時，加入了k個限制條件。是知道的，因此度是n-k。估計誤差項方2的無偏估在－假定MLR.1-5下，我們定義術(shù)語：稱為標(biāo)準(zhǔn)偏差（標(biāo)準(zhǔn)離差bj 的標(biāo)準(zhǔn)誤

標(biāo)準(zhǔn)誤差（）（SE）seb

R21 OLS的有效OLS的有效性：－定問題：在假定MLR.1-5下有許多j的估計量，為什在假定MLR.1-5下，OLS是最優(yōu)線性無偏估計（BestLinearUnbiasedEstimatorBLUE）Best最優(yōu)：方差最Linear:線性：因變量數(shù)據(jù)的線性函Unbiased無偏：參數(shù)估計量的期望等于參數(shù)的Estimator:估計量：產(chǎn)生一個估計量的例子：漢堡銷

3advertIncludedobservations:Std.C--MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarz

118.917.908price

R2

R2

美美當(dāng)投 支 元，價 元美美

118.917.908銷售收入 值

6美元推最小二乘估計量的分b ~Normalj

bj,bjjsdbj

~bj標(biāo)準(zhǔn)化估計量的t分在CLMbj

sebj

~tnk

2來估

注意度

k,k假設(shè)檢如果我們想對形如H0jaj的假設(shè)進(jìn)行檢此時，恰當(dāng)?shù)膖統(tǒng)計量tbj

a

,sebj,當(dāng)進(jìn)行標(biāo)準(zhǔn)檢驗時aj 例子：漢堡銷

3advertIncludedobservations:Std.C--MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarz含有交互作用的模交互效y=1+2x2+3x3+4x2x3+x2和x3之間存在交互Interaction交叉y=1+2x2+3x3+4x2x3+y

x

比較典型地做法是在x3y=

+2x2

+3x3

+4x2x3 +y

x

y=

+2x2

+3x3

+4(x2-2)(x3-3)+y

(x

2是在x3的均值處，x2對y因此，從變量中減去其均值，則系數(shù)具有有用的解釋例個人在匹薩餅上的消費支出

) = 作5.15.35.5多元回歸模型的矩陣表總體回歸模型n個隨機(jī)方程的矩陣表達(dá)式Y(jié)Xβ其11X

XX

X X

Xk1Xk2 0

X1

X2

Xknn(k1 1 2β2

μ k(k

n樣本回歸函數(shù)：用來估計總體回歸函

X

X

其隨機(jī)表示式Y(jié)i

樣本回歸函數(shù)的矩陣表?

X?

Y

X?

e1其中 ee2 k

en普通最小二乘估 對于隨機(jī)抽取的n

(Yi,

ji),

1,2,,

X

X

Q0nn nn Q

其中

e2(YY?)

Q

i

inn2 2

X

2Xki Q0

i

?2X2i?kXki

)

Y

?

?

(

1X

2iX

kXki)X?kXki)X

YiXYiX解該（k+1）個方程組成的線性代數(shù)方程組，即可得到j(luò)(k+1)個待估參數(shù)的估計值j

0,1,2,k X

X

2X2

X

X

XXX

X

X

Y22 2

X

X

X

X

k

Xk

Y knnY

?(XX)1將上述過程用矩陣表示如下

(Y

X?

?

(Y