1、 第七章第七章 多元回歸分析估計(jì)問(wèn)題多元回歸分析估計(jì)問(wèn)題7.1三變量模型三變量模型 將雙變量總體回歸模型(PRF)推廣為3變量, 即 b1為截距項(xiàng),按模型的設(shè)定可機(jī)械地解釋為當(dāng)X2,X3為0時(shí),Y的均值, 隱含的意義為沒(méi)有包含在模型中的變量對(duì)Y的平均影響,系數(shù)b2和b3則稱(chēng)為偏回歸系數(shù)。12233iiiiYXXubbb模型的假定 0均值 同方差 無(wú)序列相關(guān) 誤差項(xiàng)u與解釋變量X不相關(guān) 模型無(wú)設(shè)定偏誤 各個(gè)解釋變量之間無(wú)精確的共線(xiàn)性 2( )iVar u( )0iE ucov( ,)0iju uij7.2 多元回歸方程的解釋回歸方程的解釋 方程表示，在給定回歸變量的固定值時(shí)，被解釋變量的條件期望

2、即總體回歸函數(shù)。 b2代表了在X3不變的情況下， X2每變化一個(gè)單位時(shí)，Y的條件均值變化。 b3代表了在X2不變的情況下，X3每變化一個(gè)單位時(shí)，Y的條件均值變化。 3122332(,)iiiiiE Y XXXXbbb 7.3 偏回歸系數(shù)的含義 Y X3= b b3保持 X2 不變, X3 單位變化對(duì)Y均值的凈影響.保持不變:為評(píng)價(jià) X2 對(duì) Y變化的影響, 我們必須控制 X3的影響。Y = b1 + b2X2 + b3X3 + u (假定為實(shí)際模型) Y X2= b b2: b2度量在保持X3 不變的情況下X2單位變化對(duì)Y均值的影響.或X2 單位變化對(duì)Y均值的“直接”或“凈”影響理解偏回歸系數(shù)

3、：一個(gè)兒童死亡率例子 定義變量：Yi表示嬰兒死亡率；X2i表示人均GDP；X3i表示女性識(shí)字率 假設(shè)我們想保持女性識(shí)字率不變 第一步：消除Y中X3的影響 理解偏回歸系數(shù)（續(xù)） Y=263.8635-2.390496 X3 + u1理解偏回歸系數(shù)（續(xù)） 第二步：消除X2中X3的影響 X2 =-39.30328+28.14268 X3 + u2理解偏回歸系數(shù)（續(xù)） 第三步：用u1對(duì)u2回歸得到偏回歸系數(shù)（注意沒(méi)有截距項(xiàng)）euu0056466. 021理解偏回歸系數(shù)（續(xù)） 如果模型誤設(shè)，含有截距 幸運(yùn)的是我們并不總是需要這么多個(gè)程序 7.4偏回歸系數(shù)的偏回歸系數(shù)的OLS估計(jì)估計(jì)OLS 目的是最小化

4、RSS ( u2) min. RSS = min. u2 = min. (Y - b1 - b2X2 - b3X3)2 RSS b1=2 ( Y - b1- b2X2 - b3X3)(-1) = 0 RSS b2=2 ( Y - b1- b2X2 - b3X3)(-X2) = 0 RSS b3 =2 (Y - b1- b2X2 - b3X3)(-X3) = 0 Y = b1 + b2X2 + b3X3 + u u = Y - b1 - b2X2 - b3X3 整理三個(gè)方程:nb1 + b2 X2 + b3 X3 = Y b2 X2 + b2 X32 + b3 X2X3 = X2Y b1 X3

5、+ b2 X2X3 + b3 X32 = X3Y 重寫(xiě)矩陣: n X2 X3X2 X22 X2X3X3 X2X3 X32b1b2b3=Y X2YX3Y2-變量方程3-變量方程(XX)b b= XY矩陣符號(hào)b1 = Y - b2X2 - b3X3 _ _ _n X2 YX2 X22 X2YX3 X2X3 X3Yn X2 X3X2 X22 X2X3X3 X2X3 X32=b3=(yx3)(x22) - (yx2)(x2x3)(x22)(x32) - (x2x3)2n Y X3X2 X2Y X2X3X3 X3Y X32n X2 X3X2 X22 X2X3X3 X2X3 X32=b2=(yx2)(x3

6、2) - (yx3)(x2x3)(x22)(x32) - (x2x3)2Cramers rule:方差協(xié)方差矩陣Var-cov(b) = Var(b1) Cov(b1 b2) Cov(b1 b3)Cov (b2 b1) Var(b2) Cov(b2 b3)Cov (b3 b1) Cov(b3 b2) Var(b3) = u2(XX)-1矩陣形式:3x33x13x1b b(XX)XY=b b= (XX)-1(XY)3x33x13x1Var-cov(b b) = u2 (XX)-1 and u2 = u 2 n-3n X2 X3 X2 X22 X2X3X3 X3X2 X32= u2-1 u2 =

7、u2n-3and=u2n- k u2k=3自變量個(gè)數(shù) ( 包括常數(shù)項(xiàng))復(fù)回歸估計(jì)值的性質(zhì)復(fù)回歸估計(jì)值的性質(zhì)1. 回歸線(xiàn)（面）通過(guò) Y1, X2, X3的均值i.e.,Y = b1 + b2X2 + b3X3_ _ _=b1 = Y - b2X2 - b3X3 _ _參數(shù)線(xiàn)性回歸通過(guò)均值3.u=0誤差均值為0uY=05.隨機(jī)樣本uX2 = uX3 = 04.(uXk=0 )常數(shù)Var(ui) = 22.Y = Y + b2x2 + b3x3 _ y = b2x2 + b3x3 or無(wú)偏: E(bi) = bi復(fù)回歸估計(jì)值的性質(zhì)復(fù)回歸估計(jì)值的性質(zhì)6. 如 X2 和 X3 是密切相關(guān)的 = var(

8、 b2) 和 var( b3) 變大、無(wú)窮. 所以真的 b2 和b3 更難以知道. 所有二變量回歸下的假設(shè)也適合多回歸模型. 但補(bǔ)充的一個(gè)假設(shè)是解釋變量間沒(méi)有精確的線(xiàn)性關(guān)系解釋變量間沒(méi)有精確的線(xiàn)性關(guān)系.(沒(méi)有完全的共線(xiàn)性沒(méi)有完全的共線(xiàn)性, i.e., Xk Xj )7.X2和X3樣本容量越大， b2 和 b3 的變異越大， 估計(jì)結(jié)果越精確. 8. BLUE (Gauss-Markov Theorem)7.5 例子：再次審視嬰兒死亡率與人均例子：再次審視嬰兒死亡率與人均GDP和女性識(shí)和女性識(shí)字率的關(guān)系字率的關(guān)系 定義變量：Yi表示嬰兒死亡率(5歲以下,千分?jǐn)?shù)),X2i表示人均GDP, X3i表示

9、女性識(shí)字率(%), 為研究這3 個(gè)變量之間的關(guān)系,設(shè)定模型為 Yi =b1+ b2X2i+ b3X3i+ui 人均GDP,應(yīng)有b20, b30. 例子（續(xù)）例子（續(xù)） 估計(jì)結(jié)果 Yi =263.64-0.0056X2i-2.232X3i 7.6 . 設(shè)定誤差初探設(shè)定誤差初探 所謂設(shè)定誤差，是根據(jù)經(jīng)濟(jì)學(xué)理論，對(duì)某個(gè)變量(因變量)的行為(或某種理論)應(yīng)使用多個(gè)（如2個(gè)）變量予以解釋?zhuān)芯空邊s使用較少的變量（如一個(gè)）對(duì)此變量進(jìn)行解釋,顯然反之亦產(chǎn)生設(shè)定錯(cuò)誤，由此而產(chǎn)生設(shè)定錯(cuò)誤，稱(chēng)為設(shè)定誤差. 7.7 多元判定系數(shù)多元判定系數(shù) R2R2 =ESSTSS= 1 -RSSTSS= 1 -u2y2R2 =

10、 1 -_2SY2R2 = 1 -_u2y2(n-1)(n-k)u2 / (n-k)y2 / (n-1)R2 = 1 -_k : 包括截距項(xiàng)在內(nèi)的參數(shù)個(gè)數(shù).n :觀察次數(shù).n-1R2 = 1 - (1-R2)_n-kR2 R2 _校正的R2 可以為負(fù): R2 00 R2 1多元判定系數(shù)多元判定系數(shù) R2的注記的注記 問(wèn)題:上述嬰兒死亡率三變量模型,有R2=0.71, 去掉變量X2=人均GDP后, R2=0.67這種減小不能全歸結(jié)為去掉變量X2 不宜以 最大作為選取模型的標(biāo)準(zhǔn)，回歸分析的目的不是獲得最大的 ，而是估計(jì)和推斷總體 對(duì)于相同因變量但解釋變量的個(gè)數(shù)和形式不相同的模型，一般可直接比較 2R2R2R7.8 多項(xiàng)式回歸模型: 邊際成本函數(shù)或總成本函數(shù)costsyMCi.e.costsyuXXY2321bbb(MC)orcostsyTCuXXXY342321bbbb(TC)7.9. 偏相關(guān)系數(shù)偏相關(guān)系數(shù) 對(duì)于3變量回歸模型 我們已定義Y與X2的相關(guān)r12稱(chēng)為簡(jiǎn)單相關(guān)，其中上標(biāo)1表示因變量，下標(biāo)表示對(duì)應(yīng)的解釋變量。 12233iiiiYXXubbb22222212)()()(XXYYXXYYriii