1、,理解多元線性回歸模型的表示，掌握多元線性回歸模型的參數(shù)估計。,第七章 多元回歸分析：估計問題, 學習目的,對多元回歸方程的解釋,偏回歸系數(shù)的含義與估計,多元判定系數(shù)R2與復相關系數(shù)R,從多元回歸的角度看簡單回歸,R2及校正R2,多項式回歸模型,第七章 多元回歸分析：估計問題,第一節(jié) 對多元回歸方程的解釋,一、三變量模型：符號與假定,將雙變量的總體回歸模型推廣，便可寫出三變量PRF為： （7.1.1）,其中Y是因變量，X2 和X3 是解釋變量，u 是隨機干擾項，而 i 指第i次觀測。當數(shù)據(jù)為時間序列時，下標t將用來指第i次觀測。 在上述方程中1 是截距項，它代表X2 和X3 均為零時Y的均值，

2、如通常所說，它給出了所有未包含到模型中來的變量對Y的平均影響。系數(shù)2 和3 稱為偏回歸系數(shù)(partial regression coefficients)。,二、多元線性回歸模型的基本假設,（1）ui 有零均值，或： （7.1.2）,（2）無序列相關，或： （7.1.3）,（3）同方差性，或： （7.1.4）,（4）ui與每一X變量之間都有零協(xié)方差，或： （7.1.5）,（5）無設定偏誤，或：模型被正確地設定 （7.1.6）,（6）X諸變量間無精確的共線性，或： X2 和X3 之間無精確的線性關系 （7.1.7）,假設（7.1.6）中 X2 和X3之間無精確的線性關系，稱為無共線性(no c

3、ollinearity)或無多重共線性(no multicollinearity)。,無共線性,不存在一組不全為零的數(shù) 和 使得：,如果這一關系式存在，則說X2 和X3 是共線的或線性相關。 如果僅當 時成立，則說X2 和X3 線性獨立。,無多重共線性,（7.1.8）,假設（7.1.1）中的Y、 X2 和X3 分別代表消費支出、收入和財富，經(jīng)濟理論設想收入和財富對消費各有獨立影響。 若收入和財富之間有線性關系，則無從區(qū)分各自的影響了。 令 ，則（7.1.1）變成：,給出的是X2 和X3 對Y的聯(lián)合影響。沒有辦法分別估計X2 的單獨影響和X3 的單獨影響。,三、對多元回歸方程的解釋,給定經(jīng)典回歸

4、模型的諸假定，那么，在（7.1.1）的兩邊對Y求條件期望得： （7.2.1） 該式給出以變量X2 和X3 的固定值的條件的Y的條件均值或期望值。 因此，如同雙變量情形那樣，多元回歸分析是以多個解釋變量的固定值為條件的回歸分析，并且我們所獲取的，是給定回歸元值時Y的平均值或Y的平均響應。,第二節(jié) 偏回歸系數(shù)的含義與估計,前面指出，系數(shù)2 和3 稱為偏回歸(partial regression)系數(shù)。 其含義如下： 2 度量著在X3 保持不變的情況下，X2 每變化一單位，Y的均值E（Y| X2 ，X3 ）的變化。 換句話說， 2 給出保持X3 不變時E（Y| X2 ，X3 ）對X2 的斜率。,一、

5、偏回歸系數(shù)的含義,什么是 偏回歸系數(shù)？,1,二、偏回歸系數(shù)的OLS估計,1. OLS估計量,與（7.1.1）的 PRF相對應的樣本回歸函數(shù)如下： OLS方法 是要選擇未知參數(shù)的值，使殘差平方和RSS盡可能小，即：,將該式對三個未知數(shù)求偏導數(shù)，并令其為零，解得：,由上述正規(guī)方程組可以得到1、2 和3 的OLS估計量： 小寫字母表示對樣本均值離差的慣例。,2.OLS估計量的方差和標準誤,我們計算標準誤有兩個目的：建立置信區(qū)間和檢驗統(tǒng)計假設。,在上述公式中2 是總體干擾項 ui的方差。,可以證實， 2 的一個無偏估計量是： 現(xiàn)在的自由度是（n-3），這是因為在估計 之前，我們必須先估計1 ，2 和3

6、 ，從而消耗了3個自由度。 一旦算出殘差ui ，就能從該式算出估計量2 。,2020/8/5,2020/8/5,3. OLS估計量的性質,多元回歸模型的OLS估計量和雙變量模型的OLS有著平行的性質。 （1）三變量回歸線（面）通過均值 這個性質可以推廣到一般情形，在k變量線性回歸模型（一個回歸子和（k-1）個回歸元）中： 我們有： （2）估計的Yi的均值等于真實Yi的均值。,兩邊對所有樣本值求和并除以樣本大小n，由于 即得：,（3） 由于 ，兩邊對樣本值求和可得。 （4）殘差 與 和 都不相關，即 （5）殘差 與 不相關，即 。 兩邊同時乘以 ，然后對樣本值求和。 （6）在7.1節(jié)的經(jīng)典線性模

7、型的假定下，可以證明偏回歸系數(shù)的OLS估計量不僅是線性和無偏的，而且在所有線性無偏估計量類中有最小方差。簡言之，它們是BLUE?；蛩鼈儩M足高斯-馬爾可夫定理。,第三節(jié) 多元判定系數(shù)R2與復相關系數(shù)R,在雙變量的情形中我們曾看到， r2 是回歸方程擬合優(yōu)度的一個度量。它給出在因變量Y的總變異種由（單一個）解釋變量X解釋了的比例或百分比。 在三變量模型中，由X2 和X3 聯(lián)合解釋Y的變異的比例的數(shù)量稱為復判定系數(shù)（multiple coefficient of determination），記為R2 。（總平方和TSS等于解釋平方和ESS+殘差平方和RSS），則 R2 越靠近1，模型的“擬合”越好

8、。,R2所代表的意義,例7.1 兒童死亡率與人均GNP和婦女識字率的關系,建立模型為： （7.6.1）,-0.0056是PGNP的偏回歸系數(shù)，它告訴我們，保持FLR的影響不變，PGNP提高1美元，兒童死亡率平均下降0.0056個單位。在經(jīng)濟上的解釋為，若人均GNP提高1000美元，則每1000名產(chǎn)嬰中不足5歲便死亡的兒童書平均下降5.6%。 -2.2316表明，保持PGNP的影響不變，婦女識字率每提高1個百分點，每4名產(chǎn)嬰中不足5歲便死亡的兒童數(shù)平均減少約2.23人。 263的截距值表明若PGNP和FLR固定為零，則每4名產(chǎn)嬰中兒童死亡人數(shù)的均值為263. 約為0.71的R2 值意味著兒童死亡

9、率變異中約有70%可由PGNP和FLR來解釋。,第四節(jié) 從多元回歸的角度看簡單回歸,經(jīng)典線性回歸模型的假定聲稱，分析中所用的回歸模型是正確設定的，無設定上 的偏誤會誤差。 若假定例7.1中式7.6.1是解釋兒童死亡率行為與人均GNP和婦女識字率FLR之關系的“真實”模型。假設我們去掉FLR而估計如下簡單回歸： 其中Y=CM，X2=PGNP。做回歸： 與“真實”多元回歸相比： 1.從絕對值看，PGNP系數(shù)從0.0056增加到0.0114，幾乎大一倍。 2.標準誤不同。 3.截距值不同。 4.r2 值明顯不同。 錯誤擬合一個模型會導致嚴重后果。,第五節(jié) R2及校正R2,R2 的一個重要性質是，隨著

10、回歸元個數(shù)的增大， R2 幾乎必然增大。,這里， 就是 ，與模型中X變量的個數(shù)無關。但RSS即 卻與模型中出現(xiàn)的回歸元個數(shù)相關。隨著X變量個數(shù)的增加 很可能減小，隨之R2 也將增大。 因此，比較有同一因變量但有不同個數(shù)的X變量的兩個回歸時，選擇有最高R2 值的模型必須當心。,k=包括截距項在內的模型中參數(shù)個數(shù)。 如此定義的R2 ，稱為校正R2 (adjusted R2)，記為 。,很容易得出上式，可看出： （1）對于k1， 。 （2）雖然R2 是非負的，但 可以是負的。實際中，如遇為負值，則取值為零。 實踐中應選哪一個R2 ？ 大多數(shù)統(tǒng)計軟件包都是把校正的R2 連通慣用的R2 一起報告的，完全

11、可以把校正的R2當做另一個統(tǒng)計量來看待。,2.比較兩個R2值,根據(jù)判定系數(shù)比較兩個模型，樣本大小n和因變量都必須相同，解釋變量可取任何形式。,在回歸子形式不同的兩個模型中，如何比較其R2 呢？,2020/8/5,該結果的經(jīng)濟含義是：隨著咖啡價格的上漲，日均咖啡消費量平均下降約半杯。約等于0.66的r2 意味著，咖啡價格大約能解釋咖啡消費量變化的66%。容易驗證，這個方程的斜率系數(shù)是統(tǒng)計上顯著的。 利用同樣的數(shù)據(jù)可以估計出雙對數(shù)（彈性）模型： 由于這是一個雙對數(shù)模型，斜率系數(shù)直接給出了價格彈性系數(shù)的一個估計值。若每磅咖啡的價格上漲1%，則日咖啡消費量平均下降約0.25個百分點。 如何對兩個r2

12、值進行比較，進而選取模型？ 對Y取對數(shù)得lnY, 從第一個模型中得到Yt的估計值，取對數(shù)。 利用方程計算r2 。得0.7318，可與對數(shù)線性模型的r2 值0.7448 比較，差別很小，對數(shù)線性模型擬合的更好。,3.在回歸元之間分配R2,回到例7.1，PGNP和FLR兩個回歸元解釋了兒童死亡率變異種的0.7077或70.77%。但去掉FLR變量的回歸， r2 值下降到0.1662。 差值0.5415（0.7077-0.1662）是否都是因為去掉的變量FLR呢？,我們是否能夠如此將多元回歸的R2 值0.7077在PGNP和FLR兩個回歸元之間分配？,不幸的是，不能這么做。這兩個回歸元之間的相關關系

13、決定，其相關系數(shù)為0.2685。在大多數(shù)含有多個回歸元的應用研究中，回歸元之間的相關都是一個常見問題。,例7.3 柯布-道格拉斯生產(chǎn)函數(shù),隨機形式的Cobb-Douglas生產(chǎn)函數(shù)可表達為： 其中Y=產(chǎn)出，X2=勞動投入，X3=資本投入，u=隨機干擾項，e=自然對數(shù)的底，通過對模型的變換可得： 該函數(shù)的性質： 2 是產(chǎn)出對勞動投入的彈性，度量在資本投入保持不變下勞動投入變化1%時的產(chǎn)出百分比變化。 3 是在勞動投入保持不變下產(chǎn)出對資本投入的彈性。 總和（ 2 + 3 ）給出規(guī)模報酬，即產(chǎn)出對投入的比例變化的反應。如果此總和為1，則規(guī)模報酬不變，即2倍投入帶來2倍產(chǎn)出；若總和小于1，則規(guī)模報酬遞

14、減；若總和大于1，規(guī)模報酬遞增。,假定Cobb-Douglas模型滿足經(jīng)典線性回歸模型。用OLS法得到如下回歸：,解釋： （1）可以看出，勞動和資本彈性分別為1.4988和0.4899。即在研究時期，保持資本不變，勞動投入增加1%，導致產(chǎn)出平均增加約1.5%。保持勞動投入不變，資本投入增加1%導致產(chǎn)出平均增加約0.5%。 （2）兩個產(chǎn)出彈性之和為1.9887，規(guī)模報酬遞增。 （3）R2 取值0.8890，表示產(chǎn)出的對數(shù)的變動的89%可由勞動和資本的對數(shù)來解釋。,第六節(jié) 多項式回歸模型,該圖描述生產(chǎn)一種商品的生產(chǎn)（Y）的短期邊際成本（MC）和它的產(chǎn)出水平（X）的關系。 什么類型的計量經(jīng)濟模型能抓

15、住邊際成本先降后升的性質？,在數(shù)學上，拋物線的表達式為 寫成隨機形式為： 此即二階多項式回歸。 K階多項式回歸可寫成： 方程右邊只有一個解釋變量，但以不同乘方出現(xiàn)，從而使方程稱為多元回歸模型。如果X為固定的或隨機的，則帶有乘方的各Xi項也是固定的或隨機的。 由于二次多項式或k次多項式對參數(shù)而言都是線性的，故可用普通最小二乘法估計。 X2 、 X3 、 X4 等項都是X的非線性函數(shù)，并不違反無多重共線性的假定。 多項式模型沒有提出新的估計問題，可用本章的方法去估計它們。,例7.4 估計總成本函數(shù),由散點圖可見，總成本與產(chǎn)出之間的關系像一條S曲線，可由下面的三次多項式來刻畫： 其中Y=總成本，X=

16、產(chǎn)出。 可用OLS法估計參數(shù)。擬合數(shù)據(jù)得到如下結果：,檢驗與理論的一致性,基本價格理論表明，在短期內，生產(chǎn)的邊際成本（MC）和平均成本（AC）都是U型的。開始時，隨著產(chǎn)出的增加，MC和AC都下降，但到了一定產(chǎn)出水平之后，兩者均轉而升高，顯示邊際報酬遞減的規(guī)律。 可以證明，如果短期邊際和平均成本曲線遵循U形的話，參數(shù)必須滿足如下約束：,2020/8/5,習 題,考慮如下模型： Yi=1+2教育i+ 3工作年限i+ui 假設你漏掉了工作年限變量，預計會出現(xiàn)什么類型的問題或偏誤？,2020/8/5,考慮如下模型： 1和1的OLS估計會不會是一樣的？ 3和3的OLS估計會不會是一樣的？ 2和2有什么關系？ 你能比較兩個模型的R2項嗎？為什么？,要點與結論,本章介