第四講線性回歸分析的擴展

LinearRegressionAnalysis:Extension一、引言：放寬經(jīng)典模型的假設(shè)二、多重共線性三、異方差性四、序列相關(guān)五、設(shè)定誤差第一頁，共九十四頁。一、引言：放寬經(jīng)典模型的假設(shè)第二頁，共九十四頁。引言：放寬經(jīng)典模型的假設(shè)經(jīng)典正態(tài)線性回歸模型（CNLRM）的假定（一）關(guān)于模型的假定回歸模型對參數(shù)而言是線性的模型是正確設(shè)定的（二）關(guān)于解釋變量的假定解釋變量X是確定性變量若X是隨機的，則誤差項與X不相關(guān)解釋變量的取值有足夠變異解釋變量之間不存在完全的線性關(guān)系第三頁，共九十四頁。引言：放寬經(jīng)典模型的假設(shè)經(jīng)典正態(tài)線性回歸模型（CNLRM）的假定（三）關(guān)于誤差項的假定對于給定的X，誤差項均值為0對于給定的X，誤差項方差相等對于給定的X，誤差項之間不存在序列相關(guān)誤差項服從正態(tài)分布第四頁，共九十四頁。引言：放寬經(jīng)典模型的假設(shè)放寬的假定相應(yīng)的問題假定1、2模型設(shè)定問題假定3、4隨機解釋變量假定5過度決定（微數(shù)缺測性）假定6多重共線性假定7誤差項均值非零假定8異方差性假定9序列相關(guān)假定10誤差項非正態(tài)分布假定3和4在聯(lián)立方程模型中討論對假定5我們做簡單討論假定7影響參數(shù)估計的無偏性，暫不討論假定10對于大樣本數(shù)據(jù)不是必需的假定。本講主要考慮放寬了其余假定后面臨的問題第五頁，共九十四頁。引言：放寬經(jīng)典模型的假設(shè)微數(shù)缺測性從理論上講，樣本容量n和解釋變量數(shù)目k必須滿足n>k+2，才能進行OLS估計和假設(shè)檢驗。但事實上，即便n滿足上述條件，但如果樣本很小，那么雖然能夠進行估計和檢驗，也很難通過t檢驗。第六頁，共九十四頁。什么是多重共線性多重共線性的影響多重共線性的診斷多重共線性的處理二、多重共線性第七頁，共九十四頁。什么是多重共線性多重共線性（multicollinearity）：回歸模型中的一些或全部解釋變量之間存在一定程度的線性關(guān)系第八頁，共九十四頁。什么是多重共線性例題4.1其他例題：p200X1

X2X3X410555267158075251895973424125129183015515289第九頁，共九十四頁。什么是多重共線性圖形表示：巴倫坦圖YX1X2YX1X2低度多重共線性高度多重共線性第十頁，共九十四頁。什么是多重共線性產(chǎn)生多重共線性的原因樣本過小模型設(shè)定有誤：添加了過多的解釋變量由于樣本過小，即便在總體中解釋變量之間沒有線性關(guān)系，也可能在獲得的樣本中觀察到較強的線性關(guān)系第十一頁，共九十四頁。多重共線性的影響存在完全線性關(guān)系時的OLS估計無法得到OLS估計量例題：p201-202第十二頁，共九十四頁。多重共線性的影響存在多重共線性關(guān)系時的OLS估計可以證明即便存在多重共線性，OLS估計量仍然是BLUE，但系數(shù)估計量的方差較大，從而不容易通過t檢驗，同時預(yù)測區(qū)間變寬，降低了預(yù)測精確度。例題：p202-203第十三頁，共九十四頁。多重共線性的影響影響程度的度量：方差膨脹因子（variance-inflationfactor）第十四頁，共九十四頁。多重共線性的影響例題4.2RjVIFj0.001.00A0.501.331.33A0.905.765.76A0.9510.2610.26A0.9950.2550.25A第十五頁，共九十四頁。多重共線性的診斷簡單診斷方法R2高而單個系數(shù)的t值小，換言之，F(xiàn)檢驗顯著，但顯著的t值少任意兩個解釋變量之間的相關(guān)系數(shù)較大，比如大于0.9解釋變量之間的偏相關(guān)系數(shù)較大簡單方法一般來說不很精確第十六頁，共九十四頁。多重共線性的診斷運用回歸分析進行診斷逐步分析法：先引入經(jīng)濟意義明顯，并且在統(tǒng)計上最顯著的解釋變量，然后逐步引入其他解釋變量。如果新引入的解釋變量使原有解釋變量的系數(shù)估計值發(fā)生明顯變化，或t統(tǒng)計量明顯變小，則說明新引入的解釋變量與原有解釋變量之間存在多重共線性，可以去掉新引入的解釋變量輔助回歸法：做每一個解釋變量對其余解釋變量的回歸，得出相應(yīng)的F統(tǒng)計值，如果在給定的顯著性水平下F統(tǒng)計值是顯著的，說明該解釋變量與其他解釋變量之間存在線性關(guān)系，可以去掉該解釋變量（p207，p211）第十七頁，共九十四頁。多重共線性的診斷運用一些指標進行診斷方差膨脹因子：計算每個解釋變量的方差膨脹因子VIF，一般認為如果VIF大于10，說明該變量與其他變量存在高度共線性容許度（tolerance）：定義容許度TOL如下，一般認為如果TOL小于0.1，說明該變量與其他變量存在高度共線性條件指數(shù)（conditionindex,CI）：一般認為，如果條件指數(shù)在10到30之間，存在較強的多重共線性，如果大于30，則存在嚴重的多重共線性第十八頁，共九十四頁。多重共線性的診斷例題4.3（p218）YConsumptionX1IncomeX2Wealth7080810651001009901201273951401425110160163311518018761202002052140220220115524024351502602686例題：p209-211第十九頁，共九十四頁。多重共線性的診斷幾點說明多重共線性是一個程度問題而不是存在與否的問題多重共線性是關(guān)于樣本的一種特征如果研究是為了估計斜率系數(shù)和預(yù)測，多重共線性不是一個嚴重的問題；但如果研究的主要目的是假設(shè)檢驗，則高度多重共線性的危害就很大第二十頁，共九十四頁。多重共線性的處理剔除共線性變量中不太重要的解釋變量補充新數(shù)據(jù)重新設(shè)定模型練習(xí)題：p216-217，習(xí)題10.14-10.19第二十一頁，共九十四頁。什么是異方差性異方差性的影響異方差性的診斷異方差性的處理三、異方差性第二十二頁，共九十四頁。什么是異方差性異方差性（heteroscedasticity）：回歸模型誤差項的方差不相同同方差性（homoscedasticity）：回歸模型誤差項的方差不相同第二十三頁，共九十四頁。什么是異方差性同方差性XY概率密度X：受教育年限Y：工資第二十四頁，共九十四頁。什么是異方差性異方差性XY概率密度X：收入Y：消費支出第二十五頁，共九十四頁。什么是異方差性異方差性XY概率密度X：時間Y：打字錯誤例題：p220-224第二十六頁，共九十四頁。什么是異方差性產(chǎn)生異方差性的原因原因解釋變量：收入被解釋變量：消費支出解釋變量與誤差項相關(guān)隨著收入的增加，支出差異性更大有重要的解釋變量未被包含在回歸模型中物價也是影響支出的因素，物價上漲時，高收入者有可能拿出更多的錢來消費，因而支出差異性更大異常值（outliers）第二十七頁，共九十四頁。異方差性的影響回歸系數(shù)的OLS估計量雖然是無偏的、一致的，但不再是有效的回歸標準差的估計不再是無偏的回歸系數(shù)OLS估計量的方差估計不再是無偏的，因而t統(tǒng)計量不再服從t分布，F(xiàn)統(tǒng)計量不再服從F分布，從而無法進行區(qū)間估計和假設(shè)檢驗無法根據(jù)回歸結(jié)果進行預(yù)測第二十八頁，共九十四頁。異方差性的診斷圖解法布羅施-培甘檢驗（Breusch-Pagantest）懷特檢驗（Whitetest）帕克檢驗（Parktest）Glesjertest戈德菲爾德-匡特檢驗（Goldfeld-Quandttest）第二十九頁，共九十四頁。異方差性的診斷圖解法在同方差假定下作回歸分析，用殘差項平方與解釋變量做散點圖X第三十頁，共九十四頁。異方差性的診斷圖解法：簡便處理用殘差項平方與因變量擬合值做散點圖第三十一頁，共九十四頁。異方差性的診斷例題4.4（p222）1988年美國公司銷售額與研發(fā)支出的關(guān)系第三十二頁，共九十四頁。異方差性的診斷例題4.4第三十三頁，共九十四頁。異方差性的診斷布勞殊-培干檢驗（Breusch-Pagantest）第三十四頁，共九十四頁。異方差性的診斷例題4.4：BPTest第三十五頁，共九十四頁。異方差性的診斷懷特檢驗（Whitetest）第三十六頁，共九十四頁。異方差性的診斷懷特檢驗的特例第三十七頁，共九十四頁。異方差性的診斷例題4.4：WhiteTest第三十八頁，共九十四頁。異方差性的診斷在EViews等計量經(jīng)濟學(xué)軟件中，直接提供White異方差檢驗的結(jié)果，不需要手工計算。第三十九頁，共九十四頁。異方差性的處理加權(quán)最小二乘法（WeightedLeastSquare，WLS）WLS是廣義最小二乘估計（GeneralizeLeastSquare,GLS）方法中的一種通過WLS可以得到BLUE重新設(shè)定模型懷特一致協(xié)方差矩陣估計（WhiteHeteroskedasticity-ConsistenceCovarianceMatrixEstimation）得到無偏一致估計量（在大樣本情形下適用）第四十頁，共九十四頁。異方差性的處理加權(quán)最小二乘估計：誤差項方差已知第四十一頁，共九十四頁。異方差性的處理加權(quán)最小二乘估計：誤差項方差未知第四十二頁，共九十四頁。異方差性的處理例題4.4：加權(quán)最小二乘估計（p233）1988年美國公司銷售額與研發(fā)支出的關(guān)系第四十三頁，共九十四頁。異方差性的處理可行的廣義最小二乘估計在一般情況下，我們并不知道異方差的具體形式，需要對異方差的函數(shù)形式做出估計，然后再進行加權(quán)最小二乘估計，這種方法屬于可行的廣義最小二乘估計（FeasibleGeneralizedLeastSquare,FGLS）（伍德里奇，2000；趙國慶，2001）第四十四頁，共九十四頁。異方差性的處理可行的廣義最小二乘估計第四十五頁，共九十四頁。異方差性的處理例題4.51996年中國各省市城鎮(zhèn)居民人均收入與人均消費的關(guān)系第四十六頁，共九十四頁。異方差性的處理重新設(shè)定模型例題：p235第四十七頁，共九十四頁。異方差性的處理例題4.51996年中國各省市城鎮(zhèn)居民人均收入與人均消費的關(guān)系第四十八頁，共九十四頁。異方差性的處理懷特一致協(xié)方差矩陣估計如果存在異方差，則對于通過OLS得到的估計量不能進行t檢驗和F檢驗。EViews等軟件提供懷特一致協(xié)方差矩陣估計量（WhiteHeteroskedasticity-ConsistenceCovarianceMatrixEstimator），這種方法提供大樣本情形下回歸標準差和回歸系數(shù)的一致估計量，可以進行t檢驗和F檢驗。例題：p236第四十九頁，共九十四頁。異方差性的處理例題4.6：懷特一致協(xié)方差矩陣估計1998年中國各省市城鎮(zhèn)居民人均可支配收入與通訊交通支出第五十頁，共九十四頁。什么是序列相關(guān)序列相關(guān)的影響序列相關(guān)的診斷序列相關(guān)的處理四、序列相關(guān)第五十一頁，共九十四頁。什么是序列相關(guān)序列相關(guān)（serialcorrelation）：回歸模型的誤差項之間不完全獨立，存在一定程度的相關(guān)。也稱自相關(guān)（autocorrelation）序列相關(guān)經(jīng)常出現(xiàn)在時間序列數(shù)據(jù)中，但在橫截面數(shù)據(jù)中也會出現(xiàn)第五十二頁，共九十四頁。什么是序列相關(guān)序列相關(guān)圖示tut無序列相關(guān)第五十三頁，共九十四頁。什么是序列相關(guān)序列相關(guān)圖示Tutut-1utTututut-1正相關(guān)負相關(guān)第五十四頁，共九十四頁。什么是序列相關(guān)產(chǎn)生序列相關(guān)的原因原因?qū)嵗龖T性或滯后經(jīng)濟周期;消費慣性有重要的解釋變量未被包含在回歸模型中在研究總量生產(chǎn)函數(shù)時,沒有考慮政策的影響,而政策對總產(chǎn)量的影響在每一期都可能是正的或負的第五十五頁，共九十四頁。序列相關(guān)的影響回歸系數(shù)的OLS估計量雖然是無偏的、一致的，但不再是有效的回歸系數(shù)OLS估計量的方差估計不再是無偏的，一般而言會低估實際的方差，從而使得系數(shù)的顯著性檢驗容易被通過，而實際上該系數(shù)是不顯著的t檢驗和F檢驗是不準確的第五十六頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響：圖示總體回歸曲線樣本回歸曲線XtYt第五十七頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響（1）第五十八頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響（2）第五十九頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響（3）第六十頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響（4）第六十一頁，共九十四頁。序列相關(guān)的影響序列相關(guān)對方差估計的影響（5）第六十二頁，共九十四頁。序列相關(guān)的診斷圖解法：在無序列相關(guān)的假定下作回歸分析，然后用殘差項與時間變量做散點圖，或者用本期的殘差與上一期的殘差做散點圖（p248）游程檢驗（runstest，p249-250）德賓-沃森檢驗第六十三頁，共九十四頁。序列相關(guān)的診斷例題4.7：圖解法1968-1987年美國居民對進口商品的消費支出與可支配收入的關(guān)系（數(shù)據(jù)在p116）第六十四頁，共九十四頁。序列相關(guān)的診斷德賓-沃森檢驗（Durbin-Watsontest）第六十五頁，共九十四頁。序列相關(guān)的診斷德賓-沃森檢驗（Durbin-Watsontest）第六十六頁，共九十四頁。序列相關(guān)的診斷德賓-沃森檢驗（Durbin-Watsontest）根據(jù)OLS估計的殘差計算出來的d統(tǒng)計量服從特定的分布，可根據(jù)樣本容量n和解釋變量數(shù)目k查表并判斷是否存在序列相關(guān)d的值域序列相關(guān)性(0,dL)正的序列相關(guān)[dL,dU]無法判定(dU,4-dU)無序列相關(guān)[4-dU,4-dL]無法判定(4-dU,4)負的序列相關(guān)第六十七頁，共九十四頁。序列相關(guān)的診斷德賓-沃森檢驗的步驟對原方程進行OLS估計得到殘差根據(jù)d統(tǒng)計量的公式計算d值根據(jù)樣本容量和解釋變量數(shù)目查找d的下臨界值和上臨界值根據(jù)決策規(guī)則判定是否存在一階自相關(guān)統(tǒng)計軟件會自動計算d值，因此我們需要做的僅是后兩步第六十八頁，共九十四頁。序列相關(guān)的診斷例題4.7：德賓-沃森檢驗進口商品消費支出（IMPORT）與可支配收入（PDI）例題：p252-253第六十九頁，共九十四頁。序列相關(guān)的診斷德賓-沃森檢驗的適用條件回歸模型中有常數(shù)項誤差項為一階自相關(guān)不含有因變量的滯后項（不是自回歸模型）第七十頁，共九十四頁。序列相關(guān)的診斷包含滯后變量（自回歸模型）的序列相關(guān)診斷對于此類模型，DW檢驗是無效的，為此，Durbin提出可以計算h統(tǒng)計量來進行序列相關(guān)診斷（平狄克、魯賓費爾德，1998）第七十一頁，共九十四頁。序列相關(guān)的處理出現(xiàn)序列相關(guān)的原因有很多，我們僅僅考慮最簡單的情況，即存在一階自相關(guān)時對于序列相關(guān)問題的處理第七十二頁，共九十四頁。序列相關(guān)的處理基本思想第七十三頁，共九十四頁。序列相關(guān)的處理一階差分法注意：使用一階差分法時不含截距項第七十四頁，共九十四頁。序列相關(guān)的處理例題4.7：一階差分法第七十五頁，共九十四頁。序列相關(guān)的處理根據(jù)d統(tǒng)計量估計自相關(guān)系數(shù)第七十六頁，共九十四頁。序列相關(guān)的處理例題4.7：根據(jù)d統(tǒng)計量估計自相關(guān)系數(shù)第七十七頁，共九十四頁。序列相關(guān)的處理根據(jù)OLS估計的殘差估計自相關(guān)系數(shù)第七十八頁，共九十四頁。序列相關(guān)的處理例題4.7：根據(jù)OLS估計的殘差估計自相關(guān)系數(shù)第七十九頁，共九十四頁。什么是設(shè)定誤差設(shè)定誤差的影響設(shè)定誤差的診斷和處理測量誤差五、設(shè)定誤差第八十頁，共九十四頁。什么是設(shè)定誤差經(jīng)典正態(tài)線性模型假定模型的設(shè)定是正確的，但一般情況下我們建立的模型很可能是不正確的，這種情況稱為設(shè)定誤差（specificationerror）好模型的標準節(jié)省性（parsimony）可識別性（identifiability）擬和優(yōu)度（goodnessoffit）理論一致性（theoreticalconsistency）預(yù)測能力（predictivepower）第八十一頁，共九十四頁。什么是設(shè)定誤差設(shè)定誤差的類型遺漏相關(guān)變量包含無關(guān)變量采用錯誤函數(shù)形式第八十二頁，共九十四頁。什么是設(shè)定誤差例題4.8：設(shè)定誤差1968-1987年美國居民對進口商品的消費支出（IMPORT）與可支配收入（PDI）的關(guān)系第八十三頁，共九十四頁。設(shè)定誤差的影響遺漏相關(guān)變量：回歸系數(shù)的OLS估計量可能是有偏的、非一致的；系數(shù)的方差估計也是有偏的包含無關(guān)變量：回歸系數(shù)的OLS估計量是無偏的，方差估計也是無偏的，但不是最小方差，因而OLS估計量不是有效的（證明見古扎拉蒂（1995），參看例題13.3）錯誤的函數(shù)形式：回歸系數(shù)的OLS估計量可能是有偏的（參看例題13.4）一般來說，遺漏相關(guān)變量的后果要嚴重一些，因為它損失了無偏性。特別是當樣本比較大時，包含不相關(guān)變量帶來的自由度減少不太嚴重，因而包含不相關(guān)變量的影響要小一些第八十四頁，共九十四頁。設(shè)定誤差的影響遺漏相關(guān)變量的影響證明見古扎拉蒂（1995）或平狄克等（1998）例題13.1、13.2第八十五頁，共九十四頁。設(shè)定誤差的診斷和處理遺漏相關(guān)變量和采用錯誤的函數(shù)形式根據(jù)設(shè)定好的模型進行OLS估計，對結(jié)果進行判斷殘差圖R2和調(diào)整的R2與預(yù)期相比，系數(shù)估計值的符號回歸系數(shù)的t值德賓-沃森d統(tǒng)計量如果R2較低，或者系數(shù)估計值的符號與預(yù)期相反，或者有很多t值不顯著，或者d統(tǒng)計量偏小。就有可能是因為遺漏了某個相關(guān)變量，或者采用了錯誤的函數(shù)形式特別是，d統(tǒng)計量偏小很可能不是因為序列相關(guān)，而是因為遺漏了某個相關(guān)變量。因此，如果加入某些變量后d統(tǒng)計量接近2，那么就應(yīng)該把這些變量包含在模型中第八十六頁，共九十四頁。設(shè)定誤差的診斷和處理例題4.9（p272）美國居民對進口商品的消費支出與可支配收入的關(guān)系第八十七頁，共九十四頁。設(shè)定誤差的診斷和處理包含無關(guān)變量如果不知道某個變量是否應(yīng)包含在模型中，可將該變量加入模型進行回歸并作t檢驗，如果不顯著，該變量很可能是多余的如果不知道某些變量是否應(yīng)包含在模型中，可將該變量加入模型進行回歸，并對這些變量的系數(shù)做聯(lián)合F檢驗（對于線性約束的檢驗），如果不顯著，這些變量很可能是多余的（也可以應(yīng)用似然比檢驗）例題13.5注意：如果根據(jù)理論分析，某些變量必須包括在模型中，那么即便這些變量的回歸系數(shù)不顯著，也應(yīng)該把他們保留在模型中第八十八頁，共九十四頁。設(shè)定誤差的診斷和處理一般情況下設(shè)定誤差的檢驗（RESET）回歸設(shè)定誤差檢驗（re