第六章多重共線性的情形及其處理6.1多重共線性產(chǎn)生的背景和原因6.2多重共線性對回歸模型的影響6.3多重共線性的診斷6.4消除多重共線性的方法6.5主成分回歸6.6本章小結(jié)與評注多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第1頁!第六章多重共線性的情形及其處理

如果存在不全為0的p+1個數(shù)c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n（6.1）則稱自變量x1,x2,…,xp之間存在著完全多重共線性。在實際經(jīng)濟問題中完全的多重共線性并不多見，常見的是（6.1）式近似成立的情況，即存在不全為0的p+1個數(shù)c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n（6.2）稱自變量x1,x2,…,xp之間存在著多重共線性(Multi-collinearity),也稱為復(fù)共線性。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第2頁!§6.1多重共線性產(chǎn)生的經(jīng)濟背景和原因

當(dāng)我們所研究的經(jīng)濟問題涉及到時間序列資料時,由于經(jīng)濟變量隨時間往往存在共同的變化趨勢,使得它們之間就容易出現(xiàn)共線性。例如,我們要研究我國居民消費狀況,影響居民消費的因素很多,一般有職工平均工資、農(nóng)民平均收入、銀行利率、全國零售物價指數(shù)、國債利率、貨幣發(fā)行量、儲蓄額、前期消費額等,這些因素顯然既對居民消費產(chǎn)生重要影響,它們之間又有著很強的相關(guān)性。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第3頁!§6.1多重共線性產(chǎn)生的經(jīng)濟背景和原因

許多利用截面數(shù)據(jù)建立回歸方程的問題常常也存在自變量高度相關(guān)的情形。例如,我們以企業(yè)的截面數(shù)據(jù)為樣本估計生產(chǎn)函數(shù),由于投入要素資本K,勞動力投入L,科技投入S,能源供應(yīng)E等都與企業(yè)的生產(chǎn)規(guī)模有關(guān),所以它們之間存在較強的相關(guān)性。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第4頁!§6.2多重共線性對回歸模型的影響

對非完全共線性,存在不全為零的一組數(shù)c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第5頁!§6.2多重共線性對回歸模型的影響

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第6頁!§6.2多重共線性對回歸模型的影響

當(dāng)給不同的r12值時,由表6.1可看出方差增大的速度。為了方便，我們假設(shè)σ2/L11=1,相關(guān)系數(shù)從0.5變?yōu)?.9時,回歸系數(shù)的方差增加了295%,相關(guān)系數(shù)從0.5變?yōu)?.95時,回歸系數(shù)的方差增加了670%。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第7頁!§6.3多重共線性的診斷

一、方差擴大因子法

對自變量做中心標準化，則X*′X*=(rij)為自變量的相關(guān)陣。記C=(cij)=(X*′X*)-1 (6.5)稱其主對角線元素VIFj=cjj為自變量xj的方差擴大因子(VarianceInflationFactor,簡記為VIF)。根據(jù)（3.31）式可知，其中Ljj是xj的離差平方和，由（6.6）式可知用cjj做為衡量自變量xj的方差擴大程度的因子是恰如其分的。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第8頁!§6.3多重共線性的診斷

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第9頁!§6.3多重共線性的診斷

經(jīng)驗表明,當(dāng)VIFj≥10時,就說明自變量xj與其余自變量之間有嚴重的多重共線性,且這種多重共線性可能會過度地影響最小二乘估計值。還可用p個自變量所對應(yīng)的方差擴大因子的平均數(shù)來度量多重共線性。當(dāng)遠遠大于1時就表示存在嚴重的多重共線性問題。

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第10頁!§6.3多重共線性的診斷以下用SPSS軟件診斷例3.2中國民航客運量一例中的多重共線性問題。

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第11頁!§6.3多重共線性的診斷

記X=（X0，X1，…，Xp），其中

Xi為X的列向量，X0=（1，1，…，1）′是元素全為1的n維列向量。λ是矩陣X′X的一個近似為零的特征根，λ≈0c=(c0,c1,…,cp)′是對應(yīng)于特征根λ的單位特征向量，則X′X

c=λc≈0多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第12頁!§6.3多重共線性的診斷（二）條件數(shù)

特征根分析表明，當(dāng)矩陣X′X有一個特征根近似為零時，設(shè)計矩陣X的列向量間必存在復(fù)共線性。那么特征根近似為零的標準如何確定哪？這可以用下面介紹的條件數(shù)確定。記X′X的最大特征根為λm，稱為特征根λi的條件數(shù)（ConditionIndex）。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第13頁!§6.3多重共線性的診斷

對例3.2中國民航客運量的例子，用SPSS軟件計算出特征根與條件數(shù)如下：

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第14頁!§6.3多重共線性的診斷

（三）直觀判定法1.當(dāng)增加或剔除一個自變量,或者改變一個觀測值時,回歸系數(shù)的估計值發(fā)生較大變化。2.從定性分析認為,一些重要的自變量在回歸方程中沒有通過顯著性檢驗。3.有些自變量的回歸系數(shù)所帶正負號與定性分析結(jié)果違背。4.自變量的相關(guān)矩陣中,自變量間的相關(guān)系數(shù)較大。5.一些重要的自變量的回歸系數(shù)的標準誤差較大。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第15頁!§6.4消除多重共線性的方法

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第16頁!§6.4消除多重共線性的方法

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第17頁!§6.4消除多重共線性的方法

三、回歸系數(shù)的有偏估計

消除多重共線性對回歸模型的影響是近30年來統(tǒng)計學(xué)家們關(guān)注的熱點課題之一,除以上方法被人們應(yīng)用外,統(tǒng)計學(xué)家還致力于改進古典的最小二乘法,提出以采用有偏估計為代價來提高估計量穩(wěn)定性的方法,如：嶺回歸法主成分回歸法偏最小二乘法等。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第18頁!§6.5主成分回歸

以例3.3民航客運量的數(shù)據(jù)為例。首先對5個自變量計算主成分，抽取因子數(shù)目設(shè)為5，點“得分”按鈕保存主成分得分。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第19頁!§6.5主成分回歸現(xiàn)在用y對前兩個主成分Factor1和Factor2做普通最小二乘回歸，得主成分回歸回歸方程：不過以上回歸方程的自變量是用兩個主成分Factor1和Factor2表示的，應(yīng)該轉(zhuǎn)換回到用原始自變量表示的回歸方程。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第20頁!§6.5主成分回歸

還原后的主成分回歸方程為：每個回歸系數(shù)的解釋也都合理。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第21頁!§6.6本章小結(jié)與評注

當(dāng)解釋變量之間的簡單相關(guān)系數(shù)很大時,可以斷定自變量間存在著嚴重的多重共線性；但是一個回歸方程存在嚴重的多重共線性時,解釋變量之間的簡單相關(guān)系數(shù)不一定很大。例如假定3個自變量之間有完全確定的關(guān)系再假定x2與x3的簡單相關(guān)系數(shù)r23=-0.5，x2與x3的離差平方和L22=L33=1，此時

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第22頁!§6.2多重共線性對回歸模型的影響

設(shè)回歸模型y=β0+β1x1+β2x2+…+βpxp+ε存在完全的多重共線性,即對設(shè)計矩陣X的列向量存在不全為零的一組數(shù)c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n設(shè)計矩陣X的秩rank（X）<p+1，此時|x′x|=0，正規(guī)方程組的解不唯一，（x′x）-1不存在，回歸參數(shù)的最小二乘估計表達式不成立。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第23頁!§6.2多重共線性對回歸模型的影響

我們做y對兩個自變量x1,x2的線性回歸,假定y與x1,x2都已經(jīng)中心化，此時回歸常數(shù)項為零，回歸方程為多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第24頁!§6.2多重共線性對回歸模型的影響

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第25頁!§6.2多重共線性對回歸模型的影響

在例3.3中,我們建立的中國民航客運量回歸方程為：=450.9+0.354x1-0.561x2-0.0073x3+21.578x4+0.435x5

其中：y—民航客運量(萬人),

x1—國民收入(億元),x2—消費額(億元),

x3—鐵路客運量(萬人),x4—民航航線里程(萬公里),

x5—來華旅游入境人數(shù)(萬人)。5個自變量都通過了t檢驗，但是x2的回歸系數(shù)是負值，x2是消費額，從經(jīng)濟學(xué)的定性分析看，消費額與民航客運量應(yīng)該是正相關(guān)，負的回歸系數(shù)無法解釋。問題出在哪里？這正是由于自變量之間的復(fù)共線性造成的。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第26頁!§6.3多重共線性的診斷

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第27頁!§6.3多重共線性的診斷

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第28頁!§6.3多重共線性的診斷多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第29頁!§6.3多重共線性的診斷二、特征根判定法（一）特征根分析根據(jù)矩陣行列式的性質(zhì)，矩陣的行列式等于其特征根的連乘積。因而，當(dāng)行列式|X′X|≈0時,矩陣X′X至少有一個特征根近似為零。反之可以證明，當(dāng)矩陣X′X至少有一個特征根近似為零時，X的列向量間必存在復(fù)共線性，證明如下：多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第30頁!§6.3多重共線性的診斷

上式兩邊左乘c′，得c′X′X

c≈0從而有X

c≈0即c0X0+c1X1+…+cpXp≈0寫成分量形式即為c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n這正是（6.2）式定義的多重共線性關(guān)系。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第31頁!§6.3多重共線性的診斷

0＜k＜10時,設(shè)計矩陣X沒有多重共線性;10≤k＜100時,認為X存在較強的多重共線性;當(dāng)k≥100時,則認為存在嚴重的多重共線性。用條件數(shù)判斷多重共線性的準則

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第32頁!§6.3多重共線性的診斷方差比例是用于判斷哪幾個自變量之間存在共線性的。實際上共線性關(guān)系可以根據(jù)（6.9）式直接從特征向量看出來，只是SPSS軟件在線性回歸模塊中沒有輸出特征向量陣。把特征向量按照特征值由大到小排成行向量，每個數(shù)值平方后再除以特征值，然后再把每列數(shù)據(jù)除以列數(shù)據(jù)之和，使得每列數(shù)據(jù)之和為1，這樣就得到了輸出結(jié)果6.2的方差比。再次強調(diào)的是線性回歸分析共線性診斷中設(shè)計陣X包含代表常數(shù)項的一列1，而因子分析模塊中給出的特征向量是對標準化的設(shè)計陣給出的，兩者之間有一些差異。

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第33頁!§6.4消除多重共線性的方法

一、剔除一些不重要的解釋變量

在剔除自變量時,可以將回歸系數(shù)的顯著性檢驗、方差擴大因子VIF以及自變量的經(jīng)濟含義結(jié)合起來考慮，以引進或剔除變量。多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第34頁!§6.4消除多重共線性的方法

多重共線性的情形及其處理共41頁，您現(xiàn)在瀏覽的是第35頁!§6.4消除多重共線性的方法二、增大樣本容量例如,由（6.3）式和（6.4）式