第6章多重共線性

第6章多重共線性

異方差和序列相關(guān)性都是隨機(jī)誤差項(xiàng)不滿足經(jīng)典回歸分析條件假設(shè)的問題。本章將研究解釋變量違背經(jīng)典假設(shè)時的問題。

異方差和序列相關(guān)性都是隨機(jī)誤差項(xiàng)不滿足經(jīng)典回主要內(nèi)容第一節(jié)多重共線性第二節(jié)多重共線性的后果第三節(jié)多重共線性的檢驗(yàn)第四節(jié)多重共線性補(bǔ)救措施？主要內(nèi)容第一節(jié)多重共線性第一節(jié)多重共線性

對于模型其基本假設(shè)之一是解釋變量x1，x2，…，xk是相互獨(dú)立的，如果其兩個或多個解釋變量之間出現(xiàn)了相關(guān)性，則成為多重共線性。如果存在不全為零的c1，c2，…，ck，使得

稱這些解釋變量之間存在完全共線性。

如果出現(xiàn)這種情況，則說明存在某個解釋變量可以由其余的解釋變量線性表示。

第一節(jié)多重共線性對于模型其基本假設(shè)之一是解釋變

當(dāng)然完全的多重共線性的情況并不多見，往往出現(xiàn)的是一定程度上地近似共線性，即

在進(jìn)行經(jīng)濟(jì)計(jì)量分析時，如果模型地設(shè)定出現(xiàn)失誤，則容易導(dǎo)致完全共線性

例如：設(shè)定居民消費(fèi)對工資收入S和非勞動收入N及總收入T的回歸模型為則出現(xiàn)了多重共線性，這是因?yàn)榭偸杖?工資收入+非勞動收入，這個糟糕的設(shè)定導(dǎo)致了完全共線性!!!!!當(dāng)然完全的多重共線性的情況并不多見，往往出現(xiàn)

在實(shí)踐中，許多經(jīng)濟(jì)變量之間往往存在著一定的相互聯(lián)系，但各自又受到一些隨機(jī)因素的影響，從而表現(xiàn)為高度相關(guān)，但又不是完全相關(guān)。

如：影響家庭消費(fèi)支出的家庭收入及家庭財富兩個變量就存在明顯的高度相關(guān)；

又如：影響企業(yè)產(chǎn)出的勞動投入和資本投入二者之間也往往具有相當(dāng)高的相關(guān)關(guān)系，這是因?yàn)檫@兩個投入要素與產(chǎn)出成正比，產(chǎn)出高的企業(yè)，投入的要素自然多，這就導(dǎo)致投入要素呈線性相關(guān)性。另外，經(jīng)濟(jì)變量在時間上有共同變化的趨勢。如在經(jīng)濟(jì)上升時期，收入、消費(fèi)、就業(yè)率都在增長；當(dāng)經(jīng)濟(jì)收縮期，收入、消費(fèi)、就業(yè)率等都又都在下降。當(dāng)這些變量同時進(jìn)入模型就存在多重共線性。在實(shí)踐中，許多經(jīng)濟(jì)變量之間往往存在著一定的相

再如：建立一個服裝需求模型，影響服裝需求量q的有收入I，服裝價格p，按常規(guī)判斷，收入和價格之間不應(yīng)該相關(guān)。但細(xì)致地分析后發(fā)現(xiàn)，高收入者經(jīng)常在高檔商場購買服裝，低收入者往往在低檔商場購買，而同樣的服裝在高檔商場和低檔商場的價格是不同的，這樣就產(chǎn)生了多重共線性。

有時候，模型中的某個變量和其滯后項(xiàng)同時作為解釋變量。

再如：建立一個服裝需求模型，影響服裝需求量q第二節(jié)多重共線性的后果

1、完全共線性時的參數(shù)估計(jì)不存在

而當(dāng)完全共線性時，由于，故不存在。

這是因?yàn)閰?shù)估計(jì)為：

2、一般共線性（近似）下OLS法的參數(shù)估計(jì)量是BLUE,但是有大的方差和協(xié)方差，難以做出精確的估計(jì)。

由于此時，而，引起主對角元素變大。第二節(jié)多重共線性的后果1、完全共線性時的參數(shù)估計(jì)不4、變量的顯著性失去意義

3、參數(shù)估計(jì)量的經(jīng)濟(jì)含義不合理或不清晰

例如：x1和x2的系數(shù)并不能反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的共同影響，因而失去各自參數(shù)的應(yīng)有經(jīng)濟(jì)含義，當(dāng)這種狀況出現(xiàn)時，其模型常出現(xiàn)反?，F(xiàn)象，如本該出現(xiàn)正的系數(shù)，結(jié)果卻是負(fù)系數(shù)等。

解釋變量接近多重共線性的影響使回歸系數(shù)的標(biāo)準(zhǔn)差增大，t-統(tǒng)計(jì)值減小，從而使系數(shù)顯著性下降（甚至有時候可能不顯著）。4、變量的顯著性失去意義3、參數(shù)估計(jì)量的經(jīng)濟(jì)含義不合理或不多重共線性一定是壞事情嗎？

如果回歸分析的唯一目的是預(yù)測或預(yù)報，則多重共線性不是一個嚴(yán)重的問題。因?yàn)椋琑2值越高，預(yù)測越準(zhǔn)。多重共線性一定是壞事情嗎？如果回歸分析的唯一第三節(jié)多重共線性的檢驗(yàn)

首先，當(dāng)模型的解釋變量之間高度相關(guān)時，經(jīng)常會出現(xiàn)以下的一些癥狀：

第一，盡管對模型的整體性檢驗(yàn)值（如F值，判定系數(shù)R2）很高，但是各回歸系數(shù)估計(jì)量的方差很大，這樣會導(dǎo)致對各回歸系數(shù)顯著性的t檢驗(yàn)值很低，從而使得對模型的取舍產(chǎn)生矛盾，這表明模型往往出現(xiàn)了多重共線性。

第二，每個回歸系數(shù)的值很難精確估計(jì)，甚至可能出現(xiàn)估計(jì)出的回歸系數(shù)值令人難以置信或符號錯誤的現(xiàn)象，這也導(dǎo)致我們難以精確鑒別各個解釋變量對被解釋變量的不同影響。第三節(jié)多重共線性的檢驗(yàn)首先，當(dāng)模型

第三，模型闡述的估計(jì)量對刪除或增添少量的觀察值以及刪除一個不顯著的解釋變量可能非常敏感，換句話說，樣本數(shù)據(jù)得很小變化都會導(dǎo)致模型參數(shù)估計(jì)量的很大變化。

觀察有無上述癥狀，將有助于判斷解釋變量之間是否存在較嚴(yán)重的多重共線性。

但是，要準(zhǔn)確的測度解釋變量之間的多重共線性還需要有一些專門的方法和專門地測度指標(biāo)來進(jìn)行。

（1）簡單相關(guān)系數(shù)測度法

兩變量間的簡單相關(guān)系數(shù)r時測定量變量之間線性相關(guān)程度的重要指標(biāo)，因此可用來測定回歸模型的解釋變量之間的共線性程度。第三，模型闡述的估計(jì)量對刪除或增添少量的觀察值

如果兩個解釋變量的相關(guān)系數(shù)的平方r2比較高（如0.9以上），那么解釋變量之間的共線性將是嚴(yán)重的。如果兩個解釋變量的相關(guān)系數(shù)的平方r2大于被解釋變量對全部變量的判定系數(shù)R2，則解釋變量之間的共線性是有害的。設(shè)xs和xt是兩個變量，觀察值分別為：

則相關(guān)系數(shù)平方為：

如果兩個解釋變量的相關(guān)系數(shù)的平方r2比較高（如0.【注】此方法的缺點(diǎn)是：用簡單相關(guān)系數(shù)測度法的局限性在于相關(guān)系數(shù)只能測度兩個解釋變量之間線性相關(guān)的程度，而不能測度三個或更多解釋變量之間的線性相關(guān)關(guān)系。【注】此方法的缺點(diǎn)是：用簡單相關(guān)系數(shù)測度法的局限性在于相關(guān)系

（2）判定系數(shù)檢驗(yàn)法

使模型中每一個解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸分析計(jì)算，并計(jì)算相應(yīng)的擬合優(yōu)度（判定系數(shù)）。如果在某種形式中判定系數(shù)較大，則說明該形式中作為被解釋變量的xj可以用其余的變量來線性表示，x1，x2，…xl之間存在共線性。Klein規(guī)則：若，則存在多重共線性。

方差波動因子檢驗(yàn)：若，則存在多重共線性。（2）判定系數(shù)檢驗(yàn)法使模型

（3）逐步回歸法

以y為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型進(jìn)行模型估計(jì)，根據(jù)擬合優(yōu)度的變化決定新引入的變量是否可以用其它變量的線性組合代替，而不作為獨(dú)立的解釋變量。如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨(dú)立的變量，否則如果擬合優(yōu)度變化很不顯著，則說明新引入的變量不是一個獨(dú)立的變量，它可以用其它的變量的線性組合代替（即它與其它變量間存在共線性）。

（3）逐步回歸法以y為被解釋變量，第四節(jié)多重共線性的補(bǔ)救措施1、排除引起共線性的變量

找出引起多重共線性的解釋變量，將它排除出去，這是較有效的克服多重共線性的方法，因此上述用于檢驗(yàn)多重共線性的方法，同時也是克服多重共線性的方法，其中以逐步回歸法得到最廣泛的應(yīng)用。第四節(jié)多重共線性的補(bǔ)救措施1、排除引起共線性的變量2、采用差分模型或增長率模型

以時間序列數(shù)據(jù)為樣本，以直接線性關(guān)系為模型關(guān)系的計(jì)量經(jīng)濟(jì)模型，常用差分方法來克服共線性問題

將模型變換為差分模型

一般說來，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多，這是由經(jīng)濟(jì)時間序列數(shù)據(jù)的內(nèi)在性質(zhì)決定的。

2、采用差分模型或增長率模型

例如：設(shè)原模型為

如果x1和x2之間存在很強(qiáng)的線性相關(guān)性，為估計(jì)參數(shù)，改用差分模型

可以證明和的相關(guān)系數(shù)【注】這里的ui已不是不相關(guān)的序列，這是因?yàn)?/p>

例如：設(shè)原模型為如果x1和x2之間存在很

在實(shí)際應(yīng)用中，除了差分模型外，對于一些指數(shù)型的問題，采用增長率更好，例如p為價格指數(shù)，則在研究價格指數(shù)p同價格指數(shù)p1和p2的關(guān)系時，若采用模型

往往碰到多重共線性，而若采用模型

則可以避免共線性問題

在實(shí)際應(yīng)用中，除了差分模型外，對于一些指數(shù)型

3、使用非樣本先驗(yàn)信息

非樣本信息來自于對經(jīng)濟(jì)理論的分析，如果回歸模型中某些參數(shù)間有線性關(guān)系，則可以將這種線性關(guān)系轉(zhuǎn)化為某些約束條件，將約束條件和樣本信息結(jié)合起來進(jìn)行估計(jì)。

如：生產(chǎn)函數(shù)

建立回歸模型

L和K之間可能高度相關(guān)。如果按照經(jīng)濟(jì)理論“生產(chǎn)規(guī)模報酬不變”的假定，即

代入得回歸模型變?yōu)椋?/p>

3、使用非樣本先驗(yàn)信息

4、減少參數(shù)估計(jì)量的方差

多重共線性的主要后果是參數(shù)估計(jì)量具有較大的方差，因此采用適當(dāng)方法減少參數(shù)估計(jì)量的方差，雖然不一定能消除模型中的多重共線性，但是確能消除多重共線性產(chǎn)生的后果，常用的做法有（1）增加樣本的容量

多重共線性本質(zhì)上是一種樣本現(xiàn)象：即使在總體中解釋變量沒有線性關(guān)系，但在具體獲得的樣本中仍可能有線性關(guān)系。因此多重共線性往往是由于樣本信息不夠充分所致，追加樣本信息是克服多重共線性的有效方法。因此，增加樣本容量通常會使參數(shù)估計(jì)量的方差減少。4、減少參數(shù)估計(jì)量的方差（2）嶺回歸法

可以證明，當(dāng)?shù)淖钚√卣髦到咏诹銜r，將會很大，在此情況下不是的好估計(jì)。

為了克服這一困難，1970年Hoere和Kemard提出了提高XTX的最小特征值，以降低的方差具體方法為：引入矩陣D，將參數(shù)估計(jì)量修正為：

（2）嶺回歸法可以證明，當(dāng)

的性質(zhì)

因此當(dāng)a≠0時，不是的無偏估計(jì)。

的性質(zhì)因此當(dāng)a≠0時，不是大學(xué)生創(chuàng)業(yè)基礎(chǔ)協(xié)方差矩陣的跡

協(xié)方差矩陣的跡

可以看出實(shí)際上是嶺回歸參數(shù)估計(jì)的方差平方和，它隨a的增加而減少，而實(shí)際上是估計(jì)的均值同實(shí)際值的差，它隨a的增加而增加。

因此如果從估計(jì)值同實(shí)際值的差距來度量估計(jì)的精度的話，并不一定在a=0。

事實(shí)上，Hoerl與Kennard證明：存在這樣的a0，使得OLS估計(jì)量

若以估計(jì)值同真實(shí)值的誤差平方和小為準(zhǔn)則的話，嶺回歸估計(jì)比OLS估計(jì)更精確。可以看出實(shí)際上是嶺回歸參數(shù)估S(a)可