計量經(jīng)濟(jì)學(xué)

Econometrics第四章多元線性回歸模型2

內(nèi)容： ●為什么要用多元模型 ●多元回歸的最小二乘估計

●最小二乘估計量的性質(zhì)

●統(tǒng)計檢驗(yàn)與置信區(qū)間

●預(yù)測第一節(jié)為何要用多元模型考慮下面的例子：某人試圖解釋一個人的工資水平的決定，為此，他找到的解釋變量為受教育水平，于是他構(gòu)造了如下的計量模型：wagei=α+βedui+μi〔1〕 wagei—第i個人的工資水平； edui—第i個人的受教育水平； μi—隨機(jī)擾動項。分析除教育水平外，我們很容易想到影響人們工資水平的還有工作經(jīng)歷。而工作經(jīng)歷那么與受教育水平又相關(guān)。壓力僅是磚頭1的嗎？磚頭1磚頭2如果為了測定磚頭1對桌面的壓力，應(yīng)如何做呢？解決方法只要在模型(1)中參加新的變量即可，即模型變成如下形式：wagei=α+β1edui+β2experi+εi〔2〕 experi—第i個人的工作經(jīng)歷。模型(2)把exper從誤差項中取出，并明確地放到方程里。此時，β1就度量在exper不變的情況下，教育程度對工資的單純影響。而模型(1)就必須假定工資經(jīng)歷與受教育程度無關(guān)，這個假定很牽強(qiáng)。應(yīng)用多元線性回歸模型的幾個原因：第一，即使我們所關(guān)注的僅是一個解釋變量X1對被解釋變量Y的影響，但如果還存在其它解釋變量X2、X3…等也對Y有影響，且同時與X1相關(guān)，那么此時就應(yīng)將X2、X3…等一并引入模型，即建立如下新模型： Yi=α+β1X1i+β2X2i+β3X3i+…+μi〔3〕第二，提高預(yù)測準(zhǔn)確度。如果我們要試圖解釋被解釋變量Y的波動，顯然，引入更多的解釋變量可以使解釋更準(zhǔn)確，即預(yù)測Y更準(zhǔn)確。第三，提高假設(shè)檢驗(yàn)中所用“儀器〞的準(zhǔn)確度。比方，有時一個因素雖然與已有的解釋變量無關(guān)，但你不將其“揪出來〞放到模型中去，而將它看作隨機(jī)擾動項的一局部，它就可能造成擾動項的異方差、自相關(guān)等問題。一個思考問題在cons=α+β1inc+β2inc2+μ中，邊際消費(fèi)傾向是多少？多元回歸模型的構(gòu)成習(xí)慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：模型中解釋變量的數(shù)目為〔k+1〕多元回歸模型的數(shù)據(jù)結(jié)構(gòu)矩陣表示那么有多元模型的擬合如果擬合的結(jié)果記為因此，多元回歸使我們能在非實(shí)驗(yàn)環(huán)境中進(jìn)行自然科學(xué)家在受控實(shí)驗(yàn)中所能做的事情：保持其他因素不變。樣本回歸模型樣本回歸函數(shù)的隨機(jī)形式樣本回歸函數(shù)確實(shí)定形式第二節(jié)多元回歸的最小二乘估計一、多元線性回歸的根本假設(shè)假設(shè)2：隨機(jī)誤差項具有零均值、同方差及無序列相關(guān)性假設(shè)1：解釋變量是非隨機(jī)的或固定的，{Y1,Y2……Yn}為SRS，總體模型是線性的：假設(shè)3：解釋變量與隨機(jī)干擾項不相關(guān)假設(shè)4：解釋變量之間不存在嚴(yán)格的線性相關(guān)性，即完全共線性〔perfectcollinearity〕假設(shè)5：隨機(jī)干擾項服從正態(tài)分布假設(shè)2—5可以用矩陣符號表示：

假設(shè)2，

假設(shè)3，E(X’U)=0，即

假設(shè)5，向量U服從多維正態(tài)分布，即在采用OLS進(jìn)行參數(shù)估計時，不需要正態(tài)性假設(shè)。在利用參數(shù)估計量進(jìn)行統(tǒng)計推斷時，需要假設(shè)隨機(jī)項的概率分布。

假設(shè)4，rank(X)=k+1<n假設(shè)1—4〔正態(tài)性假設(shè)除外〕也稱為線性回歸模型的經(jīng)典假設(shè)或高斯〔Gauss〕假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型〔ClassicalLinearRegressionModel,CLRM〕。同時滿足正態(tài)性假設(shè)的線性回歸模型，稱為經(jīng)典正態(tài)線性回歸模型〔ClassicalNormalLinearRegressionModel,CNLRM〕。最小二乘原理：根據(jù)被解釋變量的所有觀測值與估計值之差的平方和最小的原那么求得參數(shù)估計量。 即使殘差平方和最小的參數(shù)估計量。二、多元線性回歸的最小二乘估計目標(biāo)下面給出四種OLS估計量的表示1.偏導(dǎo)數(shù)法最小二乘估計量的決定式幾個常用結(jié)論〔類似一元線性回歸〕：2.矩陣法〔常用，重點(diǎn)〕3.離差法對總體回歸模型兩邊分別求平均上面兩式相減，得那么有以離差形式表示的總體回歸模型：相應(yīng)的，以離差形式表示的樣本回歸模型：另有：結(jié)束了嗎？4.偏回歸解釋法〔Frisch-Waugh(1933)〕例如對于k=2因?yàn)榕懦似渌蛩兀甭氏禂?shù)度量了該因素對Y的偏效應(yīng)。補(bǔ)充：遺漏變量的偏誤高斯—馬爾可夫定理

在經(jīng)典線性回歸模型的假定條件下，最小二乘估計量是最優(yōu)線性無偏估計量。最優(yōu)線性無偏估計量(BLUE)Bestlinearunbiasedestimator同時滿足“線性〞、“無偏〞、“方差最小〞三個優(yōu)良性質(zhì)的估計量。第三節(jié)最小二乘估計量的性質(zhì)

1、線性性

其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

2、無偏性

無偏性的應(yīng)用：過度設(shè)定模型中，多余變量的參數(shù)估計量依然是無偏的3、有效性〔最小方差性〕對于方差最小性的證明，略由于以cii表示矩陣(X’X)-1

主對角線上的第i+1個元素，i=0,1,2…k，于是參數(shù)估計量的方差為：

另一種表達(dá)更有意義：分析 可以給我們很多啟發(fā)為了區(qū)間估計和假設(shè)檢驗(yàn)，希望OLSE的方差盡量小1.增大樣本變異數(shù)，以提高SSTj，一種途徑是增大樣本量2.盡量選彼此相關(guān)性小的變量，以降低Rj2 一種極端是完全不相關(guān)； 另一種極端是完全共線性； 多重共線性，即Rj2接近1，此時并沒有打破假設(shè)，仍然可能使用OLS，畢竟還要取決于SSTj和σ23.過度設(shè)定會使得原有解釋變量的方差增大一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))三、變量的顯著性檢驗(yàn)〔t檢驗(yàn)〕四、參數(shù)的置信區(qū)間第四節(jié)統(tǒng)計檢驗(yàn)與置信區(qū)間一、擬合優(yōu)度檢驗(yàn)?zāi)敲纯傠x差平方和的分解由于

=0所以有：

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，R2往往增大〔Why?)這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。調(diào)整的可決系數(shù)〔adjustedcoefficientofdetermination〕

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ蚘i=

0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)

j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：

0=1=2==k=0H1：

j不全為0F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS如果這個比值較大，那么X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平

，可得到臨界值F

(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過F

F

(k,n-k-1)或F

F

(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。2、擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)的關(guān)系

請嘗試自己證明此關(guān)系三、變量的顯著性檢驗(yàn)〔t檢驗(yàn)〕方程的總體線性關(guān)系顯著

每個解釋變量對被解釋變量的影響都是顯著的因此，必須對每個解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保存在模型中。這一檢驗(yàn)是由對變量的t檢驗(yàn)完成的。

1、t統(tǒng)計量

由于以cii表示矩陣(X’X)-1

主對角線上的第i+1個元素，i=0,1,2…k，于是參數(shù)估計量的方差為：

其中

2為隨機(jī)誤差項的方差，在實(shí)際計算時，用它的估計量代替:

補(bǔ)充：矩陣跡的性質(zhì)1.標(biāo)量的跡等于標(biāo)量本身2.跡的輪換性定理3.求跡可以與求期望交換4.求跡可以提出數(shù)值隨機(jī)干擾項方差的OLSE因此，可構(gòu)造如下t統(tǒng)計量

2、t檢驗(yàn)設(shè)計原假設(shè)與備擇假設(shè)：

H1：

i0

給定顯著性水平

，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過|t|

t/2(n-k-1)或|t|

t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0〔i=1,2…k〕注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對相同的原假設(shè)H0：

1=0進(jìn)行檢驗(yàn);

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實(shí)值有多“近〞。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下

i的置信區(qū)間是

其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。

如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標(biāo)準(zhǔn)差減??；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間第五節(jié)多元線性回歸模型的預(yù)測對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：它可以是總體均值E(Y0)或個值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計值，而不是預(yù)測值。

為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

一、E(Y0)的置信區(qū)間易知

容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。二、