高等學(xué)校經(jīng)濟(jì)學(xué)類核心課程計(jì)量經(jīng)濟(jì)學(xué)Econometrics第三章多元線性回歸模型§3.1多元線性回歸模型§3.2多元線性回歸模型的參數(shù)估計(jì)§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)§3.4多元線性回歸模型的預(yù)測§3.5可線性化的多元非線性回歸模型§3.6受約束回歸§3.1多元線性回歸模型一、模型形式二、基本假定總體回歸函數(shù)（PRF）樣本回歸函數(shù)（SRF）樣本回歸模型（SRM）其中：ei稱為殘差(residuals)，可看成是隨機(jī)誤差項(xiàng)i的近似替代。2、于是，總體回歸模型可以表示為：總體回歸模型的矩陣表示1、總體回歸模型表示了n個(gè)隨機(jī)方程，引入如下矩陣記號：2、于是，樣本回歸模型和函數(shù)可以表示為：樣本回歸模型和函數(shù)的矩陣表示1、同理，采用如下矩陣記號：基本假設(shè)的矩陣表示假設(shè)1:n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X列滿秩。假設(shè)2:假設(shè)4:向量

有一多維正態(tài)分布，即暗含假設(shè)假設(shè)5：樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n∞時(shí)，假設(shè)6：回歸模型是正確設(shè)定的或其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣§3.2多元線性回歸模型的參數(shù)估計(jì)一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問題一、普通最小二乘估計(jì)基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計(jì)）殘差平方和：取得最小值的條件：正規(guī)方程組：

解此（k＋1）個(gè)方程組成的正規(guī)方程組，即可求得（k+1)個(gè)未知參數(shù)βj

的估計(jì)。

＃OLSE的矩陣估計(jì)過程矩陣有關(guān)定理殘差平方和的矩陣表示為：#參數(shù)估計(jì)的實(shí)例例3.2.1：在例2.1.1的家庭收入-消費(fèi)支出例中，誤差方差2的估計(jì)1、基于OLS下，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為注意：分母的形式：n-k-1=n-(k+1)。

k：解釋變量X的個(gè)數(shù)；k+1：回歸系數(shù)的個(gè)數(shù)2、稱為估計(jì)標(biāo)準(zhǔn)誤或者回歸標(biāo)準(zhǔn)誤（S.Eofregression）*矩估計(jì)*

（MomentMethod，MM）1、OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組并對它進(jìn)行求解而完成的。2、該正規(guī)方程組可以從另外一種思路來導(dǎo)出:兩側(cè)求期望:矩條件*矩條件和矩估計(jì)量*3、由此得到正規(guī)方程組：

解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。1、稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。2、如果隨機(jī)抽出原總體的一個(gè)樣本，估計(jì)出的樣本回歸方程：能夠近似代表總體回歸方程的話，則應(yīng)成立：MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。*關(guān)于矩估計(jì)*矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了：E(X’)=0如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在＞k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含＞k+1方程的矩條件。這就是GMM。OLS只是GMM的一個(gè)特例1、線性：其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量2、無偏性:這里利用了假設(shè):E(X’)=03、有效性:其中利用了:1、最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即：n

k+1因?yàn)?，無多重共線性要求：秩(X)=k+12、基本樣本容量從統(tǒng)計(jì)檢驗(yàn)的角度：

n30

時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k

8時(shí),t分布較為穩(wěn)定一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)二、方程顯著性檢驗(yàn)三、變量顯著性檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)?zāi)康模簻y定樣本回歸函數(shù)對樣本觀測值的擬合緊密程度指標(biāo)：R2、Adj(R2)可決系數(shù)R2

(coefficientofdetermination)0<R2<1，該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。1、定義：2、問題：在模型中增加一個(gè)解釋變量，R2往往增大但是：增加解釋變量個(gè)數(shù)往往得不償失，不重要的變量不應(yīng)引入。增加解釋變量使得估計(jì)參數(shù)增加，從而自由度減小。如果引入的變量對減少殘差平方和的作用很小，這將導(dǎo)致誤差方差σ2的增大，引起模型精度的降低。因此：R2需調(diào)整。調(diào)整的可決系數(shù)Adj(R2)

（adjustedcoefficientofdetermination）

1、調(diào)整思路:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響。2、自由度：統(tǒng)計(jì)量可自由變化的樣本觀測值的個(gè)數(shù)，記為dfTSS：df＝n－1ESS：df＝kRSS：df＝n－k－1注意：df（TSS)=df(ESS)+df(RSS)3、定義：#Adj(R2)的作用1、消除擬合優(yōu)度評價(jià)中解釋變量的多少對擬合優(yōu)度的影響2、對于因變量Y相同，而自變量X個(gè)數(shù)不同的模型，不能用R2直接比較擬合優(yōu)度，而應(yīng)使用Adj（R2）

。3、可以通過Adj（R2）的增加變化，決定是否引入一個(gè)新的解釋變量。Adj（R2）<=R2，即：調(diào)整可決系數(shù)不大于未經(jīng)調(diào)整的可決系數(shù)。隨著解釋變量的增加，二者的差異越來越大。#Adj(R2)與R2的關(guān)系*赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則*

(AIC&SC)用于比較因變量相同，解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度※赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）※施瓦茨準(zhǔn)則（Schwarzcriterion，SC）這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。二、方程的顯著性檢驗(yàn)（F檢驗(yàn)）目的：檢驗(yàn)Y與所有X的線性關(guān)系在總體上是否成立方法：F檢驗(yàn)1、原假設(shè)和備擇假設(shè)檢驗(yàn)?zāi)Ｐ椭械膮?shù)j是否至少有一個(gè)顯著不為0。

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n原假設(shè)與備擇假設(shè)：

H0：0=1=2==k=0H1：j不全為02、檢驗(yàn)統(tǒng)計(jì)量可以證明，在原假設(shè)H0成立的條件下：F～F(k,n-k-1)其中：k為模型中解釋變量個(gè)數(shù)3、檢驗(yàn)步驟（1）提出原假設(shè)和備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0（2）在H0成立的條件下，計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值：（3）給定顯著性水平，可得到臨界值：F(k,n-k-1)

右側(cè)檢驗(yàn)（4）如果FF(k,n-k-1)，拒絕原假設(shè)，總體線性關(guān)系成立

如果FF(k,n-k-1)，接受原假設(shè)，總體線性關(guān)系不成立＃擬合優(yōu)度和方程顯著性檢驗(yàn)在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)二元模型中，可見：一個(gè)顯著的模型并不意味著擬合優(yōu)度一定很高注意到F檢驗(yàn)是一個(gè)嚴(yán)格的統(tǒng)計(jì)檢驗(yàn)，因此實(shí)際中要多參考這一檢驗(yàn)的結(jié)果。示例：三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）目的：檢驗(yàn)Y與某個(gè)Xj的線性關(guān)系在總體上是否成立或者說Xj對Y是否存在顯著影響方法：

t檢驗(yàn)1、原假設(shè)和備擇假設(shè)檢驗(yàn)?zāi)Ｐ椭蠿j對應(yīng)的系數(shù)j是否顯著不為0。

Yi=0+1X1i+2X2i++jXji

＋+kXki+i原假設(shè)與備擇假設(shè)：

H0：j=0H1：j≠02、檢驗(yàn)統(tǒng)計(jì)量2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:可構(gòu)造t統(tǒng)計(jì)量:參數(shù)估計(jì)量的概率分布：（1）建立原假設(shè)和備擇假設(shè)：H0：βj＝0H1：βj≠0（3）給定顯著性水平，可得到臨界值t/2(n-k-1)3、檢驗(yàn)步驟：（2）在原假設(shè)成立的條件下計(jì)算t統(tǒng)計(jì)量的值（4）如果|t|t/2(n-k-1)，拒絕原假設(shè)，Xj對Y存在顯著影響如果|t|t/2(n-k-1)，接受原假設(shè)，Xj對Y不存在顯著影響雙側(cè)檢驗(yàn)對t檢驗(yàn)的說明1、在一元線性回歸模型中，變量的顯著性t檢驗(yàn)與方程的F檢驗(yàn)是一致的

一方面，二者檢驗(yàn)的假設(shè)一致：β1＝0

另一方面，從檢驗(yàn)統(tǒng)計(jì)量來看：F＝t22、在多元線性回歸模型中，二者的作用不同，并不等價(jià)3、在多元回歸模型中，對各個(gè)變量的進(jìn)行t檢驗(yàn)時(shí)，顯著性水平應(yīng)該一致4、t檢驗(yàn)未通過，說明在給定的顯著性水平下，變量對Y沒有顯著性影響，但不要簡單的剔除變量，關(guān)鍵仍然是考察變量在經(jīng)濟(jì)關(guān)系上是否對因變量有影響以及變量在模型及應(yīng)用中的作用，顯著性檢驗(yàn)起到驗(yàn)證的作用三、參數(shù)的置信區(qū)間j(j=0,1,2,……,k）的置信區(qū)間在變量的顯著性檢驗(yàn)中已經(jīng)知道：給定置信度（1-），對于臨界值t/2(n-2)，t值處在(-t/2,t/2)的概率是1-。表示為：于是得到:(1-)的置信度下,j

的置信區(qū)間是§3.4多元線性回歸分析的預(yù)測一、均值E(Y0)的置信區(qū)間二、個(gè)值Y0的置信區(qū)間預(yù)測的理解1、預(yù)測類型：實(shí)際個(gè)值Y0的點(diǎn)預(yù)測條件均值E(Y0)的點(diǎn)預(yù)測實(shí)際個(gè)值Y0的區(qū)間預(yù)測條件均值E(Y0)的區(qū)間預(yù)測點(diǎn)預(yù)測區(qū)間預(yù)測3、它可以是總體均值E(Y0)或個(gè)值Y0的點(diǎn)預(yù)測。4、為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。2、對于模型，給定樣本以外的解釋變量的觀測值：X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：1、總體均值E(Y0|X=X0)的置信區(qū)間容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：其中，t/2為(1-)的置信水平下的臨界值。2、總體個(gè)值Y0的置信區(qū)間如果已經(jīng)知道X=X0處的實(shí)際個(gè)值Y0，那么預(yù)測誤差為：容易證明e0服從正態(tài)分布，即:構(gòu)造t統(tǒng)計(jì)量:

可得給定(1-)的置信水平下Y0的置信區(qū)間：置信區(qū)間寬度：個(gè)值>均值x0yxx預(yù)測上限置信上限預(yù)測下限置信下限?；貧w分析的預(yù)測實(shí)例：中國居民人均收入-消費(fèi)支出二元模型例中：2001年人均GDP：4033.1元于是人均居民消費(fèi)的預(yù)測值為?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實(shí)測值（90年價(jià)）=1782.2元，相對誤差：-0.31%預(yù)測的置信區(qū)間：E(?2001）的95%的置信區(qū)間為:（1741.8，1811.7）?2001的95%的置信區(qū)間為:（1711.1,1842.4）§3.5可線性化的多元非線性回歸模型

線性模型的本質(zhì)含義解釋變量的非線性——變量代換法回歸參數(shù)的非線性——函數(shù)變換法實(shí)際中的非線性模型1、恩格爾曲線(Englecurves)：消費(fèi)者的收入與某類商品需求量之間的函數(shù)關(guān)系?！獌绾瘮?shù)2、菲利普斯曲線（Pillipscuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關(guān)系?！p曲線函數(shù)線性模型的本