1、3.2 多元線性回歸模型的估計(jì),估計(jì)方法：OLS、ML或者M(jìn)M,一、普通最小二乘估計(jì) *二、最大或然估計(jì) *三、矩估計(jì) 四、參數(shù)估計(jì)量的性質(zhì) 五、樣本容量問題 六、估計(jì)實(shí)例,一、普通最小二乘估計(jì),對(duì)于隨機(jī)抽取的n組觀測(cè)值,如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：,i=1,2n,根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解,其中,于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：,正規(guī)方程組的矩陣形式,即,由于XX滿秩，故有,將上述過程用矩陣表示如下：,即求解方程組：,得到：,于是：,例3.2.1：在例2.1.1的家庭收入-消費(fèi)支出例中，,可求得,于是,正規(guī)方程組 的另一種寫法,對(duì)于正規(guī)方程組,于是,

2、或,(*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法,(*),(*),樣本回歸函數(shù)的離差形式,i=1,2n,其矩陣形式為,其中 ：,在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為,隨機(jī)誤差項(xiàng)的方差的無偏估計(jì),可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為,*二、最大或然估計(jì),對(duì)于多元線性回歸模型,易知,Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率,即為變量Y的或然函數(shù),對(duì)數(shù)或然函數(shù)為,對(duì)對(duì)數(shù)或然函數(shù)求極大值，也就是對(duì),求極小值。,因此，參數(shù)的最大或然估計(jì)為,結(jié)果與參數(shù)的普通最小二乘估計(jì)相同,*三、矩估計(jì)（Moment Method, MM）,OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組,并對(duì)它進(jìn)行求解

3、而完成的。,該正規(guī)方程組 可以從另外一種思路來導(dǎo):,求期望 :,稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。,由此得到正規(guī)方程組,解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。 易知MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。,矩方法是工具變量方法(Instrumental Variables,IV)和廣義矩估計(jì)方法(Generalized Moment Method, GMM)的基礎(chǔ),在矩方法中關(guān)鍵是利用了 E(X)=0,如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。 如果存在k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。

4、這就是GMM。,四、參數(shù)估計(jì)量的性質(zhì),在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)仍具有： 線性性、無偏性、有效性。,同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無偏性、漸近有效性、一致性。,1、線性性,其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量,2、無偏性,這里利用了假設(shè): E(X)=0,3、有效性（最小方差性）,其中利用了,和,五、樣本容量問題,所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。, 最小樣本容量,樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1 因?yàn)椋瑹o多重共線性要求：秩(X)=k+1,2、滿足基本要求的樣本容量,從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能應(yīng)用； n-k8時(shí), t分布較為穩(wěn)定,一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。,模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明,六、多元線性回歸模型的參數(shù)估計(jì)實(shí)例,例3.2.2 在例2.5.1中，已建立了中國(guó)居民人均消費(fèi)一元線性模型。這里我