1、2.2 一元線性回歸模型的參數(shù)估計,一、一元線性回歸模型的基本假設 二、參數(shù)的普通最小二乘估計（OLS） 三、參數(shù)估計的最大或然法(ML) 四、最小二乘估計量的性質(zhì) 五、參數(shù)估計量的概率分布及隨機干 擾項方差的估計,單方程計量經(jīng)濟學模型分為兩大類： 線性模型和非線性模型,線性模型中，變量之間的關(guān)系呈線性關(guān)系 非線性模型中，變量之間的關(guān)系呈非線性關(guān)系,一元線性回歸模型：只有一個解釋變量,i=1,2,n,Y為被解釋變量，X為解釋變量，0與1為待估參數(shù)， 為隨機干擾項,回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準確地估計總體回歸函數(shù)（模型）PRF。,估計方法有多種，其種最廣泛使用的是

2、普通最小二乘法（ordinary least squares, OLS）。,為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設。,注：實際這些假設與所采用的估計方法緊密相關(guān)。,一、線性回歸模型的基本假設,假設1、解釋變量X是確定性變量，不是隨機變量； 假設2、隨機誤差項具有零均值、同方差和不序列相關(guān)性： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假設3、隨機誤差項與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設4、服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, 2 )

3、 i=1,2, ,n,1、如果假設1、2滿足，則假設3也滿足; 2、如果假設4滿足，則假設2也滿足。,注意：,以上假設也稱為線性回歸模型的經(jīng)典假設或高斯（Gauss）假設，滿足該假設的線性回歸模型，也稱為經(jīng)典線性回歸模型（Classical Linear Regression Model, CLRM）。,另外，在進行模型回歸時，還有兩個暗含的假設：,假設5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。即,假設6：回歸模型是正確設定的,假設5旨在排除時間序列數(shù)據(jù)出現(xiàn)持續(xù)上升或下降的變量作為解釋變量，因為這類數(shù)據(jù)不僅使大樣本統(tǒng)計推斷變得無效，而且往往產(chǎn)生所謂的偽回歸問題（spuri

4、ous regression problem）。 假設6也被稱為模型沒有設定偏誤（specification error）,二、參數(shù)的普通最小二乘估計（OLS）,給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地擬合這組值. 普通最小二乘法（Ordinary least squares, OLS）給出的判斷標準是：二者之差的平方和,最小。,方程組（*）稱為正規(guī)方程組（normal equations）。,記,上述參數(shù)估計量可以寫成：,稱為OLS估計量的離差形式（deviation form）。 由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（or

5、dinary least squares estimators）。,順便指出 ，記,則有,可得,（*）式也稱為樣本回歸函數(shù)的離差形式。,（*）,注意： 在計量經(jīng)濟學中，往往以小寫字母表示對均值的離差。,三、參數(shù)估計的最大或然法(ML),最大或然法(Maximum Likelihood,簡稱ML)，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。 基本原理： 對于最大或然法，當從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。,在滿足基本假設條件下，對一元線性回歸模型：,隨機抽取n組樣本

6、觀測值（Xi, Yi）（i=1,2,n）。,那么Yi服從如下的正態(tài)分布：,于是，Y的概率函數(shù)為,（i=1,2,n）,假如模型的參數(shù)估計量已經(jīng)求得，為,因為Yi是相互獨立的，所以的所有樣本觀測值的聯(lián)合概率，也即或然函數(shù)(likelihood function)為：,將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計量。,由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)或然函數(shù)如下：,解得模型的參數(shù)估計量為：,可見，在滿足一系列基本假設的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計量與普通最小二乘估計量是相同的。,例2.2.1：在上述家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，

7、參數(shù)估計的計算可通過下面的表2.2.1進行。,因此，由該樣本估計的回歸方程為：,四、最小二乘估計量的性質(zhì),當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。,一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性： （1）線性性，即它是否是另一隨機變量的線性函數(shù)； （2）無偏性，即它的均值或期望值是否等于總體的真實值； （3）有效性，即它是否在所有線性無偏估計量中具有最小方差。,（4）漸近無偏性，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值； （5）一致性，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值； （6）漸近有效性，

8、即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方差。,這三個準則也稱作估計量的小樣本性質(zhì)。 擁有這類性質(zhì)的估計量稱為最佳線性無偏估計量（best liner unbiased estimator, BLUE）。,當不滿足小樣本性質(zhì)時，需進一步考察估計量的大樣本或漸近性質(zhì)：,高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。,證：,易知,故,同樣地，容易得出,（2）證明最小方差性,其中，ci=ki+di，di為不全為零的常數(shù) 則容易證明,普通最小二乘估計量（ordinary least Squares Estimators）稱為最佳線性無偏估計量（best linear unbiased estimator, BLUE）,由于最小二乘估計量擁有一個“好”的估計量所應具備的小樣本特性，它自然也擁有大樣本特性。,五、參數(shù)估計量的概率分布及隨機干擾項方差