1、2.2 一元線性回歸模型及參數(shù)估計 Simple Linear Regression Model and Its Estimation,一、 “線性”回歸模型的特征及含義 二、一元線性回歸模型的基本假設(shè) 三、參數(shù)的普通最小二乘估計(OLS) 四、最小二乘估計量的性質(zhì) 五、參數(shù)估計量的概率分布及隨機干擾 項方差的估計,一、 線性回歸模型的特征,一個例子 凱恩斯絕對收入假設(shè)消費理論：消費C是由收入Y唯一決定的，是收入的線性函數(shù)：,但實際上上述等式不能準(zhǔn)確實現(xiàn)。,原因 (1)消費除了受收入影響外還受其他因素因影響。 (2)線性關(guān)系是一個近似，收入變量的觀察值是近似的，數(shù)據(jù)本身并不絕對準(zhǔn)確地反映收入水

2、平。,因此，一個更符合實際的數(shù)學(xué)描述是：,線性回歸模型的特征： 是通過引入隨機誤差項將變量之間的關(guān)系用線性隨機方程來描述，并用隨機數(shù)學(xué)的方法來估計方程中的參數(shù)。 在線性回歸模型中，被解釋變量的特征由解釋變量和隨機誤差項共同決定。,計量經(jīng)濟學(xué)中“線性”回歸模型的含義,對參數(shù)為線性、對變量非線性的函數(shù)：,對參數(shù)非線性、對變量線性的函數(shù)：,對參數(shù)非線性、對變量非線性的函數(shù)：,對變量間存在非線性關(guān)系的線性模型的處理方法 (1)變量置換 例如，描述稅收與稅率之間關(guān)系的拉弗曲線： s = a+br+cr2 (c 0) s：稅收，r：稅率 設(shè)，X1= r, X2= r2，則原方程變?yōu)閟 = a+bX1+cX

3、2,(2)對數(shù)變換 例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù),Q:產(chǎn)出量，K：投入的資本，L：投入的勞動 方程兩邊取對數(shù)：,結(jié)論： 實際經(jīng)濟活動中的許多問題，變量之間的非線性關(guān)系都可以最終化為線性關(guān)系。所以，線性回歸模型具有普遍意義。 即使對于無法采取任何變換方法使之變成線性的非線性模型，目前適用較多的參數(shù)估計方法非線性最小二乘法，其原理仍然是以線性估計方法為基礎(chǔ)。 線性模型理論方法在計量經(jīng)濟學(xué)理論方法中占據(jù)重要地位。,其他條件不變的概念(ceteris paribus),包括經(jīng)濟學(xué)在內(nèi)的許多社會科學(xué)中的假設(shè)都具有“其他條件不變”的特點：在研究兩個變量之間關(guān)系時，所有其他相關(guān)因素都必須固

4、定不變。 例如，經(jīng)濟學(xué)中在分析消費需求時，想知道之中商品價格的變化對其需求量的影響，而讓所有其他因素收入、其他商品的價格和個人偏好等都保持不變。 計量經(jīng)濟分析中的其他條件不變意味著“其他(相關(guān))因素保持不變，這一概念在因果分析中有重要作用。,二、線性回歸模型的基本假設(shè),技術(shù)路線： 由于回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計總體回歸函數(shù)（模型）PRF。即通過：,采用最小二乘或最大似然方法。,一元線性回歸模型：只有一個解釋變量,i=1,2,n,Y 為被解釋變量，X為 解釋變量，0 與1為待估參數(shù)， 為隨機干擾項。,估計方法有多種，其中最廣泛使用的是普通最小二乘法（or

5、dinary least squares, OLS）。,為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。,注：實際這些假設(shè)與所采用的估計方法緊密相關(guān)。,一元線性回歸模型的基本假設(shè),假設(shè)1：解釋變量X是確定性變量，不是隨機變量； 假設(shè)2：隨機誤差項具有零均值、同方差和不序列相關(guān)性： E(i| Xi)= E(i) = 0 i=1,2, ,n Var (i | Xi) = 2 i=1,2, ,n Cov(i, j)=0 ij i, j= 1,2, ,n 假設(shè)3：隨機誤差項與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設(shè)4：服從零均值、同方差、零協(xié)方差的正態(tài)分布

6、 i N(0, 2 ) i=1,2, ,n,如果假設(shè)1和2滿足，則假設(shè)3也滿足； 如果假設(shè)4 滿足，則假設(shè)2 也滿足。,注意：,假設(shè)1-4假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)或高斯(Gauss)假設(shè)，滿足該假設(shè)的線性回歸模型稱為經(jīng)典線性回歸模型(Classical Linear Regression Model, CLRM) 。,假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一個有限常數(shù)，即： 假設(shè)6：回歸模型是正確設(shè)定的。,假設(shè)4： i N(0, 2 ) i =1,2, ,n 例：測度教育的回報問題 問題提出：如果從總體中選擇一個人，并讓他或她多受一年教育，那么，他或她的工資會提高多少

7、？ 工資水平與可測教育水平及其他非觀測因素的關(guān)系： 工資：小時工資(元)，教育：受教育的年數(shù)。 其他非觀測因素：工作經(jīng)驗、天生素質(zhì)、職業(yè)道德等。 E(i|Xi) = 0 假設(shè)是天生能力，這個假定就是要求，不論受教育的年數(shù)是多少，平均能力水平都一樣。例如，E(abil|8) = E(abil|6)；,Var(i |Xi ) =2，Var(Yi | Xi ) =2 Var(wage|educ)=2，雖然平均工資E(wage|educ)可隨著教育水平的提高而增長，但工資相對于它的均值的變異卻被假定為對所有的教育水平都不變。 i N(0, 2) 的理由：由于是影響wage而又觀測不到的許多因素之和，所

8、以我們可以借助中心極限定理來斷定具有近似正態(tài)分布。,三、參數(shù)的普通最小二乘估計（OLS）,給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地擬合這組值。 普通最小二乘法(Ordinary least squares, OLS)給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小。,方程組（*）稱為正規(guī)方程組（normal equations）。 由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（ordinary least squares estimators）。,四、參數(shù)估計的最大似然法(ML),最大或然法(Maximum Likelihood,簡稱ML)，也

9、稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大似然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。 基本原理： 對于最大似然法，當(dāng)從模型總體隨機抽取n 組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得從模型中抽取該n 組樣本觀測值的聯(lián)合概率最大。,在滿足基本假設(shè)條件下，對一元線性回歸模型：,隨機抽取n組樣本觀測值（Xi, Yi）（i=1,2,n）。,那么Yi 服從如下的正態(tài)分布：,于是，Y 的概率函數(shù)為,（i=1,2,n）,假如模型的參數(shù)估計量已經(jīng)求得，為,因為Yi 是相互獨立的，所以的所有樣本觀測值的聯(lián)合概率，也即似然函數(shù)(likelihood function)為：,將該似然函數(shù)極大化，即

10、可求得到模型參數(shù)的極大似然估計量。,由于似然函數(shù)的極大化與似然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)似然函數(shù)如下：,解得模型的參數(shù)估計量為：,在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計量與普通最小二乘估計量是相同的。,但是，隨機誤差項的方差的估計量是不同的。,即可得到 的最大似然估計量為：,解似然方程：,記,上述參數(shù)估計量可以寫成：,稱為OLS估計量的離差形式（deviation form）。,關(guān)于參數(shù)估計量的離差形式(deviation form)：,記,則有,可得,（*）式也稱為樣本回歸函數(shù)的離差形式。,（*）,注意： 在計量經(jīng)濟學(xué)中，往往以小寫字母表示對均值的離差。,五、

11、最小二乘估計量的統(tǒng)計性質(zhì),（1）線性性(linear)，即它是否是另一隨機變量的線性函數(shù)； （2）無偏性(unbiased)，即它的均值或期望值是否等于總體的真實值； （3）有效性，即它是否在所有線性無偏估計量中具有最小方差。,樣本回歸線的數(shù)學(xué)性質(zhì)(numerical properties),樣本回歸線通過Y 和X 的樣本均值； Y 估計值的均值等于觀測值的均值； 殘差的均值為零。,高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。,證：,易知,故,同樣地，容易得出,（2）證明最小方差性,其中，ci=ki+di，di為不全為零的常數(shù) 則容易證明,顯然這些優(yōu)良的性質(zhì)依賴于對模型的基本假設(shè)。,結(jié)論： 普通最小二乘估計量（ordinary least Squares Estimators）具有線性、無偏性、最小方差性等優(yōu)良性質(zhì)。 具有這些優(yōu)良性質(zhì)的估計量又稱為最佳線性無偏估計量（best linear unbiased estimator, BLUE）,六、參數(shù)估計量的概率分布及隨機干擾項方差的估計,2、隨機誤差項 的方差2的估計,由于隨機項i 不可觀測，只能從i的估計殘差ei出發(fā)，對總體方差進行估