2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)5.估計(jì)量概率分布線性回歸模型的基本假定：假設(shè)1：線性回歸模型（linearity),回歸模型對參數(shù)而言是線性的假設(shè)2：解釋變量是確定性的，不是隨機(jī)變量假設(shè)3：隨機(jī)擾動(dòng)項(xiàng)具有零均值：

i=1,2,…,n假設(shè)4：隨機(jī)擾動(dòng)項(xiàng)具有同方差（homoscedasticity)：

i=1,2,…,n假設(shè)5：隨機(jī)擾動(dòng)項(xiàng)無自相關(guān)（nonautocorrelation)；

i≠ji,j=1,2,…,n計(jì)量經(jīng)濟(jì)學(xué)第1頁/共29頁第一頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)5.估計(jì)量概率分布線性回歸模型的基本假定：假設(shè)7：觀測次數(shù)n必須大于解釋變量的個(gè)數(shù)假設(shè)6：隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：假設(shè)8：

X值要有變異性假設(shè)9：模型設(shè)定是正確的假設(shè)10：隨機(jī)誤差項(xiàng)服從正態(tài)分布假設(shè)11：解釋變量之間沒有完全的多重共線性計(jì)量經(jīng)濟(jì)學(xué)第2頁/共29頁第二頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)5.估計(jì)量概率分布普通最小二乘法(OLS)的基本原理計(jì)量經(jīng)濟(jì)學(xué)第3頁/共29頁第三頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)5.估計(jì)量概率分布普通最小二乘法(ols)的基本原理即在給定的條件下，尋求

使達(dá)到最小計(jì)量經(jīng)濟(jì)學(xué)第4頁/共29頁第四頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)5.估計(jì)量概率分布回顧:函數(shù)極值計(jì)量經(jīng)濟(jì)學(xué)第5頁/共29頁第五頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型普通最小二乘法(OLS)的參數(shù)估計(jì)即在給定的條件下，尋求

使達(dá)到最小計(jì)量經(jīng)濟(jì)學(xué)第6頁/共29頁第六頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型一階條件：或解得：正規(guī)方程組（Nomalequations)計(jì)量經(jīng)濟(jì)學(xué)第7頁/共29頁第七頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型令：則：普通最小二乘法的離差形式計(jì)量經(jīng)濟(jì)學(xué)第8頁/共29頁第八頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布回顧：極大似然法（ML）總體極大似然法的基本原理就是：一個(gè)事件如果發(fā)生了，則它發(fā)生的概率應(yīng)最大。即：尋求使計(jì)量經(jīng)濟(jì)學(xué)第9頁/共29頁第九頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型一元線性回歸的極大似然估計(jì)（ML）由于即概率密度函數(shù)（PDF）：計(jì)量經(jīng)濟(jì)學(xué)第10頁/共29頁第十頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型一元線性回歸的極大似然估計(jì)（ML）極大似然函數(shù)：對數(shù)極大似然函數(shù)：計(jì)量經(jīng)濟(jì)學(xué)第11頁/共29頁第十一頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型一元線性回歸的極大似然估計(jì)（ML）一階條件：計(jì)量經(jīng)濟(jì)學(xué)第12頁/共29頁第十二頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型一元線性回歸的極大似然估計(jì)（ML）解得：結(jié)論：在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計(jì)量與普通最小二乘估計(jì)量是相同的。計(jì)量經(jīng)濟(jì)學(xué)第13頁/共29頁第十三頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型[例]在上述家庭可支配收入-消費(fèi)支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。計(jì)量經(jīng)濟(jì)學(xué)第14頁/共29頁第十四頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型[例]在上述家庭可支配收入-消費(fèi)支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。因此，由該樣本估計(jì)的回歸方程為：計(jì)量經(jīng)濟(jì)學(xué)第15頁/共29頁第十五頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性：線性性(linearity)，即它是否是另一隨機(jī)變量的線性函數(shù)無偏性(unbiasedestimation)，即它的均值或期望值是否等于總體的真實(shí)值有效性(efficientestimation)，即它是否在所有線性無偏估計(jì)量中具有最小方差這三個(gè)準(zhǔn)則也稱作估計(jì)量的小樣本性質(zhì)。擁有這類性質(zhì)的估計(jì)量稱為最佳線性無偏估計(jì)量（thebestlinearunbiasedestimator,BLUE）計(jì)量經(jīng)濟(jì)學(xué)第16頁/共29頁第十六頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本或漸近性質(zhì)漸近無偏性，即樣本容量趨于無窮大時(shí)，是否它的均值序列趨于總體真值一致性，即樣本容量趨于無窮大時(shí)，它是否依概率收斂于總體的真值漸近有效性，即樣本容量趨于無窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差計(jì)量經(jīng)濟(jì)學(xué)第17頁/共29頁第十七頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型線性性(linearity)，即它是否是另一隨機(jī)變量的線性函數(shù)證明：令：得：計(jì)量經(jīng)濟(jì)學(xué)第18頁/共29頁第十八頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型無偏性(unbiasedestimation)，即它的均值或期望值是否等于總體的真實(shí)值證明：由于：故：同理：計(jì)量經(jīng)濟(jì)學(xué)第19頁/共29頁第十九頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型有效性(efficientestimation)，即它是否在所有線性無偏估計(jì)量中具有最小方差證明：（1）先求和的方差計(jì)量經(jīng)濟(jì)學(xué)第20頁/共29頁第二十頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型有效性(efficientestimation)，即它是否在所有線性無偏估計(jì)量中具有最小方差證明：（1）先求和的方差計(jì)量經(jīng)濟(jì)學(xué)第21頁/共29頁第二十一頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型證明：（2）證明方差最小性假設(shè)是其他估計(jì)方法得到的關(guān)于的線性無偏估計(jì)量:要保證是的無偏估計(jì)量，要求：計(jì)量經(jīng)濟(jì)學(xué)第22頁/共29頁第二十二頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型證明：（2）證明方差最小性為使最小,唯有此時(shí),因此計(jì)量經(jīng)濟(jì)學(xué)第23頁/共29頁第二十三頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布高斯-馬爾可夫定理（Gauss-markov)theorem)

在給定經(jīng)典線性回歸假設(shè)下，普通最小二乘估計(jì)量（ordinaryleastsquaresestimators)具有線性性、無偏性和最小方差性等優(yōu)良性質(zhì)，是最佳線性無偏估計(jì)量。計(jì)量經(jīng)濟(jì)學(xué)第24頁/共29頁第二十四頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布參數(shù)估計(jì)量的概率分布普通最小二乘估計(jì)量、分別是的線性組合；因此、的概率分布取決于的分布。在服從正態(tài)分布的假設(shè)條件下，服從正態(tài)分布，另外，非自相關(guān)，因此之間也不相關(guān)。計(jì)量經(jīng)濟(jì)學(xué)第25頁/共29頁第二十五頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布隨機(jī)誤差項(xiàng)的方差估計(jì)由于和的方差中都含有未知參數(shù)，要想知道和的分布，就必須知道的值，因此對的估計(jì)就顯得極其重要。可以證明:

的OLS估計(jì)量是：計(jì)量經(jīng)濟(jì)學(xué)第26頁/共29頁第二十六頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布

極大似然估計(jì)對數(shù)似然函數(shù)為：一階條件：解得：計(jì)量經(jīng)濟(jì)學(xué)第27頁/共29頁第二十七頁，共30頁。2023/2/131:10:19一元線性回歸模型的參數(shù)估計(jì)第二章一元線性回歸模型4.OLS估計(jì)量性質(zhì)1.模型的基本假設(shè)2.參數(shù)的OLS估計(jì)3.極大似然估計(jì)4.估計(jì)量概率分布

估計(jì)出后，可以得到和的方差和標(biāo)準(zhǔn)差

的樣本方差：

的樣本標(biāo)準(zhǔn)差：

的樣本方差：

的樣本標(biāo)準(zhǔn)差：計(jì)量經(jīng)濟(jì)學(xué)第28頁/共29頁第二十八頁，共30頁。2023/2