一元線性回歸的最小二乘估計(jì)第一頁(yè)，共二十一頁(yè)，編輯于2023年，星期六*****

et************

YXXt

圖2

YtYt第二頁(yè)，共二十一頁(yè)，編輯于2023年，星期六

擬合的直線稱為擬合的回歸線.

對(duì)于任何數(shù)據(jù)點(diǎn)(Xt,Yt),此直線將Yt的總值分成兩部分。第一部分是Yt的擬合值或預(yù)測(cè)值：

,t=1,2,……,n

第二部分，et代表觀測(cè)點(diǎn)對(duì)于回歸線的誤差，稱為擬合或預(yù)測(cè)的殘差（residuals）：

t=1,2,……,n

即t=1,2,……,n殘差第三頁(yè)，共二十一頁(yè)，編輯于2023年，星期六

我們的目標(biāo)是使擬合出來(lái)的直線在某種意義上是最佳的，直觀地看，也就是要求估計(jì)直線盡可能地靠近各觀測(cè)點(diǎn)，這意味著應(yīng)使各殘差盡可能地小。要做到這一點(diǎn)，就必須用某種方法將每個(gè)點(diǎn)相應(yīng)的殘差加在一起，使其達(dá)到最小。理想的測(cè)度是殘差平方和，即

如何決定估計(jì)值和?

殘差平方和第四頁(yè)，共二十一頁(yè)，編輯于2023年，星期六

最小二乘法就是選擇一條直線，使其殘差平方和達(dá)到最小值的方法。即選擇和，使得最小二乘法達(dá)到最小值。第五頁(yè)，共二十一頁(yè)，編輯于2023年，星期六

運(yùn)用微積分知識(shí)，使上式達(dá)到最小值的必要條件為：

即第六頁(yè)，共二十一頁(yè)，編輯于2023年，星期六整理，得：此二式稱為正規(guī)方程。解此二方程，得：.其中：離差樣本均值估計(jì)量第七頁(yè)，共二十一頁(yè)，編輯于2023年，星期六（5）式和（6）式給出了OLS法計(jì)算和的公式，和稱為線性回歸模型Yt=+Xt+ut的參數(shù)和的普通最小二乘估計(jì)量(OLSestimators）。

這兩個(gè)公式可用于任意一組觀測(cè)值數(shù)據(jù)，以求出截距和斜率的OLS估計(jì)值（estimates)，估計(jì)值是從一組具體觀測(cè)值用公式計(jì)算出的數(shù)值。一般說(shuō)來(lái)，好的估計(jì)量所產(chǎn)生的估計(jì)值將相當(dāng)接近參數(shù)的真值，即好的估計(jì)值。可以證明，對(duì)于CLR模型，普通最小二乘估計(jì)量正是這樣一個(gè)好估計(jì)量。第八頁(yè)，共二十一頁(yè)，編輯于2023年，星期六3例子

例1

對(duì)于第一段中的消費(fèi)函數(shù)，若根據(jù)數(shù)據(jù)得到：

n=10,=23,=20

則有因而第九頁(yè)，共二十一頁(yè)，編輯于2023年，星期六例2

設(shè)Y和X的5期觀測(cè)值如下表所示，試估計(jì)方程

Yt=+Xt+ut

序號(hào)

12345Yt1418232530Xt

1020304050

解：我們采用列表法計(jì)算。計(jì)算過(guò)程如下：第十頁(yè)，共二十一頁(yè)，編輯于2023年，星期六序號(hào)YtXtyt=Yt-xt=Xt-xtytxt211410-8-2016040021820-4-1040100323301000425403103010053050820160400n=5110150003901000表3－1第十一頁(yè)，共二十一頁(yè)，編輯于2023年，星期六Eviews創(chuàng)建工作文件，輸入數(shù)據(jù)并進(jìn)行回歸：Createu15dataxylsycx第十二頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十三頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十四頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十五頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十六頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十七頁(yè)，共二十一頁(yè)，編輯于2023年，星期六第十八頁(yè)，共二十一頁(yè)，編輯于2023年，星期六

對(duì)于滿足統(tǒng)計(jì)假設(shè)條件(1)--(4)的線性回歸模型Yt=+Xt+ut,，普通最小二乘估計(jì)量(OLS估計(jì)量)是最佳線性無(wú)偏估計(jì)量（BLUE）?；?qū)τ诠诺渚€性回歸模型（CLR模型）Yt=α+β+Xt，普通最小二乘估計(jì)量（OLS估計(jì)量）是最佳線性無(wú)偏估計(jì)量（BLUE）。3.高斯--馬爾柯夫定理（Gauss--MarkovTheorem）第十九頁(yè)，共二十一頁(yè)，編輯于2023年，星期六我們已在前面證明了無(wú)偏性，此外，由于：

——由上段結(jié)果，

=其中

這表明，是諸樣本觀測(cè)值Yt（t=1,2,…,n）的線性函數(shù),故是線性估計(jì)量。剩下的就是最佳性了，即的方差小于等于β的其他任何線性無(wú)偏估計(jì)量的方差，我們可以證明這一點(diǎn)，但由于時(shí)間關(guān)系，從略。有興趣的同學(xué)請(qǐng)參見(jiàn)教科書(shū)（P46-47）第二十頁(yè)，共二十一頁(yè)，編輯于2023年，星期六我們?cè)谇懊媪谐龅募僭O(shè)條件（5）表明，

ut~N(0,2)