第4章一元線性回歸2第4章一元線性回歸△問題：縮小小學班級的規(guī)模會對學生的測試成績有何影響？加利福尼亞測試成績數(shù)據(jù)集34.1線性回歸模型簡單回歸模型的定義簡單回歸模型（即一元線性回歸）用來研究兩個變量之間的關系。y和x是兩個代表某個總體的變量，我們感興趣的是用x來解釋y，或研究y如何隨x而變化。在建立計量經(jīng)濟學模型前，我們會面臨三個問題：y和x的函數(shù)關系是怎樣的呢？我們應該如何考慮其他影響y的因素呢？我們何以確定我們在其他條件不變的情況下刻畫了y和x之間的關系？45一元線性回歸模型——一般符號

6圖形中的術語:Y和X的觀測值;總體回歸線;和回歸誤差(或者“誤差項”):

問題：STR減少2個，預計對測試成績有什么影響？答案非常簡單幾點說明Yi=

0+

1Xi+ui

（4.1）方程給出了y和x之間的函數(shù)關系；若u中的其他因素都保持不變，即?u=0，則x對y具有線性影響，即?y=b1?x；線性形式意味著：不管x的初始值為多少，它的任何一單位變化對y的影響都是相同的。最困難的問題是：模型（4.1）是否真的能讓我們得到關于x如何在其他條件不變的情況下影響y的結論？7

回歸史話：

“回歸”是由英國著名生物學家兼統(tǒng)計學家高爾頓（Galton）在研究人類遺傳問題時提出來的。為了研究父代與子代身高的關系，高爾頓搜集了1078對父親及其兒子的身高數(shù)據(jù)。他發(fā)現(xiàn)這些數(shù)據(jù)的散點圖大致呈直線狀態(tài)，也就是說，總的趨勢是父親的身高增加時，兒子的身高也傾向于增加。但是，高爾頓對試驗數(shù)據(jù)進行了深入的分析，發(fā)現(xiàn)了一個很有趣的現(xiàn)象—回歸效應。因為當父親高于平均身高時，他們的兒子身高比他更高的概率要小于比他更矮的概率；父親矮于平均身高時，他們的兒子身高比他更矮的概率要小于比他更高的概率。它反映了一個規(guī)律，即這兩種身高父親的兒子的身高，有向他們父輩的平均身高回歸的趨勢?！案郀栴D等人關于回歸分析的先驅(qū)性的工作，以及……是數(shù)理統(tǒng)計學發(fā)展史中的重要事件.”──摘自《中國大百科全書》（數(shù)學卷）8回歸的概念9

現(xiàn)代計量經(jīng)濟學關于回歸的概念比起初有了很大的變化和延伸。

回歸分析(regressionanalysis)是研究一個變量關于另一個（些）變量的具體依賴關系的計算方法和理論。

其用意：在于通過后者的已知或設定值，去估計和（或）預測前者的（總體）均值。這里：前一個變量被稱為被解釋變量（ExplainedVariable）或因變量（DependentVariable），后一個（些）變量被稱為解釋變量（ExplanatoryVariable）或自變量（IndependentVariable）。回歸的概念10回歸分析構成計量經(jīng)濟學的方法論基礎，其主要內(nèi)容包括：

（1）根據(jù)樣本觀察值對經(jīng)濟計量模型參數(shù)進行估計，求得回歸方程；（2）對回歸方程、參數(shù)估計值進行顯著性檢驗；（3）利用回歸方程進行分析、評價及預測。由于變量間關系的隨機性，回歸分析關心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當解釋變量取某個確定值時，與之統(tǒng)計相關的被解釋變量所有可能出現(xiàn)的對應值的平均值。114.2線性回歸模型的系數(shù)估計：普通最小二乘法

4.2普通最小二乘法（OLS)

回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準確地估計總體回歸函數(shù)（模型）PRF。估計方法有多種，其種最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設。注：實際這些假設與所采用的估計方法緊密相關。12134.2線性回歸模型的系數(shù)估計：普通最小二乘法

14OLS方法

15OLS估計為下式的解:

方程組（*）稱為正規(guī)方程組（normalequations）。

1718在加利福尼亞測試成績—班級規(guī)模數(shù)據(jù)中的應用

19斜率和截距估計的解釋

20預測值&殘差:

21OLS回歸:STATA輸出

22為什么采用OLS估計量？實踐方面

最常用的方法，通用“語言”；所有制表軟件和統(tǒng)計軟件包中都裝有OLS公式，易于運用。理論方面

具有理想的理論性質(zhì)，類似于一定條件下樣本均值作為總體均值估計量的理性性質(zhì)；在后面4.4節(jié)的條件下，OLS估計量是無偏的、一致的；在某一類無偏估計量中也是有效的234.3擬合優(yōu)度24定義總平方和為:總平方和是對y在樣本中所有變動的度量，即它度量了y在樣本中的分散程度將總平方和除以n-1,我們得到y(tǒng)的樣本方差。解釋平方和定義為:它度量了y的預測值的在樣本中的變動殘差平方和定義為:殘差平方和度量了殘差的樣本變異y

的總變動可以表示為已解釋的變動SSE和未解釋的變動SSR之和，即TSS=ESS+SSR我們?nèi)绾魏饬繕颖净貧w線是否很好地擬合了樣本數(shù)據(jù)呢?即解釋變量究竟多好地解釋了因變量y？可以計算模型被解釋的總平方和的比例，并把它定義為回歸的R-平方R2=ESS/TSS=1–SSR/TSS252627回歸標準誤差(SER)

282930R2

和

SER

應用舉例314.4最小二乘假設的作用簡單線性回歸模型的基本假設必須對無法觀測的u與解釋變量x之間的關系加以約束。才能從一個隨機數(shù)據(jù)樣本中獲得b0

和b1的可靠估計。“計量經(jīng)濟學是設法對經(jīng)濟關系進行定量估計和預測的學科。經(jīng)濟理論常常影響函數(shù)形式的選擇，但經(jīng)濟理論很少能告訴我們一個模型的隨機設定，這通常依賴于經(jīng)驗分析。計量經(jīng)濟學的一個主要任務就是為給定情形確定一個最好的估計量。而干擾的隨機結構對此有極重要的影響。”

MichaelP.MurrayEconometrics:AModernIntroduction3233最小二乘假設及其作用

34最小二乘假設#

1:E(u|X=x)=0.

關于假設：我們需要對u和x之間的關系做一個關鍵假定。理想狀況是對x的了解并不增加對u的任何信息。換句話說，我們需要u和x完全不相關。假設1：E(u|x)=E(u)=0。（4.11）

說明：這個假定的一個含義是，u的平均值與x值無關；對任意給定的x值，無法觀測因素的平均值都相等。在一些教材上，通常給出的假定是：E(u)=0和cov(x,u)=0。35假定（4.11）給出了另一個回歸非常有用的解釋。以x為條件對（4.1）取期望，可得：E(y|x)=b0+b1x(4.12)總體回歸函數(shù)E(y|x)是x的一個線性函數(shù)?，F(xiàn)在可以把y分成兩個部分：b0+b1x，稱為y的系統(tǒng)部分，即由x解釋的部分；u，非系統(tǒng)部分，或說不能由x解釋的部分。3637最小二乘假設#1(續(xù))38最小二乘假設#2:

(Xi,Yi),i=1,…,ni.i.d.

39最小二乘假設#3:罕見大異常值.

技術層面表述:E(X4)<

andE(Y4)<

40OLS對異常值敏感:

經(jīng)典線性回歸模型（CLRM）的基本假定：

假定1：干擾項的條件均值為零。即，E(ui|Xi)=0假定2：同方差性或ui的方差相等。即，Var(ui|Xi)=

2假定3：各個干擾項無自相關。即，Cov(ui,uj|Xi,Xj)=0假定4：ui和Xi的協(xié)方差為零。即，Cov(ui,Xi)=E(uiXi)=0假定5：

服從零均值、同方差、零協(xié)方差的正態(tài)分布

i~N(0,

2)i=1,2,…,n注：假定4可由假定1推出。我們會在以后的課程中對這些假定詳細討論。如果假定5滿足，則假設2、3也滿足。41424.5OLS估計量的抽樣分布

43線性回歸的概率框架

44的抽樣分布45

抽樣分布的均值和方差