1、雙變量回歸模型：估計問題,cht03,3.1 method of ordinary least squares,普通最小二乘法-德國 C.F.Gauss,回顧雙變量PRF：無法直接觀測到,我們可通過SRF去估計它：,3.1 method of ordinary least squares,SRF又是怎樣被決定的呢？,我們將上述公式改寫得：,圖示如下：,Y,X,Y,Y,X,Y,min,最小,平方,least squares,最小二乘法,最小化,微分法得到下列方程：,正態(tài)方程 Normal equations,估計量，estimators,上面的估計量由最小二乘原理演算出來，也叫最小二乘估計量，O

2、LS estimators,3.1 method of ordinary least squares,估計量的數(shù)值性質(zhì) 是指運(yùn)用OLS方法而得以成立的性質(zhì)，不管數(shù)據(jù)是怎樣產(chǎn)生的。 估計量的統(tǒng)計性質(zhì) 僅在數(shù)據(jù)產(chǎn)生的方式滿足一定的假設(shè)下才得以成立的性質(zhì)。,3.1 method of ordinary least squares,OLS估計量是純粹由可觀測的樣本表達(dá)的，易于計算。 OLS estimator 是點估計量 point estimator 后續(xù)將介紹 區(qū)間估計量，即對未知的總體參數(shù)的可能值提供一個范圍。 一旦從樣本數(shù)據(jù)得到OLS估計值，便容易畫出樣本回歸線。,3.1 method of

3、ordinary least squares,回歸線的一些性質(zhì)： 它通過Y和X的樣本均值。 估計的Y的均值等于實測的Y的均值 殘差 的均值為零 殘差 和預(yù)測的Y值不相關(guān) 殘差 和X值不相關(guān),數(shù)值性質(zhì),Y,X,Y,Y,X,Y,SRF,性質(zhì)1的說明,性質(zhì)2的說明,性質(zhì)3的說明,在求解最小化問題時，微分得到,性質(zhì)4的說明,由性質(zhì)3，5直接可得。,性質(zhì)5的說明,在求解最小化問題時，微分得到,3.2 CLRM:OLS的基本假定,假定 1：線性回歸模型。 即回歸模型在參數(shù)上是線性的，這是CLRM 的起點，全書將保持這種線性性假定。 假定2：在重復(fù)抽樣中，X值是固定的，非隨機(jī)的。 這個假定的根本意思就是，我

4、們的回歸分析是條件回歸分析，以給定的解釋變量x 值為條件。,3.2 CLRM:OLS的基本假定,假定 3：干擾項具有零均值。,Y,X,Y,Y,X,Y,PRF,條件均值,X1,X2,X3,X4,3.2 CLRM:OLS的基本假定,假定 4：干擾項具有同方差（Homoscedasticity）,條件方差,無條件方差,X1,X2,X3,Y,X1,X2,X3,Y,3.2 CLRM:OLS的基本假定,假定 5：干擾項之間不存在自相關(guān)（No autocorrelation between the disturbances）。 給定任意兩個 X 值，對應(yīng)的兩個干擾項之間的相關(guān)（correlation）等于0

5、。,3.2 CLRM:OLS的基本假定,假定 6： ui和Xi 之間的協(xié)方差等于0。,3.2 CLRM:OLS的基本假定,假定 7：觀察值的個數(shù)n 必須大于要估計的參數(shù)的個數(shù)。 假定 8：X 值的變化必須足夠大。,3.2 CLRM:OLS的基本假定,假定 9：回歸模型正確設(shè)定 設(shè)定偏誤 Specification bias or error,貨幣工資變化率,失業(yè)率,3.2 CLRM:OLS的基本假定,假定 10：不存在多重共線性（multicollinearity）。 也就是說，在解釋變量之間不存在完全的線性關(guān)系。這實際上是多元回歸中的假定。這里先提一下。,3.3最小二乘估計的精度或標(biāo)準(zhǔn)誤差,

6、Var 代表方差，se 代表標(biāo)準(zhǔn)誤，,上述公式，除方差外，都有數(shù)據(jù)，那么 方差如何計算？,的特點,1、 的方差與 成正比，與 成反比。 2、 的方差與 成正比， 與 , n 成反比。 3、由于 和 是估計量，它們是互相依賴的。, 3.4 最小二乘估計量的性質(zhì)：高斯馬爾科夫定理,Gauss-Markov Theorem: Given the assumptions of the classical linear regression model, the least-squares estimators, in the class of unbiased linear estimators, h

7、ave minimum variance, that is, they are BLUE.,最優(yōu)線性無偏估計量（best linear unbiased estimator, BLUE），即： 1. It is linear. 2. It is unbiased. 3. It has minimum variance in the class of all such linear unbiased estimators; an unbiased estimator with the least variance is known as an efficient estimator., 3.5 判定系數(shù)r2 :擬合優(yōu)度的一個度量,樣本回歸線 樣本點 正負(fù)的殘差,X,Y,定義：, 3.5 判定系數(shù)r2,如上定義的r2，我們稱之為判定系數(shù)。 它是對回歸線擬合優(yōu)度最為常用的度量 r2測度了在Y的總變異中由回歸模型解釋的那個部分所占的比例或百分比。 r2 的兩個性質(zhì)： 1、非負(fù)； 2、0 r2 1。,r2的快捷 計算公式,r2的快捷 計算公式,一個與判定系數(shù)r2 緊密相關(guān)但是概念上卻不同的統(tǒng)計量