1、第三章 一元線性回歸模型（教材第二、三章）,第三章 一元線性回歸模型,3.1 回歸的涵義 3.2 隨機(jī)擾動項的來源 3.3 參數(shù)的最小二乘估計 3.4 參數(shù)估計的性質(zhì) 3.5 顯著性檢驗(yàn) 3.6 擬合優(yōu)度 3.7 預(yù)測 學(xué)習(xí)要點(diǎn) 回歸模型的涵義，參數(shù)的OLS估計及其性質(zhì)，顯著性檢驗(yàn),3.1 回歸的涵義,回歸分析（regression analysis） 用于研究一個變量（稱為被解釋變量或應(yīng)變量）與另一個或多個變量（稱為解釋變量或自變量）之間的關(guān)系。 Y代表被解釋變量，X代表解釋變量；解釋變量有多個時，用X1，X2，X3等表示。 例：商品的需求量與該商品價格、消費(fèi)者收入以及其他競爭性商品價格之間

2、的關(guān)系。,總體回歸函數(shù)（population regression function，PRF） 例：學(xué)生的家庭收入與數(shù)學(xué)分?jǐn)?shù)有怎樣的關(guān)系？,3.1 回歸的涵義,3.1 回歸的涵義,總體回歸函數(shù)（population regression function，PRF） 根據(jù)上面數(shù)據(jù)做散點(diǎn)圖,3.1 回歸的涵義,總體回歸函數(shù)（population regression function，PRF） 上圖中，圓圈點(diǎn)稱為條件均值；條件均值的連線稱為總體回歸線。 總體回歸線表明了Y的均值與每個X的變動關(guān)系。 上圖近似線性的總體回歸線可以表示成： 表示給定的X值所對應(yīng)的Y的均值； 、 稱為參數(shù)（paramet

3、ers），也稱回歸系數(shù)（regression coefficients）； 稱為截距（intercept）， 稱為斜率（slope）。 斜率系數(shù)度量了X每變動一單位，Y（條件）均值的變化率。舉例： ，含義？,3.1 回歸的涵義,樣本回歸函數(shù)（sample regression function, SRF） 實(shí)際中往往無法獲得整個總體的數(shù)據(jù)，怎么估計總體回歸函數(shù)？即如何求參數(shù)B1、B2？ 通常，我們僅僅有來自總體的一個樣本。 我們的任務(wù)就是根據(jù)樣本信息估計總體回歸函數(shù)。 怎么實(shí)現(xiàn)？,3.1 回歸的涵義,樣本回歸函數(shù)（sample regression function, SRF） 表2-2、2-

4、3的數(shù)據(jù)都是從表2-1中隨機(jī)抽取得到的。,3.1 回歸的涵義,樣本回歸函數(shù)（sample regression function, SRF） 通過散點(diǎn)得到兩條“擬合”樣本數(shù)據(jù)的樣本回歸線。,3.1 回歸的涵義,樣本回歸函數(shù)（sample regression function, SRF） 可用樣本回歸函數(shù)（SRF）表示樣本回歸線： 其中， 總體條件均值 的估計量； 并非所有樣本數(shù)據(jù)都準(zhǔn)確地落在樣本回歸線上，因此建立隨機(jī)樣本回歸函數(shù)： 其中， 是 的估計量，稱 為殘差（residual）。 表示了Y的實(shí)際值與樣本回歸估計值的差。,3.1 回歸的涵義,樣本回歸函數(shù)（sample regressio

5、n function, SRF） 回歸分析：根據(jù)樣本回歸函數(shù)估計總體回歸函數(shù)。,3.1 回歸的涵義,“線性”回歸的特殊含義 對“線性”有兩種解釋：變量線性和參數(shù)線性。 變量線性：例如前面的總體（或樣本）回歸函數(shù)；下面的函數(shù)不是變量線性的： 參數(shù)線性：參數(shù)B1、B2僅以一次方的形式出現(xiàn)。下面的模型是參數(shù)非線性的： 本書主要關(guān)注參數(shù)線性模型。從現(xiàn)在起，線性回歸（linear regression）是指參數(shù)線性的回歸，而解釋變量并不一定是線性的。,3.2 隨機(jī)擾動項的來源,總體回歸函數(shù)說明在給定的家庭收入下，美國學(xué)生 平均的數(shù)學(xué)分?jǐn)?shù)。 但對于某一個學(xué)生，他的數(shù)學(xué)分?jǐn)?shù)可能與該平均水平有偏差。 可以解釋

6、為，個人數(shù)學(xué)分?jǐn)?shù)等于這一組的平均值加上或減去某個值。用數(shù)學(xué)公式表示為： 其中， 表示隨機(jī)擾動項，簡稱擾動項。擾動項是一個隨機(jī)變量，通常用概率分布來描述。,3.2 隨機(jī)擾動項的來源,對于回歸模型 稱為 被解釋變量（explained variable） 也稱 應(yīng)變量或因變量（dependent variable） 稱為 解釋變量（explanatory variable） 也稱 自變量（independent variable） 稱為 參數(shù)（parameter） 稱為 隨機(jī)擾動項（random error term）,3.2 隨機(jī)擾動項的來源,上式如何解釋？ 可以認(rèn)為，在給定家庭收入水平 上，第

7、i個學(xué)生的數(shù)學(xué)分?jǐn)?shù)可以表達(dá)為兩部分之和： 一是 ，即 ，是該收入水平上的平均數(shù)學(xué)分?jǐn)?shù)。這一部分稱為系統(tǒng)或確定性部分。 二是 ，稱為非系統(tǒng)或隨機(jī)成本，由收入以外的因素決定。 此時，稱 為隨機(jī)總體回歸函數(shù)（stochastic PRF）。,3.2 隨機(jī)擾動項的來源,3.2 隨機(jī)擾動項的來源,性質(zhì)1：擾動項代表了未納入模型變量的影響。例如個人健康狀況、居住區(qū)域等等。 性質(zhì)2：反映了人類行為的內(nèi)在隨機(jī)性。即使模型中包括了決定數(shù)學(xué)分?jǐn)?shù)的所有變量，其內(nèi)在隨機(jī)性也不可避免，這是做任何努力都無法解釋的。 性質(zhì)3：還代表了度量誤差，例如收入的數(shù)據(jù)可能不等于真實(shí)值。 性質(zhì)4：“奧卡姆剃刀原則”即描述應(yīng)該盡可能簡單

8、，只要不遺漏重要的信息，此時可以把影響Y的次要因素歸入隨機(jī)擾動項。,3.3 參數(shù)的最小二乘估計,參數(shù)估計：普通最小二乘法（OLS） 根據(jù)樣本回歸函數(shù)估計總體回歸函數(shù)，要回答兩個問題： 如何估計PRF？ 如何驗(yàn)證估計的PRF是真實(shí)的PRF的一個“好”的估計值？ 這里先回答第一個問題。 回歸分析中使用最廣泛的是普通最小二乘法（method of ordinary least squares, OLS）,3.3 參數(shù)的最小二乘估計,參數(shù)估計：普通最小二乘法（OLS） 最小二乘原理：由于不能直接觀察PRF： 所以用SRF 來估計它，因而 最好的估計方法是，選擇 使得殘差 盡可能小。,3.3 參數(shù)的最小

9、二乘估計,參數(shù)估計：普通最小二乘法（OLS） 普通最小二乘法就是要選擇參數(shù) ，使得殘差平方和（residual sum of squares, RSS） 最小。 即,3.3 參數(shù)的最小二乘估計,參數(shù)估計：普通最小二乘法（OLS） 如何確定 的值？ 根據(jù)微積分，當(dāng) 對 的一階偏導(dǎo)數(shù)為0時，Q達(dá)到最小。即,3.3 參數(shù)的最小二乘估計,參數(shù)估計：普通最小二乘法（OLS） 以上聯(lián)立方程組稱為正規(guī)方程組（normal equations）。 求解 ，得 注意： ，即小寫字母代表了變量與其均值的離差。 上面給出的估計量稱為OLS估計量（OLS estimator）。,3.3 參數(shù)的最小二乘估計,參數(shù)估計：

10、普通最小二乘法（OLS） OLS估計量的一些重要性質(zhì) 用OLS法得出的樣本回歸線經(jīng)過樣本均值點(diǎn)，即 殘差的均值 總為0。 對殘差和解釋變量的積求和，其值為零，即 對殘差與 （估計的 ）的積求和，其值為零，即,3.3 參數(shù)的最小二乘估計,例子：數(shù)學(xué)S.A.T分?jǐn)?shù),3.3 參數(shù)的最小二乘估計,例子：數(shù)學(xué)S.A.T分?jǐn)?shù) 根據(jù)公式可以得到回歸結(jié)果：,3.3 參數(shù)的最小二乘估計,例子：數(shù)學(xué)S.A.T分?jǐn)?shù) 根據(jù)公式可以得到回歸結(jié)果： 對估計結(jié)果的解釋： 斜率系數(shù)0.0013表示在其他條件保持不變的情況下，家庭年收入每增加1美元，數(shù)學(xué)S.A.T.分?jǐn)?shù)平均提高0.0013分 截距432.4138表示，當(dāng)家庭年

11、收入為0時，數(shù)學(xué)平均分大約為432.4138。（這樣的解釋沒有什么經(jīng)濟(jì)意義） 對截距最好的解釋是，它代表了回歸模型中所有省略變量對Y的平均影響。,3.3 參數(shù)的最小二乘估計,例子：受教育年限與平均小時工資 預(yù)期平均工資隨受教育年限的增加而增加 回歸結(jié)果：,3.3 參數(shù)的最小二乘估計,例子：股票價格與利率 經(jīng)濟(jì)理論表明，股票價格和利率之間存在反向關(guān)系。,3.3 參數(shù)的最小二乘估計,例子：股票價格與利率 看起來兩個變量之間的關(guān)系不是線性的（即不是直線），因此，假設(shè)實(shí)際關(guān)系如下： 回歸結(jié)果為： 作為比較，線性回歸結(jié)果為： 引發(fā)的一個重要問題：哪一個模型更好？如何進(jìn)行判斷？在模型選擇中使用那些檢驗(yàn)？后

12、面將逐一回答。,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 前面我們回答了“如何估計PRF”的問題OLS。 下面我們要回答“怎樣判別它是真實(shí)PRF的一個好的估計”的問題。 只有假定了隨機(jī)擾動項u的生成過程，才能判定SRF對PRF擬合得是好是壞。 OLS估計量的推導(dǎo)與隨機(jī)擾動項的生成過程無關(guān)； 但根據(jù)SRF進(jìn)行假設(shè)檢驗(yàn)時，就必須對隨機(jī)擾動項的生成做一些特殊的假定，否則無法進(jìn)行假設(shè)檢驗(yàn)。 下面仍然沿用一元線性回歸模型來討論。,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 假定1. 回歸模型是參數(shù)線性的，但不一定是變量線性的?；貧w模型形式如下（可擴(kuò)展到多個解釋變量）：

13、假定2. 解釋變量 與隨機(jī)擾動項 不相關(guān)。 如果X是非隨機(jī)的，該假定自動滿足； 即使X是隨機(jī)的，如果樣本容量足夠大，也不會對分析產(chǎn)生嚴(yán)重影響。,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 假定3. 給定 ，擾動項的均值為零。即,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 假定4. 同方差（homoscedastic），即,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 假定5. 無自相關(guān)（no autocorrelation），即兩個擾動項之間不相關(guān)：,3.4 參數(shù)估計的性質(zhì),古典線性回歸模型（CLRM）的假定 假定6. 回歸模型是正確設(shè)定的，即模型

14、不存在設(shè)定偏差或設(shè)定誤差。 為什么需要以上6個假定？這些假定現(xiàn)實(shí)嗎？如果不滿足這些假定，情況又會怎樣？如何得知是否滿足所有這些假定？ 這些重要的問題暫時沒有答案，事實(shí)上，教材“第二部分”都是圍繞“如果假定不滿足時會怎樣”而展開的。,3.4 參數(shù)估計的性質(zhì),OLS估計量的方差與標(biāo)準(zhǔn)差 有了上述假定后可以計算出估計量的方差和標(biāo)準(zhǔn)差。 OLS估計量是隨機(jī)變量，因?yàn)槠渲惦S樣本的不同而變化，這些估計量的抽樣變異性通常由估計量的方差或其標(biāo)準(zhǔn)差來度量。 OLS估計量的方差（variance）及標(biāo)準(zhǔn)差（standard error）： 怎么估計 ？,3.4 參數(shù)估計的性質(zhì),OLS估計量的方差與標(biāo)準(zhǔn)差 根據(jù)下式

15、估計 ： （n-2）稱為自由度。在一元線性回歸模型中有兩個參數(shù)，在計算這兩個未知參數(shù)時，失去了兩個自由度。因此，雖然有n個觀察值，但自由度僅為（n-2）。 順便指出， 稱為回歸標(biāo)準(zhǔn)差（standard error of the regression，SER）。,3.4 參數(shù)估計的性質(zhì),OLS估計量的方差與標(biāo)準(zhǔn)差：數(shù)學(xué)S.A.T一例（教材有誤）,3.4 參數(shù)估計的性質(zhì),估計結(jié)果的報告 估計的數(shù)學(xué)SAT函數(shù)如下（括號內(nèi)數(shù)字為標(biāo)準(zhǔn)差）： OLS估計量的性質(zhì) 可以概括為高斯-馬爾柯夫定理(Gauss-Markov theorem)： 如果滿足古典線性回歸模型的基本假定，則在所有線性估計兩種，OLS估計

16、量具有最小方差性，即OLS估計是最優(yōu)線性無偏估計量（BLUE）。 具體見教材PP46。,3.5 顯著性檢驗(yàn),OLS估計量的抽樣分布或概率分布 知道如何計算OLS估計量及其標(biāo)準(zhǔn)差仍然不夠，必須求出其抽樣分布才能進(jìn)行假設(shè)檢驗(yàn)。 為了推導(dǎo)抽樣分布，再增加一條假定。 假定7. 在總體回歸函數(shù) 中，擾動項 服從均值為0，方差為 的正態(tài)分布。即 為什么可以作這樣一個假定？,3.5 顯著性檢驗(yàn),OLS估計量的抽樣分布或概率分布 可以證明， 是 的線性函數(shù)，根據(jù)“正態(tài)變量的線性函數(shù)仍服從正態(tài)分布”，得知 服從正態(tài)分布。 中心極限定理： 隨著樣本量的增加，獨(dú)立同分布隨機(jī)變量構(gòu)造的統(tǒng)計量近似服從正態(tài)分布。,3.5

17、 顯著性檢驗(yàn),OLS估計量的抽樣分布或概率分布,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn) 假定：家庭年收入對學(xué)生的數(shù)學(xué)成績沒有影響 數(shù)值結(jié)果表明： 。因此，零假設(shè)不成立？ 不能僅看數(shù)值結(jié)果，抽樣波動性會導(dǎo)致數(shù)值結(jié)果因樣本變化而不同 需要進(jìn)行假設(shè)檢驗(yàn)。怎么進(jìn)行？ 前面指出： 當(dāng)我們知道估計量的抽樣分布后，假設(shè)檢驗(yàn)將不成問題。討論以下兩種方法： （1）置信區(qū)間法 （2）顯著性檢驗(yàn)法,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn) 能否使用上式進(jìn)行假設(shè)檢驗(yàn)？問題在哪里？ 問題在于真實(shí)的 是未知的！ 可以用 來估計它，則有：,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：置信區(qū)間法 在數(shù)學(xué)S.A.T一例中，共有10個觀察值，因此自由度為（10-2

18、）=8。 假定 ，顯著性水平或犯第一類錯誤（棄真）的概率為5%，于是有 即,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：置信區(qū)間法 整理 或 上式給出了 的一個95%的置信區(qū)間：重復(fù)上述過程，100個這樣的區(qū)間中將有95個包括真實(shí)的 。 代入 ，得 區(qū)間不包括0，所以拒絕零假設(shè) ：家庭年收入對數(shù)學(xué)S.A.T沒有影響。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：置信區(qū)間法 圖形 （教材有誤） 0.00074 0.00187,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：置信區(qū)間法 按照上述過程，同樣可得截距 95%的置信區(qū)間： 如果 ，則顯然拒絕零假設(shè)，因?yàn)樯鲜?5%的置信區(qū)間不包括0。 如果 ，則不能拒絕該假設(shè)，因?yàn)?5%的置信區(qū)間包

19、括了這個值。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 核心思想是根據(jù)從樣本數(shù)據(jù)求得的檢驗(yàn)統(tǒng)計量的值決定接受或拒絕零假設(shè)。 前面曾介紹 如果令 ，其中， 是 的某個給定數(shù)值（例如， ），則根據(jù)樣本數(shù)據(jù)很容易求得 可用計算出的t值作為檢驗(yàn)統(tǒng)計量，它服從自由度為（n-2）的t分布。相應(yīng)的檢驗(yàn)過程稱為t檢驗(yàn)。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 在具體進(jìn)行t檢驗(yàn)時 （1）對于一元線性回歸模型（雙變量模型），自由度為（n-2）。 （2）常用的顯著水平 有1%、5%或10%。為了避免選擇顯著水平的隨意性，通常求出p值（精確的顯著水平），如果計算的p值充分小，則拒絕零假設(shè)。 （3）可用單邊或雙邊

20、檢驗(yàn)。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 先看雙邊檢驗(yàn)（two-tailed test） 假設(shè) ，有 自由度為8時，t的（雙邊）臨界值 如果計算得到的 超過臨界值，則拒絕零假設(shè)。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 本例t=5.4354，拒絕零假設(shè)。相伴概率p約為0.0006，說明如果拒絕零假設(shè)，犯錯的概率只有萬分之六。,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 再看單邊檢驗(yàn)（one-tailed test） 由于預(yù)期家庭收入對數(shù)學(xué)成績的影響是正向的，因此假設(shè) （備擇假設(shè)是單邊的）。 此時犯第一類錯誤的概率不是均等分布在t分布的兩側(cè)，而是集中于一側(cè)。左側(cè)還是右側(cè)？ 自由度為

21、8時，臨界t值（右側(cè)）為： 結(jié)論：拒絕零假設(shè)！,3.5 顯著性檢驗(yàn),假設(shè)檢驗(yàn)：顯著性檢驗(yàn)法 單邊t檢驗(yàn)：,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 t檢驗(yàn)表明樣本回歸函數(shù)很好地擬合了樣本數(shù)據(jù)。 但并非每一個Y值都準(zhǔn)確地落在了估計的PRF上。 能否建立一個“擬合優(yōu)度”的判定規(guī)則，從而辨別估計的回歸線擬合真實(shí)的Y值的優(yōu)劣程度？ 判定系數(shù)r2（coefficient of determination） 前面講到 ，作恒等變化，得,由X變異所解釋的部分,未解釋部分或殘差的變異,Yi的變異,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 小寫字母表示與均值的離差，得 或?qū)憺?兩邊同時平方再

22、求和，得,由X變異所解釋的部分,未解釋部分或殘差的變異,Yi的變異,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 上式出現(xiàn)的各種平方和定義如下： （total sum of squares, TSS）,真實(shí)Y值圍繞其均值 的總變異。 （explained sum of squares, ESS）,估計的Y值圍繞其均值 的變異，也稱回歸平方和（由解釋變量解釋的部分）。 （residual sum of squares, RSS）,即Y變異未被解釋的部分。 于是上式可以簡化為：,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 表明Y與其均值的總離差可分解為兩部分：一部分歸于回歸線，另一部分歸于隨機(jī)因素。,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 對于 ，一般的情形是：ESS和RSS均不為零，如果ESS遠(yuǎn)大于RSS，則SRF在很大程度上解釋了Y的變異；如果RSS遠(yuǎn)大于ESS，則SRF只能部分解釋Y的變異。 如何量化“擬合優(yōu)度”？ 兩邊同時除以TSS，得： 定義 ，稱 為判定系數(shù)。 度量回歸線的擬合優(yōu)度，或者說度量了回歸模型對Y變異的解釋比例。,3.6 擬合優(yōu)度,擬合回歸直線的優(yōu)度：判定系數(shù)r2 計算公式： 數(shù)學(xué)S.A.T一例： 該 值已經(jīng)相當(dāng)大了，