1、第5章 回歸分析,回歸分析是數(shù)理統(tǒng)計(jì)學(xué)科的一個(gè)重要分支。它是處理變量之間相關(guān)關(guān)系的一種數(shù)學(xué)方法。 回歸分析主要分為線性回歸分析和非線性回歸分析。,本節(jié)主要內(nèi)容,線性回歸模型的基本概念 最小二乘法 最小二乘估計(jì)量的性質(zhì) 回歸方程的顯著性檢驗(yàn),5.1 問題的提出,自然界和人類社會(huì)中的數(shù)量關(guān)系，可以分為兩種類型：,（函數(shù)關(guān)系）,（統(tǒng)計(jì)關(guān)系）,非確定性關(guān)系,確定性關(guān)系,回歸分析的基本概念,1.確定性關(guān)系,即對兩個(gè)變量X，Y來說，當(dāng)X值 確定后，Y值按照一定的規(guī)律唯一確定， 即形成一種精確的關(guān)系。,例如:微積分學(xué)中所研究的一般變量之間的 函數(shù)關(guān)系就屬于此種類型。,2.非確定性關(guān)系,即當(dāng)X值確定后，Y值不

2、是唯一確定的， 但大量統(tǒng)計(jì)資料表明，這些變量之間還 是存在著某種客觀的聯(lián)系。,例如：圖9.1在直角坐標(biāo)平面上，標(biāo)出了10 個(gè)觀測點(diǎn)的坐標(biāo)位置，他們表示以家庭為單 位，某種商品年需求量與該商品價(jià)格之間 的10對調(diào)查數(shù)據(jù)。,回歸分析(Regression Analysis),就是應(yīng)用統(tǒng)計(jì)方法，對大量的觀測數(shù)據(jù)進(jìn)行整 理、分析和研究，從而得出反映事物內(nèi)部規(guī)律 性的一些結(jié)論。,5.2 簡單線性回歸模型,5.2.1 線性模型 設(shè) 是因變量， 是自變量，且 與r個(gè)自變量相關(guān)。 如果 則稱 符合線性模型。,如果模型關(guān)于參數(shù)是非線性的，有些情形可以通過適當(dāng)?shù)淖儞Q化為線性模型。如 而有些模型不能通過變換化為線性

3、模型。如,5.2.2 簡單線性回歸模型,一般地，簡單線性回歸模型表示為 且 和 是待估計(jì)的未知參數(shù)，稱為回歸系數(shù)。,對于n組觀察值（ ， ）（i=1，2，n） 即 i=1，2，n 為了對線性回歸模型進(jìn)行統(tǒng)計(jì)分析和條件推斷，所以對模型的基本假設(shè)為 （1） （2） （3） 相互獨(dú)立，由此得 ij （4） 服從正態(tài)分布,5.2.3 最小二乘法,最小二乘法,Y與X之間 為線性關(guān)系,選出一條最能反 映Y與X之間關(guān)系 規(guī)律的直線,一元線性回歸方程,Yi=0+1Xi+i 0和1均未知,根據(jù)樣本數(shù)據(jù) 對0和1 進(jìn)行估計(jì),0和1的估計(jì) 值為 和,建立一元線性回歸方程,一般而言，所求的 和 應(yīng)能使每個(gè)樣本觀測點(diǎn)(

4、X i,Y i) 與回歸直線之間的偏差盡可能小，即使觀察值與擬 合值的誤差平方和Q達(dá)到最小。,回歸方程原理圖,一元線性回歸方程,令,Q達(dá)到最小值 0和1稱為最小二乘估計(jì)量,微積分中極值 的必要條件,令偏導(dǎo)數(shù)為0,解方程,正規(guī)方程組,稱 和 分別是 和 的最小二乘估計(jì)量。簡記為LSE,稱通過最小二乘法得到的直線方程 為簡單線性回歸方程，且 是 的最小二乘估計(jì)量。 當(dāng) 時(shí)，則 由此可見，回歸方程所對應(yīng)的直線通過數(shù)據(jù)重心（ ， ）,建立一元線性回歸方程的具體步驟：,例5-3 總結(jié),(3)計(jì)算 和 ，寫出一元線性回歸方程。,2.淺談直線回歸方程的精度問題2.1總平方和分解,總平方和分解,2.1總平方和

5、分解,總平方和 分解圖,2.1 總平方和分解,總離差平方和,它表示沒有X的影響， 單純考察數(shù)據(jù)中y的變動(dòng)情況。,2.1總平方和分解,回歸平方和,表示各 的變動(dòng)程度，該變動(dòng)是由于回歸直線 中各xi 的變動(dòng)所引起的，并且通過x對y 的線性影響表現(xiàn)出來。,2.1總平方和分解,誤差平方和,表示各yi圍繞所擬合的回歸直線的變動(dòng)程度,2.1 總平方和分解,2.2 自由度的分解,自由度 T為n-1,0和1用了 兩個(gè)正規(guī)方程,自由度 E為n-2,自由度 R為1,2.2 自由度的分解,自由度的分解可以表示為,n-1=1+（n-2）,T=R+E,5.2.4最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì),和 是隨機(jī)變量 的線性組合 證明

6、：因?yàn)?令 則 其中系數(shù) 盡取決于 ，所以 是常數(shù)。由此可見， 是 的線性組合。,又由于 ， 令 則， 所以， 是 的線性組合。 的性質(zhì),注,2. 和 分別是 和 的無偏估計(jì),證明,即最小二乘估計(jì)量 是 的無偏估計(jì)量。,同理,即最小二乘估計(jì)量 是 的無偏估計(jì)量,那么以上結(jié)論知,這表明 是 的無偏估計(jì)量。,3. 和 的方差（最小方差性）,4.auss-Markov定理,設(shè) 是相互獨(dú)立的隨機(jī)變量，其中 是 的最小二乘估計(jì)量，則 的所有 的線性無偏估計(jì)量中， 方差最小。,4.Gauss-Markov定理,Gauss-Markov定理證明思路,證畢,5.2.5 的無偏估計(jì)量,正規(guī)方程組,所以,由此可見

7、， 是 的無偏估計(jì)量。通常稱 為剩余方差。,5.2.6 估計(jì)量的分布,線性回歸模型的4項(xiàng)基本條件：,由于 和 都是 的線性組合，所以 和 都服從正態(tài)分布,相互獨(dú)立,如果基本假設(shè)1-4成立，則 服從正態(tài)分布 ， 服從正態(tài)分布 。,定理 5.1,定理 5.2,如果基本假設(shè)1-4成立，則 服從自由度為n-2的 分布，且 與 獨(dú)立。其中 剩余方差,5.3.1 F 檢驗(yàn)（方差分析）法,在一元線性回歸中，為了檢驗(yàn)Y對于X線性 關(guān)系的統(tǒng)計(jì)顯著性，對1進(jìn)行F檢驗(yàn),1）提出假設(shè)：H0：1=0，H1：10。,2） 構(gòu)造并計(jì)算統(tǒng)計(jì)量：,3）查F分布臨界值表，得臨界值,4）比較： 接受H0，認(rèn)為Y與 X不存在一元線性關(guān)系。,5.3 簡單線性回歸模型的顯著性檢驗(yàn),1.F 檢驗(yàn),若F,拒絕H0，認(rèn)為Y與X存在一元線性關(guān)系。,方差分析表,2.t 檢驗(yàn),1）提出假設(shè),H0: H1:,2）構(gòu)造并計(jì)算統(tǒng)計(jì)量,步 驟：,3）查t分布臨界值表,得臨界值,t 檢驗(yàn),4）比較,若 ，接受H0,若 ，拒絕