1、第 9 章 一元線性回歸9.1 變量間關(guān)系的度量變量間關(guān)系的度量 9.2 一元線性回歸的估計(jì)和檢驗(yàn)一元線性回歸的估計(jì)和檢驗(yàn)9.3 利用回歸方程進(jìn)行預(yù)測(cè)利用回歸方程進(jìn)行預(yù)測(cè)9.4 用殘差檢驗(yàn)?zāi)Ｐ偷募俣ㄓ脷埐顧z驗(yàn)?zāi)Ｐ偷募俣?回歸分析研究什么？l假定因變量與自變量之間有某種關(guān)系，并把這種關(guān)系用適當(dāng)?shù)臄?shù)學(xué)模型表達(dá)出來(lái)，那么，就可以利用這一模型根據(jù)給定的自變量來(lái)預(yù)測(cè)因變量，這就是回歸要解決的回歸要解決的問(wèn)題問(wèn)題l在回歸分析中，只涉及一個(gè)自變量時(shí)稱為一元回歸，涉及多個(gè)自變量時(shí)則稱為多元回歸。如果因變量與自變量之間是線性關(guān)系，則稱為線性回歸線性回歸(linear regression)；如果因變量與自變量之

2、間是非線性關(guān)系則稱為非線性回歸非線性回歸(nonlinear regression)怎樣分析變量間的關(guān)系？l 建立回歸模型時(shí)，首先需要弄清楚變量之間的關(guān)系。分析變量之間的關(guān)系需要解決下面的問(wèn)題l變量之間是否存在關(guān)系？l如果存在，它們之間是什么樣的關(guān)系？l變量之間的關(guān)系強(qiáng)度如何？l樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？ 9.1.1 變量間是什么樣的關(guān)系？函數(shù)關(guān)系1.是一一對(duì)應(yīng)的確定關(guān)系2.設(shè)有兩個(gè)變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當(dāng)變量 x 取某個(gè)數(shù)值時(shí)， y 依確定的關(guān)系取相應(yīng)的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中

3、x 稱為自變量，y 稱為因變量3.各觀測(cè)點(diǎn)落在一條線上 相關(guān)關(guān)系(幾個(gè)例子)l子女的身高與其父母身高的關(guān)系子女的身高與其父母身高的關(guān)系u從遺傳學(xué)角度看，父母身高較高時(shí)，其子女的身高一般也比較高。但實(shí)際情況并不完全是這樣，因?yàn)樽优纳砀卟⒉煌耆怯筛改干砀咭粋€(gè)因素所決定的，還有其他許多因素的影響l一個(gè)人的收入水平同他受教育程度的關(guān)系一個(gè)人的收入水平同他受教育程度的關(guān)系u收入水平相同的人，他們受教育的程度也不可能不同，而受教育程度相同的人，他們的收入水平也往往不同。因?yàn)槭杖胨诫m然與受教育程度有關(guān)系，但它并不是決定收入的惟一因素，還有職業(yè)、工作年限等諸多因素的影響l農(nóng)作物的單位面積產(chǎn)量與降雨量之間

4、的關(guān)系農(nóng)作物的單位面積產(chǎn)量與降雨量之間的關(guān)系u在一定條件下，降雨量越多，單位面積產(chǎn)量就越高。但產(chǎn)量并不是由降雨量一個(gè)因素決定的，還有施肥量、溫度、管理水平等其他許多因素的影響相關(guān)關(guān)系(correlation)1. 一個(gè)變量的取值不能由另一個(gè)變量唯一確定2. 當(dāng)變量 x 取某個(gè)值時(shí)，變量 y 的取值對(duì)應(yīng)著一個(gè)分布分布3. 各觀測(cè)點(diǎn)分布在直線周圍 9.1.2 用散點(diǎn)圖描述相關(guān)關(guān)系散點(diǎn)圖(scatter diagram)用散點(diǎn)圖描述變量間的關(guān)系(例題分析)【例例9-1】為研究銷售收入與廣告費(fèi)用支出之間的關(guān)系，某醫(yī)藥管理部門隨機(jī)抽取20家藥品生產(chǎn)企業(yè)，得到它們的年銷售收入和廣告費(fèi)用支出(萬(wàn)元)的數(shù)據(jù)如

5、下。繪制散點(diǎn)圖描述銷售收入與廣告費(fèi)用之間的關(guān)系 散點(diǎn)圖(銷售收入和廣告費(fèi)用的散點(diǎn)圖)9.1.3 用相關(guān)系數(shù)度量關(guān)系強(qiáng)度相關(guān)系數(shù)(correlation coefficient)1.度量變量之間線性關(guān)系強(qiáng)度的一個(gè)統(tǒng)計(jì)量若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為 若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，簡(jiǎn)稱為相關(guān)系數(shù)，記為 rl也稱為Pearson相關(guān)系數(shù) (Pearsons correlation coefficient)2.樣本相關(guān)系數(shù)的計(jì)算公式 22)()()(yyxxyyxxr相關(guān)系數(shù)的性質(zhì)性質(zhì)性質(zhì)1：r 的取值范圍是 -1,1|r|=1，為完全相關(guān)lr =1，為完全正

6、相關(guān)lr =-1，為完全負(fù)正相關(guān)r = 0，不存在線性線性相關(guān)關(guān)系-1r0，為負(fù)相關(guān)0r1，為正相關(guān)|r|越趨于1表示關(guān)系越強(qiáng)；|r|越趨于0表示關(guān)系越弱相關(guān)系數(shù)的性質(zhì)性質(zhì)性質(zhì)2：r具有對(duì)稱性。即x與y之間的相關(guān)系數(shù)和y與x之間 的相關(guān)系數(shù)相等，即rxy= ryx性質(zhì)性質(zhì)3：r數(shù)值大小與x和y原點(diǎn)及尺度無(wú)關(guān)，即改變x和y的 數(shù)據(jù)原點(diǎn)及計(jì)量尺度，并不改變r(jià)數(shù)值大小性質(zhì)性質(zhì)4：僅僅是x與y之間線性關(guān)系的一個(gè)度量，它不能用 于描述非線性關(guān)系。這意為著， r=0只表示兩個(gè) 變量之間不存在線性相關(guān)關(guān)系，并不說(shuō)明變量之 間沒(méi)有任何關(guān)系性質(zhì)性質(zhì)5：r雖然是兩個(gè)變量之間線性關(guān)系的一個(gè)度量，卻不 一定意味著x與

7、y一定有因果關(guān)系相關(guān)系數(shù)的經(jīng)驗(yàn)解釋1. |r|0.8時(shí)，可視為兩個(gè)變量之間高度相高度相關(guān)關(guān)2. 0.5|r|0.8時(shí)，可視為中度相關(guān)中度相關(guān)3. 0.3|r|0.5時(shí)，視為低度相關(guān)低度相關(guān)4. |r|0.3時(shí)，說(shuō)明兩個(gè)變量之間的相關(guān)程度極弱，可視為不相關(guān)5. 上述解釋必須建立在對(duì)相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)的基礎(chǔ)之上相關(guān)系數(shù)的顯著性檢驗(yàn)(檢驗(yàn)的步驟)1. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系2.采用R.A.Fisher提出的 t 檢驗(yàn)3.檢驗(yàn)的步驟為提出假設(shè)：H0： ；H1： 0計(jì)算檢驗(yàn)的統(tǒng)計(jì)量用Excel中的【TDIST】函數(shù)得雙尾計(jì)算P值，并于顯著性水平比較，并作出決策 若P，拒絕H0)2(1

8、22ntrnrt相關(guān)系數(shù)的顯著性檢驗(yàn)(例題分析)【例例9-3】檢驗(yàn)銷售收入與廣告費(fèi)用之間的相關(guān)系數(shù)是否顯著 (0.05)1.提出假設(shè)：H0： ；H1： 02.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3. 用Excel中的【TDIST】函數(shù)得雙尾P=2.743E-090.05，拒絕H0，銷售收入與廣告費(fèi)用之間的相關(guān)系數(shù)顯著 789.109306. 012209306. 02t相關(guān)系數(shù)的顯著性檢驗(yàn)(SPSS輸出結(jié)果)9.2.1 一元線性回歸模型什么是回歸分析？(regression analysis)1. 重點(diǎn)考察考察一個(gè)特定的變量(因變量)，而把其他變量(自變量)看作是影響這一變量的因素，并通過(guò)適當(dāng)?shù)臄?shù)學(xué)模型將變量間的

9、關(guān)系表達(dá)出來(lái)2. 利用樣本數(shù)據(jù)建立模型的估計(jì)方程3. 對(duì)模型進(jìn)行顯著性檢驗(yàn)4. 進(jìn)而通過(guò)一個(gè)或幾個(gè)自變量的取值來(lái)估計(jì)或預(yù)測(cè)因變量的取值一元線性回歸1. 涉及一個(gè)自變量的回歸2. 因變量y與自變量x之間為線性關(guān)系被 預(yù) 測(cè) 或 被 解 釋 的 變 量 稱 為 因 變 量(dependent variable)，用y表示用來(lái)預(yù)測(cè)或用來(lái)解釋因變量的一個(gè)或多個(gè)變量稱為自變量(independent variable)，用x表示 3. 因變量與自變量之間的關(guān)系用一個(gè)線性方程來(lái)表示一元線性回歸模型(linear regression model)1.描述因變量 y 如何依賴于自變量 x 和誤差項(xiàng) 的方程稱

10、為回歸模型回歸模型2.一元線性回歸模型可表示為 y = b b + + b b1 1 x + + ny 是 x 的線性函數(shù)(部分)加上誤差項(xiàng)n線性部分反映了由于 x 的變化而引起的 y 的變化n誤差項(xiàng) 是隨機(jī)變量l反映了除 x 和 y 之間的線性關(guān)系之外的隨機(jī)因素對(duì) y 的影響l是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性nb0 和 b1 稱為模型的參數(shù)一元線性回歸模型(基本假定) 1.因變量x與自變量y之間具有線性關(guān)系2.在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的3.誤差項(xiàng) 滿足l正態(tài)性正態(tài)性。 是一個(gè)服從正態(tài)分布的隨機(jī)變量，且期望值為0，即 N(0 , 2 ) 。對(duì)于一

11、個(gè)給定的 x 值，y 的期望值為E(y)=b0+ b1xl方差齊性方差齊性。對(duì)于所有的 x 值， 的方差一個(gè)特定的值，的方差也都等于 2 都相同。同樣，一個(gè)特定的x 值， y 的方差也都等于2l獨(dú)立性。獨(dú)立性。獨(dú)立性意味著對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的與其他 x 值所對(duì)應(yīng)的不相關(guān)；對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的 y 值與其他 x 所對(duì)應(yīng)的 y 值也不相關(guān)估計(jì)的回歸方程(estimated regression equation)1. 總體回歸參數(shù) 和 是未知的，必須利用樣本數(shù)據(jù)去估計(jì)2. 用樣本統(tǒng)計(jì)量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計(jì)的回歸方程估計(jì)的回歸方程3. 一元線

12、性回歸中估計(jì)的回歸方程為其中： 是估計(jì)的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對(duì)于一個(gè)給定的 x 的值， 是 y 的估計(jì)值，也表示 x 每變動(dòng)一個(gè)單位時(shí)， y 的平均變動(dòng)值 xy10bb+0b1by 9.2.2 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)(method of least squares ) 最小niiiniixyyy121012)() (bb1b0bKarl Gauss的最小化圖xy10bb+參數(shù)的最小二乘估計(jì) ( 和 的計(jì)算公式)0)(20)(212101121001100niiiiniiixyxQxyQbbbbbbbbbbxyxxnyxyxnniniiiniiniin

13、iii1012121111bbb0b1b參數(shù)的最小二乘估計(jì)(例題分析)【例例9-4】根據(jù)例9-1的數(shù)據(jù)，求銷售收入與廣告費(fèi)用的估計(jì)的回歸方程 第第1步：步：選擇【工具工具】下拉菜單，并選擇【數(shù)據(jù)分析數(shù)據(jù)分析】選項(xiàng)第第2步：步：在分析工具中選擇【回歸回歸】 ，選擇【確定確定】第第2步：步：當(dāng)對(duì)話框出現(xiàn)時(shí) 在【Y值輸入?yún)^(qū)域值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域 在【X值輸入?yún)^(qū)域值輸入?yún)^(qū)域】設(shè)置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域 在【置信度置信度】選項(xiàng)中給出所需的數(shù)值 在【輸出選項(xiàng)輸出選項(xiàng)】中選擇輸出區(qū)域 在【殘差殘差】分析選項(xiàng)中選擇所需的選項(xiàng)參數(shù)的最小二乘估計(jì)(Excel輸出結(jié)果)【例例】求銷售收入與廣告費(fèi)用的估

14、計(jì)回歸方程 ，并解釋回歸系數(shù)的含義用SPSS進(jìn)行回歸 第第1步：步：選擇【分析】下拉菜單，并選擇【回歸】選項(xiàng)，進(jìn)入主對(duì)話框第第2步：步：在主對(duì)話框中將因變量(本例為銷售收入)選入【因變量】，將自變量(本例為廣告費(fèi)用)選入【自變量】第第3步：步：點(diǎn)擊【保存】 在【預(yù)測(cè)值】下選中【未標(biāo)準(zhǔn)化】(輸出點(diǎn)預(yù)測(cè)值) 在【預(yù)測(cè)區(qū)間】下選中【均值】和【單值】(輸出置信區(qū)間和預(yù)測(cè)區(qū)間) 在【置信區(qū)間】中選擇所要求的置信水平(隱含值95%，一般不用改變) 在【殘差】下選中【未標(biāo)準(zhǔn)化】和【標(biāo)準(zhǔn)化】(輸出殘差和標(biāo)準(zhǔn)化殘差) 點(diǎn)擊【繼續(xù)】回到主對(duì)話框。點(diǎn)擊【確定確定】參數(shù)的最小二乘估計(jì)(SPSS輸出結(jié)果)參數(shù)的最小二乘

15、估計(jì)(例題分析)xy1309. 55502.274+9.2.3 回歸直線的擬合優(yōu)度變差1. 因變量 y 的取值是不同的，y 取值的這種波動(dòng)稱為變差。變差來(lái)源于兩個(gè)方面由于自變量 x 的取值不同造成的除 x 以外的其他因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響2. 對(duì)一個(gè)具體的觀測(cè)值來(lái)說(shuō)，變差的大小可以通過(guò)該實(shí)際觀測(cè)值與其均值之差 來(lái)表示yy誤差分解圖y誤差平方和的分解 (誤差平方和的關(guān)系) 誤差平方和的分解 (三個(gè)平方和的意義)1.總平方和(SSTtotal sum of squares)反映因變量的反映因變量的 n 個(gè)觀察值與其均值的總誤差個(gè)觀察值與其均值的總誤差2.回歸平方和(SSRs

16、um of squares of regression)反映自變量 x 的變化對(duì)因變量 y 取值變化的影響，或者說(shuō)，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為可解釋的平方和也稱為可解釋的平方和3.殘差平方和(SSEsum of squares of error)反映除 x 以外的其他因素對(duì) y 取值的影響，也稱為不可解釋的平方和或剩余平方和不可解釋的平方和或剩余平方和判定系數(shù)R2 (coefficient of determination)1.回歸平方和占總誤差平方和的比例niiniiyyyySSTSSRR12122估計(jì)標(biāo)準(zhǔn)誤差(standard error of est

17、imate)1.實(shí)際觀察值與回歸估計(jì)值誤差平方和的均方根2.反映實(shí)際觀察值在回歸直線周圍的分散狀況3.對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)，是在排除了x對(duì)y的線性影響后，y隨機(jī)波動(dòng)大小的一個(gè)估計(jì)量4.反映用估計(jì)的回歸方程預(yù)測(cè)y時(shí)預(yù)測(cè)誤差的大小 5.計(jì)算公式為MSEknSSEknyysniiie11129.2.4 顯著性檢驗(yàn)線性關(guān)系的檢驗(yàn)1. 檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著2. 將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)k) 殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)線性關(guān)系的檢驗(yàn) (

18、檢驗(yàn)的步驟) 1.提出假設(shè)H0：b1=0 線性關(guān)系不顯著) 1,1 () 1(1knFMSEMSRknSSESSRF回歸系數(shù)的檢驗(yàn)和推斷1b回歸系數(shù)的檢驗(yàn)和推斷 (檢驗(yàn)步驟) 1.提出假設(shè)H0: b1 = 0 (沒(méi)有線性關(guān)系) H1: b1 0 (有線性關(guān)系) 2.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3. 確定顯著性水平，計(jì)算出統(tǒng)計(jì)量的P值，并做出決策P，拒絕H0，表明自變量是影響因變量的一個(gè)顯著因素)2(11ntstbb回歸系數(shù)的檢驗(yàn)和推斷 (b1和b0的置信區(qū)間) 1. b1在1- 置信水平下的置信區(qū)間為2. b0在1- 置信水平下的置信區(qū)間為區(qū)間估計(jì)1. 對(duì)于自變量 x 的一個(gè)給定值 x0，根據(jù)回歸方程得到

19、因變量 y 的一個(gè)估計(jì)區(qū)間2. 區(qū)間估計(jì)有兩種類型置信區(qū)間估計(jì)(confidence interval estimate)預(yù)測(cè)區(qū)間估計(jì)(prediction interval estimate)9.3.1 平均值的置信區(qū)間平均值的置信區(qū)間1.利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值的估計(jì)區(qū)間 ，這一估計(jì)區(qū)間稱為置信區(qū)間置信區(qū)間(confidence interval)2. E(y0) 在1-置信水平下的置信區(qū)間為個(gè)別值的預(yù)測(cè)區(qū)間1.利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間預(yù)測(cè)

20、區(qū)間(prediction interval) 2. y0在1-置信水平下的預(yù)測(cè)區(qū)間為置信區(qū)間和預(yù)測(cè)區(qū)間用SPSS進(jìn)行回歸 第第1步：步：選擇【分析】下拉菜單，并選擇【回歸】選項(xiàng)，進(jìn)入主對(duì)話框第第2步：步：在主對(duì)話框中將因變量(本例為銷售收入)選入【因變量】，將自變量(本例為廣告費(fèi)用)選入【自變量】第第3步：步：點(diǎn)擊【保存】 在【預(yù)測(cè)值】下選中【未標(biāo)準(zhǔn)化】(輸出點(diǎn)預(yù)測(cè)值) 在【預(yù)測(cè)區(qū)間】下選中【均值】和【單值】(輸出置信區(qū)間和預(yù)測(cè)區(qū)間) 在【置信區(qū)間】中選擇所要求的置信水平(隱含值95%，一般不用改變) 在【殘差】下選中【未標(biāo)準(zhǔn)化】和【標(biāo)準(zhǔn)化】(輸出殘差和標(biāo)準(zhǔn)化殘差) 點(diǎn)擊【繼續(xù)】回到主對(duì)話框。點(diǎn)擊【確定確定】置信區(qū)間和預(yù)測(cè)區(qū)間(例題分析)點(diǎn)點(diǎn)預(yù)預(yù)測(cè)測(cè)值值置置信信線線預(yù)預(yù)測(cè)測(cè)線線用SPSS做區(qū)間圖 第第1步：步：點(diǎn)擊【Graphs】【Interactive-Scatterplot】第第2步：點(diǎn)擊步：點(diǎn)擊【2D Coor