1、第7章 相關(guān)分析與回歸分析重點：重點為一元線性回歸分析方法，要求運用最小二乘法確定直線方程。判定系數(shù)三個平方和之間的關(guān)系、回歸方程的區(qū)間估計和預(yù)測。難點：用最小二乘法確定一元線性回歸系數(shù)。如何如何正確理解離差平方和分解原理。郭國慶主編學(xué)習(xí)目標(biāo)1.變量間的相關(guān)關(guān)系與相關(guān)系數(shù)的計算2.總體回歸函數(shù)與樣本回歸函數(shù)3.線性回歸的基本假定4.簡單線性回歸參數(shù)的估計與檢驗5.多元線性回歸參數(shù)的估計與檢驗6.多個變量的線性相關(guān)關(guān)系：復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)7.常用的可以轉(zhuǎn)換為線性回歸的非線性函數(shù)8.非線性相關(guān)指數(shù) 第1節(jié) 變量間關(guān)系的度量一、變量間的相互關(guān)系1、函數(shù)關(guān)系：是指當(dāng)一個或幾個變量取一定的值時，另一

2、個變量有確定值與之相對應(yīng)的確定性關(guān)系。2、相關(guān)關(guān)系（1）定義：是指當(dāng)一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應(yīng)的另一變量的值按某種規(guī)律在一定的范圍內(nèi)發(fā)生不確定性的變化。（2）特點一個變量的取值不能由另一個變量惟一確定；這種關(guān)系不能用函數(shù)關(guān)系表示，但存在一定的客觀規(guī)律。如：平均看，父母高的子女較高；3、沒有關(guān)系 函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當(dāng)變量 x 取某個數(shù)值時， y 依確定的關(guān)系取相應(yīng)的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量各觀測點落在一條線上 xy函數(shù)

3、關(guān)系（舉例）某種商品的銷售額y與銷售量x之間的關(guān)系可表示為 y = px (p 為單價)圓的面積S與半徑R之間的關(guān)系可表示為S=R2 企業(yè)的原材料消耗額y與產(chǎn)量x1 、單位產(chǎn)量消耗x2 、原材料價格x3之間的關(guān)系可表示為 y = x1 x2 x3 相關(guān)關(guān)系變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個變量的取值不能由另一個變量唯一確定當(dāng)變量 x 取某個值時，變量 y 的取值可能有幾個各觀測點分布在直線周圍 Y= f（X）+ （為隨機(jī)變量）xy相關(guān)關(guān)系（舉例）父親身高y與子女身高x之間的關(guān)系收入水平y(tǒng)與受教育程度x之間的關(guān)系糧食單位面積產(chǎn)量y與施肥量x1、降雨量x2 、溫度x3之間的關(guān)系商品的消費量y與居

4、民收入x之間的關(guān)系商品銷售額y與廣告費支出x之間的關(guān)系沒有關(guān)系沒有關(guān)系 變量間關(guān)系的圖形描述散點圖 二、相關(guān)關(guān)系的類型 按研究變量的數(shù)量：單相關(guān)和復(fù)相關(guān)；如：某種商品的需求與其價格水平以及人們收入水平之間的關(guān)系； 偏相關(guān)：復(fù)相關(guān)條件下，假定其他變量不變，研究兩個變量之間的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)關(guān)系的表現(xiàn)形式：線性相關(guān)和非線性相關(guān)；按相關(guān)關(guān)系變化的方向：正相關(guān)和負(fù)相關(guān)； 按相關(guān)的程度：完全相關(guān)、不完全相關(guān)和完全不相關(guān)；三、相關(guān)分析的主要內(nèi)容 揭示現(xiàn)象之間是否存在相關(guān)關(guān)系；判斷現(xiàn)象之間相關(guān)關(guān)系的具體形式；測定現(xiàn)象相關(guān)關(guān)系的密切程度和方向。1.相關(guān)圖：用坐標(biāo)的水平軸代表變量x，縱軸代表因變量y，

5、每組數(shù)據(jù)（xi,yi）在坐標(biāo)系中用一個點表示，n組數(shù)據(jù)在坐標(biāo)系中形成的n個點稱為散點，由坐標(biāo)及其散點形成的二維數(shù)據(jù)圖稱為散點圖。第2節(jié) 相關(guān)關(guān)系的描述與測度相關(guān)圖不相關(guān)負(fù)線性相關(guān)正線性相關(guān)非線性相關(guān)完全負(fù)線性相關(guān)完全正線性相關(guān)2.相關(guān)系數(shù)度量變量之間關(guān)系強度的一個統(tǒng)計量；對兩個變量之間線性相關(guān)強度的度量稱為簡單相關(guān)系數(shù)；若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為；對于特定的總體來說，X和Y的數(shù)值是既定的；總體相關(guān)系數(shù)是客觀存在的特定數(shù)值；一般是不知道的。若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，簡稱為相關(guān)系數(shù)，記為 r；也稱為線性相關(guān)系數(shù)(linear correlation

6、 coefficient) ；或稱為Pearson相關(guān)系數(shù) (Pearsons correlation coefficient) ；樣本相關(guān)系數(shù)是根據(jù)從總體中抽取的隨機(jī)樣本的觀測值計算出來的；是對總體相關(guān)系數(shù)的估計，它是個隨機(jī)變量；相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r 的取值范圍是 -1,1 |r|=1，為完全相關(guān)r =1，為完全正相關(guān)r =-1，為完全負(fù)正相關(guān) r = 0，不存在線性相關(guān)關(guān)系 -1r0，為負(fù)相關(guān)0r1，為正相關(guān)|r|越趨于1表示關(guān)系越強；|r|越趨于0表示關(guān)系越弱相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對稱性。即x與y之間的相關(guān)系數(shù)和y與x 之間的相關(guān)系數(shù)相等，即rxy= ryx性質(zhì)3：r數(shù)值大小與

7、x和y原點及尺度無關(guān)，即改變x和y的數(shù)據(jù)原點及計量尺度，并不改變r數(shù)值大小性質(zhì)4：僅僅是x與y之間線性關(guān)系的一個度量，它不能用于描述非線性關(guān)系。這意味著， r=0只表示兩個變量之間不存在線性相關(guān)關(guān)系，并不說明變量之間沒有任何關(guān)系性質(zhì)5：r雖然是兩個變量之間線性關(guān)系的一個度量，卻不 一定意味著x與y一定有因果關(guān)系，也不能說明具體接近哪條直線相關(guān)系數(shù)的經(jīng)驗解釋 |r|0.8時，可視為兩個變量之間高度相關(guān)0.5|r|0.8時，可視為中度相關(guān)0.3|r|0.5時，視為低度相關(guān)|r|t/2 ，則拒絕原假設(shè)H0，表明總體的兩個變量之間存在顯著的線性關(guān)系。例：從某班30名學(xué)生中隨機(jī)抽取10名，測得高等數(shù)學(xué)和

8、統(tǒng)計學(xué)考試成績資料如下表，試計算高等數(shù)學(xué)考試成績與統(tǒng)計學(xué)考試成績之間的相關(guān)系數(shù)。序號12345678910高數(shù)成績54666876788285879094統(tǒng)計成績61806286847685828896解：代入公式得1.提出假設(shè) H0:=0 H1: 02.確定顯著水平：=0.053.計算統(tǒng)計量 4.查表得因為：t所以拒絕原假設(shè)，高等數(shù)學(xué)成績與統(tǒng)計學(xué)成績之間存在顯著線性相關(guān)關(guān)系。 第2節(jié) 一元線性回歸分析 一、回歸分析1.回歸：1889英國統(tǒng)計學(xué)家高爾頓發(fā)表遺傳論文中首次提到，研究身高問題；凡是由一個變量的變化去推測另一個變量的變化都稱為回歸。2.回歸分析：對具有相關(guān)關(guān)系的現(xiàn)象之間的數(shù)量變化進(jìn)行

9、測定，配合一定的數(shù)學(xué)方程，對因變量進(jìn)行估計或預(yù)測的一種統(tǒng)計分析方法。3.回歸與相關(guān)分析的區(qū)別相關(guān)研究的兩個變量是對等關(guān)系，而回歸研究的兩個變量不是對等關(guān)系；相關(guān)分析只計算一個相關(guān)系數(shù)，回歸分析可以建立兩個不同回歸方程；相關(guān)分析x、y都是隨機(jī)變量，回歸分析自變量是可以控制的變量，因變量是隨機(jī)變量；4.聯(lián)系：相關(guān)分析是回歸分析的基礎(chǔ)和前提；回歸分析是相關(guān)分析的深入和繼續(xù)。共同的研究對象：都是對變量間相關(guān)關(guān)系的分析；只有當(dāng)變量間存在相關(guān)關(guān)系時，用回歸分析去尋求相關(guān)的具體數(shù)學(xué)形式才有實際意義；相關(guān)分析只表明變量間相關(guān)關(guān)系的性質(zhì)和程度，要確定變量間相關(guān)的具體數(shù)學(xué)形式依賴于回歸分析；回歸分析回歸的古典意義

10、： 高爾頓遺傳學(xué)的回歸概念 父母身高與子女身高的關(guān)系: 無論高個子或低個子的子女 都有向人的平均身高回歸的趨勢二、一元線性回歸模型（簡單線性回歸模型）1.簡單線性回歸模型 假定因變量y主要受自變量x的影響，它們之間的簡單線性回歸模型如下： y= 0+ 1x+ 0,1為參數(shù)，為隨機(jī)誤差項。 對于誤差項，在回歸分析中有如下假設(shè)：1）誤差項是隨機(jī)變量，它的期望值為0。2）對于所有的 x值，誤差項的方差 2 為常數(shù)。3）誤差項之間相互獨立，即與一個值相聯(lián)系的誤差對與另一個值相聯(lián)系的誤差沒有影響。4）隨機(jī)誤差項服從正態(tài)分布。2.簡單線性回歸方程 y= 0+ 1x+ 描述y的均值E(y)與 x的關(guān)系的方程

11、叫做回歸方程。 由于E(0)= 0, E(1)= 1, E()=0 所以E(y)= 0+ 1x不難看出，簡單線性回歸方程的圖形是一條直線。這條直線被稱為總體回歸直線。0是回歸直線的截距， 1是回歸直線的斜率，表示x每變動一個單位，y的平均變動，E(y)是給定某個x值y的均值或期望值。 各實際觀測點與總體回歸線垂直方向的間隔，就是隨機(jī)誤差項，即 =y- E(y)一元線性回歸模型(基本假定) x=x3時的E(y)x=x2時y的分布x=x1時y的分布x=x2時的E(y)x3x2x1x=x1時的E(y)0 xyx=x3時y的分布0+ 1x3.估計一元線性回歸方程 根據(jù)樣本數(shù)據(jù)擬合的直線，稱為樣本回歸直

12、線。 , 分別為 0,1 的估計值，是樣本回歸直線的截距和斜率, , 稱為回歸系數(shù)。 實際觀測到的因變量y值，并不完全等于估計值 ，如果用e表示二者之差，則樣本回歸模型為： （其中e為殘差） 二、一元線性回歸模型的估計1.回歸系數(shù)的估計例1 假定我們想為某街區(qū)內(nèi)的住宅房地產(chǎn)的銷售價格y與評估價值x之間的關(guān)系建立一個回歸模型，從去年已售出的房地產(chǎn)中隨機(jī)抽選5所住宅作樣本，相應(yīng)的數(shù)據(jù)如表所示 。房地產(chǎn)評估價值（拾萬美元） 銷售價格（拾萬美元） 12345234562571011直線回歸分析步驟1.繪制散點圖2.計算回歸系數(shù)（最小二乘法）3.作回歸直線（在自變量的實測范圍內(nèi)任取兩個相距較遠(yuǎn)的數(shù)值 、

13、 ，根據(jù) 兩點作圖。最小二乘估計(method of least squares )德國科學(xué)家Karl Gauss(17771855)提出用最小化圖中垂直方向的誤差平方和來估計參數(shù) 使因變量的觀察值與估計值之間的誤差平方和達(dá)到最小來求得 和 的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小Karl Gauss的最小化圖xy(xn , yn)(x1 , y1)(x2 , y2)(xi , yi)ei = yi-yi例2：某鄉(xiāng)為了提高小麥產(chǎn)量，經(jīng)過多次試驗，總結(jié)出一種小麥基本苗數(shù)推算成熟期有效穗數(shù)的方法。在5塊田上進(jìn)行對比試驗，取得數(shù)據(jù)如下：試驗號基本苗數(shù)有

14、效穗數(shù)1234515 25.830 36.6 44.439.442.941.043.149.2解：回歸直線方程計算表（1）編號xyx2y2xy1234515.025.830.036.644.439.442.941.043.149.2225.00665.64900.001339.561971.361552.361840.411681.001857.612420.64591.001106.821230.001577.462184.48合計151.8215.65101.569352.026689.76回歸直線方程計算表（2）練習(xí)1：某企業(yè)上半年產(chǎn)品產(chǎn)量與單位成本數(shù)據(jù)如表所示。試根據(jù)表中數(shù)據(jù)：（1）繪

15、制散點圖；（2）建立回歸方程，說明產(chǎn)量每增加1000件，單位成本平均變動如何？（3）作回歸直線。產(chǎn)量（千件）單位成本（元/件）234345737271736968練習(xí)2： 根據(jù)Pizza連鎖店的學(xué)生人數(shù)和季度銷售收入數(shù)據(jù)，建立回歸直線方程，并預(yù)測學(xué)生人數(shù)為25人時的銷售收入。連鎖店學(xué)生人數(shù)x銷售收入yxyx212345678910268812162020222658105881181171371571691492021166307049441404219231403380327852524366464144256400400484676合計1401300210402528練習(xí)3：以下是采集到的

16、有關(guān)女子游泳運動員的身高（英寸）和體重（磅）的數(shù)據(jù):a、用身高作自變量，畫出散點圖b、根據(jù)散點圖表明兩變量之間存在什么關(guān)系？c、試著畫一條穿過這些數(shù)據(jù)的直線，來近似身高和體重之間的關(guān)系d、求出估計的回歸方程e、如果一名運動員的身高是63英寸，你估計她的體重是多少？身高68 64 62 65 66 體重132 108 102 115 128三、一元線性回歸模型的檢驗1.擬合程度的評價 擬合程度，是指樣本觀察值聚集在估計回歸線周圍的緊密程度。評價擬合程度最常用的方法是測定系數(shù)或判定系數(shù)。對于任何觀察值y總有： 得設(shè)SST= ，SSR= ，那么：SST=SSR+SSE SST為總平方和，SSR為回歸

17、平方和，SSE為誤差平方和。比率SSR/SST可以用來評價擬合的程度。我們稱之為測定系數(shù)（或判定系數(shù)），用R2表示，顯然，0 R2 1。誤差的分解xyy誤差平方和的分解SST = SSR + SSE總平方和(SST)回歸平方和(SSR)殘差平方和(SSE)總平方和(SSTtotal sum of squares)反映因變量的 n 個觀察值與其均值的總誤差回歸平方和(SSRsum of squares of regression)反映自變量 x 的變化對因變量 y 取值變化的影響，或者說，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為可解釋的平方和殘差平方和(SSEsum of

18、 squares of error)反映除 x 以外的其他因素對 y 取值的影響，也稱為不可解釋的平方和或剩余平方和判定系數(shù)R2 回歸平方和占總誤差平方和的比例反映回歸直線的擬合程度取值范圍在 0 , 1 之間 R2 1，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2r2判定系數(shù)與相關(guān)系數(shù)之間的區(qū)別 第一，二者的應(yīng)用場合不同。當(dāng)我們只對測量兩個變量之間線性關(guān)系的強度感興趣時，采用相關(guān)系數(shù)；當(dāng)我們想要確定最小二乘直線模型同數(shù)據(jù)符合的程度時，應(yīng)用測定系數(shù)。 第二，相關(guān)系數(shù)僅限定于兩個變量之間存在線性關(guān)系，而測定系數(shù)卻可以應(yīng)用于線性、非線性相關(guān)和自變量是兩個

19、和兩個以上的復(fù)相關(guān)。 2.估計的標(biāo)準(zhǔn)誤差根據(jù)回歸模型及其關(guān)于誤差項的假定，我們能夠得出這樣的結(jié)論：的方差2說明了y關(guān)于回歸直線的方差。由于2的值很少知道，而我們知道y關(guān)于回歸直線的偏差是殘差e，因此，殘差平方和就是實際觀察值關(guān)于估計回歸直線差異的一種測度。如果以 表示誤差平方的均值，以SSE表示殘差平方和，則有： =SSE/(n-2) 。它是總體方差的無偏估計量。 稱為估計標(biāo)準(zhǔn)誤差。即： 越小說明實際觀察值與估計回歸直線的離差越小，回歸直線代表性較好；反之， 越大說明實際觀察值與估計回歸直線的離差越大，回歸直線代表性較差。直接計算 比較復(fù)雜，可采用以下公式：例3：根據(jù)例1數(shù)據(jù)計算s2和s。解：

20、3.顯著性檢驗 對于變量x與y之間的線性關(guān)系存在與否的問題，可以通過顯著性檢驗進(jìn)行。 t檢驗，就是依據(jù)t概率分布所進(jìn)行的回歸顯著性檢驗。F 檢驗，就是依據(jù)F概率分布所進(jìn)行的回歸顯著性檢驗。當(dāng)只有一個自變量時，F(xiàn)檢驗與t檢驗結(jié)論相同，但是如果自變量多于一個時，則只能用F檢驗。 對于簡單線性回歸模型 y= 0+ 1x+，如果x與y之間存在線性關(guān)系，一定有10；若x與y完全無關(guān)，那么必定1=0。因此，為了驗證“x與y完全無關(guān)”這一假設(shè)，應(yīng)該檢驗： H0（零假設(shè)）: 1=0 H1（替代假設(shè)）：10 如果數(shù)據(jù)支持H1，我們將得出x與y之間具有統(tǒng)計上的顯著性關(guān)系的結(jié)論。但是，如果數(shù)據(jù)拒絕H1，我們將沒有足

21、夠的證據(jù)得出顯著性關(guān)系存在的結(jié)論。 t檢驗的根據(jù)是：統(tǒng)計量t=（ - ）/ 服從自由度為（n-2）的t分布。若零假設(shè)為真，即 =0，則t= / 。如果|t|t/2（臨界值），則拒絕H0。 對 的假設(shè)檢驗是建立在 及其抽樣分布基礎(chǔ)之上的。 的抽樣分布特征為： 服從正態(tài)分布。由于的值未知，應(yīng)用其估計值s可以計算 的估計值 如下： t 檢驗的一般程序為：（1）提出假設(shè) H0： =0 H1： 0（2）確定顯著水平（3）計算統(tǒng)計量t= / （4）找出臨界值t/2（5）檢驗判斷 拒絕區(qū)為tt/2 例1 假定我們想為某街區(qū)內(nèi)的住宅房地產(chǎn)的銷售價格y與評估價值x之間的關(guān)系建立一個回歸模型，從去年已售出的房地產(chǎn)

22、中隨機(jī)抽選5所住宅作樣本，相應(yīng)的數(shù)據(jù)如表所示 。房地產(chǎn)評估價值（拾萬美元） 銷售價格（拾萬美元） 12345234562571011例4：以住宅房地產(chǎn)問題為例，檢驗評估價值與銷售價格之間存在線性關(guān)系的顯著性。解：假設(shè) H0：1=0 H1：10 已知n=5，顯著性水平=0.05。 查t分布表可得：t/2=t0.025=3.182 檢驗統(tǒng)計量t= / =2.3/(0.6055/ )=12.01 因為tt/2，所以拒絕零假設(shè)，得出10的結(jié)論。 因此我們可以得到這樣的結(jié)論：在0.05的顯著性水平下，房地產(chǎn)的評估價值與銷售價格之間的確存在線性關(guān)系，即前者對后者有顯著的影響。練習(xí)3：以下是采集到的有關(guān)女子

23、游泳運動員的身高（英寸）和體重（磅）的數(shù)據(jù):求出估計的回歸方程，并進(jìn)行擬合度和顯著性檢驗。如果一名運動員的身高是63英寸，你估計她的體重是多少？身高68 64 62 65 66 體重132 108 102 115 128編號身高（x）體重（y）xyx2y216813289764624174242 64 1086912409611664362102632438441040446511574754225132255661288448435616384合計325585381352114569101回歸直線方程計算表 -240.5 -240.5+5.5xR2=0.9223 說明回歸直線對點的擬合優(yōu)度較

24、好。顯著性檢驗：假設(shè) H0：1=0 H1：10 已知n=5，顯著性水平=0.05。 查t分布表可得：t/2=t0.025=3.1824 檢驗統(tǒng)計量t= / =5.5/（7.1414/201/2）=3.444 因為tt/2，所以拒絕零假設(shè)，得出10的結(jié)論。 因此我們可以得到這樣的結(jié)論：在0.05的顯著性水平下，女子游泳運動員的身高和體重之間的確存在線性關(guān)系，即前者對后者有顯著的影響。第3節(jié) 一元線性回歸模型的估計和預(yù)測簡單線性回歸模型是對 x與y之間的關(guān)系假定。運用最小平方法可以得到簡單線性估計方程。如果已經(jīng)得出結(jié)論說明方程擬合效果較好、x與y之間線性關(guān)系顯著，那么，估計回歸方程將會有助于估計和