第七章相關與回歸分析,知識點,1.掌握有關相關與回歸分析的基本概念；2.掌握相關系數(shù)的計算與檢驗的方法，理解標準的一元線性回歸模型，能夠對模型進行估計和檢驗并利用模型進行預測；3.簡單理解標準的多元線性回歸分析；4.簡單了解常用的非線性相關與回歸分析。,7-2,71相關與回歸分析的基本概念72簡單線性相關與回歸分析73多元線性相關與回歸分析74非線性相關與回歸分析,7-3,71相關與回歸分析的基本概念,一、函數(shù)關系與相關關系,7-5,1.函數(shù)關系,當一個或幾個變量取一定的值時，另一個變量有確定值與之相對應，我們稱這種關系為確定性的函數(shù)關系。,（函數(shù)關系）,（1）是一一對應的確定關系（2）設有兩個變量X和Y，變量Y隨變量X一起變化，并完全依賴于X，當變量X取某個數(shù)值時，Y依確定的關系取相應的值，則稱Y是Y的函數(shù)，記為Y=f(X)，其中X稱為自變量，Y稱為因變量（3）各觀測點落在一條線上,7-6,變量間的關系（函數(shù)關系）,7-7,函數(shù)關系的例子某種商品的銷售額(Y)與銷售量(X)之間的關系可表示為Y=pX(p為單價)圓的面積(S)與半徑之間的關系可表示為S=r2企業(yè)的原材料消耗額(Y)與產量(X1)、單位產量消耗(X2)、原材料價格(X3)之間的關系可表示為Y=X1X2X3,2.相關關系：當一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內變化?，F(xiàn)象之間客觀存在的不嚴格、不確定的數(shù)量依存關系。,7-8,變量間的關系（相關關系）,（1）變量間關系不能用函數(shù)關系精確表達；（2）一個變量的取值不能由另一個變量唯一確定；（3）當變量X取某個值時，變量Y的取值可能有幾個；（4）各觀測點分布在直線周圍。,7-9,（相關關系）,7-10,相關關系的例子商品的消費量(Y)與居民收入(X)之間的關系商品的消費量(Y)與物價(X)之間的關系商品銷售額(Y)與廣告費支出(X)之間的關系糧食畝產量(Y)與施肥量(X1)、降雨量(X2)、溫度(X3)之間的關系收入水平(Y)與受教育程度(X)之間的關系父親身高(Y)與子女身高(X)之間的關系,二、相關關系的種類,1.按相關關系的程度劃分可分為完全相關，不完全相關和不相關。2.按相關形式劃分可以分為線性相關和非線性相關。,7-11,（1）正相關：兩個相關現(xiàn)象間，當一個變量的數(shù)值增加（或減少）時，另一個變量的數(shù)值也隨之增加（或減少），即同方向變化。例如收入與消費的關系。（2）負相關：當一個變量的數(shù)值增加（或減少）時，而另一個變量的數(shù)值相反地呈減少（或增加）趨勢變化，即反方向變化。例如物價與消費的關系。,7-12,3.按相關的方向劃分可分為正相關和負相關,4.按相關關系涉及的變量多少劃分分為單相關、復相關和偏相關。兩個變量之間的相關，稱為單相關。當所研究的是一個變量對兩個或兩個以上其他變量的相關關系時，稱為復相關。例如，某種商品的需求與其價格水平以及收入水平之間的相關關系便是一種復相關。在某一現(xiàn)象與多種現(xiàn)象相關的場合，假定其他變量不變，專門考察其中兩個變量的相關關系稱為偏相關。例如，在假定人們的收入水平不變的條件下，某種商品的需求與其價格水平的關系就是一種偏相關。,7-13,三、相關分析與回歸分析,（一）概念：,7-14,1.相關分析,就是用一個指標來表明現(xiàn)象間相互依存關系的密切程度。廣義的相關分析包括相關關系的分析（狹義的相關分析）和回歸分析。,2.回歸分析,是指對具有相關關系的現(xiàn)象，根據(jù)其相關關系的具體形態(tài)，選擇一個合適的數(shù)學模型（稱為回歸方程式），用來近似地表達變量間的平均變化關系的一種統(tǒng)計分析方法。,（二）相關分析與回歸分析的區(qū)別,1.在相關分析中，不必確定自變量和因變量；而在回歸分析中，必須事先確定哪個為自變量，哪個為因變量，而且只能從自變量去推測因變量，而不能從因變量去推斷自變量。2.相關分析不能指出變量間相互關系的具體形式；而回歸分析能確切的指出變量之間相互關系的具體形式，它可根據(jù)回歸模型從已知量估計和預測未知量。3.相關分析所涉及的變量一般都是隨機變量，而回歸分析中因變量是隨機的，自變量則作為研究時給定的非隨機變量。,7-15,（三）相關分析與回歸分析的聯(lián)系,相關分析和回歸分析有著密切的聯(lián)系，它們不僅具有共同的研究對象，而且在具體應用時，常常必須互相補充。相關分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關的具體形式，而回歸分析則需要依靠相關分析來表明現(xiàn)象數(shù)量變化的相關程度。只有當變量之間存在著高度相關時，進行回歸分析尋求其相關的具體形式才有意義。簡單說：1.相關分析是回歸分析的基礎和前提；2.回歸分析是相關分析的深入和繼續(xù)。,7-16,7-17,定性分析,是依據(jù)研究者的理論知識和實踐經(jīng)驗，對客觀現(xiàn)象之間是否存在相關關系，以及何種關系作出判斷。,定量分析,在定性分析的基礎上，通過編制相關表、繪制相關圖、計算相關系數(shù)等方法，來判斷現(xiàn)象之間相關的方向、形態(tài)及密切程度。,四、相關關系的判斷,(一)相關表：將自變量X的數(shù)值按照從小到大的順序，并配合因變量Y的數(shù)值一一對應而平行排列的表。例：為了研究分析某種勞務產品完成量與其單位產品成本之間的關系，調查30個同類服務公司得到的原始數(shù)據(jù)如表。,7-18,整理后有,(二)相關圖：又稱散點圖。將X置于橫軸上，Y置于縱軸上，將（X,Y）繪于坐標圖上。用來反映兩變量之間相關關系的圖形。,7-19,7-20,7-2簡單線性相關與回歸分析,一、相關系數(shù)及其檢驗(一)相關系數(shù)的定義1.簡單相關系數(shù)：在線性條件下說明兩個變量之間相關關系密切程度的統(tǒng)計分析指標，簡稱相關系數(shù)。若相關系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關系數(shù)，記為若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關系數(shù)，記為r,7-22,7-23,7-24,樣本相關系數(shù)的定義公式實質,7-25,（二）相關系數(shù)的特點,1.的取值介于與之間，r的取值范圍是-1,12.在大多數(shù)情況下，|，即與的樣本觀測值之間存在著一定的線性關系，當時，與為正相關，當時，與為負相關。|的數(shù)值愈接近于1，表示x與y直線相關程度愈高；反之，|的數(shù)值愈接近于0，表示x與y直線相關程度愈低。通常判斷的標準是:|0.3稱為微弱相關，0.3|0.5稱為低度相關，0.|0.8稱為顯著相關，0.8|1稱為高度相關或強相關。,7-26,3.如果|=1，則表明與完全線性相關，當=1時，稱為完全正相關，而=-1時，稱為完全負相關。4.是對變量之間線性相關關系的度量。=0只是表明兩個變量之間不存在線性關系，它并不意味著與之間不存在其他類型的關系。,7-27,相關關系的測度（相關系數(shù)取值及其意義）,7-28,r,(三)相關系數(shù)的計算,7-29,計算相關系數(shù)的“積差法”,7-30,例：下表是有關15個地區(qū)某種食物需求量和地區(qū)人口增加量的資料。,7-31,計算公式還可以有：,7-32,（四）相關系數(shù)的顯著性檢驗,1.檢驗兩個變量之間是否存在線性相關關系2.采用t檢驗3.檢驗的步驟為提出假設：H0：；H1：0,7-33,計算檢驗的統(tǒng)計量：,確定顯著性水平，并作出決策若tt，拒絕H0若tt(15-2)=2.160，拒絕H0，該種食物需求量和地區(qū)人口增加量之間的相關關系顯著。,什么是回歸分析？（內容）,從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關系式對這些關系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關系式，根據(jù)一個或幾個變量的取值來預測或控制另一個特定變量的取值，并給出這種預測或控制的精確程度,7-35,二、簡單線性回歸分析,回歸模型與回歸方程,回歸模型,回答“變量之間是什么樣的關系？”方程中運用1個數(shù)字的因變量(響應變量)被預測的變量1個或多個數(shù)字的或分類的自變量(解釋變量)用于預測的變量3.主要用于預測和估計,7-37,回歸模型的類型,7-38,一元線性回歸模型（概念要點）,當只涉及一個自變量時稱為一元回歸，若因變量Y與自變量X之間為線性關系時稱為一元線性回歸。對于具有線性關系的兩個變量，可以用一條線性方程來表示它們之間的關系。描述因變量Y如何依賴于自變量X和誤差項U的方程稱為回歸模型。,7-39,標準的一元線性回歸模型,（一）總體回歸模型i01iui（7.5）ut是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對的影響。（i，.n)i稱為殘差，在概念上，i與總體誤差項ui相互對應；是樣本的容量。,7-40,例7.1：一個假想的社區(qū)總體有100戶家庭組成，要研究該社區(qū)每月家庭消費支出Y與每月家庭可支配收入X的關系。即如果知道了家庭的月收入，能否預測該社區(qū)家庭的平均月消費支出水平。為達到此目的，將該100戶家庭劃分為組內收入差不多的10組，以分析每一收入組的家庭消費支出。,（一）總體回歸模型,某社區(qū)家庭每月收入與消費支出統(tǒng)計表,由于不確定因素的影響，對同一收入水平X，不同家庭的消費支出不完全相同；但由于調查的完備性，給定收入水平X的消費支出Y的分布是確定的，即以X的給定值為條件的Y的條件分布（Conditionaldistribution）是已知的，例如：P(Y=561|X=800）=1/4。,因此，給定收入X的值Xi，可得消費支出Y的條件均值（conditionalmean）或條件期望（conditionalexpectation）：E(Y|X=Xi)。該例中：E(Y|X=800)=605描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。,在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為總體回歸線（populationregressionline），或更一般地稱為總體回歸曲線（populationregressioncurve）。,稱為（雙變量）總體回歸函數(shù)（populationregressionfunction,PRF）。,相應的函數(shù)：,含義：回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。,函數(shù)形式：可以是線性或非線性的。,例2.1中，將居民消費支出看成是其可支配收入的線性函數(shù)時:,為一線性函數(shù)。其中，B0，B1是未知參數(shù)，稱為回歸系數(shù)（regressioncoefficients）。,隨機誤差項,總體回歸函數(shù)說明在給定的收入水平Xi下，該社區(qū)家庭平均的消費支出水平。但對某一個別的家庭，其消費支出可能與該平均水平有偏差。稱為觀察值圍繞它的期望值的離差（deviation），是一個不可觀測的隨機變量，又稱為隨機誤差項（stochasticerror）或隨機擾動項（stochasticdisturbance）。,例7.1中，給定收入水平Xi,個別家庭的支出可表示為兩部分之和：（1）該收入水平下所有家庭的平均消費支出E(Y|Xi)，稱為系統(tǒng)性（systematic）或確定性（deterministic)部分；（2）其他隨機或非確定性（nonsystematic)部分ui。,稱為總體回歸函數(shù)（PRF）的隨機設定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機性影響。由于方程中引入了隨機項，成為計量經(jīng)濟學模型，因此也稱為總體回歸模型。,隨機誤差項主要包括下列因素：在解釋變量中被忽略的因素的影響；變量觀測值的觀測誤差的影響；模型關系的設定誤差的影響；其他隨機因素的影響。產生并設計隨機誤差項的主要原因：理論的含糊性；數(shù)據(jù)的欠缺；節(jié)省原則“奧卡姆剃刀原則”。,（二）樣本回歸函數(shù)（SRF）,問題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？例7.2：在例7.1的總體中有如下一個樣本，能否從該樣本估計總體回歸函數(shù)PRF？,回答：能,該樣本的散點圖（scatterdiagram)：,畫一條直線以盡好地擬合該散點圖，由于樣本取自總體，可以該直線近似地代表總體回歸線。該直線稱為樣本回歸線（sampleregressionlines）。,記樣本回歸線的函數(shù)形式為：,稱為樣本回歸函數(shù)（sampleregressionfunction，SRF）。,注意：這里將樣本回歸線看成總體回歸線的近似替代,則:,為E(Y|Xi)的估計量bi為Bi的估計量，i=0,1,一元線性回歸模型（概念要點）,對于只涉及一個自變量的簡單線性回歸模型可表示為Yi=b0+b1Xi+Ui模型中，Y是X的線性函數(shù)(部分)加上誤差項線性部分反映了由于X的變化而引起的Y的變化誤差項Ui是隨機變量反映了除X和Y之間的線性關系之外的隨機因素對Y的影響是不能由X和Y之間的線性關系所解釋的變異性0和1稱為模型的參數(shù),7-56,樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別,1.總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。2.總體回歸函數(shù)中的0和1是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動。3.總體回歸函數(shù)中的Ui是i與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的i是i與樣本回歸線之間的縱向距離，當根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出i的具體數(shù)值。,7-57,（三）誤差項的基本標準假定,誤差項Ui是一個期望值為0的隨機變量，即E(Ui)=0。對于一個給定的X值，Y的期望值為E(Yi|Xi)=0+1Xi對于所有的X值，Ui的方差2都相同誤差項Ui是一個服從正態(tài)分布的隨機變量，且相互獨立。即UN(0,2)獨立性意味著對于一個特定的X值，它所對應的U與其他X值所對應的U不相關對于一個特定的X值，它所對應的Yi值與其他Xi所對應的Y值也不相關,7-58,總體回歸線與隨機誤差項,7-59,（t）01t,X,Yt,Y,。,。,。,ut,（四）回歸方程（概念要點）,描述Y的條件平均值或期望值如何依賴于X的方程稱為回歸方程。簡單線性回歸方程的形式如下E(Y|Xi)=0+1Xi,7-60,方程的圖示是一條直線，因此也稱為直線回歸方程0是回歸直線在Y軸上的截距，是當X=0時Y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當X每變動一個單位時，Y的平均變動值,估計(經(jīng)驗)的回歸方程,7-61,簡單線性回歸中估計的回歸方程為,其中：是估計的回歸直線在Y軸上的截距，是直線的斜率，它表示對于一個給定的X的值，是Y的估計值，也表示X每變動一個單位時，Y的平均變動值。,用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程。,總體回歸參數(shù)和是未知的，必需利用樣本數(shù)據(jù)去估計,三、參數(shù)0和1的最小二乘估計,（一）最小二乘法（概念要點）,7-63,使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即,用最小二乘法擬合的直線來代表X與Y之間的關系與實際數(shù)據(jù)的誤差比其他任何直線都小。,最小二乘法（圖示）,7-64,3.回歸系數(shù)的估計的最小二乘法公式設將對求偏導數(shù)，并令其等于零，可得:加以整理后有：,7-65,最小二乘法（和的計算公式）,7-66,解方程組可得求解和的標準方程如下：,例：現(xiàn)以前例的資料配合回歸直線，計算如下：,7-67,7-68,7-69,上式中表示人口增加量每增加（或減少）1千人，該種食品的年需求量平均來說增加（或減少）0.5301十噸即5.301噸。,估計方程的求法（Excel的輸出結果）,7-70,（二）估計標準誤差SY,實際觀察值與回歸估計值離差平方和的均方根。反映實際觀察值在回歸直線周圍的分散狀況。從另一個角度說明了回歸直線的擬合程度。計算公式為,7-71,由樣本資料計算,由總體資料計算或在大樣本情況下,7-72,計算例子,可得簡化式：,7-73,上式的推導證明,了解,（三）最小二乘估計量的性質（四）回歸系數(shù)的區(qū)間估計,7-74,四、一元線性回歸模型的檢驗,（一）回歸模型檢驗的種類回歸模型的檢驗包括理論意義檢驗、一級檢驗和二級檢驗。（二）擬合程度的評價所謂擬合程度，是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量尺度是樣本決定系數(shù)（又稱決定系數(shù)）。它是建立在對總離差平方和進行分解的基礎之上的。,7-76,總離差平方和的分解,因變量Y的取值是不同的，Y取值的這種波動稱為變差。變差來源于兩個方面：由于自變量X的取值不同造成的；除X以外的其他因素(如X對Y的非線性影響、測量誤差等)的影響。對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示。,7-77,離差平方和的分解（圖示）,7-78,離差平方和的分解（三個平方和的關系）,2.兩端平方后求和有,7-79,從圖上看有,SST=SSR+SSE,離差平方和的分解（三個平方和的意義）,總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量X的變化對因變量Y取值變化的影響，或者說，是由于X與Y之間的線性關系引起的Y的取值變化，也稱為可解釋的平方和。殘差平方和(SSE)反映除X以外的其他因素對Y取值的影響，也稱為不可解釋的平方和或剩余平方和。,7-80,樣本決定系數(shù)（判定系數(shù)r2）,回歸平方和占總離差平方和的比例：,7-81,反映回歸直線的擬合程度取值范圍在0,1之間r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關系數(shù)的平方，即r2(r)2,（三）回歸方程的顯著性檢驗（線性關系的檢驗）,檢驗自變量和因變量之間的線性關系是否顯著具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關系如果不顯著，兩個變量之間不存在線性關系,7-82,回歸方程的顯著性檢驗（檢驗的步驟）,提出假設H0：線性關系不顯著,7-83,2.計算檢驗統(tǒng)計量F,確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若FF,拒絕H0；若Ft，拒絕H0；tt=2.160，拒絕H0，表明該種食品的年需求量與人口增加量之間有線性關系。,對前例的回歸系數(shù)進行顯著性檢驗(0.05),回歸系數(shù)的顯著性檢驗(Excel輸出的結果）,7-90,預測及應用,利用回歸方程進行估計和預測,根據(jù)自變量X的取值估計或預測因變量Y的取值估計或預測的類型點估計Y的平均值的點估計Y的個別值的點估計區(qū)間估計Y的平均值的置信區(qū)間估計Y的個別值的預測區(qū)間估計,7-92,利用回歸方程進行估計和預測（點估計）,7-93,2.點估計值3.在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同,對于自變量X的一個給定值x0，根據(jù)回歸方程得到因變量Y的一個估計值,利用回歸方程進行估計和預測（點估計）,Y的平均值的點估計利用估計的回歸方程，對于自變量X的一個給定值