1、相關(guān)和回歸分析研究系統(tǒng)的相互聯(lián)系、測定其聯(lián)系的緊密程度、揭示其變化的具體形式和規(guī)律性的統(tǒng)計方法，是構(gòu)造各種系統(tǒng)模型、進(jìn)行系統(tǒng)結(jié)構(gòu)分析、預(yù)測和控制的重要工具。8/29/20221【主要內(nèi)容】一、相關(guān)和回歸分析的基本概念二、一元線性回歸分析三、多元線性回歸分析四、非線性回歸分析8/29/20222一、相關(guān)和回歸分析的基本概念 出租汽車費用與行駛里程： 總費用=行駛里程 每公里單價2. 家庭收入與恩格爾系數(shù)： 家庭收入高，則恩格爾系數(shù)低。函數(shù)關(guān)系確定性關(guān)系相關(guān)關(guān)系非確定性關(guān)系比較下面兩種現(xiàn)象間的依存關(guān)系8/29/20223函數(shù)關(guān)系和相關(guān)關(guān)系現(xiàn)象間的依存關(guān)系大致可以分成兩種類型：函數(shù)關(guān)系指現(xiàn)象間所具有

2、的嚴(yán)格的確定性的依存關(guān)系相關(guān)關(guān)系指客觀現(xiàn)象間確實存在，但數(shù)量上不是嚴(yán)格對應(yīng)的依存關(guān)系函數(shù)關(guān)系與相關(guān)關(guān)系之間并無嚴(yán)格的界限：有函數(shù)關(guān)系的變量間，由于有測量誤差及各種隨機因素的干擾，可表現(xiàn)為相關(guān)關(guān)系；對具有相關(guān)關(guān)系的變量有深刻了解之后，相關(guān)關(guān)系有可能轉(zhuǎn)化為或借助函數(shù)關(guān)系來描述。8/29/20224函數(shù)關(guān)系 指變量之間存在著確定性依存關(guān)系。當(dāng)一個或一組變量每取一個值時，相應(yīng)的另一個變量必然有一個確定值與之對應(yīng) 。函數(shù)關(guān)系可以用一個確定的公式，即函數(shù)式 來表示。 8/29/20225相關(guān)關(guān)系 指變量之間存在著非確定性依存關(guān)系。即當(dāng)一個或一組變量每取一個值時，相應(yīng)的另一個變量可能有多個不同值與之對應(yīng) 。

3、 例、根據(jù)消費理論，商品需求量Q與商品價格P、居民收入I之間具有相關(guān)關(guān)系： 相關(guān)關(guān)系，可用模型 來表示。 8/29/20226相關(guān)分析和回歸分析研究現(xiàn)象之間相關(guān)關(guān)系的兩種基本方法：就是用一個指標(biāo)來表明現(xiàn)象間相互依存關(guān)系的密切程度就是根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇一個合適的數(shù)學(xué)模型，來近似地表達(dá)變量間的平均變化關(guān)系。相關(guān)分析回歸分析8/29/20227相關(guān)系數(shù)與判定系數(shù)在直線相關(guān)的條件下，用以反映兩變量 間 線性相關(guān) 密切程度的指標(biāo)，用r表示相關(guān)系數(shù)8/29/20228相關(guān)系數(shù)與判定系數(shù)相關(guān)系數(shù)r的取值范圍：-1r1 r0 為正相關(guān)，r 0 為負(fù)相關(guān)； |r|=0 表示不存在線性關(guān)系； |r|1

4、表示完全線性相關(guān)； 0|r|1表示存在不同程度線性相關(guān)： |r| 0.4 為低度線性相關(guān)； 0.4 |r| 0.7為顯著性線性相關(guān)； 0.7|r| 1.0為高度顯著性線性相關(guān)。8/29/20229 r2 越接近于1，表明x與y之間的相關(guān)性越強； r2 越接近于0，表明兩個變量之間幾乎沒有直線相關(guān)關(guān)系.相關(guān)系數(shù)與判定系數(shù)是相關(guān)系數(shù)的平方，用 r2 表示；用來衡量回歸方程對y的解釋程度。判定系數(shù)取值范圍：判定系數(shù)8/29/202210【例】計算工業(yè)總產(chǎn)值與能源消耗量之間的相關(guān)系數(shù)及判定系數(shù) 資料結(jié)論：工業(yè)總產(chǎn)值與能源消耗量之間存在高度的正相關(guān)關(guān)系，能源消耗量x的變化能夠解釋工業(yè)總產(chǎn)值y變化的95.

5、2。8/29/202211二、一元線性回歸分析1、標(biāo)準(zhǔn)的一元線性回歸模型2、一元線性回歸模型的估計3、一元線性回歸模型的檢驗 4、一元線性回歸模型預(yù)測 8/29/202212一元回歸簡單回歸多元回歸復(fù)回歸線性回歸非線性回歸一 元線性回歸Simple Linear regression按自變量的 個數(shù)分按回歸曲線的形態(tài)分回歸分析的種類8/29/2022131、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù) t12tut u t是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對的影響。(二)樣本回歸函數(shù): ，. n t稱為殘差，在概念上，t與總體誤差項ut相互對應(yīng)；是

6、樣本的容量。8/29/202214樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線?？傮w回歸函數(shù)中的1和2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的 是隨機變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動?？傮w回歸函數(shù)中的ut是t與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的t是t與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出t的具體數(shù)值。8/29/202215誤差項的標(biāo)準(zhǔn)假定假定： 誤差項的期望值為零: （ut） 。假定：誤差項的期望值為常數(shù): Var(

7、ut) 。假定： 誤差項之間不存在序列相關(guān),協(xié)方差為零: Cov(utus) () 。假定：自變量是給定變量，與誤差項線性無關(guān)。假定：隨機誤差項服從正態(tài)分布。 滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。8/29/2022162、一元線性回歸模型的估計一元線性回歸方程的幾何意義截距斜率一元線性回歸方程的可能形態(tài)2為正2為負(fù)2為08/29/202217總體一元線性回歸方程:以樣本統(tǒng)計量估計總體參數(shù)斜率（回歸系數(shù)）截距截距1 表示在沒有自變量x的影響時，其它各種因素對因變量y的平均影響；回歸系數(shù)2 表明自變量x每變動一個單位，因變量y平均變動b個單位。樣本一元線性回歸方程：估計

8、的一元線性回歸方程8/29/202218回歸系數(shù)的估計總體回歸函數(shù)樣本回歸函數(shù)8/29/202219回歸系數(shù)的估計-最小二乘法標(biāo)準(zhǔn)方程組8/29/202220根據(jù)整理方程求解可得：8/29/202221上述進(jìn)行回歸分析的方法可稱為：最小平方法通過使殘差平方和為最小來估計回歸系數(shù)的一種方法，又稱最小二乘法。8/29/202222【分析】因為工業(yè)總產(chǎn)值與能源消耗量之間存在高度正相關(guān)關(guān)系( r=0.9575），所以可以擬合工業(yè)總產(chǎn)值對能源消耗量的線性回歸方程。解：設(shè)線性回歸方程為【例】建立工業(yè)總產(chǎn)值對能源消耗量的線性回歸方程 。資料8/29/202223線性回歸方程為：結(jié)果表明，其他條件不變時，能源

9、消耗量每增加100000噸，工業(yè)總產(chǎn)值將增加7961萬元。8/29/202224 總體方差的估計該式中，分母是自由度，其中是樣本觀測值的個數(shù)，是一元線性回歸方程中回歸系數(shù)的個數(shù)。在一元線性回歸模型中，殘差t必須滿足:因而失去了兩個自由度，所以其自由度為。 2 的正平方根又稱做回歸估計標(biāo)準(zhǔn)誤差。8/29/202225回歸估計標(biāo)準(zhǔn)誤差 ( S ) 是因變量各實際值與其估計值之間的平均差異程度，表明其估計值對各實際值代表性的強弱；其值越小，回歸方程的代表性越強，用回歸方程估計或預(yù)測的結(jié)果越準(zhǔn)確。8/29/202226回歸估計標(biāo)準(zhǔn)誤差S的簡化計算：8/29/202227【例】計算前面擬合的工業(yè)總產(chǎn)值對

10、能源消耗量回歸方程的回歸標(biāo)準(zhǔn)差.8/29/202228 最小二乘估計量的性質(zhì)殘差之和為零所擬合直線通過樣本散點圖的重心誤差項與解釋變量不相關(guān)1與2 分別是總體回歸系數(shù)的無偏估計量1與2 均為服從正態(tài)分布的隨機變量8/29/2022293、一元線性回歸模型的檢驗回歸模型的檢驗的種類理論意義檢驗一級檢驗二級檢驗8/29/202230 回歸模型的檢驗的種類理論意義檢驗主要涉及參數(shù)估計值的符號和取值區(qū)間。如果它們與實質(zhì)性科學(xué)的理論以及人們的實踐經(jīng)驗不相符，就說明模型不能很好地解釋現(xiàn)實的現(xiàn)象。 常常會遇到理論意義檢驗不能通過的情況，主要原因是：社會經(jīng)濟(jì)的統(tǒng)計數(shù)據(jù)無法像自然科學(xué)中的統(tǒng)計數(shù)據(jù)那樣通過有控制的

11、實驗去取得;觀測的樣本容量偏小，不具有足夠代表性;不滿足標(biāo)準(zhǔn)線性回歸分析所要求的假定條件。 8/29/202231一級檢驗又稱統(tǒng)計學(xué)檢驗，它是利用統(tǒng)計學(xué)的抽樣理論來檢驗樣本回歸方程的可靠性。 分為擬合程度評價和顯著性檢驗。一級檢驗是對所有現(xiàn)象進(jìn)行回歸分析時都必須通過的檢驗。二級檢驗又稱經(jīng)濟(jì)計量學(xué)檢驗，對標(biāo)準(zhǔn)線性回歸模型的假定條件能否得到滿足進(jìn)行檢驗，包括序列相關(guān)檢驗、異方差性檢驗等。8/29/202232 擬合程度的評價 擬合程度，是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量指標(biāo)是可決系數(shù) (又稱決定系數(shù)或判定系數(shù))?？蓻Q系數(shù)是建立在對總離差平方和進(jìn)行分解

12、的基礎(chǔ)上的。8/29/202233誤差平方和回歸平方和總離差平方和8/29/202234總離差平方和回歸平方和殘差平方和8/29/202235可決系數(shù)是對回歸模型擬合程度的綜合度量，可決系數(shù)越大，模型擬合程度越高?？蓻Q系數(shù)越小，則模型對樣本的擬合程度越差。 可決系數(shù)8/29/202236 顯著性檢驗回歸分析中的顯著性檢驗包括兩方面的內(nèi)容:對各回歸系數(shù)的顯著性檢驗，通常采用 t 檢驗;對整個回歸方程的顯著性檢驗，通常采用在方差分析基礎(chǔ)上的 F 檢驗。在一元線性回歸模型中，由于只有一個解釋變量，對回歸系數(shù)的 t 檢驗與對整個方程的F檢驗是等價的。回歸系數(shù)的顯著性檢驗，就是根據(jù)樣本估計的結(jié)果對總體回

13、歸系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗。 8/29/202237總體分布形式檢驗統(tǒng)計量8/29/202238【例】對工業(yè)總產(chǎn)值與能源消耗量之間的回歸系數(shù) 進(jìn)行顯著性檢驗。 以上計算的t值遠(yuǎn)大于臨界值，故拒絕原假設(shè)，接受備擇假設(shè)，即認(rèn)為能源消耗量對工業(yè)總產(chǎn)值的影響是顯著的。8/29/202239 一元線性回歸模型的估計與預(yù)測估計的前提：回歸方程經(jīng)過檢驗，證明 X 和 Y 的關(guān)系在統(tǒng)計上是顯著相關(guān)的。點估計對于給定的 X 值，求出 Y 平均值的一個估計值或 Y 的一個個別值的預(yù)測值。區(qū)間估計對于給定的 X 值，求出 Y 的平均值的置信區(qū)間或 Y 的一個個別值的預(yù)測區(qū)間。8/29/202240點估計若 x = 8

14、0（十萬噸），則：8/29/202241區(qū)間估計：對于給定的 x = x0 ，Y 的1-置信區(qū)間為：8/29/202242區(qū)間估計：在置信度為1 ，自由度為n-2下的 Yf 預(yù)測區(qū)間為其中： 8/29/202243【例】當(dāng)能源消耗量為800萬噸時,計算置信度為95%的工業(yè)總產(chǎn)值的預(yù)測區(qū)間。8/29/202244三、多元線性回歸分析總體回歸函數(shù):樣本回歸函數(shù): 在一元線性回歸分析假定的基礎(chǔ)上，追加一條：回歸模型所包含的自變量之間不能具有較強的線性關(guān)系。標(biāo)準(zhǔn)假定：1、標(biāo)準(zhǔn)的多元線性回歸模型8/29/202245誤差項的標(biāo)準(zhǔn)假定假定： 誤差項的期望值為零: （ut） 。假定：誤差項的期望值為常數(shù):

15、Var(ut) 。假定： 誤差項之間不存在序列相關(guān),協(xié)方差為零: Cov(utus) () 。假定：自變量是給定變量，與誤差項線性無關(guān)。假定：隨機誤差項服從正態(tài)分布。 滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。8/29/202246二元線性回歸模型 式中, 為二元回歸估計值; 為x1和x2構(gòu)成的平面在y軸上的截矩； 和 分別為y對x1和x2的回歸系數(shù)。二元直線回歸模型8/29/202247確定 、 、 數(shù)值用最小二乘法，即選取 、 和 的數(shù)值使得 二元直線回歸的估計【例】為最小值，根據(jù)數(shù)學(xué)中的極值原理可推導(dǎo)出標(biāo)準(zhǔn)方程組:8/29/202248結(jié)果表明，其他條件不變時，銷售

16、額每增加10000元，利潤將增加1056元,流通費用每增加10000元，利潤將減少9557元.建立二元直線回歸方程為:解得: 將推算結(jié)果代入標(biāo)準(zhǔn)方程組，得: 8/29/202249多元線性回歸模型的估計同樣可采用最小二乘法，設(shè)： 對 ， ， ， 求偏導(dǎo)數(shù)，令其為零，可以得 到標(biāo)準(zhǔn)方程組：8/29/202250標(biāo)準(zhǔn)方程組：8/29/202251多元線性回歸模型的矩陣形式8/29/202252總體回歸函數(shù)：樣本回歸函數(shù)：標(biāo)準(zhǔn)方程組：由標(biāo)準(zhǔn)方程組，可得回歸系數(shù)的估計：8/29/202253多元線性回歸模型總體方差的估計 標(biāo)準(zhǔn)的多元線性回歸模型中，高斯-馬爾可夫定理同樣成立。S2的正平方根S為回歸估計

17、標(biāo)準(zhǔn)誤差8/29/202254擬合程度的評價：一元線性回歸分析中總離差平方和的分解公式依然成立。多元線性回歸模型的檢驗和預(yù)測 注意： 在樣本容量一定的條件下，總離差平方和與自 變量的個數(shù)無關(guān)，而殘差平方和則會隨著模型中自變量個數(shù)的增加不斷減少，至少不會增加。8/29/202255修正自由度的可決系數(shù) 考慮到 SSE受自變量個數(shù)的影響，對可決系數(shù)進(jìn)行修正：8/29/202256多元回歸模型的顯著性檢驗回歸系數(shù)的顯著性檢驗t檢驗，檢驗與各回歸系數(shù)對應(yīng)的自變量對因變量的影響是否顯著，以便對自變量的取舍作出正確的判斷。一般來說，當(dāng)發(fā)現(xiàn)某個自變量的影響不顯著時，應(yīng)將其從模型中刪除?；貧w方程的顯著性檢驗F

18、 檢驗，檢驗回歸模型總體函數(shù)的線性關(guān)系是否顯著。 其實質(zhì)就是判斷回歸平方和與殘差平方和之比值的大小問題。8/29/202257回歸方程的顯著性檢驗F 檢驗1。建立假設(shè)： H0 ： = = = = 0。判斷： 若 ，拒絕原假設(shè)； 若 ，接受原假設(shè)。SST=總離差平方和SSE/(n-k)n-kSSE= 殘差平方和SSR/(k-1)k-1SSR=回歸平方和方差自由度平方和離差名稱2。進(jìn)行方差分析，列出方差分析表：3。計算檢驗統(tǒng)計量：8/29/202258多元回歸預(yù)測多元線性回歸預(yù)測與一元線性回歸預(yù)測的原理是一致的?；竟綖椋?式中，Xjf(j=2,3,k)是給定的Xj在預(yù)測期的具體數(shù)值； 是已估計

19、出的樣本回歸系數(shù)； 是Xj給定時的預(yù)測值。 8/29/202259四、非線性回歸分析非線性回歸模型的確定：選擇非線性函數(shù)的具體形式。非線性回歸函數(shù)有多種多樣的具體形式，需要根據(jù)所要研究的問題的性質(zhì)并結(jié)合實際的樣本觀測值作出恰當(dāng)?shù)倪x擇。確定估計函數(shù)中的參數(shù)。最常用的方法仍然是最小二乘估計法。 當(dāng)自變量與因變量存在某種曲線相關(guān)關(guān)系時，可擬合曲線回歸模型。8/29/202260非線性回歸模型的確定 方程形式應(yīng)與相應(yīng)的基本理論相一致。 方程有較高的擬合程度。 方程的數(shù)學(xué)形式要盡可能簡單。 基本原則8/29/202261常用非線性回歸模型拋物線函數(shù)模型雙曲線函數(shù)模型冪函數(shù)模型指數(shù)函數(shù)模型對數(shù)函數(shù)模型S型

20、曲線函數(shù)模型多項式方程模型8/29/202262非線性回歸模型的估計即對模型中的相應(yīng)參數(shù)作出估計基本方法：通過適當(dāng)?shù)淖儞Q，轉(zhuǎn)化為線性回歸函數(shù)，然后再利用線性回歸分析的方法進(jìn)行估計和檢驗 。常用線性變換方法 ：倒數(shù)變換 、半對數(shù)變換 、雙對數(shù)變換 、多項式變換 。注意：轉(zhuǎn)換為線性方程可使回歸分析簡單化，轉(zhuǎn)換為線性方程也是需要有一定假設(shè)條件，轉(zhuǎn)換為線性方程有可能和原方程不等價。8/29/202263非線性函數(shù)的線性變換： 倒數(shù)變換 用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線性模型。半對數(shù)變換 應(yīng)用于對數(shù)函數(shù)的線性變換。8/29/202264雙對數(shù)變換 用新的變量來替換原模型中變量的對數(shù)

21、，從而使原模型變換成線性模型。8/29/202265 多項式變換 適用于多項式方程的變換。8/29/202266綜合利用多種變換 適用于比較復(fù)雜的非線性函數(shù)的變換。8/29/202267線性變換要注意的問題:第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中變量不允許包含未知的參數(shù)。第三、變換后的新模型中包含的誤差項能夠滿足標(biāo)準(zhǔn)假定時，新模型中回歸系數(shù)最小二乘估計量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只適用于變量為非線性的函數(shù)。第五、 并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價的線性方程。8/29/202268Thank you very much放映結(jié)束8/29/202269序號能源消耗量（十萬噸）x工業(yè)總產(chǎn)值（億元）yx2y2xy1234567891011121314151635384042495254596264656869717276242524283231374041404750495148581225144416001764240127042916348138444096