1、第八章,回歸分析,主要內(nèi)容,8.1 回歸分析概述 8.2 線性回歸分析 8.3 曲線估計 8.4 二元Logistic回歸分析,8.1 回歸分析概述,（1）確定性關(guān)系與非確定性關(guān)系 變量與變量之間的關(guān)系分為確定性關(guān)系和非確定性關(guān)系，函數(shù)表達(dá)確定性關(guān)系。研究變量間的非確定性關(guān)系，構(gòu)造變量間經(jīng)驗公式的數(shù)理統(tǒng)計方法稱為回歸分析。 （2）回歸分析基本概念 回歸分析是指通過提供變量之間的數(shù)學(xué)表達(dá)式來定量描述變量間相關(guān)關(guān)系的數(shù)學(xué)過程，這一數(shù)學(xué)表達(dá)式通常稱為經(jīng)驗公式。我們不僅可以利用概率統(tǒng)計知識，對這個經(jīng)驗公式的有效性進(jìn)行判定，同時還可以利用這個經(jīng)驗公式，根據(jù)自變量的取值預(yù)測因變量的取值。如果是多個因素作為

2、自變量的時候，還可以通過因素分析，找出哪些自變量對因變量的影響是顯著的，哪些是不顯著的。,（3）回歸分析的一般步驟 第1步 確定回歸方程中的因變量和自變量。 第2步 確定回歸模型。 第3步 建立回歸方程。 第4步 對回歸方程進(jìn)行各種檢驗。 擬合優(yōu)度檢驗 回歸方程的顯著性檢驗 回歸系數(shù)的顯著性檢驗 第5步 利用回歸方程進(jìn)行預(yù)測。,8.1 回歸分析概述,主要內(nèi)容,8.1 回歸分析概述 8.2 線性回歸分析 8.3 曲線估計 8.4 二元Logistic回歸分析,8.2線性回歸分析,8.2.1 基本概念及統(tǒng)計原理 1.基本概念 線性回歸假設(shè)因變量與自變量之間為線性關(guān)系，用一定的線性回歸模型來擬合因變

3、量和自變量的數(shù)據(jù)，并通過確定模型參數(shù)來得到回歸方程。根據(jù)自變量的多少，線性回歸可有不同的劃分。當(dāng)自變量只有一個時，稱為一元線性回歸，當(dāng)自變量有多個時，稱為多元線性回歸。,8.2線性回歸分析,(2) 統(tǒng)計原理 一元回歸方程和多元回歸方程,一元線性和多元線性回歸分析的核心任務(wù)就是估計其中的參數(shù)。,8.2線性回歸分析,8.2.2 SPSS實例分析 【例8-1】現(xiàn)有1992年-2006年國家財政收入和國內(nèi)生產(chǎn)總值的數(shù)據(jù)如下表所示，請研究國家財政收入和國內(nèi)生產(chǎn)總值之間的線性關(guān)系。,8.2 線性回歸分析,第1步 分析：這是一個因變量和一個自變量之間的問題，故應(yīng)該考慮用一元線性回歸解決。 第2步 數(shù)據(jù)組織：

4、定義三個變量，分別為“year”（年份）、“x”（國內(nèi)生產(chǎn)總值）、“y”（財政收入）。 第3步 作散點(diǎn)圖，觀察兩個變量的相關(guān)性：依次選擇菜單“圖形舊對話框散點(diǎn)/點(diǎn)狀簡單分布”，并將“國內(nèi)生產(chǎn)總值”作為x軸，“財政收入”作為y軸，得到如下所示圖形。,可以看出兩變量具有較強(qiáng)的線性關(guān)系，可以用一元線性回歸來擬合兩變量。,8.2 線性回歸分析,第4步 一元線性回歸分析設(shè)置： 選擇菜單“分析回歸線性”，打開“線性回歸”對話框，將變量“財政收入”作為因變量 ，“國內(nèi)生產(chǎn)總值”作為自變量。 打開“統(tǒng)計量”對話框，選上“估計”和“模型擬合度”。 單擊“繪制（T）”按鈕，打開“線性回歸：圖”對話框，選用DEPE

5、NDENT作為y軸，*ZPRED為x軸作圖。并且選擇“直方圖”和“正態(tài)概率圖” 作相應(yīng)的保存選項設(shè)置，如預(yù)測值、殘差和距離等。,8.2 線性回歸分析,第5步 主要結(jié)果及分析： 變量輸入和移去表,表中顯示回歸模型編號、進(jìn)入模型的變量、移出模型的變量和變量的篩選方法?？梢钥闯?，進(jìn)入模型的自變量為“國內(nèi)生產(chǎn)總值” 。,模型綜述表,R=0.989，說明自變量與因變量之間的相關(guān)性很強(qiáng)。R方(R2) =0.979，說明自變量“國內(nèi)生產(chǎn)總值”可以解釋因變量“財政收入”的97.9%的差異性。,8.2 線性回歸分析,方差分析表,表中顯示因變量的方差來源、方差平方和、自由度、均方、F檢驗統(tǒng)計量的觀測值和顯著性水平

6、。方差來源有回歸、殘差。從表中可以看出，F(xiàn)統(tǒng)計量的觀測值為592.25，顯著性概率為0.000，即檢驗假設(shè)“H0：回歸系數(shù)B = 0”成立的概率為0.000，從而應(yīng)拒絕原假設(shè)，說明因變量和自變量的線性關(guān)系是非常顯著的，可建立線性模型。,8.2 線性回歸分析,回歸系數(shù)表,表中顯示回歸模型的常數(shù)項、非標(biāo)準(zhǔn)化的回歸系數(shù)B值及其標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化的回歸系數(shù)值、統(tǒng)計量t值以及顯著性水平（Sig.）。從表中可看出，回歸模型的常數(shù)項為-4993.281，自變量“國內(nèi)生產(chǎn)總值”的回歸系數(shù)為0.197。因此，可以得出回歸方程：財政收入=-4993.281 + 0.197 國內(nèi)生產(chǎn)總值。,回歸系數(shù)的顯著性水平為0.

7、000，明顯小于0.05，故應(yīng)拒絕T檢驗的原假設(shè)，這也說明了回歸系數(shù)的顯著性，說明建立線性模型是恰當(dāng)?shù)摹?主要內(nèi)容,8.1 回歸分析概述 8.2 線性回歸分析 8.3 曲線估計 8.4 二元Logistic回歸分析,8.3 曲線估計,8.3.1 基本概念及統(tǒng)計原理 (1) 基本概念 曲線估計（曲線擬合、曲線回歸）則是研究兩變量間非線性關(guān)系的一種方法，選定一種用方程表達(dá)的曲線，使得實際數(shù)據(jù)與理論數(shù)據(jù)之間的差異盡可能地小。如果曲線選擇得好，那么可以揭示因變量與自變量的內(nèi)在關(guān)系，并對因變量的預(yù)測有一定的意義。 在曲線估計中，需要解決兩個問題：一是選用哪種理論模型，即用哪種方程來擬合觀測值；二是當(dāng)模型

8、確定后，如何選擇合適的參數(shù)，使得理論數(shù)據(jù)和實際數(shù)據(jù)的差異最小。,8.3 曲線估計,(2) 統(tǒng)計原理 在曲線估計中，有很多的數(shù)學(xué)模型，選用哪一種形式的回歸方程才能最好地表示出一種曲線的關(guān)系往往不是一個簡單的問題，可以用數(shù)學(xué)方程來表示的各種曲線的數(shù)目幾乎是沒有限量的。在可能的方程之間，以吻合度而論，也許存在著許多吻合得同樣好的曲線方程。因此，在對曲線的形式的選擇上，對采取什么形式需要有一定的理論，這些理論是由問題本質(zhì)決定的。 (3) 分析步驟 首先，在不能明確究竟哪種模型更接近樣本數(shù)據(jù)時，可在上述多種可選擇的模型中選擇幾種模型； 其次，SPSS自動完成模型參數(shù)的估計，并輸出回歸方程顯著性檢驗的F值

9、和概率p值、決定系數(shù)R2等統(tǒng)計量； 最后，以判定系數(shù)為主要依據(jù)選擇其中的最優(yōu)模型，并進(jìn)行預(yù)測分析等。,8.3 曲線估計,8.3.2 SPSS實例分析 【例8-3】 表8.16是19892001年國家保費(fèi)收入與國內(nèi)生產(chǎn)總值的數(shù)據(jù)，試研究保費(fèi)收入與國內(nèi)生產(chǎn)總值的關(guān)系。,8.3 曲線估計,第1步 分析：先用散點(diǎn)圖的形式進(jìn)行分析，看究竟是否具有一元線性關(guān)系，如果具有一元線性關(guān)系，則用一元線性回歸分析，否則采用曲線估計求解。 第2步 數(shù)據(jù)組織：定義為三個變量，分別是“year”（年度）、“y”（保費(fèi)收入）和“x”（國內(nèi)生產(chǎn)總值），輸入數(shù)據(jù)并保存。 第3步 作散點(diǎn)圖初步判定變量的分布趨勢：,保費(fèi)收入y隨國

10、內(nèi)生產(chǎn)總值x的提高而逐漸提高，而且當(dāng)國內(nèi)生產(chǎn)總值達(dá)到一定水平后，保費(fèi)收入的增幅更加明顯。因此用線性回歸模型表示x，y的關(guān)系是不恰當(dāng)?shù)?。于是?yīng)找擬合效果好的模型。,8.3 曲線估計,第4步 進(jìn)行曲線估計：依次選擇菜單“分析回歸曲線估計”，將所有模型全部選上，看哪種模型擬合效果更好(主要看決定系數(shù)R2)，其所有模型的擬合優(yōu)度R2如下表所示。,從決定系數(shù)（R方即R2）來看，三次曲線效果最好（因為其R2值最大），并且方差分析的顯著性水平（Sig.）為0。故重新進(jìn)行上面的過程，只選“三次曲線（Cubic）”一種模型。,8.3 曲線估計,第5步 結(jié)果與分析。 三次曲線模型擬合效果的檢驗表,復(fù)相關(guān)系數(shù)R =

11、 0.995，R2 = 0.990，經(jīng)校正后的R平方值為0.989。故可判斷保費(fèi)收入與國內(nèi)生產(chǎn)總值之間有較顯著的三次曲線關(guān)系,方差分析表,相伴概率Sig.=0.000說明模型具有顯著的統(tǒng)計學(xué)意義。,8.3 曲線估計,回歸系數(shù)表,從表中可知因變量與自變量的三次回歸模型為： y=-166.430+0.029x-5.364E-7x2+5.022E-12x3,9.2 曲線估計,擬合效果圖,從圖形上看出其擬合效果非常好。,8.3 曲線估計,說明： 曲線估計是一個自變量與因變量的非線性回歸過程，但只能處理比較簡單的模型。如果有多個自變量與因變量呈非線性關(guān)系時，就需要用其他非線性模型對因變量進(jìn)行擬合，SPS

12、S 19中提供了“非線性”過程，由于涉及的模型很多，且非線性回歸分析中參數(shù)的估計通常是通過迭代方法獲得的，而且對初始值的設(shè)置也有較高的要求，如果初始值選擇不合適，即使指定的模型函數(shù)非常準(zhǔn)確，也會導(dǎo)致迭代過程不收斂，或者只得到一個局部最優(yōu)值而不能得到整體最優(yōu)值。,主要內(nèi)容,8.1 回歸分析概述 8.2 線性回歸分析 8.3 曲線估計 8.4 二元Logistic回歸分析,8.4.1 基本概念及統(tǒng)計原理 （1）基本概念 Logistic回歸分析就是針對因變量是定性變量的回歸分析。根據(jù)因變量取值類別數(shù)量不同，Logistic回歸分析又分為二元Logistic回歸分析和多元Logistic回歸分析。二

13、元Logistic回歸模型中因變量只可以取兩個值1和0（虛擬因變量），而多元Logistic回歸模型中因變量可取多個值。,8.4 二元Logistic回歸分析,（2）統(tǒng)計原理 logit變換,8.4 二元Logistic回歸分析,Logistic回歸模型,Logistic回歸模型,（3）統(tǒng)計檢驗 與線性回歸一樣，擬合時也要考慮模型是否合適、哪些變量該保留、擬合效果如何等問題。線性回歸中常用的是決定系數(shù)R2，T檢驗、F檢驗等工具在這里均不再適用。在Logistic回歸中常用的檢驗有-2對數(shù)似然檢驗（-2 log（likelihood）, -2LL）、Hosmer和Lemeshow的擬合優(yōu)度檢驗、

14、Wald檢驗等。,8.4 二元Logistic回歸分析,8.4.2 SPSS實例分析 【例8-4】 診斷發(fā)現(xiàn)運(yùn)營不良的金融企業(yè)是審計核查的一項重要功能，審計核查的分類失敗會導(dǎo)致災(zāi)難性的后果。下表列出了66家公司的部分運(yùn)營財務(wù)比率，其中33家在2年后破產(chǎn)（Y = 0），另外33家在同期保持償付能力（Y = 1）。請用變量X1（未分配利潤/總資產(chǎn)）、X2（稅前利潤/總資產(chǎn)）和X3（銷售額/總資產(chǎn)）擬合一個Logistic回歸模型。,8.4 二元Logistic回歸分析,第1步 分析：共有3個自變量，均是定量數(shù)據(jù)類型，而因變量是定性的，取值有兩種狀態(tài)（0和1），這是一個典型的可用二元Logistic

15、回歸解決的問題。 第2步 數(shù)據(jù)組織：定義三個自變量X1，X2和X3，再定義因變量Y，輸入數(shù)據(jù)并保存。 第3步 二元Logistic回歸分析設(shè)置： （設(shè)置過程詳見教材p195-197） 第4步 主要結(jié)果及分析： 數(shù)據(jù)的基本信息表,8.4 二元Logistic回歸分析,給出了數(shù)據(jù)進(jìn)入模型的記錄數(shù),模型系數(shù)的檢驗結(jié)果,8.4 二元Logistic回歸分析,其中常數(shù)項系數(shù)為0.000，其相伴概率為1，可見常數(shù)項不顯著。X1，X2和X3的相伴概率分別是0.000，0.000和0.094，如果以5%為置信的話，X1和X2的系數(shù)通過了檢驗，即這兩個變量是顯著的。,模型全局檢驗結(jié)果表,8.4 二元Logistic回歸分析,共采用了三種檢驗方法，分別是步與步間的相對似然比檢驗、塊（Block）間的相對似然比檢驗和模型間的相對似然比檢驗。由于本例中只有一個自變量組且采取強(qiáng)行進(jìn)入法將所有變量納入模型，所以三種檢驗方法的結(jié)果是一致的，模型有顯著的統(tǒng)計意義。,模型情況摘要表,。主要給出-2對數(shù)似然值的兩個決定系數(shù)，從數(shù)據(jù)上看，模型的擬合度不錯。