1、第九章 回歸分析,回歸分析概述 線性回歸分析 曲線估計(jì) 二項(xiàng)Logistic回歸 案例分析,9.1 回歸分析概述 回歸分析是一種應(yīng)用極為廣泛的數(shù)量分析方法。它用于分析事物之間的統(tǒng)計(jì)關(guān)系，側(cè)重考察變量之間的數(shù)量變化規(guī)律，并通過(guò)回歸方程的形式描述和反映這種關(guān)系，幫助人們準(zhǔn)確把握變量受其他一個(gè)或多個(gè)變量影響程度，進(jìn)而為預(yù)測(cè)提供科學(xué)依據(jù)。,9.1.1 回歸線和回歸模型 利用樣本數(shù)據(jù)獲得回歸線通?？刹捎脙深惙椒ǎ旱谝?，局部平均；第二，函數(shù)擬合。,9.1.2 回歸分析的一般步驟 1確定回歸方程中的解釋變量和被解釋變量 2確定回歸模型 3建立回歸方程 4對(duì)回歸方程進(jìn)行各種檢驗(yàn) 5利用回歸方程進(jìn)行預(yù)測(cè),9.2

2、 線性回歸分析,觀察被解釋變量和一個(gè)多個(gè)解釋變量的散點(diǎn)圖，當(dāng)發(fā)現(xiàn)與的線性回歸模型。在線性回歸分析中，根據(jù)模型中解釋變量的個(gè)數(shù)，可將線性回歸模型分成一元線性回歸模型和多元線性回歸模型，相應(yīng)的分析稱為一元線性回歸分析和多元線性回歸分析。,9.2.1一元線性回歸模型 一元線性回歸模型是指只有一個(gè)解釋變量的線性回歸模型，用于揭示被解釋變量與另一個(gè)解釋變量之間的線性關(guān)系?，F(xiàn)實(shí)社會(huì)經(jīng)濟(jì)現(xiàn)象中，某一事物（被解釋變量）總會(huì)收到多方面因素（多個(gè)解釋變量）的影響。一元線性回歸分析是在不考慮其他影響因素或在是比較理想化的分析。一元線性回歸數(shù)學(xué)模型是,9.2.2多元線性回歸模型 多元線性回歸模型是指有多個(gè)解釋變量的線

3、性回歸模型，用于揭示被解釋變量與其他多個(gè)解釋變量之間的線性關(guān)系。多元線性回歸的數(shù)學(xué)模型是,9.2.3 回歸參數(shù)的普通最小二乘估計(jì) 線性回歸方程確定后的任務(wù)是利用已經(jīng)收集到的樣本數(shù)據(jù)，根據(jù)一定的統(tǒng)計(jì)擬合準(zhǔn)則，對(duì)方程中的各個(gè)參數(shù)進(jìn)行估計(jì)。普通最小二乘就是一種最為常見的統(tǒng)計(jì)擬合準(zhǔn)則，在該準(zhǔn)則下得到的回歸參數(shù)的估計(jì)稱為普通最小二乘估計(jì)。,9.2.4 回歸方程的統(tǒng)計(jì)檢驗(yàn) 通過(guò)樣本數(shù)據(jù)建立回歸方程后一半不能立即用于對(duì)實(shí)際問(wèn)題的分析和預(yù)測(cè)，通常要進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，主要包括回歸方程的擬合優(yōu)度檢驗(yàn)、回歸方程的顯著性檢驗(yàn)、回歸系數(shù)的顯著性檢驗(yàn)、殘差分析等。,9.2.4.1 回歸方程的擬合優(yōu)度檢驗(yàn) 對(duì)于一元線性回歸

4、方程 一元線性回歸方程的擬合優(yōu)度檢驗(yàn)采用 統(tǒng)計(jì)量。該統(tǒng)計(jì)量稱為判定系數(shù)或決定系數(shù)，數(shù)學(xué)定義為:,對(duì)于多元線性回歸方程 多元線性回歸方程的擬合優(yōu)度檢驗(yàn)采用 統(tǒng)計(jì)量。該統(tǒng)計(jì)量稱為調(diào)整的判定系數(shù)或調(diào)整的決定系數(shù)，數(shù)學(xué)定義為,9.2.4.2 回歸方程的顯著性檢驗(yàn) 對(duì)于一元線性回歸方程檢驗(yàn)采用統(tǒng)計(jì)量，其數(shù)學(xué)定義為,對(duì)于多元線性回歸方程 檢驗(yàn)采用統(tǒng)計(jì)量，其數(shù)學(xué)定義為,9.2.4.3 回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)的顯著性檢驗(yàn)的主要目的是研究回歸方程中的每個(gè)解釋變量與被解釋變量之間是否存在顯著性的線性關(guān)系，也就是研究解釋變量能否有效地解釋被解釋變量的線性變化，它們能否保留在線性回歸方程中。 回歸系數(shù)顯著性檢

5、驗(yàn)是圍繞回歸系數(shù)（或偏回歸系數(shù)）估計(jì)值得抽樣分布展開的，由此構(gòu)造服從某種理論分布的檢驗(yàn)統(tǒng)計(jì)量，并進(jìn)行檢驗(yàn)。,對(duì)于一元線性回歸方程 一元線性回歸方程的回歸系數(shù)顯著性檢驗(yàn)的零假設(shè)是 ，即回歸系數(shù)與零無(wú)顯著差異。它意味著，當(dāng)回歸系數(shù)為0時(shí)，無(wú)論取值如何變化都不會(huì)引起的線性變化，無(wú)法解釋的線性變化，它們之間不存在線性關(guān)系。,對(duì)于多元線性回歸方程 多元線性回歸方程顯著性檢驗(yàn)的零假設(shè)是 ： ，即第個(gè)偏回歸系數(shù)與零無(wú)顯著差異。它意味著當(dāng)偏回歸系數(shù)為 =0時(shí)，無(wú)論取值如何變化都不會(huì)引起的線性變化，所有無(wú)法解釋的線性變化，它們不存在線性關(guān)系。,9.2.4.4 殘差分析 所謂的殘差是指由回歸方程計(jì)算所得的預(yù)測(cè)值與

6、實(shí)際樣本值之間的差距，定義為 1.殘差均值為0的正態(tài)分布分析 當(dāng)前面的討論中知道，當(dāng)解釋變量取某個(gè)特定的值時(shí)，對(duì)應(yīng)的殘差必然有正有負(fù)，但總體上應(yīng)服從以0為均值的正態(tài)分布?？梢酝ㄟ^(guò)繪制殘差圖對(duì)該問(wèn)題進(jìn)行分析。殘差圖也是一直散點(diǎn)圖。圖中一般橫坐標(biāo)是解釋變量（也可以是被解釋變量的預(yù)測(cè)值），縱坐標(biāo)為殘差。,2.殘差的獨(dú)立性分析 殘差獨(dú)立性分析可以通過(guò)以下三種方式實(shí)現(xiàn)： 一、繪制殘差序列的序列圖 二、計(jì)算殘差的自相關(guān)系數(shù) 三、DurbinWatson 檢驗(yàn),3.異方差分析 一、繪制殘差圖 可以通過(guò)繪制殘差圖分析是否存在異方差。 二、等級(jí)相關(guān)分析 得到殘差序列后首先對(duì)其取絕對(duì)值，然后分別計(jì)算出殘差和解釋變

7、量的 秩，最后計(jì)算Spearman 等級(jí)相關(guān)系數(shù)，并進(jìn)行等級(jí)相關(guān)分析。,9.2.5 多元回歸分析中的其他問(wèn)題 在多元回歸分析中，由于解釋變量會(huì)受眾多因素的共同影響，需要由多個(gè)解釋變量解釋的，于是會(huì)出現(xiàn)諸如此類的問(wèn)題：多個(gè)變量是否都能夠進(jìn)入線性回歸模型，解釋變量應(yīng)以怎樣的策略和順序進(jìn)行方程，方程中多個(gè)解釋變量之間是否存在多重共線性等。,9.2.5.1 變量篩選問(wèn)題 在多元線性回歸分析中，模型中應(yīng)引入多少解釋變量是需要重點(diǎn)研究的。如果引入的變量較少，回歸方程將無(wú)法很好地解釋說(shuō)明被解釋變量的變化。但是也并非引入的變量越多越好，因?yàn)檫@些變量之間可能存在多重共線性。因此有必要采取一些策略對(duì)變量引入回歸方

8、程加以控制和篩選。多元回歸分析中，變量的篩選一般有向前篩選、向后篩選、逐步篩選三種基本策略。,向前篩選（Forward）處理 向后篩選（Backward）處理 逐步篩選（Stepwise）策略,9.2.5.2 變量的多重共線性問(wèn)題 所謂多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。解釋變量間高度的多重共線性會(huì)給回歸方程帶來(lái)許多影響。如偏回歸系數(shù)估計(jì)困難，偏回歸系數(shù)的估計(jì)方差隨解釋變量相關(guān)性的增大而增大，偏回歸系數(shù)的置信區(qū)間增大，偏回歸系數(shù)估計(jì)值的不穩(wěn)定性增強(qiáng)，偏回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著等。測(cè)度解釋變量間多重共線性一般有以下方式：,容忍度 方差膨脹因子（VIF） 特征根和方差比 條件指數(shù)

9、,9.4曲線估計(jì),9.4.1 曲線估計(jì)概述 變量間相關(guān)關(guān)系的分析中，變量之間的關(guān)系并不總表現(xiàn)出線性關(guān)系，非線性關(guān)系也是極為常見的，可通過(guò)繪制散點(diǎn)圖的方式粗略考察這種非線性關(guān)系。對(duì)于非線性關(guān)系通常無(wú)法直接通過(guò)線性回歸來(lái)分析，無(wú)法直接建立線性模型，但可通過(guò)變量變換化為線性關(guān)系，并可最終進(jìn)行線性回歸分析建立線性模型,9.5 二項(xiàng)Logistic回歸,二次曲線(Quadratic) 復(fù)合曲線(Compound) 增長(zhǎng)曲線(Growth) 對(duì)數(shù)曲線(Logarithmic) 三次曲線(Cubic) S曲線,指數(shù)曲線(Exponential) 逆函數(shù)(Inverse) 冪函數(shù)(Power) 邏輯函數(shù)(Lo

10、gistic),9.5.1 二項(xiàng)Logistic回歸概述 9.5.1.1 二項(xiàng)Logistic回歸應(yīng)用背景 作為標(biāo)準(zhǔn)的統(tǒng)計(jì)分析工具，多元回歸分析在諸多行業(yè)和領(lǐng)域的數(shù)據(jù)分析應(yīng)用中發(fā)揮著極為重要的作用。盡管如此，在運(yùn)用多元回歸分析方法時(shí)仍不應(yīng)忽略方法應(yīng)用的前提假設(shè)條件。違背了某些關(guān)鍵假設(shè)，得到的分析結(jié)論很可能是不合理和不可信的。,9.5.1.2 二項(xiàng)Logistic回歸模型 當(dāng)被解釋變量為0/1二值變量時(shí)，雖然無(wú)法直接采用一般線性多元回歸模型建模，但仍然可以充分利用其模型建立的理論和思路，得到以下啟示： 第一，可以證明，當(dāng)被解釋變量為0/1二值變量時(shí)，如果仍采用簡(jiǎn)單線性回歸模型，即，則被解釋變量的

11、均值是解釋變量為時(shí)=1的概率值。由此給出的啟示是，可以利用一般的線性多元回歸模型對(duì)被解釋變量取值為1的概率P進(jìn)行建模，此時(shí)模型被解釋變量的取值范圍是01之間，即,第二，由于概率P的取值范圍是01之間，而一般線性回歸模型被解釋變量取值于的要求給出的啟示是，可以對(duì)概率P作合理轉(zhuǎn)換處理，其取值范圍與一般線性回歸吻合。 第三，采用一般線性模型建立關(guān)于被解釋變量取值為1時(shí)的概率的回歸模型時(shí)，模型中解釋變量與概率值之間的關(guān)系是線性的。但實(shí)際應(yīng)用中，這個(gè)概率與解釋變量之間往往是一種非線性關(guān)系。由此，對(duì)概率P的轉(zhuǎn)換處理應(yīng)采用非線性轉(zhuǎn)化。,9.5.1.3 二項(xiàng)Logistic回歸方程回歸系數(shù)的含義 由于Logi

12、stic回歸模型的殘差不再服從正態(tài)分布，而是二值離散型分布，于是采用極大似然估計(jì)法對(duì)模型的參數(shù)進(jìn)行估計(jì)。在各種統(tǒng)計(jì)檢驗(yàn)通過(guò)以后，需要對(duì)模型參數(shù)的含義給予合理的解釋。,9.5.1.4 二項(xiàng)Logistic回歸方程的檢驗(yàn) 為進(jìn)行Logistic回歸方程的檢驗(yàn)應(yīng)需要首先了解回歸方程參數(shù)估計(jì)的原則和方法。Logistic回歸方程的參數(shù)求解采用極大似然估計(jì)法。極大似然估計(jì)是一種在總體分布密度函數(shù)和樣本信息的基礎(chǔ)上，求解模型中未知參數(shù)估計(jì)值的方法。它基于總體的分布密度函數(shù)構(gòu)造一個(gè)包含未知參數(shù)的似然函數(shù)，并求解在似然函數(shù)值最大下的未知參數(shù)的估計(jì)值。,1. 回歸方程的顯著性檢驗(yàn) 2. 回歸系數(shù)的顯著性檢驗(yàn) 3. 回歸方程的擬合優(yōu)度檢驗(yàn)（1） 統(tǒng)計(jì)量 （2）統(tǒng)計(jì)量 （3） 錯(cuò)判矩陣,9.5.1.5 二項(xiàng)Logistic回歸分析中的虛擬變量 通?；貧w分析中，作為解釋變量的變量都是定距型變量，他們對(duì)被解釋變量有線性解釋作用。實(shí)際應(yīng)用中，被解釋變量的變化不僅受到定距型變量的影響，也會(huì)為非定距的品質(zhì)變量的影響。品質(zhì)型數(shù)據(jù)通常不能像定距變量那樣直接作為解釋變量進(jìn)入回歸方程。,9.6 案例分析一,線性回歸數(shù)據(jù)來(lái)自于國(guó)泰安數(shù)據(jù)服務(wù)中心的經(jīng)濟(jì)研究數(shù)據(jù)庫(kù)。網(wǎng)址：,9.6.1 數(shù)據(jù)預(yù)處理 9.6.2 回歸分析,9.7 案例分析二,1、一企業(yè)排水的COD及BOD5的數(shù)據(jù)見d