調(diào)查數(shù)據(jù)分析二元回歸ppt課件當(dāng)前第1頁\共有58頁\編于星期三\15點(diǎn)分類變量分析通常采用對數(shù)線性模型(Log-linearmodel),而因變量為二分變量時,對數(shù)線性模型就變成Logistic回歸模型.logistic回歸是一個概率型模型，因此可以利用它預(yù)測某事件發(fā)生的概率。例如在可以根據(jù)消費(fèi)者的一些特征，判斷購買某項產(chǎn)品概率有多大。當(dāng)前第2頁\共有58頁\編于星期三\15點(diǎn)目的：作出以多個自變量估計因變量的logistic回歸方程。屬于概率型非線性回歸。資料：1.因變量為反映某現(xiàn)象發(fā)生與不發(fā)生的二值變量；2.自變量宜全部或大部分為分類變量，可有少數(shù)數(shù)值變量。分類變量要數(shù)量化。用途：研究哪些變量影響因變量，影響程度方向、大小等。當(dāng)前第3頁\共有58頁\編于星期三\15點(diǎn)4Logistic回歸模型一.模型的引進(jìn)二.Logistic回歸模型估計三.Logistic回歸模型的評價四.Logistic回歸系數(shù)的統(tǒng)計推斷五.Logistic回歸診斷當(dāng)前第4頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型當(dāng)虛擬變量作為因變量，虛擬變量有兩個取值，可使用二元Logistic回歸。

例：在一次有關(guān)公共交通的調(diào)查中，一個調(diào)查項目為“是乘坐公交車上下班，還是騎自行車上下班”。因變量有兩個取值，當(dāng)取值為1，乘坐公交車上下班；取值為0，騎自行車上下班。當(dāng)前第5頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型

當(dāng)前第6頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型自變量（解釋變量）：X1：年齡，取值從18到58；X2：月收入（元），取值850、950、1000、1200、1300、1500、1800、2100；X3：性別，取值為1，表示男性；取值為0，表示女性。

當(dāng)前第7頁\共有58頁\編于星期三\15點(diǎn)8回歸建?！狶ogistic回歸模型研究目的：X1，X2，X3等因素對因變量（使用什么交通方式）有無影響？建立Y與X的多元線性回歸模型？（取值0和1）當(dāng)前第8頁\共有58頁\編于星期三\15點(diǎn)9回歸建?！狶ogistic回歸模型建立p(Y=1|X)與X的多元線性回歸模型？(取值范圍0～1)當(dāng)前第9頁\共有58頁\編于星期三\15點(diǎn)線性回歸模型的基本假定：（1）隨機(jī)誤差項具有０均值:（2）隨機(jī)誤差項具有同方差：（3）隨機(jī)誤差項在不同樣本點(diǎn)之間是獨(dú)立的，不存在序列相關(guān)：（4）隨機(jī)誤差項與解釋變量（自變量）之間不相關(guān)：（5）隨機(jī)誤差項服從０均值、同方差的正態(tài)分布

當(dāng)前第10頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型1、發(fā)生概率p的大小取值范圍[0,1]，p與自變量的關(guān)系難以用多元線性模型來描述。2、當(dāng)p接近0或者1時，p值的微小變化用普通的方法難以發(fā)現(xiàn)和處理好?？偅耗懿荒苷业揭粋€p的嚴(yán)格單調(diào)函數(shù)Q，就會比較方便；同時要求Q對在p=0或p=1的附近的微小變化很敏感。當(dāng)前第11頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型當(dāng)前第12頁\共有58頁\編于星期三\15點(diǎn)13回歸建?！狶ogistic回歸模型Logit（P)P當(dāng)前第13頁\共有58頁\編于星期三\15點(diǎn)14回歸建?！狶ogistic回歸模型建立logit（p）與X的多元線性回歸模型:

(取值范圍-∞～+∞)優(yōu)勢比(odds)機(jī)會比(odds)當(dāng)前第14頁\共有58頁\編于星期三\15點(diǎn)15logistic回歸模型Logistic回歸模型：當(dāng)前第15頁\共有58頁\編于星期三\15點(diǎn)16Logistic回歸模型估計：極大似然估計Logistic回歸模型估計的假設(shè)條件與OLS的不同（1）logistic回歸的因變量是二分類變量（2）logistic回歸的因變量與自變量之間的關(guān)系是非線性的（3）logistic回歸中無相同分布的假設(shè)（4）logistic回歸沒有關(guān)于自變量“分布”的假設(shè)（離散，連續(xù)，虛擬）當(dāng)前第16頁\共有58頁\編于星期三\15點(diǎn)Logistic回歸模型估計：極大似然估計多元回歸采用最小二乘估計，使因變量的真實(shí)值和預(yù)測值差異值的平方和最小化；Logistic變換的非線性特征使得在估計模型的時候采用極大似然估計的迭代方法，找到系數(shù)的“最可能”的估計，在計算整個模型擬合度時，采用似然值。當(dāng)前第17頁\共有58頁\編于星期三\15點(diǎn)18Logistic回歸模型估計：極大似然估計最小二乘估計（OLS）：根據(jù)線性回歸模型，選擇參數(shù)估計值，使得模型的估計值與真值的離差平方和最小。極大似然估計（MLE

）：選擇使得似然函數(shù)最大的參數(shù)估計值。當(dāng)前第18頁\共有58頁\編于星期三\15點(diǎn)19由于各項觀測相互獨(dú)立，其聯(lián)合分布為：Logistic回歸模型估計：極大似然估計當(dāng)前第19頁\共有58頁\編于星期三\15點(diǎn)20求似然函數(shù)的極大值Logistic回歸模型估計：極大似然估計當(dāng)前第20頁\共有58頁\編于星期三\15點(diǎn)21分別對參數(shù)求偏導(dǎo)，然后令它等于0：求得的估計值，從而得到（pi的極大似然估計)，這個值是在給定xi的條件下yi=1的條件概率的估計，它代表了Logistic回歸模型的擬合值。Logistic回歸模型估計：極大似然估計當(dāng)前第21頁\共有58頁\編于星期三\15點(diǎn)22Logistic回歸系數(shù)的解釋因此每個代表當(dāng)保持其他變量不變時，每單位量的增加對對數(shù)發(fā)生比的影響發(fā)生比率若發(fā)生比率>1，則說明該變量增大時，則Y=1事件發(fā)生的比例也就越高。當(dāng)前第22頁\共有58頁\編于星期三\15點(diǎn)Logistic回歸模型估計：極大似然估計當(dāng)前第23頁\共有58頁\編于星期三\15點(diǎn)24Logistic回歸模型的評價

1擬合優(yōu)度檢驗（Goodnessoffit）1.1皮爾遜檢驗1.2Hosmer-Lemeshow檢驗

2Logistic回歸模型的預(yù)測準(zhǔn)確性Cox&SnellRSquare指標(biāo)和NagelkerkeRSquare指標(biāo)當(dāng)前第24頁\共有58頁\編于星期三\15點(diǎn)擬合優(yōu)度檢驗Logistic回歸模型的擬合優(yōu)度檢驗是通過比較模型預(yù)測的與實(shí)際觀測的事件發(fā)生與不發(fā)生的頻數(shù)有無差別來進(jìn)行檢驗。如果預(yù)測的值與實(shí)際觀測的值越接近，說明模型的擬合效果越好。模型的擬合優(yōu)度檢驗方法有偏差檢驗（Deviance）、皮爾遜（pearson）檢驗、統(tǒng)計量(Homser-Lemeshow),分別計算統(tǒng)計量X2D、X2

P、X2HL值。統(tǒng)計量值越小，對應(yīng)的概率越大。原假設(shè)H0：模型的擬合效果好。模型擬合優(yōu)度信息指標(biāo)有：-2lnL、AIC、SC。這3個指標(biāo)越小表示模型擬合的越好。當(dāng)前第25頁\共有58頁\編于星期三\15點(diǎn)類R2是預(yù)測準(zhǔn)確性的粗略近似，在自變量與因變量完全無關(guān)時，類R2值趨近于0；當(dāng)和模型能夠完美預(yù)測時，類R2趨近于1.262.1Logistic回歸模型的預(yù)測準(zhǔn)確性當(dāng)前第26頁\共有58頁\編于星期三\15點(diǎn)272Logistic回歸模型的預(yù)測準(zhǔn)確性Cox&SnellRSquare指標(biāo)

其中與表示零假設(shè)模型與所設(shè)模型各自的似然值，n為樣本容量。當(dāng)前第27頁\共有58頁\編于星期三\15點(diǎn)282.1Logistic回歸模型的預(yù)測準(zhǔn)確性然而對于logistic回歸，上面定義的R最大值卻小于1Nagelkerke提出一種logistic回歸的調(diào)整確定系數(shù)當(dāng)前第28頁\共有58頁\編于星期三\15點(diǎn)當(dāng)前第29頁\共有58頁\編于星期三\15點(diǎn)30Logistic回歸模型的統(tǒng)計推斷Logistic回歸方程的檢驗（對模型回歸系數(shù)整體檢驗）：似然比檢驗（likehoodratiotest）、比分檢驗（scoretest）和Wald檢驗（waldtest）Logistic回歸系數(shù)的顯著性檢驗：Wald檢驗Logistic回歸參數(shù)的的置信區(qū)間

Logistic回歸系數(shù)的置信區(qū)間發(fā)生比率的置信區(qū)間當(dāng)前第30頁\共有58頁\編于星期三\15點(diǎn)311Logistic回歸方程的顯著性檢驗檢驗?zāi)Ｐ椭兴凶宰兞空w來看是否與所研究事件的對數(shù)優(yōu)勢比存在線性關(guān)系，也即方程是否成立。檢驗的方法有似然比檢驗（likehoodratiotest）、比分檢驗（scoretest）和Wald檢驗（waldtest）。三種方法中，似然比檢驗最可靠，比分檢驗一般與它相一致，但兩者均要求較大的計算量；而Wald檢驗未考慮各因素間的綜合作用，在因素間有共線性時結(jié)果不如其它兩者可靠。

當(dāng)前第31頁\共有58頁\編于星期三\15點(diǎn)似然比檢驗（likehoodratiotest）通過比較包含與不包含某一個或幾個待檢驗觀察因素的兩個模型的對數(shù)似然函數(shù)變化來進(jìn)行，其統(tǒng)計量為G（又稱Deviance）。

G=-2(lnLp-lnLk)

樣本量較大時，G近似服從自由度為待檢驗因素個數(shù)的２分布。當(dāng)前第32頁\共有58頁\編于星期三\15點(diǎn)似然比檢驗當(dāng)G大于臨界值時，接受H1,拒絕無效假設(shè)，認(rèn)為從整體上看適合作Logistic回歸分析，回歸方程成立。當(dāng)前第33頁\共有58頁\編于星期三\15點(diǎn)Logistic回歸系數(shù)的顯著性檢驗為了確定哪些自變量能進(jìn)入方程，還需要對每個自變量的回歸系數(shù)進(jìn)行假設(shè)檢驗，判斷其對模型是否有貢獻(xiàn)。檢驗方法常用WaldX2檢驗。當(dāng)前第34頁\共有58頁\編于星期三\15點(diǎn)35Logistic回歸系數(shù)的顯著性檢驗Wald檢驗該檢驗是基于在大樣本情況下β值服從正態(tài)分布的性質(zhì)。其中為的標(biāo)準(zhǔn)誤。原假設(shè)：

該自變量下的回歸系數(shù)=0當(dāng)前第35頁\共有58頁\編于星期三\15點(diǎn)36Logistic回歸參數(shù)的的置信區(qū)間Logistic回歸系數(shù)的置信區(qū)間為：發(fā)生比率的置信區(qū)間當(dāng)前第36頁\共有58頁\編于星期三\15點(diǎn)37二分類Logistic回歸method中文名稱剔除依據(jù)Enter全部進(jìn)入Forward:conditional向前逐步條件參數(shù)估計似然比Forward:LR向前逐步最大偏似然估計似然比Forward:Wald向前逐步Wald統(tǒng)計量Backward:conditional向后逐步條件參數(shù)估計似然比Backward:LR向后逐步最大偏似然估計似然比Backward:Wald向后逐步Wald統(tǒng)計量當(dāng)前第37頁\共有58頁\編于星期三\15點(diǎn)當(dāng)前第38頁\共有58頁\編于星期三\15點(diǎn)當(dāng)前第39頁\共有58頁\編于星期三\15點(diǎn)當(dāng)前第40頁\共有58頁\編于星期三\15點(diǎn)當(dāng)前第41頁\共有58頁\編于星期三\15點(diǎn)回歸建?！狶ogistic回歸模型Logistic回歸可直接預(yù)測事件發(fā)生的概率，若預(yù)測概率大于0.5，則預(yù)測發(fā)生（Y=1）；若預(yù)測概率小于0.5，則不發(fā)生（Y=0）。當(dāng)前第42頁\共有58頁\編于星期三\15點(diǎn)43Logistic回歸模型的診斷多重共線性的診斷異常值的診斷當(dāng)前第43頁\共有58頁\編于星期三\15點(diǎn)44多重共線性的診斷相關(guān)系數(shù)矩陣容忍度方差膨脹因子由于只關(guān)心自變量之間的關(guān)系，所以可以通過線性回歸得到容忍度指標(biāo)。當(dāng)前第44頁\共有58頁\編于星期三\15點(diǎn)45異常值的診斷（一）標(biāo)準(zhǔn)化殘差（Pearson殘差）yj為第j個協(xié)變量組合的陽性（取值為1）觀察值個數(shù)nj為第j個協(xié)變量組合的觀察單位數(shù)Pj為第j個協(xié)變量組合的概率估計值一般認(rèn)為殘差值超過2則可能為異常點(diǎn)當(dāng)前第45頁\共有58頁\編于星期三\15點(diǎn)46異常值的診斷（二）Deviance殘差其中sgn表示此式的正負(fù)號與（yj-njpj）的相同一般認(rèn)為殘差值超過2則可能為異常點(diǎn)當(dāng)前第46頁\共有58頁\編于星期三\15點(diǎn)47例題：高中畢業(yè)生繼續(xù)進(jìn)入大學(xué)學(xué)習(xí)的可能性的影響因素如果一個高中畢業(yè)生升入了大學(xué)，則y=1；如果沒有升入大學(xué)，則y=0。P為高中畢業(yè)后升入大學(xué)的概率。自變量為性別Gender（1為男性，0為女性），高中類型Keysch（1為重點(diǎn)中學(xué)、0為普通中學(xué)），高中成績Meangr。前兩個為虛擬變量，Meangr為連續(xù)變量。Logistic回歸模型為：當(dāng)前第47頁\共有58頁\編于星期三\15點(diǎn)48數(shù)據(jù)當(dāng)前第48頁\共有58頁\編于星期三\15點(diǎn)49最后的回歸結(jié)果為：當(dāng)前第49頁\共有58頁\編于星期三\15點(diǎn)分組數(shù)據(jù)的二元Logistic回歸模型例：在一次住房展銷會上，與房地產(chǎn)商簽訂初步購房意向書