1、1LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.Logistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic. Logistic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷2LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.Logistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic.

2、Logistic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷3一一. .模型的引進模型的引進因變量是二分類定性變量時因變量是二分類定性變量時, ,考慮簡單線考慮簡單線性模型性模型: : 其中其中y yi i服從兩點分布：服從兩點分布：可知可知ii10ixyiiii1)0y(P) 1y(Pi10iixyE4logistic回歸模型某疾病的病例對照研究某疾病的病例對照研究Idyx1x2x31111321032110101400060N00115logistic回歸模型研究目的：X1，X2，X3等因素對該疾病有無影響？建立Y與X的多重線性回歸模型？

3、3322110XXXY（取值（取值0和和1）6logistic回歸模型建立p(Y=1/X)與X的多重線性回歸模型？3322110)/1(pXXXXY(取值范圍取值范圍01)7logistic回歸模型Logit（P)P8logistic回歸模型建立logit（p）與X的多重線性回歸模型: 3322110)/1(1)/1(lnXXXXYpXYp(取值范圍取值范圍-+)ppln()p(itlog1優(yōu)勢優(yōu)勢(odds)9logistic回歸模型Logistic回歸模型：回歸模型：kkkkXXXXXXeep22110221101）（kk2211011XXXepkk22110plogitXXX）（10Lo

4、gisticLogistic回歸模型一般形式回歸模型一般形式在有在有m m個自變量時，公式擴展為：個自變量時，公式擴展為：m1kkk0 xP1pln11LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.Logistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic. Logistic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷12二二.Logistic.Logistic回歸模型估計回歸模型估計LogisticLogis

5、tic回歸模型估計的假設(shè)條件與回歸模型估計的假設(shè)條件與OLSOLS的不同的不同 （1 1）logisticlogistic回歸的因變量是二分類變量回歸的因變量是二分類變量 （2 2）logisticlogistic回歸的因變量與自變量之間的關(guān)系是非回歸的因變量與自變量之間的關(guān)系是非線性的線性的 （3 3）logisticlogistic回歸中無相同分布的假設(shè)回歸中無相同分布的假設(shè) （4 4）logisticlogistic回歸沒有關(guān)于自變量回歸沒有關(guān)于自變量“分布分布”的假設(shè)的假設(shè)（離散，連續(xù)，虛擬）（離散，連續(xù)，虛擬）13最大似然估計（一）最大似然估計（一）最小二乘估計（最小二乘估計（OLS

6、OLS）：）： 根據(jù)現(xiàn)行回歸模型，選擇參數(shù)估計值，使得模型的估計值與真值的離差平方和最小。最大似然估計最大似然估計（ MLEMLE ）： 選擇使得似然函數(shù)最大的參數(shù)估計值。14假設(shè)假設(shè)n n個樣本觀測值個樣本觀測值y y1 1,y ,y2 2yyn n，得到一個觀測，得到一個觀測值的概率為值的概率為 其中其中 或或 由于各項觀測相互獨立，其聯(lián)合分布為：由于各項觀測相互獨立，其聯(lián)合分布為：iiy1iyii)p1 (p)yP(Y1yi0yin1iy1iyiii)p1 (p)(L最大似然估計（二）最大似然估計（二）15選擇上式作為選擇上式作為n n個觀測的似然函數(shù)個觀測的似然函數(shù)nixiiiynii

7、iiniyiyiniyiyiiiiiiiexy)p()pp()p()p(p)p(pL1101111101ln11ln11ln1ln)(lnxpp101lnxe-p1011116分別對參數(shù)求偏導(dǎo)，然后令它等于分別對參數(shù)求偏導(dǎo)，然后令它等于0 0：求得求得 的估計值的估計值 ，從而得到，從而得到 （p pi i的極的極大似然估計大似然估計) )，這個值是在給定，這個值是在給定x xi i的條件下的條件下y yi i=1=1的條的條件概率的估計，它代表了件概率的估計，它代表了LogisticLogistic回歸模型的擬合回歸模型的擬合值。值。01)(ln101010nixxiiieeyL01)(ln

8、111010inixxixeeyLii10，10，ip 17Logistic Logistic 回歸系數(shù)的解釋回歸系數(shù)的解釋因此每個因此每個 代表當保持其他變量不變時，代表當保持其他變量不變時，每單位量的增加對對數(shù)發(fā)生比的影響每單位量的增加對對數(shù)發(fā)生比的影響發(fā)生比率發(fā)生比率m1kkik0iixP1plnkkeodds2odds1OR18LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.Logistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic. Logistic回歸

9、系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷19三三. Logistic. Logistic回歸模型的評價回歸模型的評價n 3.13.1 擬合優(yōu)度檢驗（擬合優(yōu)度檢驗（Goodness of fitGoodness of fit）3.1.1 3.1.1 似然比檢驗（似然比檢驗（Likelihood Ratio TestLikelihood Ratio Test）3.1.2 Hosmer-Lemeshow3.1.2 Hosmer-Lemeshow檢驗檢驗n 3.2 Logistic3.2 Logistic回歸模型的預(yù)測準確性回歸模型的預(yù)測準確性 3.

10、2.1 Cox & Snell R Square3.2.1 Cox & Snell R Square指標和指標和Nagelkerke R SquareNagelkerke R Square指標指標 3.2.2 3.2.2 分類表分類表203.1.1 3.1.1 似然比檢驗似然比檢驗似然比檢驗的思想：似然比檢驗的思想： 建立logistic回歸模型后，再向模型中引入另外的變量，重新擬合模型。兩模型的21nL值之差即為似然比統(tǒng)計量LR。 213.1.13.1.1似然比檢驗似然比檢驗似然比檢驗用公式表示為似然比檢驗用公式表示為: : 2lnL0為只有截距項的零假設(shè)模型的2lnL,2l

11、nLs為設(shè)定模型的2lnL，當樣本含量較大時，服從卡方分布，自由度為設(shè)定模型與零假設(shè)模型自由度之差。 0s220s2lnL2lnLpLLlnLRLR22233.1.2 Hosmer-Lemeshow3.1.2 Hosmer-Lemeshow檢驗檢驗 該方法根據(jù)模型預(yù)測概率的大小將所有觀察單位該方法根據(jù)模型預(yù)測概率的大小將所有觀察單位分為十組，然后根據(jù)每一組中因變量各種取值的分為十組，然后根據(jù)每一組中因變量各種取值的實際值與理論值計算實際值與理論值計算PearsonPearson卡方：卡方： 其中其中G G代表分組數(shù)。代表分組數(shù)。O Og g為第為第g g組的觀測頻數(shù)，組的觀測頻數(shù)，E Eg g

12、為第為第g g組的預(yù)測頻數(shù)。組的預(yù)測頻數(shù)。G1gg2ggE)E-(OHL24253.2.1 Logistic3.2.1 Logistic回歸模型的預(yù)測準確性回歸模型的預(yù)測準確性Cox & Snell R Square指標 其中 與 表示零假設(shè)模型與所設(shè)模型各自的似然值，n為樣本規(guī)模。n2S02LL1R0LSL263.2.1 Logistic3.2.1 Logistic回歸模型的預(yù)測準確性回歸模型的預(yù)測準確性然而對于logistic回歸，上面定義的R最大值卻小于1Nagelkerke提出一種logistic回歸的調(diào)整確定系數(shù)n202maxL1R）（2max2adj2R RR27283.2

13、.2 Logistic3.2.2 Logistic回歸模型的預(yù)測準確性回歸模型的預(yù)測準確性分類表的思想：分類表的思想： 首先設(shè)定一個概率界限，如果一個觀測Xi的預(yù)測發(fā)生概率 大于這一界限，就將其界定為預(yù)測發(fā)生，否則認為預(yù)測不發(fā)生。 這樣，所有的觀測被分為預(yù)測發(fā)生和預(yù)測不發(fā)生兩類，從而可以建立一個22的交互表來比較預(yù)測情況與實際情況。iP2930LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.Logistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic. Logist

14、ic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷31四、四、 LogisticLogistic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷LogisticLogistic回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗l WaldWald檢驗檢驗l 似然比檢驗似然比檢驗LogisticLogistic回歸參數(shù)的的置信區(qū)間回歸參數(shù)的的置信區(qū)間l LogisticLogistic回歸系數(shù)的置信區(qū)間回歸系數(shù)的置信區(qū)間l發(fā)生比率的置信區(qū)間發(fā)生比率的置信區(qū)間324.1 Logistic4.1 Logistic回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗WaldWald檢驗

15、檢驗 該檢驗是基于在大樣本情況下值服從正態(tài)分布的性質(zhì)。 其中 為 的標準誤。) 1 (SEW22KKKKSEZKKSE33344.1 Logistic4.1 Logistic回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗似然比檢驗似然比檢驗 354.2 Logistic4.2 Logistic回歸參數(shù)的的置信區(qū)間回歸參數(shù)的的置信區(qū)間LogisticLogistic回歸系數(shù)回歸系數(shù) 的置信區(qū)間為：的置信區(qū)間為：發(fā)生比率的置信區(qū)間發(fā)生比率的置信區(qū)間kk2/kSEZk2/kk2/kSEZSEZe,e36LogisticLogistic回歸模型回歸模型一一. .模型的引進模型的引進二二.Logistic.L

16、ogistic回歸模型估計回歸模型估計三三. Logistic. Logistic回歸模型的評價回歸模型的評價四四. Logistic. Logistic回歸系數(shù)的統(tǒng)計推斷回歸系數(shù)的統(tǒng)計推斷五五. Logistic. Logistic回歸診斷回歸診斷37五五. Logistic. Logistic回歸診斷回歸診斷多重共線性的診斷多重共線性的診斷異常值的診斷異常值的診斷38多重共線性的診斷多重共線性的診斷相關(guān)系數(shù)矩陣容忍度方差膨脹因子由于只關(guān)心自變量之間的關(guān)系，所以可以通過線性回歸得到容忍度指標。2xkR1TOLTOL1VIF 39異常值的診斷（一）異常值的診斷（一）標準化殘差（標準化殘差（Pe

17、arsonPearson殘差）殘差）lyj為第j個協(xié)變量組合的陽性觀察值個數(shù)lnj為第j個協(xié)變量組合的觀察單位數(shù)lPj為第j個協(xié)變量組合的概率估計值l一般認為殘差值超過2則可能為異常點)p1 (pnpnyejjjjjjj40異常值的診斷（二）異常值的診斷（二）DevianceDeviance殘差殘差l其中sgn表示此式的正負號與（yj-njpj）的相同l一般認為殘差值超過2則可能為異常點jjjjjjjjjjjjjip1nynlnynpnylny2pnysgnd41例題：高中畢業(yè)生繼續(xù)進入大學學習的可能性的影響因素如果一個高中畢業(yè)生升入了大學，則y=1；如果沒有升入大學，則y=0。P為高中畢業(yè)后升入大學的概率。自變量為性別Gender（1為男性，0為女性），高中類型Keysch（1為重點中學、0為普通中學），高中成績Meangr。前兩個為虛擬變量， Meangr為連續(xù)變量。Logistic回歸模型為：MeangrKeyschGender)p1p(ln321042數(shù)據(jù)43在SPSS中點擊Analyze Regression BinaryLogistic 44r0.425Meangh0.913Keyscr0.866Gende-1.757)p1p(ln最后的回歸結(jié)果為：45Thankyou！46最大似然估計的性質(zhì)最大似然估計的性質(zhì)在最大似然估計的假設(shè)條件滿足的情