第6章分類預(yù)測模型評估模型評估一個(gè)好的分類算法不僅要能夠很好的擬合訓(xùn)練數(shù)據(jù)，而且對未知樣本也要能準(zhǔn)確分類。模型建立之后，需要對其性能進(jìn)行評估準(zhǔn)確性評估有效性評估2評價(jià)是否模型能夠在一定的程度上滿足準(zhǔn)確性的標(biāo)準(zhǔn)評價(jià)是否模型能夠處理實(shí)際的問題（數(shù)據(jù)）分類算法的準(zhǔn)確性評估的主要采用混淆矩陣、ROC曲線、提升度等方法和指標(biāo)。二元分類評估考慮一個(gè)二分問題，實(shí)例有正

(positive)

類和負(fù)

(negative)

類兩個(gè)類別。進(jìn)行分類預(yù)測分析時(shí)，會出現(xiàn)四種情況：實(shí)例是正且被預(yù)測為正，記為TP(truepositive)，稱為真陽性；實(shí)例為正而被預(yù)測為負(fù)，記為FN(falsenegative)，稱為假陰性；實(shí)例為負(fù)而被預(yù)測為正，記為FP(falsepositive)，稱為假陽性；實(shí)例為負(fù)且被預(yù)測為負(fù)，記為TN(truenegative)，稱為真陰性；3二元分類評估對各種預(yù)測情況的實(shí)例數(shù)進(jìn)行統(tǒng)計(jì)，并填入混淆矩陣，則可以根據(jù)這組數(shù)據(jù)，計(jì)算分類預(yù)測的幾項(xiàng)評價(jià)指標(biāo)。4預(yù)測分類合計(jì)PositiveNegative真分類Positivef++f+-Negativef-+f--合計(jì)TPFNFPTNTP+FPFN+TNTP+FNFP+TNTP+FP+TN+FN預(yù)測正預(yù)測負(fù)真正真負(fù)樣本總數(shù)評價(jià)指標(biāo)模型性能的評價(jià)指標(biāo)有很多，目前應(yīng)用較為廣泛的有準(zhǔn)確度、精確度、靈敏度、召回率、特異性等5較為偏向于非對稱二元分類算法評估指標(biāo)評價(jià)指標(biāo)6準(zhǔn)確度Accuracy對于整個(gè)數(shù)據(jù)集(包括陽性和陰性數(shù)據(jù))，預(yù)測總共的準(zhǔn)確比例，表示算法對真陽和真陰性樣本分類的正確性。準(zhǔn)確率是一個(gè)較為簡明和直觀的評價(jià)指標(biāo)，但如果在正負(fù)分類樣本不平衡的情況下，仍有較大的缺陷。評價(jià)指標(biāo)7錯(cuò)誤率Errorrate描述被分類器錯(cuò)分的比例。有：Error_rate=1-Accuracy精確度Precision表示被分為正例的示例中實(shí)際為正例的比例。評價(jià)指標(biāo)8靈敏度Sensitivity表示在分類為陽性的實(shí)例，占所有真正陽性實(shí)例的比例，反映了分類算法對真陽性樣本分類的準(zhǔn)確度。靈敏度越大表示分類算法對真陽性樣本分類越準(zhǔn)確。召回率Recall真陽性率TPR(truepositiverate)評價(jià)指標(biāo)9假陽性率FPR(falsepositiverate)

評價(jià)指標(biāo)10特異性Specificity

真陰性率TNR(truenegativerate)評價(jià)指標(biāo)評估基于對稱屬性分類（如分類屬性為對稱的Nominal屬性）的準(zhǔn)確性的綜合評價(jià)指標(biāo)馬修相關(guān)系數(shù)F度量等等11評價(jià)指標(biāo)馬修相關(guān)系數(shù)MCC(Mathewcorrelationcoefficient)MCC表征實(shí)際與預(yù)測的分類結(jié)果的關(guān)聯(lián)程度，即算法結(jié)果的可靠性。計(jì)算公式為：12值域范圍為[-1，1]當(dāng)兩個(gè)類別的樣本數(shù)量相差較大時(shí)，用MCC來衡量預(yù)測效果比用準(zhǔn)確度accuracy更為合理。當(dāng)FP和FN均為0時(shí)，MCC=1，表示分類結(jié)果完全正確；當(dāng)TP和TN均為0是，MCC=-1，表示分類結(jié)果完全錯(cuò)誤。評價(jià)指標(biāo)13當(dāng)Precision和Recall指標(biāo)得出的結(jié)論有時(shí)出現(xiàn)背離時(shí)，需要對二者進(jìn)行綜合考慮，最常見的指標(biāo)就是F-Measure(也稱F-Score)。F-Measure是Precision和Recall加權(quán)調(diào)和平均：β為參數(shù)值，當(dāng)β=1時(shí)，即為最常見的F1-measure了：F1綜合了Precesion和Recall的評估結(jié)果，當(dāng)F1較高時(shí)則能說明試驗(yàn)方法比較有效。predictednonoyesyes【例】outlooktemperaturehumiditywindyplaysunnyhothighTRUEnoovercasthothighFALSEyesrainymildhighFALSEyesrainycoolnormalFALSEyesrainycoolnormalTRUEnoovercastcoolnormalTRUEyesrainymildnormalFALSEyessunnymildnormalTRUEyesovercasthotnormalFALSEyesrainymildhighTRUEno14outlooktemperaturehumiditywindyactualrainymildhighTRUEnoovercastmildhighTRUEyessunnymildnormalTRUEyesovercasthotnormalFALSEyes測試數(shù)據(jù)集【例】15outlooktemperaturehumiditywindyactualpredictedrainymildhighTRUEnonoovercastmildhighTRUEyesnosunnymildnormalTRUEyesyesovercasthotnormalFALSEyesyesclass=no為positive/class=yes為negativeclass=yes為positive/class=no為negative

(a)class=no為positive

預(yù)測分類positive(class=no)negative(class=yes)真正分類positive(class=no)TP=1FN=0negative(class=yes)FP=1TN=2(b)class=yes為positive預(yù)測分類positive(class=yes)negative(class=no)真正分類positive(class=yes)TP=2FN=1negative(class=no)FP=0TN=1評估的綜合結(jié)果，可按測試數(shù)據(jù)中class=no和class=yes的實(shí)例數(shù)量，進(jìn)行加權(quán)平均求得。本例可得(TPRwa，F(xiàn)PRwa)=(0.750，0.083)。用上述數(shù)據(jù)建立的分類模型經(jīng)測試評估，結(jié)果良好。ROCROC曲線(receiveroperatingcharacteristiccurve)也稱為受試者工作特性曲線或接受者操作特性曲線繪制在二維的ROC空間中縱坐標(biāo)：真陽性率TPR（即靈敏度）橫坐標(biāo)：假陽性率FPR（即1-specificity）通過ROC曲線的位置和變化情況，可以對分類預(yù)測結(jié)果的真陽性率TPR/假陽性率FPR的對應(yīng)變化進(jìn)行掌握和評價(jià)。16ROC17對于離散型的分類器，例如決策樹分類器，每一組測試數(shù)據(jù)集將產(chǎn)生一組(TPR，F(xiàn)PR)坐標(biāo)數(shù)據(jù)點(diǎn)，可對應(yīng)地標(biāo)注在ROC空間坐標(biāo)上。(TPR=1，F(xiàn)PR=0)

是理想的分類預(yù)測特性(TPR=0.7，F(xiàn)PR=0.7)

表示分類預(yù)測結(jié)果完全隨機(jī)ROC點(diǎn)位于對角線上(TPR=0.2，F(xiàn)PR=0.6)

FPR較大，TPR較小，結(jié)果難以接受ROC點(diǎn)位于對角線下方【例】中，(TPRwa,FPRwa)=(0.750,0.083)對應(yīng)PD例點(diǎn)，指標(biāo)較好。PB

vs

P例？ROC18ROC【例】19真實(shí)值001001011預(yù)測概率值0.10.30.30.450.450.550.60.850.95分類器的實(shí)例類別真實(shí)值以及輸出的預(yù)測概率值對于給定的閾值，當(dāng)預(yù)測概率值大于閾值時(shí)，判定為類別1(positive)，否則為0(negative)。設(shè)置不同的閾值，對預(yù)測類別進(jìn)行判定，并根據(jù)所得到的TP、FN、FP、TN數(shù)值，可以計(jì)算得到7組(TPR，F(xiàn)PR)值：閾值0.090.240.390.540.690.840.99TP4433220FN0011224FP5431000TN0124555TPR110.750.750.50.50FPR10.80.60.2000ROC【例】20閾值0.090.240.390.540.690.840.99TP4433220FN0011224FP5431000TN0124555TPR110.750.750.50.50FPR10.80.60.2000ROC曲線所覆蓋的面積即為AUC，可以直觀的判斷分類器的性能。AUC越大則性能越好。對于該例的AUC值為0.8。ROC21ROC的評估方法將靈敏度與特異性以圖示方法結(jié)合在一起，可直觀地觀察和判別分類算法的特異性和敏感性之間的關(guān)系，是算法準(zhǔn)確性的綜合代表，具有簡單、直觀的特點(diǎn)。ROC不固定分類界值，允許中間狀態(tài)存在，利于使用者結(jié)合專業(yè)知識，權(quán)衡漏判與誤判的影響，選擇最為符合實(shí)際應(yīng)用要求的參數(shù)值。借助ROC，也可在共同標(biāo)尺下直觀地比較不同的分類算法的效果（ROC越凸近左上角表明價(jià)值越大，曲線下面積可評價(jià)算法準(zhǔn)確性）PRCPRC(precision-recallcurve)是以recall為橫坐標(biāo)，precision為縱坐標(biāo)的曲線圖形ROC中的FPR值受到Positive的實(shí)例和Negative的實(shí)例數(shù)量對比的影響例如Negative的實(shí)例比例很大的情況下，F(xiàn)PR必然較小，對真實(shí)情況產(chǎn)生偏差Precision綜合考慮了TP和FP的值，因此在極度不平衡的數(shù)據(jù)下（Positive的樣本較少），PR曲線可能比ROC曲線得出更為準(zhǔn)確的結(jié)論22PRC23【例】真實(shí)值001001011預(yù)測概率值0.10.30.30.450.450.550.60.850.95分類器的實(shí)例類別真實(shí)值以及輸出的預(yù)測概率值閾值00.20.3750.50.5750.7250.90.975TP44332210FN00112234FP54311000TN01244555recall1110.750.50.50.250precision0.440.500.500.750.671.001.001對于給定的閾值，當(dāng)預(yù)測概率值大于閾值時(shí)，判定為類別1(positive)，否則為0(negative)。設(shè)置不同的閾值，對預(yù)測類別進(jìn)行判定，并根據(jù)所得到的TP、FN、FP、TN數(shù)值，可以計(jì)算得到8組(recall，precision)值：PRC24【例】閾值00.20.3750.50.5750.7250.90.9