1、ROC【receiver operating characteristic】，譯為“接收者工作特征”，二戰(zhàn)時期用于表示信號檢測特性時創(chuàng)造的術(shù)語。 ROC曲線研究歷史 1950s 雷達信號觀測能力評價 1960s中期 實驗心理學(xué)、心理物理學(xué) 1970s末與1980s 診斷醫(yī)學(xué),ROC的涵義與起源,ROC曲線是顯示分類模型真陽率（靈敏度）和假陽率（虛警率）之關(guān)系的一種圖形化方法，ROC曲線可以用于全面評價一個分類器。 考慮一個二分問題，即將實例分成正類（positive）或負類（negative）。對一個二分問題來說，會出現(xiàn)四種情況。如果一個實例是正類并且也被預(yù)測成正類，即為真陽類（True po

2、sitive）,如果實例是負類被預(yù)測成正類，稱之為假陽類（False positive）,ROC曲線評價診斷試驗的重要性,所謂“金標(biāo)準(zhǔn)”是指當(dāng)前臨床醫(yī)學(xué)界公認的診斷疾病的最可靠、最準(zhǔn)確、最好的診斷方法. 臨床上常用的金標(biāo)準(zhǔn)有組織病理學(xué)檢查（活檢、尸檢）、手術(shù)發(fā)現(xiàn)、影像診斷（CT、核磁共振、彩色B 超）、病原體的分離培養(yǎng)以及長期隨訪所得的結(jié)論。金標(biāo)準(zhǔn)一般是特異性診斷方法，可以正確區(qū)分為“有病”和“無病”,True Positive Rate , TPR 或靈敏度（sensitivity） TPR = TP /（TP + FN） 正樣本預(yù)測結(jié)果數(shù) /實際正樣本數(shù) False Negative Ra

3、te , FNR 或漏診率、漏報率FNR = FN /（TP + FN） 被預(yù)測為負的正樣本結(jié)果數(shù) /實際正樣本數(shù) False Positive Rate , FPR 或誤診率/虛警率FPR = FP /（FP + TN） 被預(yù)測為正的負樣本結(jié)果數(shù) /實際負樣本數(shù) True Negative Rate , TNR 或特異度（specificity） TNR = TN /（TN + FP） 負樣本預(yù)測結(jié)果數(shù) /實際負樣本數(shù),診斷試驗中常用的評價指標(biāo),例13.2 表13.2 ECG診斷試驗的結(jié)果,例13.2 表13.2 ECG診斷試驗的結(jié)果,例13.2 表13.2 ECG診斷試驗的結(jié)果,例13.2

4、 表13.2 ECG診斷試驗的結(jié)果,醫(yī)生最關(guān)心的問題： 1. 試驗陽性時患病的概率多大？ 2. 試驗陰性時不患病的概率多大？ 3. 如何選擇合適的診斷界值，做出合理的診斷，使患者獲得最好的處理,在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度，選擇最佳診斷界值。ROC曲線提供了很好的臨界點選擇工具。,靈敏度,特異度,假陰性率,假陽性率,Test variable,主要任務(wù)： 計算ROC曲線工作點（Coordinate point或Operating point）（FPR, TPR） 連接相鄰兩點,ROC曲線工作點的計算與曲線繪制,連續(xù)型數(shù)據(jù)的ROC曲線工作點（TPR，F(xiàn)PR）計算,將這9

5、個數(shù)據(jù)從大到小排列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表,表133 假想的連續(xù)型數(shù)據(jù),有序分類數(shù)據(jù)的ROC曲線工作點（TPR，F(xiàn)PR）計算,將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四格表對應(yīng)的ROC曲線的工作點見下表。,（1）ROC曲線上的每一個點對應(yīng)于一個threshold，大于這個值的實例劃歸為正類，小于這個值則劃到負類中. Threshold最大時，把每個實例都預(yù)測為負類， TPR=0,FPR=0，對應(yīng)于原點； Threshold最小時

6、，把每個實例都預(yù)測為正類，TPR=1,FPR=1，對應(yīng)于右上角的點(1,1) 可以根據(jù)對靈敏度和特異度的特定要求，確定ROC曲線一適當(dāng)?shù)墓ぷ鼽c，確定最好的決策閾值。 （2）理想情況下，TPR應(yīng)該接近1，F(xiàn)PR應(yīng)該接近0。 一個好的分類模型應(yīng)該盡可能靠近圖形的左上角， 而一個隨機猜測模型應(yīng)位于連接點（TPR=0,FPR=0）和（TPR=1,FPR=1）的主對角線上。 （3） ROC曲線下方的面積（AUC）提供了評價模型平均性能的另一種方法。如果模型是完美的，那么它的AUG = 1，如果模型是個簡單的隨機猜測模型，那么它的AUG = 0.5，如果一個模型好于另一個，則它的曲線下方面積相對較大。 R

7、OC曲線可以全面評分類器的性能。,FPR,FNR,完美與無用的ROC曲線,真陽性率 即 靈敏度,假陽性率 即 1特異度,機率線(chance line)(diagonal reference line),診斷準(zhǔn)確度較低（,0.7,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.664,A,0.830,診斷準(zhǔn)確度較高,（,0.9,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.938,ROC曲線下面積（Area）與診斷準(zhǔn)確度高低 高 0.90