1、實驗的診斷性能評價楊婷婷12級檢驗3班2012081316前言本文系統(tǒng)闡述了診斷試驗的評價方法、常用的評價指標一一診斷靈敏度、診斷特異度、預測值、似然比等及其優(yōu)缺點、R0C曲線在診斷試驗評價中的應用情況及存在的問題,為診斷試驗的進一步評價研究提供了依據。關鍵詞：診斷試驗,R0C曲線，閾值，靈敏度，特異度，預測值，似然比診斷實驗診斷試驗是指對疾病進行診斷的試驗方法，它不僅包括各種實驗室檢查，還包括各種影像學診斷，如X線診斷、CT等。應用診斷試驗有助于科學地選擇診斷方法、正確地分析和評價診斷結果。此外，診斷試驗還可用于病例隨訪、預后估計、療效判斷以及治療的副作用檢測等，而診斷試驗提供的這些信息的可

2、靠性大小依賴于診斷試驗的準確度評價結果。2.1臨床診斷試驗的數據與患病情況的關系診斷試驗分定性試驗和定量試驗。定性試驗的結果分為陽性和陰性結果，定量試驗的結果為一系列連續(xù)的計量數據，這些數據可被分界值將其分為兩個部分，也可判斷為陽性和陰性結果。一般情況下,診斷試驗的結果和患某病的情況之間可能出現(xiàn)四種關系：真陽性(Truepositive,TP)指經試驗而被正確分類的患者的數目。假陽性(Falsepositive,FP)指經試驗而被錯誤分類的非患者的數目。真陰性(Truenegative,TN)指經試驗而被正確分類的非患者的數目。假陰性(Falsenegative,FN)指經試驗而被錯誤分類的患

3、者的數目。2.2診斷性能評價實驗的設計原理目前，診斷性能評價實驗的研究設計大多采用橫斷面研究方案。在進行評價實驗前，首先需確定一個疾病診斷的金標準，金標準是指當前為臨床醫(yī)學界公認的診斷某種疾病最可靠的診斷方法，可通過活檢、尸檢、外科手術、隨訪等所作出的決定性診斷，又稱確診試驗，如診斷腫瘤的金標準一般是病理學檢查，診斷冠心病的金標準是冠狀動脈造影等；確立金標準后，再與診斷試驗同步盲法測量研究對象，據金標準將研究對象劃分為“有某病”、“無某病”，據診斷試驗的臨界值將其劃分為“陽性”、“陰性”結果，然后整理出相應的四格表如表1計算準確性、有效性等評價指標。表1臨床檢驗方法診斷性能評價試驗結果四格表金

4、標準(標準診斷)合計有病無病診斷性+a真陽性(TP)b假陽性(FP)a+b試驗c假陰性(FN)d真陰性(TN)c+d合計a+c=nib+d=n?N3臨床生化診斷試驗的診斷性能評價指標3.1臨床生化診斷試驗的準確性評價指標準確性(accuracy,AC),又稱真實性(validity)是診斷試驗測量值與實際值的符合程度，即判斷受試者有病與無病的能力。如敏感度、特異度、準確度等。3.1.1敏感度敏感度(Sensitivity),又稱真陽性率(Truepositiverate),是指在某疾病的患者中，用臨床檢驗方法檢出患者的百分率。其計算公式為：敏感度=xlOO%a+c高靈敏度的檢驗方法常應用于：擬

5、診為病情嚴重但療效好的疾病，以防漏診；擬診為有一定療效的惡性腫瘤，以便早期診斷、早期治療；該病情可由多種疾病引起，用高靈敏度的檢驗方法可以排除某一疾病的可能性；普查或定期健康體檢，用于篩選某一疾病。3.1.2特異度特異度(Specificity)，又稱真陰性率(Truenegativerate),是指在非某疾病的患者中，用臨床檢驗方法排除患者的百分率，其計算公式為：特異度=-xl00%b+a高特異性的檢驗方法常應用于：擬診患有某病的概率較大時，以便確診；擬診疾病嚴重但療效和預后均不好的疾病，以防誤診；擬診疾病嚴重且根治方法具有較大損害時，需確診，以免造成病人不必要的損害。3.1.3漏診率和誤診

6、率漏診率，又稱假陰性率(Falsenegativerate),即將患者錯誤診斷的百分率，其計算公式為：漏診率二1-靈敏度二丄xlOO%。a+c誤診率，又稱假陽性率(Falsepositiverate),即將非患者錯誤診斷的百分率，其計算公式為：誤診率二1-特異度=-xl00%ob+a漏診率、誤診率越小，說明該臨床檢驗方法的性能就越好。3.1.4準確度準確度又稱總符合率、診斷效率(diagnosticefficiency,DF),是指在患病和非患病者中，用診斷試驗能準確劃分患者和非患病者的百分比。反映診斷試驗正確診斷患者與非患者的能力。其計算公式為:準確度二齊巡7X100%。理想試驗的診斷準確度

7、為100%o準確度高，真實性好。受發(fā)病率的影響很大。3.1.5準確性評價指標之間的關系由于靈敏度與漏診率、特異性與誤診率存在互補關系漏診率和誤診率可以通過靈敏度與特異度體現(xiàn)出來并求得，因此，靈敏度與特異度是評價一項診斷試驗真實性的兩個基本指標。從理論上講，一項理想的診斷試驗其靈敏度、特異度最好均為100%,即假陽性與假陰性均為零，無一漏診與誤診。靈敏度和特異性之間的關系對于一項診斷試驗，可以通過調整分界值提高靈敏度或特異性，但二者不能同時提高。提高一個，必然降低另一個，因此，選擇分界時必須權衡，使兩者得到兼顧。在大多數情況下，如單獨使用敏感性很高的診斷試驗，雖然漏診率低，但由于其特異性相對較差

8、，結果誤診率必然較高；如單獨使用特異性很高的試驗診斷，雖然誤診率低，但由于其敏感性相對較低，結果漏診率必然較高。此時可采用敏感度與特異性均高的試驗相對結合的方法。3.2臨床生化診斷試驗的有效性評價指標有效性評價指標包括預測值、流行率和似然比等。3.2.1預測值預測值(predictivevalue,PV)是指一項診斷試驗能夠確定或排除某疾病存在與否的診斷概率，稱為預測值(predictivevalue,PV),又稱預告值，也稱為試驗后診斷為患某病的可能性即驗后概率(posttestprobability),包括陽性預測值和陰性預測值，分別表示診斷試驗結果確定或排除某種疾病存在與否的診斷概率。預

9、測值受流行率的影響，不同流行率的人群中疾病的預告值不同。3.2.1.1陽性預測值陽性預測值(positivepredictivevalue,PPV或+PV)表示在診斷試驗結果為陽性的人數中，真正患病者所占的百分率，即試驗結果陽性者屬于真病例的概率。也叫患病的試驗后可能性，其計算公式為：陽性預測值二斗xlOO%ci+b理想試驗的陽性預測值為100%o陽性預測值主要受流行率的影響，流行率越高，則陽性預測值也高；臨床醫(yī)師根據某病的流行率和診斷試驗的陽性結果就能預測就診者患某病的可能性大?。划斄餍新室欢〞r，診斷試驗的特異性越高，陽性預測值越準確。3.2.1.2陰性預測值陰性預測值(negativepr

10、edictivevalue,NPV或一PV)表示在診斷試驗結果為陰性的人數中，非患病者所占的百分率，即試驗結果陰性者屬于非病例的概率。也叫非患病的試驗后可能性。其計算公式為：陰性預測值二亠xlOO%c+d理想試驗的陰性預測值為100%o當流行率一定時，診斷試驗的敏感性越高，則陰性預測值越高。2.2流行率流行率(Prevalence,?)表示在受檢對象的總人數中，真正患病者所占的百分率，也叫患病的試驗前可能性或患病率。其計算公式為：流行率二尹黯淙X100%流行率可從流行病學調查資料查知，也可以是臨床醫(yī)師在長期的醫(yī)療實踐中，對門診就診者患某病的比例的經驗認識；由于在不同的地區(qū)、不同級別的醫(yī)院、普通

11、醫(yī)院和?？漆t(yī)院，其就診者的組成差別可能很大，因此，同樣的疾病在不同醫(yī)院的流行率也不同，臨床醫(yī)師必須根據具體情況確定流行率，才能得出較為準確的陽性預測值。預測值與流行率的關系：診斷試驗的預測值與試驗的靈敏度、特異度及受試人群中所研究疾病的流行率有關。三者有下列關系：特異性越高，假陽性率越低，陽性預測值越高；靈敏度越高，陰性預測值越高；受檢人群研究疾病流行率越高，假陽性率越低，陽性預測值越高，陰性預測值越低。流行率對陽性預測值的影響見表2。由表可以看出，即使診斷敏感度和特異度都達到99%,只有在流行率達到50%時，才有較高的陽性預測值。所以在臨床診斷中，應先詢問病史，后對懷疑的病人做診斷試驗。同時

12、也說明部分臨床上很好的試驗，用作普查效果并不理想。表2流行率、靈敏度和特異度對某疾病+PV的影響流行率（）十PV(%)靈敏度=95特異度=95靈敏度=99特異度=990.11.99.01.016.150.02.027.966.95.050.083.950.095.099.0根據某試驗的靈敏度、特異度和群體中研究疾病的流行率，預測值亦可以用Bayes理論公式估計：流行率x靈敏度十PV=流行率X靈敏度+（1流行率）x（1特異度）“（1-流行率）X特異度pv=（1流行率）X特異度+流行率X（1靈敏度）3.2.3似然比預測值和流行率隨檢查人群的不同而改變，診斷敏感性和特異性雖不隨被檢對象中患病者與非患

13、病者的不同比例而改變，但敏感性和特異性難于幫助醫(yī)生直接判斷就診者的患病可能性，因而引進似然比的概念。驗后概率較之驗前概率的符合程度和變化方向取決于診斷試驗的特性，表征這種特性的量化指標稱為似然比（likelihoodratio,LR）。是診斷試驗結果的某一特定水平在患病者中出現(xiàn)的可能性與在未患病者中出現(xiàn)的可能之比。似然比包括陽性似然比和陰性似然比。似然比性質穩(wěn)定，不因流行率的改變而改變可直接評價診斷試驗的好壞，但在評價和比較試驗性能方面不是一種特別好的工具。3.2.3.1陽性似然比陽性似然比(positivelikelihoodratio,+LR或LR(+)是指用診斷試驗檢測患病人群的陽性率與

14、非患病人群的陽性率Z間的比值，即真陽性率與假陽性率之比。其計算公式為:陽性似然比二靈敏度1-特異度a(b+d)b(a+c)可用以描述診斷試驗陽性時，患病與不患病的機會比。LR(+)提示正確判斷為陽性的可能性是錯誤判斷為陽性的可能性的倍數。LR(+)數值越大，提示能夠確診患有該病的可能性越大。LR(+)1.0,其超過1.0的大小是當試驗結果為陽性時，試驗提示患病可能性增高能力的一種度量。LR(+)=2.0-5.0,認為該試驗不太好；超過10.0，認為是好的。因真陽性率為敏感度，假陽性率與特異度成互補關系，所以，也可表示為敏感度與仃一特異度)之比。3.2.3.2陰性似然比陰性似然比(negativ

15、elikelihoodratio,LR或LR(_)是指用診斷試驗檢測患病人群屮的陰性率與非患病人群的陰性率之間的比值，即假陰性率與真陰性率之比。其計算公式為:陰性似然比二1-靈敏度特異度c(b+d)d(a+c)可用以描述診斷試驗陰性時，患病與不患病的機會比。LR(-)提示錯誤判斷為陰性的可能性是正確判斷為陰性的可能性的倍數。LR()數值越小，提示能夠否定患有該病的可能性越大。LR(-)1.0,其小于1.0的大小是當試驗結果為陰性時，試驗提示患病可能性降低能力的一種度量。LR（）=0.50.2，認為該試驗不太妬而小于0.1,可認為是好的試驗。陰性似然比也可表示為（1-敏感度）與特異度之比。閾值（

16、cutoffvalue）又稱分界值、臨界值、鑒別值、指定值等，指劃分診斷試驗結果正常與異常的界值。參考值概念的提出雖然澄清了正常值概念的模糊觀點，但是當用醫(yī)學試驗作為過篩試驗、確診或排除疾病等不同用途時，單一個參考值不能滿足不同的要求。為了提高診斷指標臨床使用效果，不僅要研究基本健康者的參考值，也要研究其他無關疾病患者的參考值及有關疾病在不同病情中的測定數據，即根據不同的目的，研究健康（或稱非病理的）與病理的分界水平。4.1閾值的選擇閾值高低的確定直接影響診斷試驗評價指標。當健康人的分布與病人的分布沒有重疊，如圖1A所示，可以取中間一點（D點）為閾值,這時假陽性和假陰性均為0,這是一種罕見的理

17、想情況，實際上許多診斷試驗健康人與病人的分布有交叉。這時閾值定在哪里是一個值得研究的問題。由圖1B可知，當D向右移動，假陽性減少，假陰性增加，敏感性降低，特異性增加；反之，當D向左移動，假陽性增加，假陰性減少，敏感性增大，特異性減少。DL：醫(yī)學決定水平，D：臨界值，TN：真陰性，TP：真陽性，F(xiàn)N：假陰性，F(xiàn)P：假陽性圖1正常人和病人分布曲線應當注意的是，在少數情況下正常人的測定值分布高于病人的測定值分布時，如缺鐵性貧血患者的血清鐵蛋白含量明顯低于正常人，此時的閾值制定偏高或偏低后的指標變化情況正好與圖1B相反。另外，還有一種低值某一類疾病病人、正常人、高值另一類疾病病人三條交叉分布曲線形式，

18、有2個臨界值，應分開后按上述方式討論。2分界值的選擇方法一般是先初步確定幾個閾值，分別計算真陽性、真陰性、假陽性、假陰性數值，進一步計算診斷敏感性、診斷特異性等指標，最后根據早期診斷、療效觀察、流行病學調查等各種不同目的確定閾值。受試者工作特征曲線醫(yī)學診斷試驗中，常用的評價診斷試驗準確性的指標是靈敏度與特異度。由于它們依賴于診斷界值點的選取，改變截斷點值可以提高診斷指標的靈敏度，但同時會降低其特異度；反之，提高診斷指標的特異度，則需要以降低靈敏度為代價。以診斷界值作為截斷點，靈敏度、特異度與診斷界值的關系見圖2,由圖可知，隨著診斷界值的變化，靈敏度、漏診率、特異度以及誤診率均會發(fā)生相應的變化。

19、這樣,僅采用某一特定界值對應的靈敏度與特異度反映試驗的診斷能力就不太全面。針對以上問題，研究者們引入了ROC分析(receiveroperatingcharacteristic,ROC),即受試者工作特征分析，也有人稱其為相對工作特征(relativeoperatingcharacteristic)。美國生物統(tǒng)計百科全書中關于ROC的定義是：“對于可能或將會存在混淆的2種條件或自然狀態(tài),需要試驗者、專業(yè)診斷學工作者以及預測工作者作出精細判別，或者準確決策的一種定量方法”C13o5.1受試者工作特征曲線分析的主要步驟5.1.1ROC曲線繪制依據專業(yè)知識，對疾病組和參照組測定結果進行分析，確定測定

20、值的上下限、組距以及截斷點(cut-offpoint)(或判定值),按選擇的組距間隔列累積頻數分布表，分別計算出所有截斷點的敏感性、特異性和假陽性率(1特異性)。以敏感性為縱坐標代表真陽性率，(1特異性)為橫坐標代表假陽性率，作圖繪成ROC曲線。通常的臨床生化檢查，結果多為連續(xù)的變量，可以選擇任意點為判定值計算敏感性和假陽性率。按診斷等級進行分類評價時，最少應將診斷結果分為五級：正常、大致正常、可疑、大致異常和異常。5.1.2ROC曲線評價統(tǒng)計量計算ROC曲線下面積的估計有參數法和非參數法兩種2】,均適用于結果為連續(xù)性資料或等級資料的診斷試驗準確度的評價。5.1.2.1非參數法非參數法是根據實

21、驗結果直接計算繪制ROC曲線所需的工作點（假陽性率，真陽性率）即（1特異度，靈敏度），由此繪制的ROC曲線稱為經驗ROC曲線，其曲線下面積可由梯形規(guī)則計算得到,Bamber于1975年發(fā)現(xiàn):經驗ROC曲線下面積等價于患者和非患者實驗結果秩和檢驗的MannWhitney檢驗統(tǒng)計量，因而可由MannWhitney統(tǒng)計量估計曲線下面積的大小,但在診斷試驗檢測結果相同值較多（例如結果為有序資料的影像學檢查）時及樣本量較小時，其結果常小于真實的面積4】。然而非參數法因其沒有限制條件，所以適用于任何診斷試驗ROC曲線下面積的估計。非參數法估計ROC曲線下面積可通過SPSS、SAS等統(tǒng)計軟件實現(xiàn)。5.1.2

22、.2參數法曲線下面積估計的參數法是假設患者和非患者的實驗結果均符合正態(tài)分布，根據試驗結果擬合雙正態(tài)模型,由模型擬合的ROC曲線稱為擬合ROC曲線或光滑ROC曲線，該曲線可用2個參數表示，由2個參數可得到繪制光滑ROC曲線所需的工作點及曲線下面積的估計值，而且得到的面積估計值一般是無偏的。雙正態(tài)模型的兩個參數可由最大似然估計法得到。參數法的應用條件為:患者與非患者的試驗結果服從雙正態(tài)分布，但這是指ROC曲線的函數形式,而不是指試驗結果的基本分布，因為變量變換幾乎可使任何試驗結果轉換為雙正態(tài)分布，而且在樣本量較大時參數法與非參數法估計的ROC曲線下面積常常近似相等。參數法估計ROC曲線下面積的公式

23、為:A=T(al+b2)其中A為ROC曲線下的面積,a、b分別為雙正態(tài)模型的2個參數,T表示標準正態(tài)分布函數。參數法估計ROC曲線下面積可通過軟件ROCKITO.9B來實現(xiàn)。參數法估計ROC曲線下面積的缺點是當樣本量較小時，或試驗檢測值及其變量變換值均不符合參數法的應用條件時,結果可能會嚴重偏離真實值，此時應增人樣本量或改用非參數法估計曲線下面積習。ROC曲線下面積的用途有兩個，一是比較不同檢測方法的優(yōu)劣。面積較大者為優(yōu)。另一個是判斷ROC曲線的診斷準確度或預測效率。ROC曲線下面積的取值范圍為0.5-1,AUC0.5不符合真實情況，在實際中極少出現(xiàn)，0.5表明完全無診斷價值，1為最理想值。在

24、醫(yī)學領域中一般認為:ROC曲線下面積在0.5-0.7之間時診斷價值較低，在0.7-0.9之間時診斷價值中等，在0.9以上時診斷價值較高。5.1.3兩種診斷方法的統(tǒng)計學比較這種比較可以在相同的特異性下比較它們的敏感性或在相同的敏感性下比較它們的特異性。但一個全面的方法是比較整個ROC圖。通過計算ROC曲線下的面積，不同試驗之間的臨床準確性可以通過它們的各自面積進行定量比較，但單看面積這一數值,可能丟失一些信息,如兩條ROC曲線形狀不同，但它們有相似的面積。兩種診斷方法的比較，根據不同的試驗設計可采用以下兩種方法：當兩種診斷方法分別在不同受試者身上進行時，采用成組比較法。如果兩種診斷方法在同一受試

25、者身上進行時，采用配對比較法。5.2受試者工作特征曲線的主要作用ROC曲線能很容易地查出任意界限值時的對疾病的識別能力ROC曲線圖上的每一點代表某一分界值的一對敏感性和特異性，ROC曲線包含著選擇任意界限值時的敏感度和特異性。它能反映不同界限值時兩者的變化。選擇最佳的診斷界限值ROC曲線是表示靈敏度與特異度之間互相關系的一種方法,所得的曲線可以決定最佳分界值。一般多選擇曲線轉彎處，即敏感度與特異度均為較高的點為閾值。兩種或兩種以上不同診斷試驗對疾病識別能力的比較根據診斷試驗的ROC曲線，可以比較兩種或兩種以上不同診斷試驗對診斷同種疾病的可靠性，ROC曲線可以幫助醫(yī)師作出最佳選擇。一個完美的試驗

26、(病與非病兩個分布沒有重疊)的ROC圖通過左上角，其真陽性率為1.0或100%,即所有病人均顯陽性；假陽性率是0或特異性為100%,即正常人均為陰性。如兩個分布一致，不能鑒別病與非病的試驗的ROC圖是45*的對角線。大多數試驗的ROC圖是介于上述兩種極端之間。ROC曲線越靠近左上角，試驗的準確性就越高。最靠近左上角的ROC曲線的點是錯誤最少的最好閾值，其假陽性和假陰性的總數最少。在對同一種疾病的兩種或兩種以上診斷方法進行比較時，可將各試驗的ROC曲線繪制到同一坐標中，以直觀地鑒別優(yōu)劣，靠近左上角的ROC曲線所代表的受試者工作最準確。亦可通過分別計算各個試驗的ROC曲線下的面積（AUC）進行比較

27、，哪一種試驗的AUC最大,則哪一種試驗的診斷價值最佳。5.3受試者工作特征曲線的優(yōu)點與局限性5.3.1應用ROC曲線圖的優(yōu)點ROC曲線的基本思路源于統(tǒng)計學決策理論，運用ROC曲線圖進行評價具有許多優(yōu)點：（1）該方法簡單、直觀，通過圖示可觀察分析方法的臨床準確性，并可用肉眼作出判斷。（2）ROC曲線將靈敏度與特異性以圖示方法結合在一起，可準確反映某分析方法特異性和敏感性的關系，是試驗準確性的綜合代表。（3）與陽性預測值不同的是ROC曲線評價方法與群體患病率無關。但實際工作中取患者與非患者的數目相等最好。（4）ROC曲線不固定分類界值，允許中間狀態(tài)存在，利于使用者結合專業(yè)知識，權衡漏診與誤診的影響，選擇一更佳截斷點作為診斷參考值。（5）提供不同試驗之間在共同標尺下的直觀的比較,ROC曲線越凸越近左上角表明其診斷價值越大，利于不同指標間的比較。曲線下面積可評價診斷準確性。5.3.2應用ROC曲線圖的缺點（1）ROC曲線圖上顯示的不是真正的判斷值，實際的分界值通常沒有在圖上表示出來。（2）研究分析對象的數目也沒有在圖上表示出來。（3）當樣品數減少，圖形呈鋸狀和崎嶇不平，即使樣品數目大，也可能是崎嶇不平。（4）當沒有微機時，畫圖和計算均比較繁瑣。5.