正確率和錯誤率評價指標(biāo)的缺陷

分類是一種用于評估屬性的指導(dǎo)策略，強調(diào)將新的示例分配給定義的類中。對不同分類器的分類精度進行評價和比較,是分類器設(shè)計的最后階段,也是數(shù)據(jù)挖掘過程中最關(guān)鍵的步驟之一。目前普遍使用正確率和錯誤率作為分類器的分類精度評價指標(biāo),例如最小錯誤率貝葉斯分類器,該分類器是很多分類器設(shè)計的理論框架和基礎(chǔ)。在一個數(shù)據(jù)集中,盡管樣本數(shù)據(jù)非常大,但是對人們有用的數(shù)據(jù)往往非常有限,通常僅占全部數(shù)據(jù)的一小部分。這種某類樣本數(shù)據(jù)明顯少于其他樣本數(shù)量的不平衡數(shù)據(jù)集的分類問題大量存在于人們的現(xiàn)實生活和工業(yè)生產(chǎn)之中。例如,尋求電信運營商的逃離客戶,一般情況下逃離的客戶要遠遠少于非逃離客戶;利用檢測數(shù)據(jù)診斷病人的疾病,如癌癥,人們患癌癥的概率是非常低的,因此癌癥患者要遠遠少于健康的人;其他如從衛(wèi)星圖片中油井的定位、學(xué)習(xí)單詞的發(fā)音、文本自動分類、分辨惡意的騷擾電話等。在這些應(yīng)用中,人們主要關(guān)心的是數(shù)據(jù)集中的少數(shù)類分類精度,而不僅僅關(guān)注整個分類器的分類精度。在多分問題中,正確率和錯誤率僅適合互不相關(guān)的多分問題,不適合語義相關(guān)的多分問題,而語義相關(guān)多分問題廣泛存在文本分類等實際應(yīng)用中。在分類器設(shè)計中,使錯誤率達到最小是重要的,但在二分問題中,所設(shè)計出來的分類器會同時犯有“錯誤接受”和“錯誤拒絕”兩類錯誤。評價分類器好壞時,不僅要考慮到盡可能做出正確的判斷,而且還要考慮到做出錯誤判斷時會帶來什么后果。很多時候,某種錯分類會比另一種更加嚴重。本文詳細分析了正確率和錯誤率在上述不平衡數(shù)據(jù)集、語義相關(guān)多分、不同代價錯分等分類問題中存在的缺陷,郭一平、李明方等人各自提出了新的分類器評價的方法,本文建議根據(jù)具體問題的不同,綜合使用查準(zhǔn)率、查全率、漏檢率、誤檢率、F-measure和分類代價矩陣、損失函數(shù)等新的分類器分類評價指標(biāo)。通過實驗證明,新的分類評價指標(biāo)確實能很好地適應(yīng)不平衡數(shù)據(jù)集、語義相關(guān)多分、不同錯分代價等分類問題的分類器性能評價。1正確率和誤誤率的定義1.1類的混淆矩陣對于一個兩分問題,例如,一個信用卡申請要么被接受,要么被拒絕,使用如表1所示的矩陣來分析和比較所設(shè)計的分類器的分類精度。給定樣本集中的一個實例tj,tj可能被分類器計算后判定為屬于類ω或,記分類器計算后判定實例tj屬于類ω為事件M。對于tj,可能有tj∈ω或這樣所設(shè)計的分類器就會產(chǎn)生如表1所示的4種情況:正確接受:tj∈ω,M發(fā)生,表1中的a表示正確接受樣本集中類ω的實例個數(shù)。正確拒絕:,發(fā)生,表2中的d表示正確拒絕樣本集中類ω的實例個數(shù)。錯誤接受:,M發(fā)生,表2中的c表示錯誤接受樣本集中類ω的實例個數(shù)。錯誤拒絕:tj∈ω,發(fā)生,表2中的b表示錯誤拒絕樣本集中類ω的實例個數(shù)?；煜仃?Confusionmatrix),就是用于總結(jié)有指導(dǎo)分類結(jié)果的矩陣。沿著主對角線上的項表示正確分類的總數(shù),其他非主對角線的項表示分類的錯誤數(shù),如表1所示。二分問題存在“錯誤接受”和“錯誤拒絕”兩種不同類型的錯誤。類ω的二分問題的混淆矩陣歸一化之后,是兩個僅取0-1二值的離散變量的聯(lián)合分布概率。正確率和錯誤率之和為1,一個確定,另一個也確定了。1.2錯誤的二化學(xué)成分類屬對于一個m分的標(biāo)準(zhǔn)分類問題來說,也可以定義如表1所示m×m的m分混淆矩陣和每一個類屬的Recall、Precision、F-measure和Accuracy值。錯誤可能有m2-m種不同的情況。此時,也可以針對類屬ωi,可將全部樣本集劃分為ωi和兩種類屬,將m分問題轉(zhuǎn)化為二分問題,如表2所示。2應(yīng)用限制2.1accurcy的計算假設(shè)某一門診中由先驗知識得知,病人患某一種癌癥的概率1%,如果設(shè)計一個分類器,對所有的輸入都得出計算拒絕的結(jié)論,其Accuracy已達到99%,但實際上卻并沒有意義。而對表3所示的分類器A和B,AccuracyA=79.999%,AccuracyB=97.996%都小于99%。不平衡數(shù)據(jù)集上的分類器分類精度評價,應(yīng)該同時考慮數(shù)據(jù)的不平衡度,整個分類器的分類精度和少數(shù)類分類精度,是一個多目標(biāo)優(yōu)化問題。2.2根據(jù)年齡分類1.2節(jié)定義的評價指標(biāo)僅適合互不相關(guān)m分問題,不適合語義相關(guān)的m分問題。例如表4所示,將人按身高分為矮、中、高3類時,將矮個和中等之間,中等和高個之間絕對區(qū)分開來也不一定合道理。一個學(xué)生個子不高,但在矮個子中算很高的,所設(shè)計的分類器將其誤分為中等,誤差可能還不大;但將其分為高個,誤差就很明顯了。2.3不同誤分成本分類Accuracy同等對待錯誤分類每一對象的嚴重性,無法區(qū)分在表5中的分類器A和B。3改進的計劃3.1tki分類器比bF-measure關(guān)注“正確接受”,正確率關(guān)注分類的“正確”,它們同時兼顧到了查全率和查準(zhǔn)率,但是不夠細致。對信用卡申請問題,拖欠信用卡費用的平均成本比拒絕具有良好信譽的人所帶來的平均潛在收益損失大得多,所以評價分類器時更應(yīng)該關(guān)注前者,故在正確率相同的情況下,有,分類器B更好。對一些具體問題來說,P(ω)和為先驗概率,往往是確定的。在二分問題中,所設(shè)計出來的分類器有犯兩類錯誤,即:“錯誤接受”和“錯誤拒絕”的可能。最小錯誤率分類器是使這兩種錯誤率之和最小。實際中,有時要求限制其中某一類錯誤率不得大于某個常數(shù)而使另一類錯誤率盡可能地小。例如,在癌細胞識別中,已經(jīng)認識到把癌細胞誤判為正常的損失非常嚴重,所以常希望這種漏檢率Mistake(ω)很小,即使Mistake(ω)≤ε0(ε0是一個給定的很小的常數(shù))。在這種條件下,再要求另一類的漏檢率盡可能的小。在表3所示的癌細胞識別不平衡數(shù)據(jù)集中,分類器;分類器假設(shè)國家規(guī)定該癌癥的漏報率ε0不能超過0.5%,分類器A和分類器B均達標(biāo),但分類器B高一個數(shù)量級,顯然分類器B分類精度比分類器A更高。該評價標(biāo)準(zhǔn)可應(yīng)用在不平衡數(shù)據(jù)集分類精度的問題上,將多目標(biāo)優(yōu)化問題轉(zhuǎn)化為單目標(biāo)優(yōu)化問題。3.2權(quán)值因子eij為了克服正確率同等對待錯誤分類每一對象的嚴重性這一不符合實際的假設(shè),應(yīng)根據(jù)問題的實際情況,對不同的錯分所帶來的不同代價而賦予不同的權(quán)值因子,形成代價矩陣,如表6所示。對m分問題也同樣可以根據(jù)每種不同的情況賦予不同的權(quán)值因子eij,形成m×m的代價矩陣。當(dāng)不同類型的誤差對應(yīng)不同的權(quán)值時,將每個誤差元素cij乘以所給的權(quán)值因子eij,那么總損失函數(shù)C(替代精度計算中的錯誤數(shù))可以計算為:可應(yīng)用在不同錯分代價分類問題上,C為所設(shè)計的分類器總體的損失。代價矩陣和損失函數(shù)應(yīng)用于語義相關(guān)分類問題中,權(quán)值因子eij可代表分類器的“錯誤”程度,在表5當(dāng)中,將矮個誤判為高個比將矮個誤判為中個“錯誤”要大,因此對c13所賦予的權(quán)值因子要比c12大,此時總損失函數(shù)C為所設(shè)計的分類器總的分類錯誤程度。對于不平衡數(shù)據(jù)集分類器評價標(biāo)準(zhǔn)也可以根據(jù)樣本的不平衡度和分類感興趣度調(diào)大少數(shù)類上錯分的代價權(quán)值,從而解決問題。代價矩陣和損失函數(shù)已在最小代價貝葉斯分類器中應(yīng)用。4新的分類性能評價指標(biāo)本文指出正確率和錯誤率不適用于不平衡數(shù)據(jù)集、語義相關(guān)多分、不同代價錯分等分類問題。分類器的分類性能評價指標(biāo)并不固定,而是應(yīng)該根據(jù)具體應(yīng)用問題的不同而不同。新的分類性能評價指標(biāo)不僅應(yīng)用于分類器的分類性能評價,而且應(yīng)用于指導(dǎo)分類器的設(shè)計