模型評估原理及應(yīng)用實驗十五課程學(xué)習(xí)目標(biāo)了解模型評估原理及應(yīng)用熟悉模型評估常見指標(biāo)熟練掌握模型評估方法模型評估原理

以下是模型評估原理的主要內(nèi)容。（1）數(shù)據(jù)集劃分:

模型評估的第一步是將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。訓(xùn)練集用于訓(xùn)練模型,驗證集用于在訓(xùn)練過程中調(diào)整超參數(shù)和選擇最佳模型,而測試集則用于最終評估模型的性能。這種劃分確保了對模型性能的公正評估,避免了過擬合和欠擬合的問題。（2）選擇合適的評估指標(biāo):

針對不同類型的機(jī)器學(xué)習(xí)問題(如分類、回歸、聚類等),需要選擇相應(yīng)的評估指標(biāo)。例如,對于分類問題,常用的評估指標(biāo)包括準(zhǔn)確率、精確率、召回率、F1分?jǐn)?shù)等;對于回歸問題,則常使用均方誤差(MSE)、均方根誤差(RMSE)等指標(biāo)。選擇合適的評估指標(biāo)可以準(zhǔn)確反映模型的性能。（3）考慮模型的泛化能力:

模型評估不僅關(guān)注模型在訓(xùn)練集上的表現(xiàn),更重要的是模型在新數(shù)據(jù)上的泛化能力。因此,在評估模型時,應(yīng)重點關(guān)注模型在測試集上的性能,這更能反映模型在實際應(yīng)用中的表現(xiàn)。（4）交叉驗證:

為了更準(zhǔn)確地評估模型的性能,可以采用交叉驗證的方法。這種方法將數(shù)據(jù)集劃分為多個子集,并多次訓(xùn)練模型,每次使用不同的子集作為訓(xùn)練集和測試集。通過計算多次評估結(jié)果的平均值,可以得到更穩(wěn)定、更可靠的模型性能評估結(jié)果。模型評估常見指標(biāo)模型評估的指標(biāo)詳述一、混淆矩陣將分類問題按照真實情況與判別情況兩個維度進(jìn)行歸類的一個矩陣,如在二分類問題中就是一個2×2的矩陣,如圖所示?TP(TruePositive):表示實際為真預(yù)測為真。?FP(FalsePositive):表示實際為假預(yù)測為真(誤報)。?TN(TrueNegative):表示實際為假預(yù)測為假。?FN(FalseNegative):表示實際為真預(yù)測為假(漏報)。模型評估的指標(biāo)詳述二、準(zhǔn)確率Accuracy預(yù)測正確的結(jié)果占總樣本的百分比,公式如下。雖然準(zhǔn)確率可以判斷總的正確率,但是在樣本不平衡的情況下,并不能作為很好的指標(biāo)來衡量結(jié)果。舉個簡單的例子,在一個總樣本中,正樣本占90%,負(fù)樣本占10%,樣本是嚴(yán)重不平衡的。對于這種情況,只需要將全部樣本預(yù)測為正樣本即可得到90%的高準(zhǔn)確率,對于這種情況,只需要將全部樣本預(yù)測為正樣本即可得到90%的高準(zhǔn)確率。這就說明如果樣本不平衡,準(zhǔn)確率就會失效。模型評估的指標(biāo)詳述三、精確率Precision所有被預(yù)測為正的樣本中實際為正的樣本的概率,公式如下雖然精確率和準(zhǔn)確率看上去有些類似,但是確是完全不同的兩個概念。精確率代表對正樣本結(jié)果中的預(yù)測準(zhǔn)確程度,而準(zhǔn)確率則代表整體的預(yù)測準(zhǔn)確程度,既包括正樣本,也包括負(fù)樣本。四、召回率Recall實際為正的樣本中被預(yù)測為正樣本的概率,其公式為模型評估的指標(biāo)詳述五、F1分?jǐn)?shù)F1Score是精確率和召回率的調(diào)和平均值，它同時兼顧了分類模型的精確率和召回率，是統(tǒng)計學(xué)中用來衡量二分類（或多分類）模型性能的一種指標(biāo)。它的最大值是1,最小值是0,值越大意味著模型越好。公式如下如果把精確率和召回率之間的關(guān)系用圖來表達(dá),可利用PR曲線對比算法的優(yōu)劣,如圖所示。模型評估的指標(biāo)詳述六、ROC曲線(1)真陽率(TPR):(2)假陽率(FPR):(3)ROC繪制:ROC的橫坐標(biāo)為FPR,縱坐標(biāo)為TPR,如圖所示。①將預(yù)測結(jié)果按照預(yù)測為正類概率值排序。②將閾值由1開始逐漸降低,按此順序逐個把樣本作為正例進(jìn)行預(yù)測,每次可以計算出當(dāng)前的FPR、TPR值。③以TPR為縱坐標(biāo),FPR為橫坐標(biāo)繪制圖像。模型評估的指標(biāo)詳述(4)如何利用ROC對比性能:ROC下的面積(AUC)作為衡量指標(biāo),面積越大,性能越好,AUC就是衡量分類器優(yōu)劣的一種性能指標(biāo)。從定義可知,AUC可通過對ROC下各部分的面積求和而得,數(shù)值介于0~1。AUC=1:完美的分類器,采用該模型,不管設(shè)定什么閾值都能得出完美預(yù)測。0.5<AUC<1:優(yōu)于隨機(jī)猜測,分類器好好設(shè)定閾值的話,有預(yù)測價值。AUC=0.5:跟隨機(jī)猜測一樣,模型沒有預(yù)測價值。AUC<0.5:比隨機(jī)猜測還差,但是如果反著預(yù)測,就優(yōu)于隨機(jī)猜測模型評估流程數(shù)據(jù)集劃分:將標(biāo)注好的數(shù)據(jù)集分為訓(xùn)練集和測試集。通常采用隨機(jī)劃分,確保數(shù)據(jù)集的代表性和評估結(jié)果的可靠性。特征選擇和預(yù)處理:根據(jù)任務(wù)需求,選擇合適的特征,并對數(shù)據(jù)進(jìn)行預(yù)處理,如缺失值處理、特征歸一化、特征編碼等操作。?模型選擇與訓(xùn)練:選擇適合任務(wù)的機(jī)器學(xué)習(xí)算法,并使用訓(xùn)練集對模型進(jìn)行訓(xùn)練。模型評估指標(biāo)選擇:根據(jù)任務(wù)的性質(zhì)和目標(biāo),選擇合適的評估指標(biāo)。模型評估與結(jié)果分析:使用測試集對訓(xùn)練好的模型進(jìn)行評估,得到評估指標(biāo)的數(shù)值。同時,對評估結(jié)果進(jìn)行分析,了解模型的性能、優(yōu)點和缺點,以便后續(xù)優(yōu)化的需求。模型評估舉例【例15.1】模型評估舉例模型評估方法有交叉驗證、網(wǎng)格搜索等，下面我們使用之前講過的隨機(jī)森林對紅酒數(shù)據(jù)集分類的模型運用交叉驗證行評估，并輸出準(zhǔn)確率、精確率、召回率、F1分?jǐn)?shù)、混淆矩陣指標(biāo)進(jìn)行模