6.1

模型擬合統(tǒng)計(jì)6.2

統(tǒng)計(jì)圖形6.3

調(diào)整單獨(dú)采樣6.4

收益矩陣2第6章：模型評(píng)估檢驗(yàn)方式樣本內(nèi)檢驗(yàn)：使用訓(xùn)練集同期的數(shù)據(jù)764

538 8.31

9

10

1111.30分析窗口：分析客戶行為觀察:是否違約樣本外檢驗(yàn)：使用下一期的滾動(dòng)數(shù)據(jù)87110

11

11.3164

539分析窗口：分析客戶行為觀察:是否違約2

2.28...3評(píng)估指標(biāo)匯總類型統(tǒng)計(jì)量決策（Decisions）Accuracy/MisclassificationProfit/LossInverse

prior

threshold排序（Rankings）ROC

Index

(concordance)Gini

coefficient估計(jì)（Estimates）Average

squared

errorSBC/Likelihood...4統(tǒng)計(jì)精確性/誤分類利潤/成本

倒轉(zhuǎn)之前的閾值匯總統(tǒng)計(jì)小結(jié)類型決策等級(jí)評(píng)定估計(jì)ROC

指標(biāo)(一致性)Gini

指數(shù)誤差平方均值SBC/可能性...5ROC

指標(biāo)(一致性)Gini

指數(shù)匯總統(tǒng)計(jì)小結(jié)統(tǒng)計(jì)精確性/誤分類利潤/成本倒轉(zhuǎn)之前的閾值類型決策等級(jí)評(píng)定估計(jì)誤差平方均值SBC/可能性...6誤差平方均值SBC/可能性匯總統(tǒng)計(jì)小結(jié)統(tǒng)計(jì)精確性/誤分類利潤/成本倒轉(zhuǎn)之前的閾值類型決策等級(jí)評(píng)定估計(jì)ROC

指標(biāo)(一致性)Gini

指數(shù)7使用匯總統(tǒng)計(jì)比較模型演示說明模型的比較工具的使用，從連接的建模節(jié)點(diǎn)收集評(píng)估信息，使你更容比較易模型的性能。86.1

模型擬合統(tǒng)計(jì)6.2

統(tǒng)計(jì)圖形6.3

調(diào)整單獨(dú)采樣6.4

收益矩陣9第6章：模型評(píng)估統(tǒng)計(jì)圖形–ROC

圖形捕獲響應(yīng)率(敏感性)假陽性率(1-特異性)ROC圖形說明捕獲響應(yīng)率與假陽性率之間的權(quán)衡。1.00.00.01.0...10統(tǒng)計(jì)圖形–ROC

圖形捕獲響應(yīng)率(敏感性)假陽性率(1-特異性)ROC圖形說明捕獲響應(yīng)率與假陽性率之間的權(quán)衡。1.00.00.01.0...11統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0ROC圖形每個(gè)點(diǎn)對(duì)應(yīng)案例的一個(gè)特定部分，并按照值排序。...12統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0ROC圖形每個(gè)點(diǎn)對(duì)應(yīng)案例的一個(gè)特定部分，并按照值排序。...13統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0例如，ROC圖形中這個(gè)點(diǎn)對(duì)應(yīng)

值從高到低的前40%的記錄。top40%...14統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0例如，ROC圖形中這個(gè)點(diǎn)對(duì)應(yīng)值從高到低的前40%的記錄。top40%...15統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0Y坐標(biāo)對(duì)應(yīng)前40%記錄中主要結(jié)果

獲的比例。top40%...16統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0Y坐標(biāo)對(duì)應(yīng)前40%記錄中主要結(jié)果

獲的比例。top40%...17統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0X坐標(biāo)對(duì)應(yīng)前40%記錄中次要結(jié)果

獲的比例。top40%...18統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0X坐標(biāo)對(duì)應(yīng)前40%記錄中次要結(jié)果

獲的比例。top40%...19統(tǒng)計(jì)圖形–ROC

圖形1.00.00.0

1.0重復(fù)所有選擇的分?jǐn)?shù)。top

40%...20統(tǒng)計(jì)圖形–ROC

圖形top

40%1.00.00.0

1.0...21重復(fù)所有選擇的分?jǐn)?shù)。統(tǒng)計(jì)圖形–ROC

圖形1.00.00.01.0弱的模型...22強(qiáng)的模型統(tǒng)計(jì)圖形–ROC

指標(biāo)1.00.00.01.0弱的模型ROC

Index

<

0.6強(qiáng)的模型ROC

Index

>

0.7...23使用ROC

圖形比較模型演示使用ROC圖形比較模型。24統(tǒng)計(jì)圖形–響應(yīng)曲線累積百分比響應(yīng)被選擇的百分比響應(yīng)曲線顯示不同的選擇百分比對(duì)應(yīng)的預(yù)期響應(yīng)率。50%100%0%100%...25統(tǒng)計(jì)圖形–響應(yīng)曲線累積百分比響應(yīng)被選擇的百分比響應(yīng)曲線顯示不同的選擇百分比對(duì)應(yīng)的預(yù)期響應(yīng)率。50%100%0%100%...26統(tǒng)計(jì)圖形–響應(yīng)曲線100%50%0%

100%響應(yīng)曲線每個(gè)點(diǎn)對(duì)應(yīng)案例的一個(gè)特定部分，并按照值排序。...27統(tǒng)計(jì)圖形–響應(yīng)曲線100%50%0%

100%響應(yīng)曲線每個(gè)點(diǎn)對(duì)應(yīng)案例的一個(gè)特定部分，并按照值排序。...28統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

100%例如，響應(yīng)曲線中這個(gè)點(diǎn)對(duì)應(yīng)

值從高到低的前40%的記錄。...29統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

100%例如，響應(yīng)曲線中這個(gè)點(diǎn)對(duì)應(yīng)

值從高到低的前40%的記錄。...30統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

40%

100%X坐標(biāo)顯示所選記錄的百分比。...31統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

40%

100%X坐標(biāo)顯示所選記錄的百分比。...32統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

40%

100%Y坐標(biāo)對(duì)應(yīng)前40%記錄中記錄為主要結(jié)果的比例。...33統(tǒng)計(jì)圖形–響應(yīng)曲線top40%100%50%0%

40%

100%Y坐標(biāo)對(duì)應(yīng)前40%記錄中記錄為主要結(jié)果的比例。...34統(tǒng)計(jì)圖形–響應(yīng)曲線100%50%0%

40%

100%重復(fù)所有選擇的分?jǐn)?shù)。top40%...35使用評(píng)分

圖比較模型演示使用評(píng)分圖比較模型。36調(diào)整單獨(dú)采樣演示如何在SAS

EnterpriseMiner

中調(diào)整單獨(dú)采樣。376.1

模型擬合統(tǒng)計(jì)6.2

統(tǒng)計(jì)圖形6.3

調(diào)整單獨(dú)采樣6.4

收益矩陣38第6章：模型評(píng)估結(jié)果過采樣一個(gè)常見的模型的做法是從一個(gè)不同于總體的主要結(jié)果比例的樣本建立模型。...39結(jié)果過采樣一個(gè)常見的模型的做法是從一個(gè)不同于總體的主要結(jié)果比例的樣本建立模型。...40單獨(dú)采樣次要結(jié)果基于目標(biāo)的采樣是把主要結(jié)果與次要結(jié)果的記錄分別考慮。...41主要結(jié)果基于目標(biāo)的采樣是把主要結(jié)果與次要結(jié)果的記錄分別考慮。...42主要結(jié)果單獨(dú)采樣次要結(jié)果選擇所有記錄。選擇一些記錄。主要結(jié)果單獨(dú)采樣次要結(jié)果...43選擇所有記錄。選擇一些記錄。主要結(jié)果單獨(dú)采樣次要結(jié)果...44建模采樣+

基于較小的記錄數(shù)，具有類似的

能力–必須調(diào)整評(píng)估統(tǒng)計(jì)量和圖形–

必須調(diào)整 估計(jì)的偏差...4546調(diào)整單獨(dú)采樣(繼續(xù))演示如何在SAS

EnterpriseMiner

中調(diào)整單獨(dú)采樣。47創(chuàng)建收益矩陣演示如何創(chuàng)建收益矩陣。6.1

模型擬合統(tǒng)計(jì)6.2

統(tǒng)計(jì)圖形6.3

調(diào)整單獨(dú)采樣6.4

收益矩陣48第6章：模型評(píng)估00收益矩陣0決策的收益分布15.14-0.68忽略主要結(jié)果次要結(jié)果49收益矩陣0決策的收益分布00忽略主要結(jié)果次要結(jié)果-0.6815.1450選擇較大者。的期望收益

=

15.14

p^

–

0.68

p^10忽略的期望收益

=0決策期望收益015.14忽略主要結(jié)果次要結(jié)果-0.6800...51決策閾值決策閾值1p^

≥

0.68

/

15.82

1p^

<0.68/15.82

忽略015.14忽略主要結(jié)果次要結(jié)果-0.680052平均利潤0平均利潤平均利潤=(15.14NPS

–0.68

NSS

)/NNPS

=#被NSS=#被產(chǎn)生主要結(jié)果的記錄數(shù)產(chǎn)生次要結(jié)果的記錄數(shù)N

=總評(píng)估記錄數(shù)15.14忽略主要結(jié)果次要結(jié)果-0.68