人工主講教師：景妮琴智能決策樹

—如何決策最有效率目錄什么是決策樹如何決策最有效率信息熵信息增益1234什么是決策樹？1合格聲音不合格質(zhì)量不合格質(zhì)量合格不合格合格圖像圖像合格質(zhì)量不合格不合格合格外觀外觀合格質(zhì)量不合格根結(jié)點(diǎn)：樣本全集內(nèi)部結(jié)點(diǎn)：屬性測(cè)試什么是決策樹？葉結(jié)點(diǎn)：決策結(jié)果

決策樹一種分類方法或分類器決策樹一個(gè)根結(jié)點(diǎn)若干個(gè)內(nèi)部結(jié)點(diǎn)若干個(gè)葉結(jié)點(diǎn)電視機(jī)如何決策最有效率？2圖像合格不合格合格圖像不合格合格聲音電視機(jī)外觀合格不合格合格外觀質(zhì)量合格客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是9是已婚否是10否離婚否否如何決策最有效率？質(zhì)量不合格質(zhì)量不合格質(zhì)量不合格圖像合格不合格合格圖像不合格合格聲音電視機(jī)外觀合格不合格合格外觀質(zhì)量合格如何決策最有效率？質(zhì)量不合格質(zhì)量不合格質(zhì)量不合格如何決策最有效率？合格聲音不合格質(zhì)量不合格質(zhì)量合格不合格合格圖像圖像合格質(zhì)量不合格不合格合格外觀外觀合格質(zhì)量不合格電視機(jī)如何決策最有效率？擁有沒有房產(chǎn)客戶批準(zhǔn)發(fā)放婚姻離婚批準(zhǔn)貸款貸款貸款批準(zhǔn)拒絕無(wú)有1批準(zhǔn)1拒絕無(wú)有拒絕無(wú)單身已婚如何決策最有效率？有無(wú)2，3，4，5，6，9，10貸款客戶2批準(zhǔn)1拒絕6批準(zhǔn)1拒絕單身已婚離婚婚姻如何決策最有效率？1948年，香農(nóng)發(fā)表文章系統(tǒng)論述了信息的定義，怎樣數(shù)量化信息，怎樣更好地對(duì)信息進(jìn)行編碼?？藙诘隆ぐ瑺栁榈隆は戕r(nóng)美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人。信息熵—香農(nóng)熵同時(shí)他還提出了信息熵的概念，衡量信息的不確定性。依據(jù)屬性劃分?jǐn)?shù)據(jù)劃分原則：將無(wú)序的數(shù)據(jù)變得有序如何決策最有效率？構(gòu)建決策樹信息論：量化處理信息的分支科學(xué)計(jì)算每個(gè)屬性劃分?jǐn)?shù)據(jù)集獲得的信息增益，信息增益最高的屬性就是最好的選擇如何決策最有效率？信息熵信息增益：在劃分?jǐn)?shù)據(jù)集之前之后信息發(fā)生的變化如何決策最有效率如何計(jì)算信息增益信息熵3信息：如果xi是分類，則xi的信息定義為：信息熵

信息的期望值信息熵信息熵：

中國(guó)日本卡塔爾阿曼朝鮮韓國(guó)阿聯(lián)酋科威特0.2250.0250.150.0650.1850.20.1250.025中國(guó)日本卡塔爾阿曼0.50.250.050.2信息熵某屆亞洲杯預(yù)測(cè)8強(qiáng)奪冠的概率某屆亞洲杯預(yù)測(cè)4強(qiáng)奪冠的概率問(wèn)題2：假設(shè)這屆亞洲杯足球賽4強(qiáng)的奪冠率變成勢(shì)均力敵，那么彩票公司應(yīng)該設(shè)立較大的獎(jiǎng)金池還是縮小獎(jiǎng)金池？問(wèn)題1：8強(qiáng)產(chǎn)生的時(shí)候和4強(qiáng)產(chǎn)生的時(shí)候，哪個(gè)更容易推斷冠軍歸屬？中國(guó)日本卡塔爾阿曼朝鮮韓國(guó)阿聯(lián)酋科威特0.2250.0250.150.0650.1850.20.1250.025

信息熵某屆亞洲杯預(yù)測(cè)8強(qiáng)奪冠的概率8支隊(duì)伍奪冠的信息熵為

中國(guó)日本卡塔爾阿曼0.50.250.050.2信息熵某屆亞洲杯預(yù)測(cè)4強(qiáng)奪冠的概率4支隊(duì)伍奪冠的信息熵為4強(qiáng)產(chǎn)生的時(shí)候，更容易推斷冠軍歸屬結(jié)論一個(gè)系統(tǒng)越有序（信息越明確），信息熵就越低；系統(tǒng)越混淆，信息熵就越高信息熵某屆亞洲杯預(yù)測(cè)4強(qiáng)奪冠的概率都相同中國(guó)日本卡塔爾阿曼0.250.250.250.25

4支隊(duì)伍奪冠的信息熵為信息增益4

信息增益一個(gè)系統(tǒng)越有序（信息越明確），信息熵就越低；系統(tǒng)越混淆，信息熵就越高系統(tǒng)有序的過(guò)程系統(tǒng)信息熵降低的過(guò)程

信息熵減少的越多越好信息增益：決策前的信息熵-決策后的信息熵?fù)碛袥]有房產(chǎn)客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是9是已婚否是10否離婚否否客戶批準(zhǔn)發(fā)放婚姻離婚批準(zhǔn)貸款貸款貸款批準(zhǔn)拒絕無(wú)有1批準(zhǔn)1拒絕無(wú)有1拒絕無(wú)信息增益單身已婚客戶數(shù)批準(zhǔn)不批準(zhǔn)1073

信息增益

信息熵為概率0.70.3

客戶數(shù)批準(zhǔn)不批準(zhǔn)有房產(chǎn)30無(wú)房產(chǎn)43

信息增益

客戶數(shù)批準(zhǔn)不批準(zhǔn)有房產(chǎn)30無(wú)房產(chǎn)43

信息增益房產(chǎn)的信息增益：Gain（D，房產(chǎn)）=0.1916E(無(wú)房)=0.9852E(有房)=0

擁有沒有房產(chǎn)客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是9是已婚否是10否離婚否否按照信息增益最大原則，房產(chǎn)屬性和有無(wú)貸款屬性都可以作為第一次劃分的屬性客戶批準(zhǔn)發(fā)放？信息增益

信息增益小結(jié)什么是決策樹？1如何決策最有效率？2信息熵3信息增益4本節(jié)結(jié)束！主講教師：景妮琴人工主講教師：景妮琴智能決策樹

—開發(fā)人工智能的信用卡審批系統(tǒng)目錄決策樹如何分類構(gòu)建決策樹--信用卡審批系統(tǒng)過(guò)擬合與剪枝123決策樹如何分類1客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是9是已婚否是10否離婚否否11是離婚是？決策樹如何分類有監(jiān)督學(xué)習(xí)決策樹算法從給定的數(shù)據(jù)集，構(gòu)造一棵決策樹訓(xùn)練階段分類階段從根開始按照決策樹的分類屬性逐層往下劃分，直到葉結(jié)點(diǎn)，獲得分類結(jié)果開發(fā)人工智能信用卡審批系統(tǒng)構(gòu)建決策樹——信用卡審批系統(tǒng)2構(gòu)建決策樹—信用卡審批系統(tǒng)構(gòu)建決策樹—ID3算法終止條件一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)屬于同一個(gè)類別沒有屬性可以再用于分割自上而下，遞歸過(guò)程開始時(shí)所有數(shù)據(jù)在根結(jié)點(diǎn)選擇某個(gè)屬性對(duì)數(shù)據(jù)集進(jìn)行劃分決策樹原理使用信息增益最大的屬性對(duì)數(shù)據(jù)集進(jìn)行劃分構(gòu)建決策樹—信用卡審批系統(tǒng)計(jì)算樣本集的信息熵計(jì)算各個(gè)屬性的信息熵計(jì)算每個(gè)屬性的信息增益選擇獲得最大信息增益的屬性進(jìn)行劃分當(dāng)所有葉結(jié)點(diǎn)是純的，劃分過(guò)程終止理想情況當(dāng)數(shù)據(jù)不可進(jìn)一步劃分，終止0102030405算法步驟可能無(wú)法達(dá)到構(gòu)建決策樹—信用卡審批系統(tǒng)1計(jì)算樣本集的信息熵客戶數(shù)批準(zhǔn)不批準(zhǔn)1073

信息熵為概率0.70.3

構(gòu)建決策樹—信用卡審批系統(tǒng)2計(jì)算各個(gè)屬性(房產(chǎn))的信息熵

客戶數(shù)批準(zhǔn)不批準(zhǔn)有房產(chǎn)30無(wú)房產(chǎn)43

構(gòu)建決策樹—信用卡審批系統(tǒng)

客戶數(shù)批準(zhǔn)不批準(zhǔn)有房產(chǎn)30無(wú)房產(chǎn)43

房產(chǎn)的信息增益：Gain（D，房產(chǎn)）=0.1916E(無(wú)房)=0.9852E(有房)=03計(jì)算各個(gè)屬性(房產(chǎn))的信息增益客戶數(shù)批準(zhǔn)不批準(zhǔn)單身21已婚41離婚11構(gòu)建決策樹—信用卡審批系統(tǒng)

2計(jì)算各個(gè)屬性(婚姻)的信息熵

客戶數(shù)批準(zhǔn)不批準(zhǔn)單身21已婚41離婚11

婚姻狀況的信息增益：Gain(D,婚姻)=0.0448構(gòu)建決策樹—信用卡審批系統(tǒng)3依次計(jì)算每個(gè)屬性(婚姻)的信息增益

E(已婚)=0.7219E(單身)=0.9183E(離婚)=1

客戶數(shù)批準(zhǔn)不批準(zhǔn)有貸款12無(wú)貸款61

構(gòu)建決策樹—信用卡審批系統(tǒng)2計(jì)算各個(gè)屬性(貸款)的信息熵

構(gòu)建決策樹—信用卡審批系統(tǒng)有無(wú)貸款的信息增益：Gain(D,貸款)=0.19163依次計(jì)算每個(gè)屬性(貸款)的信息增益

E(無(wú)貸款)=0.5917E(有貸款)=0.9183擁有沒有構(gòu)建決策樹—信用卡審批系統(tǒng)

4選擇獲得最大信息增益的屬性：房產(chǎn)按房產(chǎn)劃分批準(zhǔn)發(fā)放3，4，91，2，5，6，7，8，10客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是10否離婚否否擁有沒有客戶數(shù)批準(zhǔn)不批準(zhǔn)無(wú)房產(chǎn)43構(gòu)建決策樹—信用卡審批系統(tǒng)E(無(wú)房)=0.9852批準(zhǔn)發(fā)放3，4，91，2，5，6，7，8，101計(jì)算新樣本集(無(wú)房)的信息熵重復(fù)1-4按房產(chǎn)劃分客戶數(shù)批準(zhǔn)不批準(zhǔn)單身11已婚31離婚01

構(gòu)建決策樹—信用卡審批系統(tǒng)2計(jì)算剩余各個(gè)屬性(婚姻)的信息熵

客戶數(shù)批準(zhǔn)不批準(zhǔn)單身11已婚31離婚01E(單身)=1

E(離婚)=0E(無(wú)房)=0.9852

構(gòu)建決策樹—信用卡審批系統(tǒng)3計(jì)算剩余每個(gè)屬性(婚姻)的信息增益婚姻狀況的信息增益：Gain(無(wú)房,婚姻)=0.2359

客戶數(shù)批準(zhǔn)不批準(zhǔn)有貸款12無(wú)貸款31

構(gòu)建決策樹—信用卡審批系統(tǒng)2計(jì)算剩余各個(gè)屬性(貸款)的信息熵

構(gòu)建決策樹—信用卡審批系統(tǒng)有無(wú)貸款的信息增益：Gain(無(wú)房,貸款)=0.12813計(jì)算剩余每個(gè)屬性(貸款)的信息增益1，2，5，6，7，8，10擁有沒有構(gòu)建決策樹—信用卡審批系統(tǒng)4選擇獲得最大信息增益的屬性：婚姻按房產(chǎn)劃分批準(zhǔn)發(fā)放3，4，9單身1，2已婚5，6，7，8離婚10拒絕Gain(無(wú)房,婚姻)=0.2359Gain(無(wú)房,貸款)=0.1281單身1，2已婚5，6，7，8有貸款1拒絕無(wú)貸款2批準(zhǔn)無(wú)貸款5、6批準(zhǔn)有貸款7拒絕8批準(zhǔn)構(gòu)建決策樹—信用卡審批系統(tǒng)5當(dāng)所有葉結(jié)點(diǎn)是純的，劃分過(guò)程終止當(dāng)，數(shù)據(jù)不可進(jìn)一步劃分，也終止1，2，5，6，7，8，10擁有沒有按房產(chǎn)劃分批準(zhǔn)發(fā)放3，4，9單身1，2已婚5，6，7，8離婚10拒絕客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是10否離婚否否客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡11是已婚是？無(wú)房產(chǎn)批準(zhǔn)發(fā)放單身離婚拒絕有貸款拒絕無(wú)貸款批準(zhǔn)無(wú)貸款批準(zhǔn)有貸款1拒絕1批準(zhǔn)客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡12否已婚是？批準(zhǔn)？構(gòu)建決策樹—信用卡審批系統(tǒng)按房產(chǎn)劃分已婚過(guò)擬合與剪枝3過(guò)擬合與剪枝影響分類模型的泛化能力過(guò)擬合導(dǎo)致：過(guò)擬合問(wèn)題（Over-fitting）學(xué)習(xí)能力過(guò)于強(qiáng)大欠擬合問(wèn)題（under-fitting）學(xué)習(xí)能力低下無(wú)房產(chǎn)客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡12否已婚是？批準(zhǔn)擁有沒有過(guò)擬合與剪枝解決方法：剪枝（Prunning)先剪枝：控制決策樹生長(zhǎng)后剪枝：允許決策樹過(guò)擬合生長(zhǎng)，之后進(jìn)行剪枝離婚拒絕單身有貸款拒絕無(wú)貸款批準(zhǔn)批準(zhǔn)發(fā)放已婚無(wú)貸款批準(zhǔn)有貸款1拒絕1批準(zhǔn)按房產(chǎn)劃分已婚1：3批準(zhǔn)小結(jié)決策樹如何分類？1構(gòu)建決策樹2開發(fā)人工智能的信用卡審批系統(tǒng)3過(guò)擬合與剪枝4本節(jié)結(jié)束！主講教師：景妮琴人工智能決策樹

—處理數(shù)據(jù)的瑕疵以及特征工程目錄特征工程連續(xù)值處理編程完成決策樹的項(xiàng)目應(yīng)用14缺失值處理23特征工程1客戶ID擁有房產(chǎn)（是/否）婚姻情況年收入（單位：元）是否發(fā)放信用卡1否單身85000是2否單身70000否3是單身125000否4是離婚110220否5否已婚60000否6否已婚100000否7否單身90500是8否已婚72000否9是已婚120000否10否離婚90500是客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否8否已婚是是9是已婚否是10否離婚否否月均可支配收入特征工程有貸款拒絕無(wú)貸款批準(zhǔn)無(wú)房產(chǎn)擁有沒有按房產(chǎn)劃分批準(zhǔn)發(fā)放單身離婚拒絕已婚

1：3批準(zhǔn)分為特征構(gòu)建、特征提取、特征選擇三個(gè)部分特征工程特征工程把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槟Ｐ偷挠?xùn)練數(shù)據(jù)的過(guò)程，它的目的就是獲取更好的訓(xùn)練數(shù)據(jù)特征。找出數(shù)據(jù)特征，減少特征的維度、數(shù)據(jù)冗余作用特征工程在機(jī)器學(xué)習(xí)中占有非常重要的作用連續(xù)值處理2連續(xù)值處理客戶ID擁有房產(chǎn)（是/否）婚姻情況年收入是否發(fā)放信用卡1否單身T2是2否單身T2否3是單身T3否4是離婚T3否5否已婚T2否6否已婚T3否7否單身T2是8否已婚T2否9是已婚T3否10否離婚T2是客戶ID是否擁有房產(chǎn)婚姻情況年收入（單位：元）是否被批準(zhǔn)發(fā)放信用卡1否單身85000否2否單身70000是3是單身125000是4是離婚110220是5否已婚60000是6否已婚100000是7否已婚90500否8否已婚72000是9是已婚120000是10否離婚90500否連續(xù)屬性離散化將連續(xù)值設(shè)定為幾個(gè)區(qū)間：[0,10K],(10K,100K),[100K,200K]并給三個(gè)離散值：T1，T2，T3如何劃分區(qū)間更合適？連續(xù)值處理劃分區(qū)間的特殊“點(diǎn)”平均值（算術(shù)平均值）--樣本的密度

將n個(gè)樣本排序后第n/2上取整的位置元素的值。數(shù)據(jù)中一半小于中位數(shù)，一半大于中位數(shù)中位數(shù)連續(xù)值處理

衡量“數(shù)據(jù)分布特性”的數(shù)據(jù)指標(biāo)方差與均方差方差

標(biāo)準(zhǔn)差就是方差的算術(shù)平方根樣本方差，只是將總體方差中取所有n個(gè)樣本的平均轉(zhuǎn)變?yōu)槿-1個(gè)樣本的平均連續(xù)值處理根據(jù)樣本選取情況的不同，方差和標(biāo)準(zhǔn)差又有總體方差、總體標(biāo)準(zhǔn)差和樣本方差、樣本標(biāo)準(zhǔn)差的不同

缺失值處理3缺失值處理機(jī)械原因：數(shù)據(jù)存儲(chǔ)失敗，存儲(chǔ)器損壞，機(jī)械故障導(dǎo)致未能收集數(shù)據(jù)人為原因：主觀失誤、歷史局限或有意隱瞞造成的數(shù)據(jù)缺失缺失值的產(chǎn)生原因刪除存在缺失值的個(gè)案和缺失值插補(bǔ)缺失值的處理方法缺失值插補(bǔ)針對(duì)：客觀數(shù)據(jù)思想：以最可能的值來(lái)插補(bǔ)缺失值比全部刪除不完全樣本所產(chǎn)生的信息丟失要少。以可能值對(duì)缺失值進(jìn)行插補(bǔ)。編程完成決策樹的項(xiàng)目應(yīng)用4編程完成決策樹的項(xiàng)目應(yīng)用準(zhǔn)備數(shù)據(jù)1劃分訓(xùn)練集和測(cè)試集2構(gòu)建模型3編程利用決策樹處理分類問(wèn)題的步驟測(cè)試模型4輸出結(jié)果，投入生產(chǎn)5客戶ID是否擁有房產(chǎn)婚姻情況是否有未還貸款是否被批準(zhǔn)發(fā)放信用卡1否單身是否2否單身否是3是單身否是4是離婚否是5否已婚否是6否已婚否是7否已婚是否