1、決策樹(shù)教師：* 學(xué)生：*分類(lèi)技術(shù) 電子科技大學(xué)Whats that?初印象初印象(簡(jiǎn)例簡(jiǎn)例)基本步驟基本步驟量化純度量化純度信息增益信息增益停止條件停止條件電子科技大學(xué)過(guò)度擬合過(guò)度擬合修正過(guò)度擬合修正實(shí)例詳解實(shí)例詳解準(zhǔn)確率估計(jì)準(zhǔn)確率估計(jì)Whats that?決策樹(shù)（Decision Tree）是一種簡(jiǎn)單但是廣泛使用的分類(lèi)器。通過(guò)訓(xùn)練數(shù)據(jù)構(gòu)建決策樹(shù)，可以高效的對(duì)未知的數(shù)據(jù)進(jìn)行分類(lèi)。決策樹(shù)兩大優(yōu)點(diǎn)：1）決策樹(shù)模型可以讀性好，具有描述性，有助于人工分析；2）效率高，決策樹(shù)只需要一次構(gòu)建，反復(fù)使用，每一次預(yù)測(cè)的最大計(jì)算次數(shù)不超過(guò)決策樹(shù)的深度。電子科技大學(xué)Whats that?決策樹(shù)（Decision

2、Tree）是一種簡(jiǎn)單但是廣泛使用的分類(lèi)器。通過(guò)訓(xùn)練數(shù)據(jù)構(gòu)建決策樹(shù)，可以高效的對(duì)未知的數(shù)據(jù)進(jìn)行分類(lèi)。決策樹(shù)兩大優(yōu)點(diǎn)：1）決策樹(shù)模型可以讀性好，具有描述性，有助于人工分析；2）效率高，決策樹(shù)只需要一次構(gòu)建，反復(fù)使用，每一次預(yù)測(cè)的最大計(jì)算次數(shù)不超過(guò)決策樹(shù)的深度。電子科技大學(xué)電子科技大學(xué)ID擁有房產(chǎn)（是/否）婚姻情況（單身，已婚，離婚）年收入（單位：千元）無(wú)法償還債務(wù)（是/否）1是單身125否2否已婚100否3否單身70否4是已婚120否5否離婚95是6否已婚60否7是離婚220否8否單身85是9否已婚75否10否單身90是初印象電子科技大學(xué)ID擁有房產(chǎn)（是/否）婚姻情況（單身，已婚，離婚）年收入（單

3、位：千元）無(wú)法償還債務(wù)（是/否）1是單身125否2否已婚100否3否單身70否4是已婚120否5否離婚95是6否已婚60否7是離婚220否8否單身85是9否已婚75否10否單身90是初印象上表根據(jù)歷史數(shù)據(jù)，記錄已有的用戶(hù)是否可以?xún)斶€債務(wù)，以及相關(guān)的信息。通過(guò)該數(shù)據(jù)，構(gòu)建的決策樹(shù)如下：電子科技大學(xué)比如新來(lái)一個(gè)用戶(hù)：無(wú)房產(chǎn)，單身，年收入55K，那么根據(jù)上面的決策樹(shù)，可以預(yù)測(cè)他無(wú)法償還債務(wù)（藍(lán)色虛線(xiàn)路徑）。電子科技大學(xué)基本步驟決策樹(shù)構(gòu)建的基本步驟如下：1. 開(kāi)始，所有記錄看作一個(gè)節(jié)點(diǎn)2. 遍歷每個(gè)變量的每一種分割方式，找到最好的分割點(diǎn)3. 分割成兩個(gè)節(jié)點(diǎn)N1和N24. 對(duì)N1和N2分別繼續(xù)執(zhí)行2-3步，直到每個(gè)節(jié)點(diǎn)足夠“純”為止決策樹(shù)的變量可以有兩種：1） 數(shù)字型（Numeric）：變量類(lèi)型是整數(shù)或浮點(diǎn)數(shù)，如前面例子中的“年收入”。用“=”，“”,“”或“=97K無(wú)法償還債務(wù)無(wú)法償還債務(wù)97K比如新來(lái)一個(gè)用戶(hù)：無(wú)房產(chǎn)，單身，年收入55K，