1、 #從以上事例可得出，ID3使用信翹增益:選擇測(cè)試屬性，其目標(biāo)是確保找到一顆簡(jiǎn)單的樹(shù)，而C4.5使用信息增益率選擇測(cè)試屬性，主要目標(biāo)是使得樹(shù)的層次和結(jié)點(diǎn)數(shù)目最小，從而使數(shù)據(jù)概化最大化。算法繼承了的全部?jī)?yōu)點(diǎn)，例如中也采用“窗口”的概念，先從所有的事例中選取一部分用做構(gòu)造決策樹(shù)，再利用剩余的事例測(cè)試決策樹(shù)并對(duì)它進(jìn)行調(diào)整；算法能處理連續(xù)值類型的屬性，它還能對(duì)屬性的取值集合進(jìn)行等價(jià)類劃分，劃分在同一類的屬性值在屬性值判斷時(shí)將走到同一分支上。再加上算法的思想簡(jiǎn)單，實(shí)現(xiàn)高效，結(jié)果可靠，使在歸納學(xué)習(xí)中的地位更加顯著。但是算法也有一些不足第一：采用的是分而治之的策略，在構(gòu)造樹(shù)的內(nèi)部結(jié)點(diǎn)的時(shí)候是局部最優(yōu)的搜索方

2、式，所以它所得到的最終結(jié)果盡管有很高的準(zhǔn)確性，仍然達(dá)不到全局最優(yōu)的結(jié)果；第二：評(píng)價(jià)決策最主要的依據(jù)是決策樹(shù)的錯(cuò)誤率，而對(duì)樹(shù)的深度，結(jié)點(diǎn)的個(gè)數(shù)等不進(jìn)行考慮，而樹(shù)平均深度直接對(duì)應(yīng)著決策樹(shù)的預(yù)測(cè)速度，樹(shù)的結(jié)點(diǎn)個(gè)數(shù)則代表樹(shù)的規(guī)模；第三：一邊構(gòu)造決策樹(shù)，一邊進(jìn)行評(píng)價(jià)，決策樹(shù)構(gòu)造出來(lái)之后，很難再調(diào)整樹(shù)的結(jié)構(gòu)和內(nèi)容，決策樹(shù)性能的改善十分困難第四，在進(jìn)行屬性值分組時(shí)逐個(gè)試探，沒(méi)有一種使用啟發(fā)搜索的機(jī)制，分組時(shí)的效率較低。與C4.5算法類似，CART算法也是先建樹(shù)后剪枝，但在具體實(shí)現(xiàn)上有所不同。由于二叉樹(shù)不易產(chǎn)生數(shù)據(jù)碎片，精確度往往高于多叉樹(shù)，因此CART算法采用二分遞歸劃分，在分支節(jié)點(diǎn)上進(jìn)行布爾測(cè)試，判斷條件

3、為真的劃歸左分支，否則劃歸右分支，最終形成一棵二叉樹(shù)。CART算法在滿足下述條件之一時(shí)停止建樹(shù)：(1)所有葉節(jié)點(diǎn)中的樣本數(shù)為1或者樣本屬于同一類；(2)決策樹(shù)高度到達(dá)用戶設(shè)置的閥值。CART算法使用后剪枝方法，在樹(shù)生成過(guò)程中，考慮到多展開(kāi)一層會(huì)有多一些的信息被發(fā)現(xiàn)，CART算法運(yùn)行到不能再長(zhǎng)出分枝為止，從而得到一棵最大的決策樹(shù)，然后CART算法對(duì)這棵超大的決策樹(shù)進(jìn)行剪枝。剪枝算法使用獨(dú)立于訓(xùn)練樣本集的測(cè)試樣本集對(duì)子樹(shù)的分類錯(cuò)誤進(jìn)行計(jì)算，找出分類錯(cuò)誤最小的子樹(shù)作為最終的分類模型。五、結(jié)論數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的迅猛發(fā)展，使得存儲(chǔ)的信息量日益增加，數(shù)據(jù)挖掘技術(shù)正是在此基礎(chǔ)上應(yīng)運(yùn)而生的，而且數(shù)據(jù)挖掘技術(shù)也越來(lái)越受到國(guó)內(nèi)外許多學(xué)者的廣泛關(guān)注。本文首先簡(jiǎn)單介紹了數(shù)據(jù)挖掘的現(xiàn)狀以及其基本過(guò)程，然后介紹了數(shù)據(jù)挖掘中所用的基本方法，接著詳細(xì)介紹了ID3、C4