例：構(gòu)造決策樹(shù)。

下表給出了取自AllElectronics顧客數(shù)據(jù)庫(kù)元組訓(xùn)練集。編號(hào)年齡收入學(xué)生信用等級(jí)類別：購(gòu)買電腦1<=30高否一般不會(huì)購(gòu)買2<=30高否良好不會(huì)購(gòu)買331…40高否一般會(huì)購(gòu)買4>40中等否一般會(huì)購(gòu)買5>40低是一般會(huì)購(gòu)買6>40低是良好不會(huì)購(gòu)買731…40低是良好會(huì)購(gòu)買8<=30中等否一般不會(huì)購(gòu)買9<=30低是一般會(huì)購(gòu)買10>40中等是一般會(huì)購(gòu)買11<=30中等是良好會(huì)購(gòu)買1231…40中等否良好會(huì)購(gòu)買1331…40高是一般會(huì)購(gòu)買14>40中等否良好不會(huì)購(gòu)買例：構(gòu)造決策樹(shù)。編號(hào)年齡收入學(xué)生信用等級(jí)類別：購(gòu)買電腦1<=解：由題意可知：

s＝14，類標(biāo)號(hào)屬性“購(gòu)買電腦”有兩個(gè)不同值（即｛會(huì)購(gòu)買，不會(huì)購(gòu)買｝），因此有兩個(gè)不同的類（即m＝2）。設(shè)類C1對(duì)應(yīng)于“會(huì)購(gòu)買”，類C2對(duì)應(yīng)于“不會(huì)購(gòu)買”。則s1＝9，s2＝5，p1＝9/14，p2=5/14。①計(jì)算對(duì)給定樣本分類所需的期望信息：②計(jì)算每個(gè)屬性的熵。先計(jì)算屬性“年齡”的熵。對(duì)于年齡＝“<=30”：s11＝2，s21＝3，p11=2/5，p21=3/5，

對(duì)于年齡＝“31…40”：s12=4，s22=0，p12=4/4=1，p22=0，

解：由題意可知：對(duì)于年齡＝“>40”：s13=3，s23=2，p13=3/5，p23=2/5，如果樣本按“年齡”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(年齡)=I(s1,s2)-E(年齡)=0.246。計(jì)算“收入”的熵。對(duì)于收入＝“高”：s11=2，s21=2，p11=0.5，p21=0.5，對(duì)于收入＝“中等”：s12=4，s22=2，p12=4/6，p22=2/4，對(duì)于年齡＝“>40”：s13=3，s23=2，p13=3/5對(duì)于收入＝“低”：s13=3，s23=1，p13=3/4，p23=1/4，如果樣本按“收入”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(收入)=I(s1,s2)-E(收入)=0.940-0.911＝0.029。計(jì)算“學(xué)生”的熵。對(duì)于學(xué)生＝“是”：s11=6，s21=1，p11=6/7，p21=1/7，對(duì)于收入＝“低”：s13=3，s23=1，p13=3/4，對(duì)于學(xué)生＝“否”：s12=3，s22=4，p12=3/7，p22=4/7，如果樣本按“學(xué)生”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(學(xué)生)=I(s1,s2)-E(學(xué)生)=0.940-0.789＝0.151。計(jì)算“信用等級(jí)”的熵。對(duì)于信用等級(jí)＝“一般”：s11=6，s21=2，p11=6/8，p21=2/8，對(duì)于信用等級(jí)＝“良好”：s12=3，s22=3，p12=3/6，p22=3/6，對(duì)于學(xué)生＝“否”：s12=3，s22=4，p12=3/7，如果樣本按“信用等級(jí)”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(信用等級(jí))=I(s1,s2)-E(信用等級(jí))=0.940-0.892＝0.048。由于“年齡”屬性具有最高信息增益，它被選作測(cè)試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“年齡”標(biāo)記，并對(duì)每個(gè)屬性值引出一個(gè)分支。樣本據(jù)此劃分，如圖所示。如果樣本按“信用等級(jí)”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信收入學(xué)生信用等級(jí)類高否一般會(huì)購(gòu)買低是良好會(huì)購(gòu)買中等否良好會(huì)購(gòu)買高是一般會(huì)購(gòu)買收入學(xué)生信用等級(jí)類高否一般不會(huì)購(gòu)買高否良好不會(huì)購(gòu)買中等否一般不會(huì)購(gòu)買低是一般會(huì)購(gòu)買中等是良好會(huì)購(gòu)買收入學(xué)生信用等級(jí)類中等否一般會(huì)購(gòu)買低是一般會(huì)購(gòu)買低是良好不會(huì)購(gòu)買中等是一般會(huì)購(gòu)買中等否良好不會(huì)購(gòu)買<=3031…40>40年齡收入學(xué)生信用等級(jí)類高否一般會(huì)購(gòu)買低是良好會(huì)購(gòu)買中等否良好會(huì)購(gòu)收入學(xué)生信用等級(jí)類高否一般不會(huì)購(gòu)買高否良好不會(huì)購(gòu)買中等否一般不會(huì)購(gòu)買低是一般會(huì)購(gòu)買中等是良好會(huì)購(gòu)買表1年齡<=30當(dāng)年齡<=30時(shí)，對(duì)應(yīng)于表1。S＝5，設(shè)類C1對(duì)應(yīng)于“會(huì)購(gòu)買”，類C2對(duì)應(yīng)于“不會(huì)購(gòu)買”。則s1＝2，s2＝3，p1＝2/5，p2=3/5。①計(jì)算對(duì)給定樣本分類所需的期望信息：②計(jì)算每個(gè)屬性的熵。先計(jì)算屬性“收入”的熵。對(duì)于收入＝“高”：s11＝0，s21＝2，p11=0，p21=1，收入學(xué)生信用等級(jí)類高否一般不會(huì)購(gòu)買高否良好不會(huì)購(gòu)買中等否一般對(duì)于收入＝“中等”：s12=1，s22=1，p12=1/2，p22=1/2，

對(duì)于收入＝“低”：s13=1，s23=0，p13=1，p23=0，如果樣本按“收入”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(收入)=I(s1,s2)-E(收入)=0.971-0.0.4＝0.571。對(duì)于收入＝“中等”：s12=1，s22=1，p12=1/2計(jì)算“學(xué)生”的熵。對(duì)于學(xué)生＝“是”：s11＝2，s21＝0，p11=1，p21=0，對(duì)于學(xué)生＝“否”：s12＝0，s22＝3，p12=0，p22=1，如果樣本按“學(xué)生”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(學(xué)生)=I(s1,s2)-E(學(xué)生)=0.971-0＝0.971。計(jì)算“學(xué)生”的熵。計(jì)算“信用等級(jí)”的熵。對(duì)于信用等級(jí)＝“一般”：s11＝1，s21＝2，p11=1/3，p21=2/3，對(duì)于信用等級(jí)＝“良好”：s12＝1，s22＝1，p12=1/2，p22=1/2，如果樣本按“信用等級(jí)”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(信用等級(jí))=I(s1,s2)-E(信用等級(jí))=0.971-0.951＝0.02。計(jì)算“信用等級(jí)”的熵。由于“學(xué)生”屬性具有最高信息增益，它被選作測(cè)試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“學(xué)生”標(biāo)記，并對(duì)每個(gè)屬性值引出一個(gè)分支。同理，對(duì)表2進(jìn)行計(jì)算。得出屬性“信用等級(jí)”具有最高信息增益，它被選作測(cè)試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“信用等級(jí)”標(biāo)記，并對(duì)每個(gè)屬性值引出一個(gè)分支。最終構(gòu)造的決策樹(shù)如下圖所示。收入學(xué)生信用等級(jí)類中等否一般會(huì)購(gòu)買低是一般會(huì)購(gòu)買低是良好不會(huì)購(gòu)買中等是一般會(huì)購(gòu)買中等否良好不會(huì)購(gòu)買表2年齡>40由于“學(xué)生”屬性具有最高信息增益，它被選作測(cè)試屬性。創(chuàng)建年齡?學(xué)生?信用等級(jí)?會(huì)購(gòu)買不會(huì)購(gòu)買會(huì)購(gòu)買會(huì)購(gòu)買不會(huì)購(gòu)買<=3031…40>40一般良好是否“購(gòu)買電腦”的決策樹(shù)年齡?學(xué)生?信用等級(jí)?會(huì)購(gòu)買不會(huì)購(gòu)買會(huì)購(gòu)買會(huì)購(gòu)買不會(huì)購(gòu)買由決策樹(shù)產(chǎn)生分類規(guī)則

對(duì)上圖進(jìn)行分析，提取的關(guān)聯(lián)規(guī)則是：IF年齡＝“<=30”AND學(xué)生＝“否”THEN購(gòu)買電腦＝“不會(huì)購(gòu)買”IF年齡＝“<=30”AND學(xué)生＝“是”THEN購(gòu)買電腦＝“會(huì)購(gòu)買”IF年齡＝“31...40”THEN購(gòu)買電腦＝“會(huì)購(gòu)買”IF年齡＝“>40”AND信用等級(jí)＝“良好”THEN購(gòu)買電腦＝“不會(huì)購(gòu)買”IF年齡＝“>40”AND信用等級(jí)＝“一般”THEN購(gòu)買電腦＝“會(huì)購(gòu)買”由決策樹(shù)產(chǎn)生分類規(guī)則對(duì)上圖進(jìn)行分析，提取的論文中的應(yīng)用題目：決策樹(shù)算法的研究與應(yīng)用作者：楊靜1，張楠男2，李建1，劉延明1，梁美紅1(1．西南石油大學(xué)，四川成都610500；2．西南油氣田分公司信息中心，四川成都610500)發(fā)表期刊：計(jì)算機(jī)技術(shù)與發(fā)展第20卷．第2期2010年2月

摘要：主要研究了數(shù)據(jù)挖掘中決策樹(shù)算法的基本思想和算法。針對(duì)目前鉆井過(guò)程故障診斷的需求，結(jié)合決策樹(shù)算法的特點(diǎn)，提出了一種基于決策樹(shù)的鉆井過(guò)程故障診斷專家系統(tǒng)模型。分析了鉆井系統(tǒng)事故狀態(tài)下的相關(guān)特征參數(shù)，并對(duì)基于決策樹(shù)的鉆井過(guò)程狀態(tài)和知識(shí)獲取進(jìn)行了詳細(xì)的論述。通過(guò)實(shí)例運(yùn)用ID3算法實(shí)現(xiàn)了決策樹(shù)的建立，為鉆井過(guò)程故障診斷奠定了堅(jiān)實(shí)的基礎(chǔ)。最后提出了對(duì)算法的改進(jìn)，綜合對(duì)實(shí)際數(shù)據(jù)的處理結(jié)果表明，基于數(shù)據(jù)挖掘的決策樹(shù)算法可以很好地識(shí)