課程教案課程名稱：大數(shù)據(jù)分析技術(shù)課程類型：專業(yè)核心課程上課時間：2024至2025學(xué)年第2學(xué)期授課對象：22級應(yīng)用統(tǒng)計學(xué)23級數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)23級應(yīng)用統(tǒng)計學(xué)教師姓名：所屬院部：數(shù)學(xué)與計算機學(xué)院第五章樹結(jié)構(gòu)模型§1決策樹§2隨機森林§3輕梯度提升機器教案教學(xué)過程設(shè)計第一課時一、引入：樹結(jié)構(gòu)模型主講教師教學(xué)思路向?qū)r間4分鐘樹結(jié)構(gòu)模型是指基于決策樹的機器學(xué)習(xí)模型。這類模型有著十分優(yōu)良而又獨特的性質(zhì)，比如一般都具有精度高、抗干擾、數(shù)據(jù)不必標準化等特點，具有評估變量重要性的功能。樹結(jié)構(gòu)模型中，決策樹是基學(xué)習(xí)器。通過對決策樹(CART)的集成又發(fā)展為豐富的集成學(xué)習(xí)方法。當前對決策樹集成的常見方法有三種：裝袋方法(bagging)、提升方法(boosting)和堆疊方法(stacking)，其中stacking方法并非是僅對決策樹的集成，而是將多個模型、多類模型集成為一個強學(xué)習(xí)器。決策樹經(jīng)裝袋方法集成而得的樹結(jié)構(gòu)模型是耳熟能詳?shù)碾S機森林(RandomForest)；經(jīng)提升方法集成的模型相對豐富，常見的有梯度提升樹(GBDT)、極端梯度提升樹(XGBoost)、輕梯度提升機器(lightGBM)、類別梯度提升樹(CatBoost)，等。這些模型之間的邏輯圖示如下。本節(jié)介紹決策樹模型。決策樹是一種基于樹結(jié)構(gòu)的分類和回歸方法，其基本原理是通過不斷地選擇最具有判別性的屬性或特征，將數(shù)據(jù)集劃分成多個小的、純度較高的子集，直到所有樣本都被歸類到葉子節(jié)點上，形成一個樹形結(jié)構(gòu)。決策樹的優(yōu)勢在于易于理解和解釋，具有較好的可讀性和可視化性二、決策樹：決策樹的數(shù)學(xué)原理主講學(xué)生1教學(xué)思路向?qū)r間15分鐘引例：房地產(chǎn)開發(fā)方案的抉擇某房地產(chǎn)開發(fā)公司對某一地塊擬定兩種開發(fā)方案。A方案：一次性開發(fā)多層住宅45000平方米，需投入總成本費用9000萬元，開發(fā)時間18個月。B方案：將地塊分兩期開發(fā)。一期開發(fā)高層住宅36000平方米，需投入總成本費用8100萬元，開發(fā)時間15個月。如果一期銷路好，則二期繼續(xù)開發(fā)高層住宅36000平方米，投入總費用8100萬元；如果一期銷路差，或者暫停開發(fā)，或者開發(fā)多層住宅22000平方米，投入總費用4600萬元，開發(fā)時間15個月。兩方案銷路好和銷路差時的售價和銷量情況見下表4.1。根據(jù)經(jīng)驗，多層住宅銷路好的概率為0.7，高層住宅銷路好的概率為0.6，暫停開發(fā)每季損失10萬元，季利率2％。表5.1兩方案售價和銷量情況開發(fā)方案建筑面積（萬m2）銷路好銷路差售價銷售率售價銷售率A方案多層4.54800100%430080%B方案一期高層3.65500100%500070%二期一期銷路好高層3.65500100%一期銷路差多層2.24800100%430080%停建利率r期數(shù)n的年金現(xiàn)值系數(shù)PA,r,n和折現(xiàn)系數(shù)表5.2年金現(xiàn)值系數(shù)和折現(xiàn)系數(shù)n456121518(P/A,2%,n)3.8084.7135.60110.57512.84914.992(P/F,2%,n)0.9240.9060.8880.7880.7430.700試回答如下問題（計算結(jié)果保留兩位小數(shù)）：（1）假定銷售收入在開發(fā)時間內(nèi)均攤，那么兩個方案在銷路好和銷路差時的季平均銷售收入各為多少萬元？（2）試為開發(fā)商應(yīng)采用哪個方案提出建議。解答見于課程資料部分。決策樹的概念1.定義決策樹是由決策和樹兩個概念組合而成的。所謂決策（DecisionMaking），簡言之就是做出決定或選擇；詳細一點的說法，就是從若干方案中選出最優(yōu)方案；廣義上的含義是指提出問題、確立目標、設(shè)計符合目標的解決問題的方案、從所設(shè)計的方案中選出最優(yōu)方案的過程。決策樹，簡言之就是決策過程形似一棵樹。詳細說來，決策樹是一種直觀的以概率為分析工具進行決策的圖解法，由于決策過程遵循if-then規(guī)則，所以決策過程畫成圖形很像一棵樹，故稱決策樹。從功能上來看，決策樹是一種數(shù)據(jù)挖掘算法，是一種非參數(shù)的監(jiān)督學(xué)習(xí)方法，是一個預(yù)測模型，它主要用于分類和回歸。2.決策樹的畫法：案例某公司計劃生產(chǎn)銷售電腦桌，需投資30萬元。電腦桌售價是100元/張。當市場行情好的時候能賣出8000張電腦桌，銷售收入共計80萬元；當市場行情不好的時候能賣出1000張，銷售收入共計10萬元。用概率樹來表示，即如圖5.2所示。圖5.2投資及市場行情下的收入圖5.3投資及市場行情可能情形下的收入經(jīng)驗表明市場行情好的概率是0.4，市場行情不好的概率是0.6。于是在圖4.2的樹枝上標出相應(yīng)的概率，如圖5.3所示。為了增加銷售量，公司想到了上電視做廣告，廣告的費用是40萬元。市場行情好的時候，上電視做廣告銷售額將會達到320萬元（概率是0.3）；不上電視則依然是80萬元（概率是0.7）。市場行情不好的時候，上電視做廣告銷售額能達40萬元（概率為是0.25）；不上電視則依然是10萬元（概率是0.75）。到此，概率樹就成長為下圖的樣子了?，F(xiàn)在公司計劃聘請一家調(diào)查機構(gòu)對當前的市場行情進行調(diào)查，以了解當前的市場行情是好還是壞，聘請調(diào)查機構(gòu)的成本是5萬元。公司不知道這5萬元值不值得花。本案例決策樹畫法的步驟如下：其中圖詳見課程資料。（1）列出備選方案：從第一個決定開始，在本例中，就是決定到底要不要花錢請機構(gòu)調(diào)查市場行情。備選方案：調(diào)查，成本為5萬元；不調(diào)查，成本為0。（2）從圖5.5頂端的分枝繼續(xù)畫。如果調(diào)查，會發(fā)生哪些情況呢？當然是調(diào)查結(jié)果是行情好或行情不好。因為調(diào)查結(jié)果不是公司能掌控的，具有不確定性，因此“調(diào)查”的緊后節(jié)點是機會節(jié)點，用圓圈來標記，在該節(jié)點處分裂為“調(diào)查結(jié)果：市場行情好”和“調(diào)查結(jié)果：市場行情不好”兩枝，如圖5.6所示。（3）在每個調(diào)查結(jié)果中，公司會決定購買設(shè)備，或者不購買設(shè)備：市場景氣的時候，投資30萬元購買設(shè)備將會有80萬元的收入，不投資則收入為0；市場不景氣的時候，投資30萬元將會有10萬元的收入，不投資則收入為0。（4）下面繼續(xù)從圖5.7頂端的分枝繼續(xù)畫。在“投資”一枝，公司考慮是否上電視做廣告。按“上電視做廣告”和“不上電視做廣告”繼續(xù)分枝。因為“上電視做廣告”和“不上電視做廣告”之后都不再有備選方案，就在兩枝末端畫出一個三角形，表示結(jié)果節(jié)點（也稱為葉節(jié)點），在旁邊標出相應(yīng)方案的結(jié)果，即對應(yīng)的收入。在“不投資”一枝，公司不會考慮上電視做廣告，所以之后沒有分枝，該枝直接延伸至最右端的葉節(jié)點，相應(yīng)收入為0。決策樹的繪制結(jié)果如圖所示。3.量化不確定性4.確定目標一般來說，目標就是選擇最優(yōu)的方案。本例就是從10個方案中求出收入的期望值最高的方案。5.決策樹的求解6.總結(jié)決策樹模型的建立及求解有4個步驟：（1）畫決策樹：通過畫樹圖的方式列出所有可能的備選方案，并在分支線上標注相應(yīng)的子方案及其“代價”，在結(jié)果節(jié)點上標注每個方案的“收益”；（2）量化不確定性：確定每個方案發(fā)生的概率，并標注在相應(yīng)的樹枝上；（3）確定目標：決策樹是優(yōu)化問題的一種描述方式，自然地其目標一般也是極大化“收益”或極小化“成本”；（4）求解決策樹：從結(jié)果逆向操作，計算出每個備選方案的期望值，然后對比各個期望值，選出最優(yōu)方案。（三）信息論基礎(chǔ)第二小節(jié)中講述的案例，數(shù)據(jù)規(guī)模小，容易計算。當數(shù)據(jù)規(guī)模大，備選方案多時，這種方式求解決策樹將會比較困難。本小節(jié)介紹決策樹的通用求解算法。首先，我們需要熟悉信息論中熵的概念。1.熵（entropy）熵是信息論中的一個基本概念，它度量了事物的不確定性。越不確定的事物，它的熵就越大。具體的，隨機變量X的熵的定義式如下：5.1比如，拋一枚硬幣為事件T，記T=1為出現(xiàn)正面，T=0為出現(xiàn)反面，則T的熵為再如，擲一枚骰子為事件G，記G=k為出現(xiàn)的點數(shù)為k，則G的熵為因HG熟悉了單一變量的熵，很容易推廣到多個變量的聯(lián)合熵，這里給出兩個變量X和Y的聯(lián)合熵表達式：5.2有了聯(lián)合熵，又可以得到條件熵的表達式HYX，條件熵類似于條件概率，它度量了我們在知道X以后5.3我們剛才提到HX度量了X的不確定性，條件熵HYX度量了我們在知道X以后Y剩下的不確定性。那么，HY-HYX信息熵HX、聯(lián)合熵HX,Y、條件熵HY圖中各熵之間的關(guān)系：圖5.17各熵之間的關(guān)系圖示2.決策樹求解算法（1）ID3算法在決策樹的ID3算法中，互信息IYX被稱為信息增益（gain），所以多數(shù)時候又記為ID3算法就是用信息增益來判斷當前節(jié)點應(yīng)該用什么特征來構(gòu)建決策樹。信息增益越大，則越適合用來分類。下面我們用SNS社區(qū)中不真實賬號檢測的例子說明如何使用ID3算法構(gòu)造決策樹。為了簡單起見，我們假設(shè)訓(xùn)練集合包含10個元素：表5.3SNS社區(qū)部分賬號信息日志密度（L）好友密度（F）是否使用真實頭像（H）賬號是否真實（D）ssnonoslyesyeslmyesyesmmyesyeslmyesyesmlnoyesmsnonolmnoyesmsnoyesssyesno如表所示，以L、F、H和D表示日志密度、好友密度、是否使用真實頭像和賬號是否真實，下面計算各屬性的信息增益：因此日志密度的信息增益是0.278。用同樣方法得到H和F的信息增益分別為0.033和0.553。因為F具有最大的信息增益，所以第一次分裂選擇F為分裂屬性，分裂后的結(jié)果圖5.18表示：圖5.18分裂點選擇1在上圖的基礎(chǔ)上，再遞歸使用這個方法計算子節(jié)點的分裂屬性，最終就可以得到整個決策樹。但是ID3算法中還存在著一些不足之處：1.ID3沒有考慮連續(xù)特征，比如長度，密度都是連續(xù)值，無法在ID3運用。這大大限制了ID3的用途。2.ID3采用信息增益大的特征優(yōu)先建立決策樹的節(jié)點。很快就被人發(fā)現(xiàn)，在相同條件下，取值比較多的特征比取值少的特征信息增益大。比如一個變量有2個值，各為1/2，另一個變量為3個值，各為1/3，其實他們都是完全不確定的變量，但是取3個值的比取2個值的信息增益大。（信息增益反映的給定一個條件以后不確定性減少的程度，必然是分得越細的數(shù)據(jù)集確定性更高，也就是條件熵越小，信息增益越大）如何校正這個問題呢？為了解決這些問題我們有了C4.5算法。（2）C4.5算法對于第一個問題，不能處理連續(xù)特征，C4.5的思路是將連續(xù)的特征離散化。比如m個樣本的連續(xù)特征A有m個，從小到大排列為a1,a2,?,am。則C4.5取相鄰兩樣本值的平均數(shù)，一共取得m-1個劃分點，其中第i個劃分點Ti表示為：對于第二個問題，信息增益作為標準容易偏向于取值較多的特征。C4.5提出了信息增益比：即特征A對數(shù)據(jù)集D的信息增益與特征A信息熵的比，信息增益比越大的特征和劃分點，分類效果越好。某特征中值的種類越多，特征對應(yīng)的特征熵越大，它作為分母，可以校正信息增益導(dǎo)致的問題?；氐缴厦娴睦樱和瑯涌傻茫阂驗镕具有最大的信息增益比，所以第一次分裂選擇F為分裂屬性，分裂后的結(jié)果如圖4.18表示。再遞歸使用這個方法計算子節(jié)點的分裂屬性，最終就可以得到整個決策樹。（3）分類回歸樹(ClassificationandRegressionTree，CART）模型看完上述材料，我們知道在ID3算法中我們使用了信息增益來選擇特征，信息增益大的優(yōu)先選擇。在C4.5算法中，采用了信息增益比來選擇特征，以減少信息增益容易選擇特征值種類多的特征的問題。但是無論是ID3還是C4.5，都是基于信息論的熵模型的，這里面會涉及大量的對數(shù)運算。能不能簡化模型同時也不至于完全丟失熵模型的優(yōu)點呢？有！CART分類樹算法使用基尼系數(shù)來代替信息增益比，基尼系數(shù)代表了模型的不純度，基尼系數(shù)越小，則不純度越低，特征越好。這和信息增益（比）是相反的。在分類問題中，假設(shè)有K個類別，第k個類別的概率為pk對于給定的樣本D，假設(shè)有K個類別，第k個類別的數(shù)量為Ck，則樣本的基尼系數(shù)特別的，對于樣本D，如果根據(jù)特征A的某個值a，把D分成D1和D2兩部分，則在特征A的條件下，回到上面的例子：同理得：。因為L具有最小的基尼系數(shù)，所以第一次分裂選擇L為分裂屬性。再遞歸使用這個方法計算子節(jié)點的分裂屬性，最終就可以得到整個決策樹。決策分析問題，需要對兩個方案進行比較和評估，以確定最佳的決策。決策樹是一種數(shù)據(jù)挖掘算法，主要用于分類和回歸問題。在分類問題中，決策樹可以將樣本數(shù)據(jù)劃分成多個類別，從而對新數(shù)據(jù)進行分類；在回歸問題中，決策樹可以預(yù)測一個連續(xù)值輸出。決策樹適用于數(shù)據(jù)量較小、特征維度較低、具有可解釋性需求的問題。決策樹的畫法是根據(jù)決策節(jié)點、分枝節(jié)點、機會節(jié)點和結(jié)果節(jié)點的關(guān)系逐步延伸畫出的。每個節(jié)點代表一個決策或結(jié)果，在樹的結(jié)構(gòu)中體現(xiàn)了決策的先后順序和可能性的分支情況。建立和求解決策樹模型涉及到畫決策樹、量化不確定性、確定目標和求解決策樹的過程。這些步驟幫助我們?nèi)婵紤]備選方案和不確定性，并找到最優(yōu)的決策方案。ID3算法使用信息增益來判斷當前節(jié)點應(yīng)該用什么特征來構(gòu)建決策樹。信息增益是指使用某個特征進行劃分后，對于數(shù)據(jù)集的純度提升程度。信息增益越大，說明該特征對于分類的貢獻越大。C4.5算法克服了ID3算法對離散特征的限制，可以處理連續(xù)特征。它通過將連續(xù)特征進行離散化處理，將其轉(zhuǎn)換為離散的取值來進行決策樹構(gòu)建。一種常見的方法是使用二分法將連續(xù)特征劃分成不同的離散區(qū)間。CART算法是一種簡單而有效的決策樹算法，在處理連續(xù)特征、剪枝策略上都有優(yōu)秀的表現(xiàn)。它使用基尼系數(shù)代替信息增益比來選擇特征，避免了對數(shù)運算，計算速度更快。CART算法不僅適用于分類問題，還可以處理回歸問題。通過對損失函數(shù)的優(yōu)化，CART算法能夠在決策樹上進行自適應(yīng)的剪枝，提高決策樹的泛化能力。三、案例分析主講學(xué)生2教學(xué)思路向?qū)r間10分鐘下面就以一個經(jīng)典的打網(wǎng)球的例子來說明決策樹的構(gòu)建和計算過程。我們今天是否去打網(wǎng)球（play）主要由天氣（outlook）、溫度（temperature）、濕度（humidity）、是否有風(fēng)（windy）來確定。樣本中共有14條數(shù)據(jù)。表5.4天氣對打網(wǎng)球的影響NO.Outlooktemperaturehumiditywindyplay1sunnyhothighFALSEno2sunnyhothighTRUEno3overcasthothighFALSEyes4rainymildhighFALSEyes5rainycoolnormalFALSEyes6rainycoolnormalTRUEno7overcastcoolnormalTRUEyes8sunnymildhighFALSEno9sunnycoolnormalFALSEyes10rainymildnormalFALSEyes11sunnymildnormalTRUEyes12overcastmildhighTRUEyes13overcasthotnormalFALSEyes14rainymildhighTRUEno下面將分別介紹使用ID3和C4.5算法構(gòu)建決策樹。解決過程詳見課程資料從理論到實踐。通過案例把之前的理論實操一遍，切實理解相關(guān)概念。四、決策樹：決策樹的實現(xiàn)主講學(xué)生2教學(xué)思路向?qū)r間10分鐘我們已經(jīng)看到打網(wǎng)球的例子中決策樹的構(gòu)建和計算并不簡單。若特征再多一些，我們基本就沒有手算的耐心了。萬幸的是，python機器學(xué)習(xí)庫對決策樹的構(gòu)建和計算流程已進行了完整的封裝。Python實現(xiàn)決策樹的模塊是sklearn.tree，決策樹分類器是DecisionTreeClassifier，回歸器是DecisionTreeRegressor。下面詳細介紹兩個函數(shù)的語法。一、分類回歸樹（一）決策樹分類器DecisionTreeClassifiermodel=DecisionTreeClassifier(criterion='gini',splitter='best')1.主要輸入?yún)?shù)及其含義：（1）criterion：衡量一個分裂質(zhì)量的準則，取值為{'gini','entropy','log_loss'}，缺省值是'gini'；（2）splitter：在每個節(jié)點上選擇分割的策略，取值為{'best','random'}，缺省值是'best'；2.主要輸出參數(shù)及其含義：（1）classes_：類標簽（單輸出問題）或類標簽數(shù)組列表（多輸出問題）（2）feature_importances_：特征的重要性，被計算為該特征所帶來的（歸一化后的）準則的總減少，也被稱為基尼重要性。（3）tree_：所建立的樹，可通過plot_tree可視化（二）決策樹回歸器DecisionTreeRegressormodel=DecisionTreeRegressor(criterion='squared_error',splitter='best')1.主要輸入?yún)?shù)及其含義：與分類器相比，僅有criterion含義不同。（1）criterion：衡量一個分裂質(zhì)量的準則，取值為{'squared_error','friedman_mse','absolute_error','poisson'}，缺省值是'squared_error'；2.主要輸出參數(shù)及其含義：與分類器相比，沒有classes_輸出項。（1）feature_importances_：同分類器。（2）tree_：同分類器。案例分析下面以1.1.4小節(jié)打網(wǎng)球為例介紹應(yīng)用DecisionTreeClassifier來實現(xiàn)分類的過程。首先，將數(shù)據(jù)預(yù)處理為如下樣式（注意必須全為英文狀態(tài)下的字符），將數(shù)據(jù)保存為文本文件，文件名任取，此處保存名為playtable.txt。outlook,temperature,humidity,windy,play1,1,1,0,01,1,1,1,02,1,1,0,13,2,1,0,13,3,0,0,13,3,0,1,02,3,0,1,11,2,1,0,01,3,0,0,13,2,0,0,11,2,0,1,12,2,1,1,12,1,0,0,13,2,1,1,0然后按“建?！?xùn)練→評估→應(yīng)用”流程寫出sklearn決策樹代碼：#%%決策樹分類器案例分析：打網(wǎng)球#0.導(dǎo)庫importnumpyasnpfromsklearn.model_selectionimporttrain_test_splitasttsfromsklearnimporttree#1.讀入數(shù)據(jù)data=np.loadtxt('playtable.txt',delimiter=',',skiprows=1)print('原始數(shù)據(jù)'.center(50,'*'),'\n',data)#2.拆分數(shù)據(jù)集：將數(shù)據(jù)集分割為訓(xùn)練集和測試集x,y=np.split(data,(4,),axis=1)x_train,x_test,y_train,y_test=tts(x,y,test_size=0.3)#3.模型建立：以基尼系數(shù)作為劃分標準建立決策樹模型model=tree.DecisionTreeClassifier(criterion='gini')#4.模型訓(xùn)練：應(yīng)用訓(xùn)練集對模型進行訓(xùn)練model.fit(x_train,y_train)#5.模型評估：y_pred=model.predict(x_test)labels=['是','否']title='打網(wǎng)球'p=model.predict_proba(x_test)[:,0]frommodel_evaluatorimportevaluationresults=evaluation(y_test,y_pred,labels=labels,title=title,proba_pred=p,Y_score=y_pred)#6.可視化決策樹importmatplotlib.pyplotaspltplt.figure(figsize=(10,8),dpi=150)features=['outlook','temperature','humidity','windy']tree.plot_tree(model,feature_names=features,class_names=['yes','n