第6章分類預(yù)測(cè)集成分類器集成分類器集成分類器通過構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器（基學(xué)習(xí)器、弱學(xué)習(xí)器）來完成學(xué)習(xí)任務(wù)，獲得比單一學(xué)習(xí)器更優(yōu)越的泛化性能和預(yù)測(cè)準(zhǔn)確率過程：構(gòu)建多個(gè)差異性基學(xué)習(xí)器，策略：不同算法數(shù)據(jù)樣本擾動(dòng)數(shù)據(jù)特征擾動(dòng)融合匯總基學(xué)習(xí)器的輸出，策略：平均法投票法Stacking法2集成分類器集成分類器可以分為兩大類：序列化方法并行化方法3集成分類器集成分類器可以分為兩大類：序列化方法基學(xué)習(xí)器之間存在強(qiáng)依賴關(guān)系，必須串行生成，其代表是Boosting方法。Boosting通過逐步訓(xùn)練一系列基學(xué)習(xí)器，每一輪訓(xùn)練都會(huì)根據(jù)前一輪分類器的錯(cuò)誤情況來調(diào)整樣本權(quán)重，使得被錯(cuò)誤分類的樣本得到更多的關(guān)注，從而提高分類器的性能。并行化方法4集成分類器集成分類器可以分為兩大類：序列化方法并行化方法基學(xué)習(xí)器之間不存在強(qiáng)依賴關(guān)系，可同時(shí)生成，如Bagging方法Bagging方法訓(xùn)練多個(gè)相互獨(dú)立的基學(xué)習(xí)器，然后對(duì)其輸出進(jìn)行投票或平均，來獲得最終結(jié)果。5BoostingBoosting方法通過迭代地訓(xùn)練多個(gè)基學(xué)習(xí)器（通常是決策樹）并將其結(jié)合來構(gòu)建強(qiáng)分類器。兩大類：基于權(quán)重通過調(diào)整樣本的權(quán)重來影響基學(xué)習(xí)器的訓(xùn)練。在每一輪迭代中，都會(huì)增加那些在前一輪被錯(cuò)誤分類的樣本的權(quán)重，使得這些樣本在下一輪的訓(xùn)練中受到更多的關(guān)注基于殘差通過擬合殘差來訓(xùn)練基學(xué)習(xí)器。在每一輪迭代中，都會(huì)計(jì)算當(dāng)前模型的預(yù)測(cè)值與實(shí)際值之間的殘差，并基于這個(gè)殘差來訓(xùn)練新的基學(xué)習(xí)器。新的基學(xué)習(xí)器的目標(biāo)就是擬合這個(gè)殘差，從而逐步減小整體的預(yù)測(cè)誤差6Boosting自適應(yīng)增強(qiáng)算法（AdaBoost）梯度提升算法(GradientBoosting)7AdaBoost融合多個(gè)具有一定權(quán)重的基學(xué)習(xí)器，獲得一個(gè)強(qiáng)分類器模型的訓(xùn)練，是完成對(duì)各基學(xué)習(xí)器迭代訓(xùn)練的過程8每個(gè)數(shù)據(jù)樣本都被賦予一個(gè)權(quán)重，反映樣本在上一迭代過程中，被正確分類的情況，也就是在后續(xù)迭代過程中受重視的程度樣本權(quán)重會(huì)被迭代調(diào)整，正確分類的樣本獲得較小的權(quán)重，錯(cuò)誤分類的樣本獲得較大的權(quán)重AdaBoost

9AdaBoost

10AdaBoost

11AdaBoost

12AdaBoost13梯度提升算法(GradientBoosting)梯度提升算法通過迭代地向模型中添加弱學(xué)習(xí)器，逐步聚合為一個(gè)強(qiáng)學(xué)習(xí)器。每一次迭代，算法都會(huì)訓(xùn)練產(chǎn)生一個(gè)弱學(xué)習(xí)器，獲得表征殘差的損失函數(shù)，并計(jì)算出損失函數(shù)的梯度（或近似梯度）。以最小化損失函數(shù)，來訓(xùn)練一個(gè)新的弱學(xué)習(xí)器，并將新的弱學(xué)習(xí)器添加到模型中，以改進(jìn)模型的預(yù)測(cè)準(zhǔn)確性和泛化能力。每輪訓(xùn)練都以先前輪次中的殘差作為下一輪訓(xùn)練的目標(biāo)，試圖糾正前面留下的殘差，逐步構(gòu)建一個(gè)具有強(qiáng)泛化能力的模型14梯度提升算法(GradientBoosting)15算法的過程如下：1）初始化：初始化一個(gè)基礎(chǔ)模型，這個(gè)模型通常是一個(gè)簡(jiǎn)單的預(yù)測(cè)器；2）迭代過程：首先，對(duì)于每個(gè)樣本，計(jì)算當(dāng)前模型預(yù)測(cè)值與實(shí)際值之間的差異（殘差）。其次，使用弱學(xué)習(xí)器（如決策樹等）來擬合這些殘差。這時(shí)可以設(shè)置一個(gè)學(xué)習(xí)率指標(biāo)，控制每輪中殘差的權(quán)重，防止造成過擬合。最后，更新模型，即將新訓(xùn)練的弱學(xué)習(xí)器添入模型，集成為一個(gè)新的模型，并計(jì)算其預(yù)測(cè)值。這個(gè)集成過程通常是將新弱學(xué)習(xí)器的預(yù)測(cè)值與之前模型的預(yù)測(cè)值進(jìn)行加權(quán)組合來完成的。3）重復(fù)迭代過程，直至達(dá)到預(yù)定的迭代次數(shù)或滿足其他停止條件。梯度提升算法(GradientBoosting)16序號(hào)弱學(xué)習(xí)器數(shù)據(jù)樣本（標(biāo)注錯(cuò)判）錯(cuò)判樣本數(shù)累積準(zhǔn)確率1688.00%2590.00%3…………492.00%4…………394.00%5…………394.00%6296.00%梯度提升算法(GradientBoosting)17典型的梯度提升算法有：1）GBDT（GradientBoostingDecisionTree），以CART回歸樹為基學(xué)習(xí)器，可以處理分類或回歸問題。2）XGBoost（eXtremeGradientBoosting），在GBDT基礎(chǔ)上進(jìn)行改進(jìn)，借助二階導(dǎo)數(shù)信息使優(yōu)化更為精確，引入正則化項(xiàng)防止過度擬合。支持線性分類器，使算法具有更好的靈活性。能夠處理缺失值。3）LightGBM（LightGradientBoostingMachine），支持多種基學(xué)習(xí)器，使用基于直方圖技術(shù)的學(xué)習(xí)方法加速訓(xùn)練過程，能夠處理缺失值。4）CatBoost（CategoricalBoosting），一種適用于處理分類特征數(shù)據(jù)的梯度提升算法。采用了對(duì)稱樹、動(dòng)態(tài)學(xué)習(xí)速率和一些高效的優(yōu)化技術(shù)，具有較高的訓(xùn)練速度和準(zhǔn)確性。自助聚合Bagging自助聚合Bagging（BootstrapAGGregating）算法的基本思想是通過自助采樣法（Bootstrapsampling）從原始數(shù)據(jù)集中抽取多個(gè)訓(xùn)練子集，并在每個(gè)子集上訓(xùn)練一個(gè)基學(xué)習(xí)器（或稱為弱學(xué)習(xí)器），然后將這些基學(xué)習(xí)器的預(yù)測(cè)結(jié)果進(jìn)行組合，以產(chǎn)生最終的預(yù)測(cè)結(jié)果。18自助聚合Bagging19Bagging算法的主要過程為：1）自助采樣。從原始數(shù)據(jù)集中，使用自助采樣法（有放回抽樣）抽取多個(gè)訓(xùn)練子集。每個(gè)子集的大小通常與原始數(shù)據(jù)集相同或接近。2）訓(xùn)練基學(xué)習(xí)器。以每個(gè)訓(xùn)練子集單獨(dú)訓(xùn)練一個(gè)基學(xué)習(xí)器?；鶎W(xué)習(xí)器通常選用相同的算法。3）預(yù)測(cè)與組合。對(duì)于待預(yù)測(cè)的樣本，每個(gè)基學(xué)習(xí)器均給出預(yù)測(cè)結(jié)果。Bagging分類器將這些預(yù)測(cè)結(jié)果進(jìn)行聚合，通常使用簡(jiǎn)單多數(shù)投票法。自助聚合BaggingBagging算法通過引入數(shù)據(jù)擾動(dòng)（使訓(xùn)練子集差異化）來增加基學(xué)習(xí)器的多樣性，從而提高集成分類器的泛化能力。每個(gè)基學(xué)習(xí)器都是獨(dú)立訓(xùn)練的，因此Bagging算法可以并行化，提高訓(xùn)練效率。Bagging算法對(duì)基學(xué)習(xí)器的穩(wěn)定性有一定要求如果基學(xué)習(xí)器本身對(duì)訓(xùn)練數(shù)據(jù)不敏感（即穩(wěn)定性較高），那么通過Bagging引入的數(shù)據(jù)擾動(dòng)可能無法有效提高集成分類器的性能。因而，Bagging算法更適用于提高那些以不穩(wěn)定算法（如決策樹、神經(jīng)網(wǎng)絡(luò)等）為基學(xué)習(xí)器的模型的預(yù)測(cè)性能。20自助聚合Bagging隨機(jī)森林Bagging算法著名擴(kuò)展，典型應(yīng)用在Bagging的基礎(chǔ)上引入了特征擾動(dòng)，進(jìn)一步提高了集成分類器的性能。選用決策樹為基學(xué)習(xí)器，可解釋性強(qiáng)，易于可視化處理高維數(shù)據(jù)時(shí)，不需要進(jìn)行特征選擇，還能較為方便地給出在模型中較為重要的屬性處理時(shí)可并行構(gòu)建多個(gè)決策樹基學(xué)習(xí)器，適合并行處理。21隨機(jī)森林?jǐn)?shù)據(jù)樣本決策樹22按照簡(jiǎn)單多數(shù)投票原則，樣本(0,0)