彭輝94031097（QQ）機器學習MachineLearningBagging算法任務(wù)目標能力目標理解裝袋法、隨機森林集成學習原理理解集成學習基本原理理解Boosting集成學習原理使用Sklearn進行集成學習算法應用開發(fā)任務(wù)目標素質(zhì)目標團隊協(xié)作學會學習實踐創(chuàng)新集成學習集成學習（EnsembleLearning）

是指利用多個獨立的基學習器（或個體學習器）來進行學習，組合某輸入樣例在各個基學習器上的輸出，并由他們按照某種策略共同決定輸出。

集成學習的基本思想：

是先通過一定的規(guī)則生成一定數(shù)量的基學習器（BaseEstimator），再采用某種集成策略將這些基學習器的預測結(jié)果組合起來，形成最終的結(jié)論。集成學習集成學習目標集成學習主要包括三個部分：個體的生成方法、個體學習器（基學習器）和結(jié)論的合（集）成方法。因此集成學習需要解決如下兩個問題：（1）如何通過有效的訓練獲得若干個弱學習器？（2）如何選擇一個組合策略，將這些基學習器合成為一個強學習器？集成學習中，弱學習器（WeakLearner）是錯誤概率小于0.5的學習器；強學習器（StrongLearner）則具有任意小的錯誤概率。集成學習不是一個單獨的機器學習算法，它可將多重或多個弱學習器組合成一個強分類器，從而提升分類效果。集成學習同質(zhì)個體學習器按照個體學習器之間是否存在依賴關(guān)系又可以分為兩類：個體學習器之間存在著強依賴關(guān)系其代表算法是Boosting算法；個體學習器之間不存在強依賴關(guān)系，可以并行生成這些個體學習器，其代表算法是Bagging和隨機森林（RandomForest）算法?；鶎W習器的構(gòu)成（1）同質(zhì)學習器：可以使用Cart決策樹、神經(jīng)網(wǎng)絡(luò)（2）異質(zhì)學習器集成學習基學習器的構(gòu)成（續(xù)）考慮一個簡單的例子，在二分類問題中，假定3個分類器在三個樣本中的表現(xiàn)如下圖所示，其中√

表示分類正確，X

號表示分類錯誤，集成的結(jié)果通過投票產(chǎn)生。集成個體應：好而不同集成學習當集成學習用于分類預測時，集成的輸出通常由各個體學習器的輸出投票產(chǎn)生。通常采用絕對多數(shù)投票法或相對多數(shù)投票法。當集成學習用于回歸估計時，集成的輸出通常由各學習器的輸出通過簡單平均或加權(quán)平均產(chǎn)生。組合策略根據(jù)集成學習的用途不同，結(jié)論合成的方法也各不相同集成學習投票法voting集成學習組合函數(shù)是投票法組合函數(shù)還可以是取平均值的簡單投票法（SimpleVoting）、中位數(shù)、最大值等最簡單的組合函數(shù)是投票（voting）相當于一個基分類器的加權(quán)線性組合Sklearn中的Voting練習Sklearn中的投票sklearn提供了一種軟投票/多數(shù)規(guī)則分類器（SoftVoting/MajorityRuleClassifier），其原型如下：classsklearn.ensemble.VotingClassifier(estimators,voting=’hard’,weights=None,n_jobs=1,flatten_transform=None)estimators：指定的估計器，該估計器必須有.fit方法進行訓練。voting：字符串，可選項為“soft”和“hard”，其默認值為“hard”。如果voting取值“hard”，那么使用多數(shù)規(guī)則表決預測的類標簽。否則，基于各個基學習器的預測概率之和預測類標簽。weights：數(shù)組，大小等于n_classifiers（基學習器的數(shù)量），缺省值為None。權(quán)值序列表示預測類標簽出現(xiàn)（hardvoting），或者平均化之前的類概率（softvoting）。Bagging裝袋（Bagging）是一種自助抽樣（BootstapSampling）的投票方法Bagging基本概念

BaggingBagging的組合策略

一個學習算法是穩(wěn)定的

如果該算法在相同訓練數(shù)據(jù)集的再抽樣版本上多次運行導致具有高正相關(guān)性的學習器。決策樹和多層感知器是不穩(wěn)定的，最近鄰算法是穩(wěn)定的，但是精簡的最近鄰算法是不穩(wěn)定的。一個學習算法是不穩(wěn)定的

如果訓練集的微小變化引起由其訓練得到的學習器的很大差異，即學習算法具有高方差。Bagging的組合策略是：分類任務(wù)采取簡單投票法，即每個基學習器一票；回歸任務(wù)使用簡單平均法，即每個基學習器的預測值取平均值。BaggingBagging算法-sklearn實現(xiàn)classsklearn.ensemble.BaggingClassifier(base_estimator=None,n_estimators=10,max_samples=1.0,max_features=1.0,bootstrap=True,bootstrap_features=False,oob_score=False,warm_start=False,n_jobs=1,random_state=None,verbose=0)base_estimator：對象，默認值為None。如果是None，則默認的基學習器是決策樹。n_estimator：整型，默認值為10?；鶎W習器的數(shù)量。max_samples：整型或浮點型，默認值為1.0。從X中抽取指定的樣本數(shù)來訓練每個基學習器。如果是整型，抽取max_samples個樣本作為訓練數(shù)據(jù)集；否則，抽取max_samples*X.shape[0]樣本作為訓練數(shù)據(jù)集。max_features：整型或浮點型，默認值為1.0。從X中抽取指定的屬性數(shù)量來訓練每個基學習器。如果是整型，抽取max_featuress個屬性；否則，抽取max_features*X.shape[1]屬性。warm_start：布爾值，默認值為False。當設(shè)置為True時，訓練是在前一次集成學習的基礎(chǔ)上，繼續(xù)訓練并添加更多基學習器到集成學習中來，否則，只是訓練一個全新的集成學習。隨機森林

隨機森林（RandomFroest，RF）隨機森林是bagging的一個擴展變種，其基學習器是決策樹。對于一個輸入樣本，N

棵決策樹就會有N

個分類結(jié)果，隨機森林集成了所有分類投票結(jié)果，將投票次數(shù)最多的類別作為最終的輸出。隨機森林隨機森林的生成過程如下：

（1）抽樣產(chǎn)生每棵決策樹的訓練數(shù)據(jù)集。RF采用Bagging抽樣技術(shù)從原始訓練數(shù)據(jù)集中產(chǎn)生N個訓練子集。（2）構(gòu)建N棵決策樹（基學習器）。每一個訓練子集生成一棵決策樹，從而產(chǎn)生N棵決策樹形成森林，每棵決策樹不需要剪枝處理。（3）生成隨機森林，以簡單多數(shù)的原則決定該樣本是哪個類別。使用N棵決策樹對測試樣本進行分類，隨機森林將每棵子樹的結(jié)果匯總，以簡單多數(shù)的原則決定該樣本是哪個類別。從原始訓練集中隨機產(chǎn)生N個訓練子集用于隨機生成N顆決策樹。在構(gòu)建具體的決策樹過程中隨機地選擇m個屬性，隨機森林的生成過程中這兩個隨機性，可以確保不會出現(xiàn)過擬合（over-fitting）。隨機森林

sklearn提供了RF分類器，其原型如下：classsklearn.ensemble.RandomForestClassifier(

n_estimators=10,

criterion=’gini’,

max_depth=None,

min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=’auto’,

max_leaf_nodes=None,min_impurity_decrease=0.0,min_impurity_split=None,boo