Adaboost課程大綱2018.9.15集成學(xué)習(xí)實(shí)戰(zhàn)2018.9.22Boosting與Adaboost實(shí)戰(zhàn)2018.9.29Bagging與隨機(jī)森林實(shí)戰(zhàn)3Adaboost算法

算法分析算法步驟訓(xùn)練過(guò)程舉例說(shuō)明算法介紹Adaboost算法介紹

分類器：1、監(jiān)督式分類器線性分類器感知器，最小平方誤差判別分析線性支持向量機(jī)非線性分類器多層感知器神經(jīng)網(wǎng)絡(luò)非線性支持向量機(jī)，核函數(shù)機(jī)器非數(shù)值方法——決策樹(shù)Adaboost2、非監(jiān)督式分類器Adaboost算法介紹

Bagging技術(shù)和boosting技術(shù)都通過(guò)將T個(gè)學(xué)習(xí)得到的分類法C1,C2…CT組合起來(lái)，從而創(chuàng)造一個(gè)改進(jìn)的分類法C*Bagging技術(shù)：對(duì)訓(xùn)練集S進(jìn)行T次迭代，每次通過(guò)放回取樣選取樣本集St，通過(guò)學(xué)習(xí)St得到分類法Ct對(duì)于未知樣本X，每個(gè)分類法返回其類預(yù)測(cè)，作為一票C*統(tǒng)計(jì)得票，并將得票最高的預(yù)測(cè)賦予XBoosting技術(shù)：每個(gè)訓(xùn)練樣本賦予一個(gè)權(quán)值Ct的權(quán)值取決于其錯(cuò)誤率IdeaAdaBoost(AdaptiveBoosting,R.Scharpire,Y.Freund,ICML,1996)Adaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器（弱分類器），然后把這些弱分類器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類器（強(qiáng)分類器）。Adaboost算法介紹BacktoschoolAdaboost算法介紹IdeaAdaBoost(AdaptiveBoosting,R.Scharpire,Y.Freund,ICML,1996)Adaboost算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次得到的分類器最后融合起來(lái)，作為最后的決策分類器。BacktoschoolAdaboost算法介紹目前，對(duì)Adaboost算法的研究以及應(yīng)用大多集中于分類問(wèn)題，同時(shí)近年也出現(xiàn)了一些在回歸問(wèn)題上的應(yīng)用。就其應(yīng)用adaboost系列主要解決了：兩類問(wèn)題、多類單標(biāo)簽問(wèn)題、多類多標(biāo)簽問(wèn)題、大類單標(biāo)簽問(wèn)題，回歸問(wèn)題。它用全部的訓(xùn)練樣本進(jìn)行學(xué)習(xí)。使用adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。BacktoschoolAdaboost算法分析該算法其實(shí)是一個(gè)簡(jiǎn)單的弱分類算法提升過(guò)程，這個(gè)過(guò)程通過(guò)不斷的訓(xùn)練，可以提高對(duì)數(shù)據(jù)的分類能力。1、先通過(guò)對(duì)N個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱分類器；2、將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第二個(gè)弱分類器；3、將1和2都分錯(cuò)了的樣本加上其他的新樣本構(gòu)成另一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第三個(gè)弱分類器4、最終經(jīng)過(guò)提升的強(qiáng)分類器。即某個(gè)數(shù)據(jù)被分為哪一類要通過(guò)......的多數(shù)表決。Adaboost算法分析對(duì)于boosting算法，存在兩個(gè)問(wèn)題：1.如何調(diào)整訓(xùn)練集，使得在訓(xùn)練集上訓(xùn)練的弱分類器得以進(jìn)行；2.如何將訓(xùn)練得到的各個(gè)弱分類器聯(lián)合起來(lái)形成強(qiáng)分類器。Adaboost算法分析針對(duì)以上兩個(gè)問(wèn)題，AdaBoost算法進(jìn)行了調(diào)整：1.使用加權(quán)后選取的訓(xùn)練數(shù)據(jù)代替隨機(jī)選取的訓(xùn)練樣本，這樣將訓(xùn)練的焦點(diǎn)集中在比較難分的訓(xùn)練數(shù)據(jù)樣本上；2.將弱分類器聯(lián)合起來(lái)，使用加權(quán)的投票機(jī)制代替平均投票機(jī)制。讓分類效果好的弱分類器具有較大的權(quán)重，而分類效果差的分類器具有較小的權(quán)重。Adaboost算法分析AdaBoost算法是Freund和Schapire根據(jù)在線分配算法提出的，他們?cè)敿?xì)分析了AdaBoost算法錯(cuò)誤率的上界，以及為了使強(qiáng)分類器達(dá)到錯(cuò)誤率，算法所需要的最多迭代次數(shù)等相關(guān)問(wèn)題。與Boosting算法不同的是，AdaBoost算法不需要預(yù)先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限即弱分類器的誤差，并且最后得到的強(qiáng)分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。Adaboost算法分析

AdaBoost算法中不同的訓(xùn)練集是通過(guò)調(diào)整每個(gè)樣本對(duì)應(yīng)的權(quán)重來(lái)實(shí)現(xiàn)的。開(kāi)始時(shí)，每個(gè)樣本對(duì)應(yīng)的權(quán)重是相同的，即其中n為樣本個(gè)數(shù)，在此樣本分布下訓(xùn)練出一弱分類器。對(duì)于分類錯(cuò)誤的樣本，加大其對(duì)應(yīng)的權(quán)重；而對(duì)于分類正確的樣本，降低其權(quán)重，這樣分錯(cuò)的樣本就被突顯出來(lái)，從而得到一個(gè)新的樣本分布。在新的樣本分布下，再次對(duì)樣本進(jìn)行訓(xùn)練，得到弱分類器。依次類推，經(jīng)過(guò)T次循環(huán)，得到T個(gè)弱分類器，把這T個(gè)弱分類器按一定的權(quán)重疊加（boost）起來(lái)，得到最終想要的強(qiáng)分類器。

Adaboost算法步驟AdaBoost算法的具體步驟如下：1.給定訓(xùn)練樣本集S，其中X和Y分別對(duì)應(yīng)于正例樣本和負(fù)例樣本；T為訓(xùn)練的最大循環(huán)次數(shù)；2.初始化樣本權(quán)重為1/n，即為訓(xùn)練樣本的初始概率分布；3.第一次迭代：(1)訓(xùn)練樣本的概率分布相當(dāng)，訓(xùn)練弱分類器;(2)計(jì)算弱分類器的錯(cuò)誤率;(3)選取合適閾值，使得誤差最??；(4)更新樣本權(quán)重；經(jīng)T次循環(huán)后，得到T個(gè)弱分類器，按更新的權(quán)重疊加，最終得到的強(qiáng)分類器。

Adaboost算法步驟Adaboost算法是經(jīng)過(guò)調(diào)整的Boosting算法，其能夠?qū)θ鯇W(xué)習(xí)得到的弱分類器的錯(cuò)誤進(jìn)行適應(yīng)性(Adaptive)調(diào)整。上述算法中迭代了T次的主循環(huán)，每一次循環(huán)根據(jù)當(dāng)前的權(quán)重分布對(duì)樣本x定一個(gè)分布P，然后對(duì)這個(gè)分布下的樣本使用弱學(xué)習(xí)算法得到一個(gè)弱分類器，對(duì)于這個(gè)算法定義的弱學(xué)習(xí)算法，對(duì)所有的樣本都有錯(cuò)誤率，而這個(gè)錯(cuò)誤率的上限并不需要事先知道，實(shí)際上。每一次迭代，都要對(duì)權(quán)重進(jìn)行更新。更新的規(guī)則是：減小弱分類器分類效果較好的數(shù)據(jù)的概率，增大弱分類器分類效果較差的數(shù)據(jù)的概率。最終的分類器是個(gè)弱分類器的加權(quán)平均。

Adaboost訓(xùn)練過(guò)程Adaboost訓(xùn)練過(guò)程Adaboost訓(xùn)練過(guò)程Adaboost算法實(shí)現(xiàn)BacktoschoolBacktoschoolBacktoschoolBacktoschool