課程：計算機模式識別課題：集成學(xué)習(xí)與Adaboost算法

學(xué)院：

學(xué)號：

學(xué)生姓名：

上課老師：學(xué)期：春2015集成學(xué)習(xí)理論Adaboost算法原理論文分析[1].TheHumanFaceDetectionAlgorithmsBasedonAdaBoost[2].FaceDetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm

目錄：1.0集成學(xué)習(xí)術(shù)語

強分類器:如果一個學(xué)習(xí)算法通過一組樣本的學(xué)習(xí)后，能夠達到理想的識別率。弱分類器:如果一個學(xué)習(xí)算法的識別率僅好于隨機的猜測?！?集成學(xué)習(xí)理論集成學(xué)習(xí)，就是一種把輸入送入多個學(xué)習(xí)器，再通過某種辦法把學(xué)習(xí)的結(jié)果集成起來的辦法。1.2集成學(xué)習(xí)概念

ClassifierensembleΣαihi(x)hn(x)h2(x)h1(x)InputvectorClassifier1Classifier2……ClassifierNCombineClassifiersOutputx弱分類器1.3集成學(xué)習(xí)構(gòu)造

我們一般選定加權(quán)平均的方法來構(gòu)造集成學(xué)習(xí)的最終學(xué)習(xí)器。但是里面的每一個Classifieri怎樣做呢？有一些研究，針對每個學(xué)習(xí)器都不同構(gòu)的情況。比如識別一個人，一個學(xué)習(xí)器考慮臉，另一個考慮步態(tài)，另一個考慮指紋，這種研究通常稱為InformationFusion。另一種方法是用同樣的學(xué)習(xí)算法來構(gòu)造不同的弱學(xué)習(xí)器的方法。1.3集成學(xué)習(xí)構(gòu)造

改變訓(xùn)練集：根據(jù)訓(xùn)練集的不同，會給出不同的學(xué)習(xí)器。這時就可以通過改變訓(xùn)練集來構(gòu)造不同的學(xué)習(xí)器。然后再把它們集成起來?！巨k法】隨機采樣：在原來的訓(xùn)練集上隨機采樣，可以得到新的訓(xùn)練集。【手段】加權(quán)采樣：通過給訓(xùn)練數(shù)據(jù)賦以不同的權(quán)，實際上使得每個學(xué)習(xí)器關(guān)注訓(xùn)練集中的某一部分，這也符合我們最初民主投票的想法。期望結(jié)果個體1(精度33.3%)個體2(精度33.3%)個體3(精度33.3%)集成(精度33.3%)投票個體必須有差異期望結(jié)果個體1(精度33.3%)個體2(精度33.3%)個體3(精度33.3%)集成(精度0%)投票個體精度不能太低1.3集成學(xué)習(xí)構(gòu)造

【集成學(xué)習(xí)對個體有要求么？】1.3集成學(xué)習(xí)構(gòu)造

【個體越多越好嗎？】既然多個個體的集成比單個個體更好，那么是不是個體越多越好?更多的個體意味著：

（1）在預(yù)測時需要更大的計算開銷，因為要計算更多的個體預(yù)。（2）更大的存儲開銷，因為有更多的個體需要保存?zhèn)€體的增加將使得個體間的差異越來越難以獲得1.3集成學(xué)習(xí)構(gòu)造

【總結(jié)】集成學(xué)習(xí)實際上代表了一種與傳統(tǒng)不同的思維理念。傳統(tǒng)的機器學(xué)習(xí)一般都自認為是單模型的，對于模型的分析總是在整體上完成，如：BP和SVM等。但是，所有這些模型其實都可以看作是一種加權(quán)平均的多模型。所以，當然應(yīng)該考慮研究一般的多模型。在算法上，集成學(xué)習(xí)的典型代表AdaBoost算法，已經(jīng)成為與SVM并立的方法。而且，集成學(xué)習(xí)比SVM更為一般，可能可以有更廣闊的前景。2.2AdaBoost算法主要思想針對同一個訓(xùn)練集訓(xùn)練不同的分類器（弱分類器），然后將這些弱分類器集合起來構(gòu)成一個更強的最終分類器（強分類器）。初始化的時候?qū)γ恳粋€訓(xùn)練樣本都賦予相同的權(quán)重，然后用該學(xué)習(xí)算法對訓(xùn)練集訓(xùn)練T輪，每次訓(xùn)練后，對訓(xùn)練失敗的訓(xùn)練樣本賦予較大的權(quán)重，在訓(xùn)練過程中會生成的一個預(yù)測函數(shù)hj，其中hj也有一定的權(quán)重，預(yù)測效果好的預(yù)測函數(shù)權(quán)重大。最終預(yù)測函數(shù)H用加權(quán)多數(shù)投票的方法產(chǎn)生。2.3AdaBoost算法描述

輸入：一組訓(xùn)練集：，其中為樣本描述，為樣本標識，；其中0，1分別表示正例子和反例。在人臉檢測中，可以定義0為非人臉，1為人臉。初始化：初始樣本權(quán)值設(shè)為。對，循環(huán)執(zhí)行下面的步驟：

（1）歸一化權(quán)重：

（2）對每個特征f，訓(xùn)練一個弱分類器；計算所有特征的弱分類器的加權(quán)錯誤率

（3）選取最佳弱分類器，按最小錯誤率。

（4）按照這個最佳弱分類器，調(diào)整權(quán)重：，其中表示被正確分類，表示被錯誤分類。2.3AdaBoost算法描述2.3AdaBoost算法描述例如在下圖中，需要一些線段把紅色的球和深藍色的球分開，然如僅果僅用一條線的話，是分不開的。調(diào)整權(quán)重調(diào)整權(quán)重調(diào)整權(quán)重弱分類器一弱分類器二弱分類器三最終強分類器2.3AdaBoost算法描述3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost§3論文分析講解作為人臉信息處理中的一項關(guān)鍵技術(shù)，人臉檢測的應(yīng)用背景已經(jīng)遠遠超過了人臉人臉識別的范疇，在身份驗證、基于內(nèi)容的圖像檢索、數(shù)字視頻處理、視覺監(jiān)控等方面有著重要的應(yīng)用價值。近年來出現(xiàn)大量的人臉檢測算法，其中Viola和Jone2001年提出的Adaboost算法是第一個實時的人臉檢測算法?！颈尘啊緼daboost人臉檢測算法是一種基于積分圖、級聯(lián)檢測器和Adaboost算法的方法。通過將大量分類能力一般的弱分類器通過一定的方法疊加起來，構(gòu)成一個分類能力強的強分類器；再將若干個強分類器串聯(lián)成為分級分類器來完成人臉的搜索檢測?！舅惴ㄋ枷搿?.1.1Haar-like特征Haar-like特征：是用一種類似Haar小波的方法來形成人臉特征的。典型的矩陣特征由2到4個矩形組成，分別對應(yīng)于邊界、細線/棒或者對角線特征，見下圖。對應(yīng)的矩形特征的特征值定義為白色矩形內(nèi)的像素和減去黑色矩形內(nèi)的像素和。在基于Adaboost的人臉檢測系統(tǒng)中，每個弱分類器都是對圖像一個特征值的判斷，常用的特征是Haar-like特征。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost積分圖是一種快速計算矩形特征（Haar-like）的方法。在一張積分圖上，點i(x,y)的積分值ii(x,y)是原圖像上該點的上方和左方所有點的亮度值的和。即：其中ii(x,y)為積分圖，i(x,y)為原始圖像，如下圖所示。3.1.2積分圖3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost當采用下面兩式，只需對原圖像掃描一次即可計算出積分圖：

其中，，是對這一行及其以前行的像素值求和，并且有：

3.1.2積分圖3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost

有了積分圖，矩形特征值就可以通過很少的計算量得到。任意一個矩形內(nèi)的像素和可以由積分圖上對應(yīng)的四點得到。由此可見，矩形特征的特征值的計算，只與此特征的端點的積分圖有關(guān)，而與圖像的坐標值無關(guān)。所以積分圖的引入，大大提高了檢測速度。將強分類器串聯(lián)在一起形成級聯(lián)檢測器，每層的強分類器經(jīng)過閾值調(diào)整，使得每一層都能讓幾乎全部的人臉樣本通過，而拒絕很大部分非人臉樣本。3.1.4級聯(lián)檢測器進行人臉檢測

3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost由于前面的層使用的矩形特征數(shù)據(jù)很少，計算非?？?，越往后匹配的圖片越少。盡管隨著級數(shù)的增多矩形特征數(shù)量在增加，但計算量卻在減少，檢測速度在加快，具有實時性。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost在確定了特征形式后，Harr-like特征的數(shù)量就取決于訓(xùn)練樣本圖像矩陣的大小。當人臉樣本圖像和非人臉樣本圖像的矩陣大小為24×24時(一般人臉檢測的訓(xùn)練樣本為24×24大小)，原始Harr-like特征庫的四種特征的總數(shù)量就為162336個，見下表?！緦嶒炦^程】Adaboost算法通過從大量的haar特征中挑選出最優(yōu)的特征，并將其轉(zhuǎn)換成對應(yīng)的弱分類器進行分類使用，從而達到對目標進行分類的目的。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost將haar特征這種反映圖像中灰度分布特點的特性引入人臉檢測問題當中，問題就轉(zhuǎn)換成如何找到較好的haar特征對人臉圖像灰度分布的特點進行描述。下圖中的3個特征就能很好的描述圖像中人臉的眼部的灰度的分布特點?！緦嶒炦^程】3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm為了解決單一AdaBoost人臉檢測算法沒有考慮人臉皮膚顏色和文理特點的缺點，本文提出一種基于皮膚顏色分割技術(shù)和AdaBoost的人臉檢測算法?！颈尘啊俊舅惴ㄔ怼渴紫?，采用皮膚顏色分割技術(shù)檢測人的皮膚，以獲取人臉待選區(qū)域，然后采用基于AdaBoost算法的級聯(lián)檢測器（上篇文獻）檢測這些待選區(qū)域，最終獲取更加精確人臉檢測結(jié)果?！舅惴▌?chuàng)新】采用擴展Haar-like特征作為人臉特征。

采用皮膚顏色分割技術(shù)選擇人臉待選區(qū)，減少了級聯(lián)檢測器的數(shù)據(jù)量，速度更快，精度更高。本文將擴展的Haar-like特征（下圖所示）作為人臉特質(zhì)，每個特征由2~3個矩形組成，分別檢測邊界、細線、中心特征等。3.2.1擴展Haar-like特征3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm3.2.2皮膚顏色分割技術(shù)3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm相對于幾何特征，皮膚顏色是彩色圖像非常有效的特性，它不會隨圖像的大小和形狀改變而改變。因此，皮膚顏色分割方法具有相對穩(wěn)定和計算速率高的優(yōu)點。調(diào)查顯示：皮膚顏色的不同主要是由亮度決定，不受色度影響。通常顏色空間包括RGB、規(guī)范RGB、HVS和YCbCr等。YCbCr能夠?qū)⒘炼群蜕刃畔⑦M行分離，再單獨處理，故本文采用YCbCr空間作為顏色分布匹配空間。在YCbCr模型中，Y表示顏色的亮度信息；Cb表示色度的藍色；Cr表示色度的紅色。其和RGB的轉(zhuǎn)換關(guān)系如下：其中：皮膚的Cb和Cr都在一定的范圍：3.2.2皮膚顏色分割技術(shù)3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm3.2.2皮膚顏色分割技術(shù)3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm掃描圖像的每一個像素，如果像素的Cr和Cb值在上述范圍內(nèi)，則表示標定為皮膚；否則將其像素設(shè)置為黑色。然后我們采用中值濾波來去除噪聲，最后我們將獲得人臉待選區(qū)域（用于后續(xù)AdaBoost人臉識別）3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【實驗結(jié)果】如右圖所示，為圖像經(jīng)過皮膚顏色分割算法檢測后的結(jié)果，其能將人臉、手等皮膚區(qū)域檢測出來。3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【實驗結(jié)果】如右圖所示，為圖像經(jīng)過皮膚顏色分割算法檢測后，再經(jīng)過AdaBoost算法后的檢測結(jié)果，其能很好地將人臉從人臉待選區(qū)域中提取出來。3.2DetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm【總結(jié)】本文提出基于皮膚顏色分割技術(shù)和AdaBoost算法的人臉檢測技術(shù)，該算法具有具有較高的檢測速率和魯棒性。3.3總結(jié)集成學(xué)習(xí)：把一些比較弱的分類方法合在一起，組合出新的很強的分類方法?！叭齻€臭皮匠，頂個諸葛亮”。AdaBoost算法：初始化的時候?qū)γ恳粋€訓(xùn)練樣本都賦予相同的權(quán)重，然后用該學(xué)習(xí)算法對訓(xùn)練集訓(xùn)練T輪，每次訓(xùn)練后，對訓(xùn)練失敗的訓(xùn)練樣本賦予較大的權(quán)重，在訓(xùn)練過程中會生成的一個預(yù)測函數(shù)hj，其中hj也有一定的權(quán)重，預(yù)測效果好的預(yù)測函數(shù)權(quán)重大。基于AdaBoost算法的人臉檢測：【1】人臉特征選擇---Haar-like特征【2】人臉特征計算---積分圖【3】分類函數(shù)學(xué)習(xí)【4】級聯(lián)檢測器進行人臉檢測3.3總結(jié)基于皮膚顏色分割技術(shù)和AdaBoost算法的人臉檢測：【1】采用擴展Haar-like特征作為人臉特征。

【2】采用皮膚顏色分割技術(shù)選擇人臉待選區(qū)，減少了級聯(lián)檢測器的數(shù)據(jù)量，速度更快，精度更高。[1]郭磊,王秋光.Adaboost人臉檢測算法研究OpenCV實現(xiàn)[J].哈爾濱理工大學(xué)學(xué)報,2009.10,14(5):123-126.[2]RobertE.Schapire.ABriefIntroductiontoBoosting[C].ProceedingsoftheSixteenthInternationalJointConferenceonArtificialIntelligence,1999:1401-1406.

[3]LiYinyan.TheHumanFaceDetectionAlgorithmsBasedonAdaBoost[C].Proceedingsof2007InternationalSymposiumonComputerScienceandTechnology,2007:962-965[4]LiKaiandGaoHongtao.SelectiveClassifierEnsembleLearningAlgorithmbasedonSubgraphStrategy[J].ComputerEngineeringandApplications,2011,47(34):78-80.[5]ShiChunleiandJinLongxu.FaceDetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm[C].Proceedingsof20113rdIEEEInternationalConferenceonInformationManagementandEngineering,2011:213-216[6]WangJiangboandLiShaowen.StudiesonFaceDetectionBasedonImprovedAdaBoostAlgorithm[C].Proceedingsof2011InternationalConferenceonIntelligentComputingandIntegratedSystems,2011:235-238[7]ZhangJiangfengandLiJun.TheResearchofFaceDetectionBasedonDoubleSkinModelandAdaboostAlgorithm[C].Proceedingsof2011InternationalConferenceonIntelligentComputingandIntegratedSystems,2011:204-207[8]FuZhongliangandZhaoXianghui.EnsembleLearningAlgorithms:GeneralizationofAdaBoost[J].JournalofSiChuangUniversity(EngineeringScienceEdition),vol.42,no.6,November2010.[9]FuZhongliangandZhaoXianghui.EnsembleLearningAlgorithms:GeneralizationofAdaBoost[J].JournalofSiChuangUniversity(EngineeringScienceEdition),vol.42,no.6,November2010.參考文獻[10]LanRushiandJiangYong.AutomatedflarepredictionusingtheAdaBoostalgorithm[J].ResearchinAstronandAstrophysics,vol.12,no.9,June2012.[11]XuChengshenandDiaoLili.TheTypicalAlgorithmofAdaBoostSeriesinBoostingFamily[J].Computer

Science,vol.30,no