基于adaboos和c-v方法的人臉特征定位方法

0adabolst算法的人臉檢測算法面部特征的目標(biāo)是在圖像中搜索眼、臉、鼻、嘴巴等面部特征的位置、輪廓或要點(diǎn)。這是基于人臉識別、面部特征識別和面部跟蹤的重要步驟。由于問題的相似性,許多人臉檢測方法可應(yīng)用于特征的粗定位,然后運(yùn)用圖像分割方法提取輪廓。文獻(xiàn)提出了基于Haar型特征的AdaBoost算法,并用這一算法學(xué)習(xí)層疊型正面人臉檢測器,是目前正確率最高、魯棒性最好的算法之一,而且速度快于其他算法。將人臉樣本替換為眼、鼻、嘴的樣本,反例樣本替換為不含待檢測物體的樣本,根據(jù)AdaBoost算法訓(xùn)練,可得到相應(yīng)的層疊型特征檢測器。使用這些特征檢測器可快速、準(zhǔn)確地檢測出人臉特征所在矩形區(qū)域。在眾多圖像分割方法中,基于簡化的Mumford-Shah水平集圖像分割模型的C-V方法是不依賴于圖像局部梯度信息的分割方法,具有魯棒和全局最優(yōu)等優(yōu)點(diǎn),可準(zhǔn)確地從特征區(qū)域中提取出特征的輪廓。文獻(xiàn)介紹了相關(guān)工作,描述了基于AdaBoost算法的人臉檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過程。本文的創(chuàng)新點(diǎn):1)檢測人臉時加入人臉邊緣圖像的先驗(yàn)規(guī)則,可快速過濾非人臉窗口,在不降低檢測率的同時提高檢測速度;2)結(jié)合基于外觀信息的AdaBoost算法和基于幾何形狀的C-V方法(前者用于特征粗定位,后者用于輪廓提取),經(jīng)過由粗到細(xì)的過程,快速而準(zhǔn)確地實(shí)現(xiàn)了人臉特征定位;3)利用角點(diǎn)解決了輪廓線的內(nèi)凹問題。1基于adabolst算法的haar型人才培養(yǎng)文獻(xiàn)提出的正面層疊型物體檢測器的構(gòu)成方法中,首先利用積分圖計(jì)算樣本中包含的所有Haar型特征,然后根據(jù)AdaBoost算法訓(xùn)練這些Haar型特征,得到一組強(qiáng)分類器,每個強(qiáng)分類器由若干弱分類器組成,弱分類器與篩選出的分類能力較強(qiáng)的Haar型特征一一對應(yīng),最后將這組強(qiáng)分類器串聯(lián)為一個層疊分類器。這種構(gòu)造層疊型檢測器的方法具有通用性,可以根據(jù)樣本的不同得到各種物體檢測器,如人臉檢測器、嘴巴檢測器等。1.1adabolst算法檢測算法層疊檢測器的每一層強(qiáng)分類器都是根據(jù)AdaBoost算法訓(xùn)練得到的。AdaBoost的基本思想是將大量的分類能力一般的弱分類器通過一定方法疊加(Boost)起來,構(gòu)成一個分類能力較強(qiáng)的分類器。理論證明,只要每個弱分類器分類能力比隨機(jī)猜測要好,當(dāng)弱分類器個數(shù)趨向于無窮時,強(qiáng)分類器的錯誤率將趨于零。訓(xùn)練流程可描述為:1)設(shè)層疊分類器由n個強(qiáng)分類器組成,獲取初始正例樣本集(p個正例)與反例樣本集(q個反例);2)fort=1:na)根據(jù)AdaBoost算法訓(xùn)練一個強(qiáng)分類器Ht(x);b)組合前t個強(qiáng)分類器H1,H2,…,Ht,對正例樣本集進(jìn)行驗(yàn)證,淘汰被錯誤判斷的正例樣本(漏判),并修改正例樣本的數(shù)量p;c)組合前t個強(qiáng)分類器H1,H2,…,Ht,對當(dāng)前反例樣本集進(jìn)行驗(yàn)證,淘汰被正確判斷的反例樣本,并重新獲取反例樣本,以補(bǔ)充反例樣本集,使其數(shù)量重新達(dá)到q。在重新獲取反例樣本的過程中,也是組合前t個強(qiáng)分類器對候選反例樣本進(jìn)行驗(yàn)證,只有被誤判的候選反例樣本才能被加入到反例樣本集中。3)保存訓(xùn)練結(jié)果。其中,所謂驗(yàn)證就是利用前t個強(qiáng)分類器組成的臨時層疊分類器對樣本進(jìn)行模擬檢測。在訓(xùn)練過程中,需要不斷更新反例樣本集,這是因?yàn)樵隍?yàn)證時有一部分反例樣本會逐漸被篩選掉,并不會通過所有層,被篩選掉的反例樣本對于下一層的訓(xùn)練已經(jīng)沒有價值了。在訓(xùn)練人臉檢測器時,采用的2000個人臉樣本取自BioID和AR人臉庫,非人臉樣本取自1000幅不含人臉的圖片(訓(xùn)練時從這些圖片中截取子圖像作為反例樣本)。在訓(xùn)練眼、鼻、嘴檢測器時,采用的2000個正例樣本分別取自上述2000個人臉樣本,通過手工獲取位置和大小信息,反例樣本取自1000幅不含待檢測物體的圖片。為了更準(zhǔn)確地檢測眼睛,將眉毛和眼睛區(qū)域一起作為眼睛樣本,這樣眼睛檢測器可同時檢測到眼睛和眉毛。對于獲取的樣本都必須做預(yù)處理:將彩色樣本圖像轉(zhuǎn)化為灰度圖像;把樣本圖像縮小為預(yù)定的尺寸,如將人臉樣本的分辨率定為20×20。1.2人臉邊緣檢測檢測方法為:檢測窗口的初始分辨率與樣本圖像一致,逐層等比放大檢測窗口,用各層窗口遍歷待檢測圖像并將窗口內(nèi)的子圖像送入檢測器中進(jìn)行檢測。為了加快檢測速度,引入關(guān)于人臉邊緣圖像的先驗(yàn)規(guī)則:對待檢測子圖像進(jìn)行Canny邊緣檢測得到二值圖,統(tǒng)計(jì)二值圖中值為1的點(diǎn)的個數(shù),記為N,當(dāng)N小于100時,認(rèn)為該子圖像不含人臉,否則將子圖像送入檢測器中進(jìn)行檢測。實(shí)驗(yàn)結(jié)果表明通過此規(guī)則,可快速過濾非人臉窗口,提高檢測速度。2c-v方法與面部特征的定位2.1特征所在的矩形區(qū)域檢測通過訓(xùn)練得到人臉及特征檢測器之后,首先使用人臉檢測器從圖像中提取出人臉區(qū)域,然后利用眼、鼻、嘴檢測器在人臉區(qū)域中進(jìn)行檢測,獲得特征所在的矩形區(qū)域,即對特征作粗定位。檢測效果如圖1所示,由于在訓(xùn)練眼睛檢測器時采用眼睛+眉毛作為眼睛樣本,所以檢測結(jié)果中眼睛和眉毛被一起檢測出來。在粗定位之后,根據(jù)C-V方法從特征所在的矩形區(qū)域中提取輪廓,進(jìn)而得到人臉關(guān)鍵特征點(diǎn)的準(zhǔn)確位置。特征粗定位的目的是利用層疊檢測器快速、準(zhǔn)確和魯棒的特點(diǎn)縮小圖像的分割范圍,并為曲線演化提供良好的初始點(diǎn),從而加快了分割的速度和精度。2.2局部約束-snage方法水平集(LevelSet)方法是曲線(或曲面,以下對曲線的討論均適用于曲面)演化方程的一種數(shù)值解法。該方法將二維平面上的閉合曲線C(t)的Lagrangian運(yùn)動方程轉(zhuǎn)化為三維空間中曲面φ(t)的Eulerian運(yùn)動方程,在曲面φ(t)保持函數(shù)性的情況下實(shí)現(xiàn)了曲線C(t)運(yùn)動時拓?fù)浣Y(jié)構(gòu)的自由變化(如分裂和合并)?；痉椒?定義一個符號距離函數(shù)φ(x,y,t):R2→R,其中φ的零水平集代表曲線C(t)={(x,y)|φ(x,y,t)=0}。φ的定義為φ(x,y,t)=±d,d為從(x,y)點(diǎn)到曲線C的最短距離,曲線內(nèi)的點(diǎn)取負(fù)號,曲線外的點(diǎn)取正號。舉個例子,圖2是平面上兩個圓的水平集表示,平面上所有點(diǎn)的距離值構(gòu)成兩個相交的空心錐體,xy平面與兩個錐體的交線就表示兩個圓的輪廓,輪廓上的點(diǎn)始終滿足φ(x,y,t)=0,曲線的演化過程轉(zhuǎn)化為曲面的演化過程。C-V方法是基于Mumford-Shah水平集圖像分割模型的一種不依賴于圖像局部梯度信息的幾何活動輪廓線圖像分割方法,有效地克服了Snake參數(shù)模型易陷入局部極值、不具備自動拓?fù)渥儞Q能力等缺點(diǎn)。設(shè)定義域?yàn)棣傅膱D像I(x,y)被閉合邊界C劃分為目標(biāo)ω0(C的內(nèi)部)和背景ωb(C的外部)兩個同質(zhì)區(qū)域,各個區(qū)域內(nèi)的平均灰度分別為ca和cb,考慮能量函數(shù):F(C,co,cb)=μL(C)+vSo(C)+λo∫inside(C)|I-co|2dxdy+λb∫outside(C)|I-cb|2dxdy(1)式中L(C)是C的長度,So(C)是C的內(nèi)部區(qū)域面積;μ,ν≥0;λo,λb>0是各個能量項(xiàng)權(quán)值系數(shù);F的頭兩項(xiàng)是平滑項(xiàng)。僅當(dāng)閉合邊界C位于兩個同質(zhì)區(qū)域的邊界時,F(C,co,cb)才能達(dá)到能量最小。由于該模型利用了圖像的全局信息,最優(yōu)化F(C,co,cb)可以得到全局最優(yōu)的圖像分割結(jié)果。設(shè)φ0是根據(jù)初始輪廓線C0構(gòu)造的水平集函數(shù),并設(shè)φ(x,y,t)為內(nèi)正外負(fù)的符號距離函數(shù),以Euler-Lagrange方法推導(dǎo)出滿足能量最小化并以水平集函數(shù)φ表達(dá)的偏微分方程:ΔφΔt=δε(φ){μ???φ|?φ|-v-λo[Ι(x?y)-co]2+λb[Ι(x?y)-cb]2}φ(x?y?0)=φ0(x?y)(2)co=∫ΩΙ(x?y)Ηε(φ)dxdy∫ΩΗε(φ)dxdycb=∫ΩΙ(x?y)[1-Ηε(φ)]dxdy∫Ω[1-Ηε(φ)]dxdy(3)式中,?為梯度算子,???φ|?φ|為φ的曲率,Ηε(φ)=[1+2πarctan(φε)]為Heaviside函數(shù),δε(φ)=Hε′(φ)為Dirac函數(shù)。從t=0開始以Δt為時間間隔反復(fù)迭代N次后,取φ=0的點(diǎn)作為輪廓線上的點(diǎn),在實(shí)驗(yàn)中N取50。曲線演化收斂,是指迭代過程滿足下列條件之一:1)達(dá)到最大迭代次數(shù)N;2)在最后一次迭代中發(fā)生移動的輪廓線上的點(diǎn)的數(shù)目小于某個給定的值。2.3關(guān)于角點(diǎn)的檢測角點(diǎn)是圖像中局部灰度變化劇烈的點(diǎn)或者邊緣曲線上具有足夠大曲率的點(diǎn),我們采用的角點(diǎn)檢測方法是KLT(Kanade-Lucas-Toamsi)方法。N維空間中一點(diǎn)P的二階Taylor展開式為:I(P+ΔP)≈I(P)+ΔPT□I(P)+ΔPTH(P)ΔP,□I(P)為P點(diǎn)的梯度矢量,H(P)為P點(diǎn)的Hessian矩陣。N維空間的Hessian矩陣為一個N×N的實(shí)對稱矩陣:Η(Ρ)?(?2f(x)?x21?2f(x)?x1?x2??2f(x)?x1?xn???2f(x)?xn?x1?2f(x)?xn?x2??2f(x)?x2n)(4)在H(P)的N個特征值中,越大的特征值對應(yīng)的特征向量代表著P點(diǎn)曲率越大的方向。KLT角點(diǎn)檢測方法正是利用Hessian矩陣的這一幾何意義而提出的,當(dāng)圖像上某點(diǎn)的特征值滿足一定約束條件時就被認(rèn)為是角點(diǎn)。KLT角點(diǎn)檢測的具體步驟如下:1)計(jì)算每個像素i的水平和垂直方向上的差分值Dx(i)和Dy(i);2)設(shè)以像素i為中心的K×K臨域?yàn)镾,計(jì)算S內(nèi)的2維Hessian矩陣:的特征值λ1、λ2,令λi=Min(λ1,λ2);3)過濾掉特征值小于Max(λi)×Q的像素;4)非最大化抑制法過濾假角點(diǎn):保留H×H臨域內(nèi)具有最大特征值的像素;5)剩下的像素就是角點(diǎn)。在實(shí)驗(yàn)中,K=3,Q=0.1,H=10。Hessian矩陣中采用臨域內(nèi)多點(diǎn)的差分和代替中心點(diǎn)的差分值起到了平滑圖像的作用。2.4利用整體角點(diǎn)檢測輪廓線利用C-V方法對各特征進(jìn)行分割,提取眼、眉、嘴的輪廓線,并標(biāo)定各關(guān)鍵特征點(diǎn),如圖3(a)所示,特征點(diǎn)用星號表示。提取鼻子的輪廓線并無實(shí)際意義,因此只標(biāo)定特征點(diǎn),即分割得到的區(qū)域的最左下和最右下兩點(diǎn)。在提取眼睛和嘴巴的輪廓線時經(jīng)常會遇到內(nèi)凹問題(圖3(b))。解決辦法是:1)通過角點(diǎn)檢測獲得輪廓線上曲率足夠大的點(diǎn)(圖3(c)),并將這些角點(diǎn)按輪廓線逆時針方向存放于隊(duì)列中;2)判斷各個角點(diǎn)是否屬于凹點(diǎn),如果是就將該角點(diǎn)從隊(duì)列中刪除;3)在分割得到的二值圖中用直線按順序?qū)㈥?duì)列中各角點(diǎn)相連,直線上各點(diǎn)的值為1(圖3(d));4)利用Canny邊緣檢測從新二值圖中提取輪廓線(圖3(e))。凹點(diǎn)的判斷準(zhǔn)則:設(shè)輪廓線逆時針方向上有3個相鄰的角點(diǎn)P1(X1,Y1)、P2(X2,Y2)、P3(X3,Y3),當(dāng)P2位于→Ρ1Ρ3的左側(cè)時,P2是凹點(diǎn)。實(shí)現(xiàn)方法:1)設(shè)線段P1P3的斜率為K,中點(diǎn)為Q,將3點(diǎn)的坐標(biāo)繞Q點(diǎn)旋轉(zhuǎn)atan(K),得到新坐標(biāo)(X1′,Y1′),(X2′,Y2′),(X3′,Y3′);2)當(dāng)X1<X2且K<0且Y2′>0,或者X1<X2且K>0且Y2′>0,或者X1>X2且K<0且Y2′<0,或者X1>X2且K>0且Y2′<0,P2是凹點(diǎn)。3人臉檢測結(jié)果實(shí)驗(yàn)軟件采用MSVC2003結(jié)合IntelOpenCVLibrary開發(fā)而成,OS為WinXPPro,CPU為P42.8G,1GB內(nèi)存。測試圖像分為兩類:1)CMU正面測試集(130幅圖片含507幅人臉)用于人臉檢測測試;2)從丹麥技術(shù)大學(xué)(DTU)提供的IMM人臉圖像庫中選擇40個人在不同光照條件下拍攝的分辨率640×480的圖像,用于檢測速度和特征定位測試,男女皆有,膚色分布較廣,每人作出各種表情,部分圖片的有眼鏡等飾物遮擋(不含墨鏡)。人臉檢測器由22層強(qiáng)分類器層疊而成,包含2135個Haar型特征。在CMU正面測試集上的人臉檢測率為94.3%,誤報(bào)54個。通過試驗(yàn)觀察,該人臉檢測器能夠檢測水平旋轉(zhuǎn)角度在、左右旋轉(zhuǎn)角度在和上下旋轉(zhuǎn)角度在以內(nèi)的人臉。引入人臉邊緣圖像的先驗(yàn)規(guī)則之后,在IMM測試集上的平均檢測時間從1.25s減少到0.83s,檢測速度平均提高了33.7%,同時,在CMU正面測試集上的檢測率和誤檢窗口數(shù)沒有發(fā)生改變。在IMM測試集上完整的特征提取過程(檢測+粗、細(xì)定位)的平均時間為2.63s。人臉特征的檢測結(jié)果如表1所示。由于C-V方法的演化過程涉及待分割圖像的每個像素,且為了保證收斂,迭代次數(shù)較多,導(dǎo)致時間開銷較大。為了提高分割速度且保證分割準(zhǔn)確性,采用特征粗定位縮小待分割圖像的范圍,同時也為曲線演化提供良好的初始位置。為了進(jìn)一步提高分割速度,須改進(jìn)C-V方法以