國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 摘要 人臉檢測是在輸入圖像中確定所有人臉的位置、大小、位姿的圖像處理過程，最初作 為自動人臉識別系統(tǒng)的定位環(huán)節(jié)被提出，近年來由于其在安全訪問控制、視覺監(jiān)測、基于 內(nèi)容的檢索和新一代人機(jī)界面等領(lǐng)域的應(yīng)用價值，開始作為一個獨(dú)立的課題受到研究者的 普遍重視。 本文主要研究彩色靜止圖像中的人臉檢測。利用彩色圖像中膚色特征縮小搜索區(qū)域， 然后結(jié)合器官分布特征、積分投影、邊緣圖像、方差投影等信息實(shí)現(xiàn)人臉特征提取，并最 終定位出人臉。 在膚色分割中，使用色彩均衡技術(shù)消除由光照引起的色彩偏移，并提出一種新的膚色 模型( h s i i 模型) ，它對光照亮度具有強(qiáng)魯捧性。最后采用模糊聚類方法進(jìn)行膚色再分 割，以進(jìn)一步去掉偽膚色像素點(diǎn)。 在特征提取算法中，首先根據(jù)器官分布特征，在膚色分割的基礎(chǔ)上直接對孔洞匹配定 位雙眼。若眼睛定位失敗，則采用水平灰度積分投影估計(jì)人眼水平位置，然后利用c a n n y 算子得到邊緣圖像，再用加窗處理快速定位人眼。若眼睛定位再次失敗，則在利用積分投 影估計(jì)出人服水平位置基礎(chǔ)上，利用兩次方差投影運(yùn)算準(zhǔn)確定位出眼睛。 從實(shí)驗(yàn)效果可以看出，本文提出的人臉檢測算法能夠?qū)崿F(xiàn)彩色圖像中復(fù)雜背景下正面 的以及有一定側(cè)面旋轉(zhuǎn)角度和表情變化的人臉檢測，具有較高的檢測性能。 主題詞：人臉檢測膚色模型模糊聚類積分投影邊緣檢測方差投影 第i 頁 望墮型蘭墊查奎蘭竺莖生堅(jiān)三蘭堡主蘭竺絲蘭 a b s t r a c t f a c ed e t e c t i o ni st ol o c a t et h ef a c e sa n dd e t e r m i n et h e i rs i z e si na l li m a g e f a c ed e t e c t i o n p r o b l e m ，o r i g i n a t e di nf a c er e c o g n i t i o nr e s e a r c ha si t sf h s - ts t e pt ol o c a t ef a c e si nt h ei m a g e s , h a s r e c e n t l yb e e ni n t e n s i v e l yr e s e a r c h e da sa l li n d e p e n d e n tp r o b l e mb e c a u s eo fi t sa p p l i c a t i o n si n m a n yd i f f e r e n tf i e l d si n c l u d i n gs e e u r i t ya c c e s sc o n t r o l ，v i s u a ls u r v e i l l a n c e , c o n t e n t - b a s e d i n f o r m a t i o nr e t r i e v a ia d v a n c e dh u m a na n dc o m p u t e ri n t e r a c t i o n i i lt l l i sp a p e r , t h ef a c ed e t e c t i o no f c o l o rs t i l ii m a g e si sd i s c u s s e d s k i nc h a r a c t e r i s t i ci su s e d t or e d u c et h es e a r c hr a n g ef i r s t l y t h e nt h ef a c i a lf e a m r e se x t r a c t i o nc o m e si n t ob e i n gb y i n t e g r a t i n gs o m ei n f o r m a t i o n ，s u c ha st h ep h y s i c a ls t r u c t u r ef e a t u r e so f f a c i a lo r g a n s , t h ei n t e g r a l p r o j e c t i o n e d g ei m a g e s , a n dt h ev a i l a n c op r o j e c t i o n n ee x a c tf a c el o c a t i o ni sd e t e c t e db yt h e f a c i a lf e a t u r e se x 拄刪o nf i n a l l y h ls k i nc o l o rs e g m e n t a t i o n , ac o l o rb a l a n c et e c h n i q u ei su s e dt or e m o v et h ec o l o rb i a s p r o d u c e db yl i g h tc o n d i t i o n m e a n w h i l e , an e w s k i nm o d e l j 弧3s k i nm o d e l ) w h i c hh a st h e r o b u s t n e s sf o rv a r i e t yo fb r i g l l t n e s si sb u i l t a tl a s t , ac l u s t e r - b a s e ds k i nm o d e lt or e m o v e b a c k g r o u n dp o i n t sw h i c hi sw r o n g l yr e t a i n e db yt h eh s us k i nm o d e li sp r o p o s e d i nt h ef a c i a lf e a t u r e se x t r a c t i o n , t h e h o i e s a r cd i r e c t l ym a t c h e dt ol o c a t ee y e sb a s i n go n t h ep h y s i c a ls t r u c t u r ef e a t u r e so f f a c i a lo r g a n sf i r s t l y i f e y e sc a l ln o tb cg a i n e da c c u r a t e l y ，f a c i a l r e g i o n sh o r i z o n t a lg r a y - l e v e lp r o j e c t i o ni su s e dt oe s t i m a t et h eh o r i z o n t a lp o s i t i o no f e y e s ，t h e n t h ee d g ef e a m r e sa r ec h e c k e db yc a n n yo p e r a t o r , t h ep r o p e rp o s i t i o no f e y e si sq u i c k l yo b t a i n e d b yd e a l i n gw i t h w i n d o w s f i n a l l y i fe y e sc a nn o tb ef o u n ds t i l l ，b a s i n go nt h eh o r i z o n t a l p o s i t i o no fe y e s , t h ee x a c tp o s i t i o no fe y e si se x t r a c t e db yu s i n gt h ev a r i a n c ep r o j e c t i o nt w o t i m e s e x p e r i m e n t ss h o wt h a tt h ep r o p o s e df a c ed e t e c t i o na l g o r i t h mc a l ld e t e c th u m a nf a c e su p f i g h to rr o t a t e dw i t hl i t t l ea n g l ei nc o l o ri m a g e sw i t hc o m p l e xb a c k g r o u n d , a n de x p r e s s i o n c h a n g ei st o l e r a t e d s ot h ea l g o r i t h mi sf e a s i b l ea n de f f e c t i v e k e y w o r d ：f a c ed e t e c t i o n ；s k i nm o d e l ；f u z z yc l u s t e r , i n t e g r a lp r o j e c t i o n ；e d g ed e t e c t i o n v a d a n c ep r o j e c t i o n 第“頁 曼墮型蘭墊查查蘭竺塞竺墮三主要主蘭壁絲奎 表4 1 人臉檢測結(jié)果統(tǒng)計(jì) 表目錄 3 7 第m 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 圖目錄 圖1 1 人臉檢測在人臉圖像應(yīng)用系統(tǒng)中的應(yīng)用 圖1 2 人臉檢測系統(tǒng)流程框圖 圖2 1r g b 顏色模型 圖2 2h s i 顏色圓和h s i 顏色空間 圖2 3 色彩均衡前后膚色分割結(jié)果的對比 1 8 1 0 1 3 1 5 圖2 4 不同亮度下膚色樣本在h - s 平面和h s l 平面聚類結(jié)果的對比1 7 圖2 5 不同亮度下同一幅圖片的膚色分割結(jié)果 圖2 5 膚色模型初次分割和模糊聚類后二次分割的對比。2 0 圖2 7 形態(tài)學(xué)處理前后的二值化圖像 圖2 ，8 圖2 9 區(qū)域歸并和幾何篩選后得到的候選人臉區(qū)域 膚色分割算法流程圖 圖3 1 特征提取算法的流程圖 圖3 2 嘴區(qū)與雙眼關(guān)系圖 圖3 3 基于器官分布特征的入臉定位方法流程圖 2 4 2 5 2 6 2 9 2 8 圖3 a 水平積分投影估計(jì)人眼水平位置的過程3 0 圖3 5 邊緣檢測和加窗處理定位人眼的過程。3 3 圖3 6 基于積分投影和邊緣圖像的人臉定位方法流程圖3 4 圖3 7 積分投影和方差投影的比較 圖3 8 左眼方差投影圖 圖3 9 方差投影定位人眼的過程 圖3 1 0 基于積分投影和方差投影的人臉定位方法流程圖。 圖4 1 基于膚色分割算法和方法l 檢測得到的相關(guān)圖像 圖4 2 基于膚色分割算法和方法2 檢測得到的相關(guān)圖像 圖4 3 基于膚色分割算法和方法3 檢測得到的相關(guān)圖像 圖4 4 部分圖像的人臉檢測結(jié)果 圖4 5 雙眼匹配失敗造成人臉漏檢的實(shí)例 圖4 6 人眼水平位置估計(jì)失敗造成人臉漏檢的實(shí)例。 圖4 7 方差投影錯誤定位人眼成人臉誤檢的實(shí)例 3 7 3 8 3 8 4 0 4 1 4 l 第頁 獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及 一取得的研究成果丫盡我所知，除夫串特另燃標(biāo)注和哦謝睜地方外i 論文中 不包含其他人已經(jīng)發(fā)表和撰寫過的研究成果，也不包含為獲得國防科學(xué)技 術(shù)大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料與我一同工作的同 志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意 學(xué)位論文題目： 彩色圖像中復(fù)雜背景下的人臉檢測 學(xué)位論文作者簽名：縊壺毫 日期： 加多年，月f 日 學(xué)位論文版權(quán)使用授權(quán)書 本人完全了解國防科學(xué)技術(shù)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定本人 授權(quán)國防科學(xué)技術(shù)大學(xué)可以保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印 件和電子文檔，允許論文被查閱和借閱；可以將學(xué)位論文的全部或部分內(nèi) 容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印，縮印或掃描等復(fù)制手段保存、 匯編學(xué)位論文 ( 保密學(xué)位論文在解密后適用本授權(quán)書) 學(xué)位論文題目：彩色圖像中復(fù)雜背景下的人臉檢測 學(xué)位論文作者簽名：逖查塞日期：力多年，月f 日 作者指導(dǎo)老師簽名：j 孫4 日期：砌年f f 月占日 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 第一章緒論 1 1 人臉檢測的研究背景與意義 隨著社會的發(fā)展，進(jìn)行快速、有效、自動的人身辨別的要求日益迫切。生物特征是人 的內(nèi)在屬性，具有很強(qiáng)的自身穩(wěn)定性和個體差異，因此是身份辨別的重要依據(jù)。相比利用 指紋、視網(wǎng)膜、聲音等其它人體生物特征的人身鑒別方法，人臉識別具有蘊(yùn)涵信息量大、 直接、友好、方便等特點(diǎn)，易于為用戶所接受。人臉是個信息極豐富的模式集合，是人類 互相判別、認(rèn)識、記憶的主要標(biāo)志，通過對人臉的觀察，我們可以判斷一個人的性別、種 族，甚至身份和性格。因此，對人臉的研究不僅局限在工業(yè)、科學(xué)研究上，在哲學(xué)、心理 學(xué)、醫(yī)學(xué)、人文等領(lǐng)域也有著廣泛的研究意義。 人臉檢測( f a c ed e t e c t i o n ) 是指在輸入圖像中確定所有人臉( 如果存在) 的位置、大 小和姿態(tài)的過程。人臉檢測系統(tǒng)輸入的是可能包含人臉的圖像，輸出的是關(guān)于圖像中是否 存在人臉的數(shù)耳、位置，尺度等信息的參數(shù)化描述。 入臉檢測問題最初來源于人臉識別( f a c e r e c o g n i t i o n ) 入臉識別的研究可以追溯到2 0 世紀(jì)6 0 一7 0 年代，經(jīng)過幾十年的曲折發(fā)展該技術(shù)已日趨成熟。人臉檢測是自動入臉識別 系統(tǒng)的一個關(guān)鍵環(huán)節(jié)，但早期的入臉識別研究主要針對具有較強(qiáng)約束條件的人臉圖像( 如 無背景的圖像) ，往往假設(shè)人臉位置已知或很容易獲得，因此人臉檢測問題并沒有受到重 視。近些年隨著電子商務(wù)等應(yīng)用的發(fā)展，人臉識別成為最有潛力的生物身份驗(yàn)證手段，這 種應(yīng)用背景要求自動人臉識別系統(tǒng)能夠?qū)σ话悱h(huán)境圖像具有一定的適應(yīng)能力，由此所面臨 的一系列問題使得人臉檢測開始作為一個獨(dú)立的課題受到重視。今天，人臉檢測的背景應(yīng) 用已經(jīng)遠(yuǎn)遠(yuǎn)超出了人臉識別系統(tǒng)的范疇，在出入安全檢查、視頻監(jiān)視、智能人機(jī)接口、基 于內(nèi)容的圖像檢索和視頻編碼中都有廣泛的應(yīng)用價值。 一人臉識別卜 一視頻監(jiān)視卜 一圖像檢索卜 一其它卜 圖1 1 人臉檢測在人臉圖像應(yīng)用系統(tǒng)中的應(yīng)用 人臉檢測在人臉圖像應(yīng)用系統(tǒng)中的作用如圖1 1 所示，從中我們可以看出，人臉檢測 的好壞直接關(guān)系到人臉應(yīng)用系統(tǒng)的性能，因此人臉檢測技術(shù)對整個系統(tǒng)的性能起著關(guān)鍵性 第l 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 作用。 入臉檢測系統(tǒng)的主要性能指標(biāo)包括： ( 1 ) 檢測準(zhǔn)確性，即檢測是否含有人臉的結(jié)果要準(zhǔn)確，盡量減少誤檢率和漏檢率。 ( 2 ) 定位精確性，即檢測得到的人臉的位置要精確，盡量減少結(jié)果中非人臉區(qū)域， 特別是根據(jù)人臉的主要特征對圖像進(jìn)行定位時，定位精度要在像素級，這樣可 以為人臉識別的高識別率打下基礎(chǔ)。 ( 3 ) 檢測的快速性，如果系統(tǒng)是實(shí)時的，即對檢測的速度要求較高，這就要求在算 法上進(jìn)行優(yōu)化，但是一般情況下，提高速度往往是以降低準(zhǔn)確率為代價，所以 對檢測速度的要求，不同的識別系統(tǒng)有所不同。 目前，國外對人臉檢測問題的研究很多，比較著名的有m i t 、c m u ，u s c 等；國內(nèi) 的清華大學(xué)、北京工業(yè)大學(xué)、亞洲微軟研究院、中科院計(jì)算機(jī)技術(shù)研究所、中科院自動化 研究所等都有人員從事人臉檢測方面的相關(guān)研究。而且，御e g 7 標(biāo)準(zhǔn)組織也已經(jīng)建立了 人臉識別草案小組，人臉檢濺算法也是一項(xiàng)征集的內(nèi)容。隨著入臉檢測研究的深入，國際 上發(fā)表的有關(guān)論文數(shù)量也大幅度增加，i e e e 的p m a i 還于1 9 9 7 年7 月出版了人臉識別專 輯。正e e 的f g ( i e e e i n t e r n a t i o n a l c o n f e r e a c e o i l a u t o m a t i c f a c e a n d g e s t u r e r e c o g n i t i o n ) 、 i c i p ( i n t e r n a f i o n a lc o n f e r e n c eo i li m a g ep r o c e s s i n g ) 、c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o n a n dp a t t o nr e c o g n i t i o n ) 等重要國際會議上每年都有大量關(guān)于人臉檢測的論文。 1 2 人臉檢測的研究難點(diǎn) 人臉是一類具有復(fù)雜細(xì)節(jié)變化的自然結(jié)構(gòu)目標(biāo)，人臉檢測涉及到模式識別、圖像處理、 人工智能等多方面知識因此人臉檢測技術(shù)雖然在近十年中得到廣泛的關(guān)注和長足的發(fā) 展，國內(nèi)外很多研究人員提出許多方法，在不同領(lǐng)域取得一定的成果，但是對于尋找一種 普遍適用于各種復(fù)雜情況的準(zhǔn)確率很高的檢測算法，仍有很大的探索空間。人臉檢測的困 難主要同以下幾個因素有關(guān)： ( 1 ) 人臉數(shù)目和尺寸。圖像中人臉的數(shù)目和尺寸具有不確定性 ( 2 ) 頭部旋轉(zhuǎn)。頭部在圖像中按不同角度的旋轉(zhuǎn)，將給人臉特征的提取和匹配造成 一定困難。 ( 3 ) 模式可變性。人臉是個包含五官、毛發(fā)等極不規(guī)律的復(fù)雜待測目標(biāo)，不同的人 臉在形狀、大小、顏色、質(zhì)地等方面都有很大的變化同時，一般意義的人臉 存在著諸如眼鏡、胡須等附屬物，它在人臉檢測過程中必然形成干擾。 ( 4 ) 臉部表情。臉部表情的變化經(jīng)常被看作是一種模板變形，它經(jīng)常會影響到人臉 的結(jié)構(gòu)信息，使得人臉檢測變得困難。 ( 5 ) 遮擋。人臉可能被其它物體遮擋，或者在一幅有多張人臉的圖像中，其中的一 些臉可能被其它人臉遮擋，這樣的人臉很難檢測出來。 ( 6 ) 成像條件。光照條件( 光譜、光源的分布和亮度) 、攝像機(jī)的性能( 感應(yīng)器反應(yīng)、 第2 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 鏡頭) 等因素直接影響圖像的信息結(jié)構(gòu)，使圖像原始特征的提取和匹配變得困 難。 上述因素同人臉檢測有著非常密切的聯(lián)系，通過上述問題的解決，成功構(gòu)造出人臉檢 測系統(tǒng)，將為解決其它類似復(fù)雜模式的檢測問題提供重要的啟示。 1 3 人臉檢測的研究課題 人臉檢測技術(shù)已經(jīng)吸引了很多研究人員的注意，目前，人臉檢測的研究課題主要集中 在以下五個方面： ( 1 ) 怎樣正確地描述一張典型的人臉。 ( 2 ) 怎樣處理不同尺寸的人臉。 ( 3 ) 怎樣加快人臉檢測的速度。 ( 4 ) 怎樣準(zhǔn)確地定位人臉。 ( 5 ) 怎樣將檢測的結(jié)果聯(lián)系起來。 1 4 人臉檢測方法綜述 人臉圖像所包含的模式特征非常豐富，如何選擇合適的模式特征，是人臉檢測研究的 一個關(guān)鍵性問題，總的來說人臉模式的主要特征包括膚色特征和灰度特征，前者適用于構(gòu) 建快速的人臉檢測算法，后者利用了人臉區(qū)分于其它物體更為本質(zhì)的特征，是人臉檢測領(lǐng) 域研究的重點(diǎn)。人臉模式具有復(fù)雜而細(xì)致的變化，因此一般需要采用多種模式特征綜合的 方法。 近幾年，人臉檢測技術(shù)發(fā)展迅猛，研究人員提出很多人臉檢測的方法，但是由于人臉 檢測問題的復(fù)雜性，實(shí)現(xiàn)通用的人臉檢測方法還不實(shí)際，因此解決特定約束條件下或某種 應(yīng)用背景下的人臉檢測問題仍將是該領(lǐng)域研究的主要課題。 從目前來看，人臉檢測方法大致可分為四類i 恥1 ： 1 4 1 基于知識的方法 這種方法是利用對人臉的先驗(yàn)知識給出檢測規(guī)則來進(jìn)行人臉檢測。人臉局部特征的分 布總是存在著一定的規(guī)則，如圖像中出現(xiàn)的人臉通常會有一個鼻子、一張嘴和一雙彼此對 稱的眼睛。這些特征之間的聯(lián)系能夠被它們之間的相對距離和位置表示出來。在一幅輸入 的圖像中，臉部特征將首先被提取出來，然后基于檢測規(guī)則將候選的臉部區(qū)域辨別出來。 ( 1 ) 器官分布法：雖然人臉在外觀上變化很大，但遵循一些普遍適用的規(guī)則，如五 官的空間分布大致符合“三停五服”的標(biāo)準(zhǔn)等，檢測圖像中是否有人臉即是測 試該圖像中是否存在滿足這些規(guī)則的圖像塊。這種方法一般有兩種思路：一種 思路是“從上至下0 其中最為簡單有效的是y a n g 和h u a n g 嘲提出的m o s a i c 方 法，它給出了基于人臉區(qū)域灰度分布的規(guī)則，依據(jù)這些規(guī)則對圖像從粗分辨率 第3 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 到高分辨率進(jìn)行篩選，以滿足這些規(guī)則的程度作為檢測的判據(jù)。這種方法的吸 引之處在于使用從粗到細(xì)的策略減少了計(jì)算量。另一種思路則是。從下至上”， 先直接檢測幾個器官可能分布的位置，然后將這些位置點(diǎn)分別組合，利用器官 分布的幾何關(guān)系準(zhǔn)則進(jìn)行篩選，找到可能存在的人臉【1 ( 2 ) 投影法i ?。哼@是一種利用圖像的投影快速定位人臉邊界和臉部特征的方法。在 處理一幅輸入圖像時，首先獲得其水平投影，然后通過檢測其圖像的急劇變化 處得到兩個局部最小值，這兩個值對應(yīng)頭部的左右輪廓線。類似地，通過檢測 垂直投影的局部最小值，檢測出人臉的嘴唇、鼻尖和眼睛這種方法的缺陷在 于無法有效檢測出有多張人臉的圖像以及在復(fù)雜背景中的入臉。 ( 3 ) 對稱法：人臉具有一定的軸對稱性，各個器官也具有很強(qiáng)的點(diǎn)對稱性。 z a b r o d s h k y 川提出連續(xù)對稱性檢測方法，檢測一個圓形區(qū)域的對稱性，從而確 定是否為人臉；r i e s f i e l d i s 提出廣義對稱變換方法檢測局部對稱性強(qiáng)的點(diǎn)來進(jìn) 行人臉器官定位；盧春雨 s i 則定義方向?qū)ΨQ變換，分別在不同方向上考察對稱 性，不僅能用來尋找強(qiáng)對稱點(diǎn)，而且還可以描述強(qiáng)對稱性物體的形狀信息，這 樣的變換對人臉偏轉(zhuǎn)、臉部表情變換、光照等因素都不敏感，使人臉器官定位 更為有效。 1 4 2 基于特征的方法 基于特征的方法與基于知識的方法相對應(yīng)，研究人員試圖先找出人臉的穩(wěn)定特征，再 利用其它信息進(jìn)一步驗(yàn)證人臉的存在。人臉的穩(wěn)定特征是指在光照變化和姿勢變化時相對 不變的特征，包括人的臉部特征、紋理、膚色以及特征綜合等。 ( 1 ) 臉部特征：研究人員提出了許多方法都是首先檢測臉部特征，然后推斷是否有 人臉存在。人的臉部特征，如眼睛、眉毛、嘴巴，鼻子等通常使用邊緣檢測來 獲得?；谶@些特征，建立起描述特征之間的統(tǒng)計(jì)模型，然后去校驗(yàn)是否有人 臉存在這種方法的缺陷在于表情、光照、噪聲等因素會造成臉部特征邊界弱 化，這樣就影響到人臉檢測結(jié)果的準(zhǔn)確性。 ( 2 ) 紋理特征：人臉的紋理特征分為三類，即皮膚、毛發(fā)和其它類，這些獨(dú)特的紋 理可以被用來區(qū)別其它物體a u g u s t e i j n 和s k u f c a n q 利用是否類似人臉紋理來 推斷圖像中是否有人臉存在。d a i 和n a k a n o1 1 1 1 利用空間灰度共生矩陣( s p a c e g r a y - l e v e ld e p e n d e n c em a t r i x ，s g l d ) 紋理圖信息作為特征進(jìn)行低分辯率的 人臉檢測。這種方法的優(yōu)點(diǎn)是在人臉不正直，或有胡須、眼鏡等附屬物存在時， 檢測結(jié)果仍然比較準(zhǔn)確。 ( 3 ) 膚色特征：研究n 2 1 表明，人類膚色在去除亮度的色度空間具有聚類性，顏色信 息在一定程度上可以將人臉同大部分背景區(qū)分開來，因此可以利用膚色模型有 效地檢測人臉。利用膚色信息檢鋇i 人臉的方法具有計(jì)算量小，方法相對簡單， 第4 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 易于實(shí)時性處理及適合復(fù)雜背景下的人臉檢測定位等特點(diǎn)l e e 等設(shè)計(jì)了膚 色模型表征人臉顏色，利用感光模型進(jìn)行復(fù)雜背景下人臉及器官的檢測與分割。 s a b e r 等| 1 4 j 將顏色、形狀等結(jié)合起來進(jìn)行人臉檢測 1 4 3 基于模板匹配的方法 基于模板匹配的方法可以用來檢測人臉，也可以用來做人臉特征定位。首先給定一些 不同標(biāo)準(zhǔn)的模板來描述人臉的整體特征或局部特征，然后根據(jù)模板與目標(biāo)圖像的相似性進(jìn) 行匹配檢測 ( 1 ) 預(yù)定模板匹配法：根據(jù)入臉的先驗(yàn)知識確定出入驗(yàn)輪廓模板以及各個器官特征 的子模板，先通過計(jì)算圖像區(qū)域和人臉輪廓模板的相關(guān)值檢測出候選人臉區(qū)域， 然后利用器官特征子模板驗(yàn)證上一步檢測出的候選人臉區(qū)域是否為真的人臉。 s a k a i l l ”等人早期對照片中的正面人臉進(jìn)行檢測他們使用了眼睛、鼻子、嘴巴、 臉韶輪廓的子模板建立起人臉模型。c r a w i 嘲等人首先使用一個s o b c l 濾波器來 提取邊緣，然后將這些邊緣集合起來搜索基于幾個約束條件的人臉模板。粱路 宏等使用雙眼模板首先進(jìn)行粗檢測，然后使用不同長寬比的人臉模板進(jìn)行匹 配，最后使用馬賽克規(guī)則進(jìn)行驗(yàn)證。預(yù)定模扳匹配法的缺點(diǎn)在于不能有效處理 尺度、姿態(tài)和形狀的變化。 ( 2 ) 變形模板法0 9 j ：其主要思想是定義一個可變形的參數(shù)模板和一個能量函數(shù)來描 述特征，通過一個非線性最優(yōu)化方法求得能使能量函數(shù)最小的參數(shù)模板，此模 板即被認(rèn)為是所求特征的描述。這種方法充分考慮到入臉是交形體的特點(diǎn)，穩(wěn) 定可靠，而且與姿態(tài)和光照無關(guān)，但仍然存在能量函數(shù)的系數(shù)難以適應(yīng)一般情 況和計(jì)算量巨大的問題。并且該方法必須是在感興趣的目標(biāo)的附近，變形模板 必須被初始化。 ( 3 ) 動態(tài)輪廓法；又稱s n a k e s 模型法。k a s s 等人提出在不需要更多先驗(yàn)知識或 高層處理結(jié)果指導(dǎo)的情況下實(shí)現(xiàn)自追跡以得到目標(biāo)的閉合、光滑、連續(xù)的輪廓 線，該方法具有較強(qiáng)的抗噪能力。s n a k e s 模型通過對一條初始給定的連續(xù)閉合 曲線計(jì)算初始能量函數(shù)，然后通過變分方法求取能量函數(shù)的最小化，以得到人 臉的輪廓曲線。 1 4 4 基于統(tǒng)計(jì)模型的方法 出于入臉凰像的復(fù)雜性，顯式地描述人臉特征具有一定的困難，因此另一類方法一 基于統(tǒng)計(jì)模型的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模式，即模板特征， 使用大量的“人臉”與。非人臉”樣本訓(xùn)練、構(gòu)造分類器，通過判別圖像中所有可能區(qū)域 屬于哪類模式的方法實(shí)現(xiàn)人臉檢測。實(shí)際上人臉檢測問題被轉(zhuǎn)化為統(tǒng)計(jì)模式識別的二分 類問題，鄂判漸區(qū)域是否為人臉。 第5 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 ( 1 ) 特征空間法：將人臉圖像變換到某一特征空間，根據(jù)特征空間的分布規(guī)律劃分 “人臉”與“非人臉”兩類模式。主分量分析( p r i n c i p a l - c o m p o n e n ta n a l y s i s ， p c a ) 是一種常用的方法。它根據(jù)圖像的統(tǒng)計(jì)特征進(jìn)行正交變換( k l 變換) ，以 消除原有向量各個分量間的相關(guān)性。變換得到對應(yīng)特征值依次遞減的特征向量， 即特征臉( e i g e nf a c e ) 。利用前若干張?zhí)卣髂槍⑷四樝蛄客队暗街髟涌臻g和 與其正交的補(bǔ)空間，相應(yīng)的距離度量分別稱為d i f s ( d i s t a n c ei nf e a t u r e s p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 對于人臉檢測問題，由于沒 有考慮。非人臉”樣本的分布，需要同時使用d i f s 和d f f s 才能取得較好的效 果。屬于特征空間方法的還有因子分解法( f a c t o ra n a l y s i s 。f a ) 和f i s h e r 準(zhǔn)則法( f i s h e rl i n e a rd i s c r i m i n a n t ，f l d ) 。y a n g 等i “1 在混合線性子空間中 對。人臉”和“非人臉”樣本進(jìn)行建模，分別使用基于脒算法的擴(kuò)展f a 方法 和基于自組織映射( s e l f - o r g a n i z i n gm a p ，s o m ) 的f l d 方法構(gòu)造檢測器。 ( 2 ) 人工神經(jīng)網(wǎng)絡(luò)法：人工神經(jīng)網(wǎng)絡(luò)方法( a t t i f i c i a ln e u r a ln e t w o r k ，a n n ) 通 過對人臉樣本集和非人臉樣本集進(jìn)行學(xué)習(xí)產(chǎn)生分類器。該方法對于人臉這類復(fù) 雜的、難以顯性描述的模式，具有獨(dú)特的優(yōu)勢。g b u r e l 和d c a r e l 僻1 在多分 辨率分析的基礎(chǔ)上采用多層感知器( m u l t i - l a y e r ，m l p ) 進(jìn)行人臉檢測。 j v i n c e n t 等洶】利用多個m l p 構(gòu)成分層人艙特征檢測系統(tǒng)( h i e r a r c h i c a l p e r c e p t i o nf e a t u r el o c a t i o ns y s t e m ，h p f l s ) 。類似地，p j u e l l 和r m a r s h q 也提出了一種分層的神經(jīng)網(wǎng)絡(luò)，包括子層的檢測眼睛、嘴巴、鼻子的三個b p 網(wǎng) 絡(luò)以及父層檢測全臉的一個b p 網(wǎng)絡(luò)等。 ( 3 ) 支持向量機(jī)法：支持向量機(jī)( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是v a p n i k 等1 2 5 , 1 拍l 提出的基于結(jié)構(gòu)風(fēng)險最小化原理( s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ， s r m ) 的統(tǒng)計(jì)學(xué)理論，用于分類和回歸問題。s r m 使v c ( v a p n i kc h e r o v n e n k i s ) 維數(shù)的上限最小化，這使得s v m 方法比基于經(jīng)驗(yàn)風(fēng)險最小化( e m p i r i c a lr i s k m i n i m i z a t i o np r i n c i p l e ， e r m ) 的人工神經(jīng)網(wǎng)絡(luò)方法具有更好的泛化能力。 但是由于s w 的訓(xùn)練需要求解計(jì)算復(fù)雜度極高的二次規(guī)劃問題，s v m 對人臉研究 的改進(jìn)主要在于減少支撐向量的數(shù)量和訓(xùn)練方法的改進(jìn)。如o s u n a 等唧在s v m 的訓(xùn)練使用了大量人臉樣本和“自舉”方法閉收集“非人臉”樣本，并使用逼 近優(yōu)化的方法嘲降低支撐向量的數(shù)量；p l a t t 等鯽提出s m o ( s e q u e n t i a l m i n i m a lo p t i m i z a t i o n ) 算法解決了s 訓(xùn)練的困難。 ( 4 ) 概率模型法：基于概率模型的方法常見的有兩種思路。一種思路是利用貝葉斯 原理計(jì)算輸入圖像區(qū)域r e g i o n 屬于人臉區(qū)域o b j e c t 的后驗(yàn)概率 p ( o b j e c t r e g i o n ) ，據(jù)此對所有可能的圖像窗口進(jìn)行判別。c 刪的s c h n e i d e r m a n 等i ”m 2 1 提出一種基于后驗(yàn)概率估計(jì)的人臉檢測方法。另一種思路是應(yīng)用隱馬爾 可夫模型( h i d d e nm a r k o vm o d e l s ，h 刪) ，將人臉模式看作參數(shù)化的隨機(jī)過程， 第6 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 把人面部的額頭、眼睛、鼻子、嘴巴和下巴等器官所在部位看作隨機(jī)過程的狀 態(tài)，通過對符合人臉各器官分布的狀態(tài)的隨機(jī)過程的檢測來實(shí)現(xiàn)對人臉檢測， 該方法一般只使用“人臉”樣本進(jìn)行訓(xùn)練，主要針對用于人臉識別的頭肩部圖 像吲i 馴。 1 5 論文的結(jié)構(gòu)和主要工作 如前所述，在人臉檢測定位方面，前人已經(jīng)提出了一些解決方案，但在定位方法的簡 便性、算法的穩(wěn)定性、定位結(jié)果的準(zhǔn)確性以及適用條件等方面依然存在局限：有些算法限 定檢測圖片只包含簡單背景( 有些特定的應(yīng)用的確可限定為簡單的背景) ；有些算法能比 較準(zhǔn)確地檢測出人臉，但時間復(fù)雜度太高，難以達(dá)到整個系統(tǒng)的實(shí)時性要求：有些算法速 度雖快，但誤檢率和漏檢率較高。 隨著圖像采集技術(shù)的飛速發(fā)展，隨著計(jì)算機(jī)速度的提高，以及隨著計(jì)算機(jī)色彩理論的 深入研究，彩色圖像處理逐漸成為數(shù)字圖像處理的核心內(nèi)容。在這種情況下，對于人臉檢 測技術(shù)而言，實(shí)現(xiàn)對彩色圖像的人臉檢測成為該技術(shù)發(fā)展的必然趨勢。目前，越來越多的 研究者開始利用將膚色信息與人臉的灰度信息相結(jié)合的方法來解決人臉檢測與定位問題， 本文的檢測算法正是在這種思想的指引下完成的。 文中首先利用膚色聚類特征，通過自建的h - s i j 膚色模型和模糊聚類算法得到膚色 區(qū)域，然后對膚色區(qū)域進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理和幾何篩選，獲得候選人臉區(qū)域。在膚色分割 的基礎(chǔ)上，針對候選人臉區(qū)域，將器官分布特征、積分投影、邊緣圖像、差分投影等信息 相結(jié)合，實(shí)現(xiàn)對人臉特征的提取。最后，在特征提取的基礎(chǔ)上定位出人臉。 論文共分五章，各章主要內(nèi)容概述如下： 第一章：緒論。概述了人臉檢測技術(shù)的研究內(nèi)容和應(yīng)用范圍，重點(diǎn)闡述了人臉檢測技 術(shù)的主要方法。 第二章：膚色分割和候選區(qū)域篩選。首先利用色彩均衡技術(shù)對彩色圖像進(jìn)行預(yù)處理， 以增強(qiáng)膚色分割算法的穩(wěn)健性。然后，根據(jù)光照理論，分析了h s i 顏色空間對光照亮度變 化敏感的原因，建立起一個改進(jìn)的顏色空間( hs ii 空間) ，通過實(shí)驗(yàn)證明，在該空間的 膚色模型對于光照亮度變化具有強(qiáng)魯棒性。在膚色初分割的基礎(chǔ)上，再采用模糊c 聚類算 法進(jìn)行膚色二次分割，以進(jìn)一步去掉偽膚色像素點(diǎn)，提高膚色分割的準(zhǔn)確性。在候選區(qū)域 篩選階段，采用形態(tài)學(xué)處理方法和基于面積占有率及長寬比的幾何篩選方法得到候選人臉 區(qū)域。 第三章：特征提取和人臉定位。對于特征提取，本文分三步來實(shí)現(xiàn)。首先根據(jù)器官分 布特征，在膚色分割的基礎(chǔ)上直接對孔洞匹配定位人眼。若眼睛定位失敗，則采用水平灰 度積分投影估計(jì)人眼水平位置，然后利用c a n n y 算子得到邊緣圖像，再用加窗處理快速定 位人眼。若眼睛定位再次失敗，則在積分投影所估計(jì)出人眼水平位置的基礎(chǔ)上，利用兩次 方差投影運(yùn)算準(zhǔn)確定位出眼睛。雙眼一旦提取出來，即可利用“三停五眼”規(guī)則輸出人臉 第7 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 區(qū)域。 第四章：實(shí)驗(yàn)結(jié)果及分祈。在本章中給出了實(shí)驗(yàn)測試結(jié)果及部分檢測實(shí)例，并通過實(shí) 驗(yàn)結(jié)果分析檢測算法的性能。 第五章：總結(jié)與展望。對全文進(jìn)行了總結(jié)，對今后的工作提出了進(jìn)一步要求。 本文主要研究了彩色靜止圖像中的正面人臉圖像的檢測，系統(tǒng)流程框圖如圖1 2 所示。 輸入彩色圖像 i 膚色分割 i 非人臉區(qū)域的 初步排除 i 人臉特征提取 l 輸出人臉檢測結(jié)果 圖1 2 人臉檢測系統(tǒng)流程框圖 第g 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 第二章膚色分割和候選區(qū)域篩選 膚色是人臉的重要信息，不依賴于臉部的細(xì)節(jié)特征，對于旋轉(zhuǎn)、表情等變化情況都能 適用，具有相對的穩(wěn)定性，并且和大多數(shù)背景物體的顏色相區(qū)別。膚色較灰度信息包含更 多的信息，是人體表面最為顯著的特征之一。簡單環(huán)境下的基于膚色的人臉檢測、人臉跟 蹤、手勢識別等，可以利用膚色分割直接實(shí)現(xiàn)，對于復(fù)雜環(huán)境下的應(yīng)用，利用人體膚色特 征可以大幅度減小搜索空間，提高檢測速度。 目前，基于統(tǒng)計(jì)思想的膚色分割器性能相對較好，其它方法就是基于膚色空間聚類的 方法，其主要思想是用大量膚色像素得到膚色在顏色空間的聚類，利用閉合曲線或曲面進(jìn) 行擬合，檢測時判斷像素是否落在擬合的曲線或曲面內(nèi)，若落到則判斷該像素為膚色像素。 該方法主要需要解決兩個問題：第一是顏色空間的建立：第二是如何擬合出膚色在所建立 顏色空間的閉合曲線或曲面，即如何構(gòu)建出實(shí)用的膚色聚類模型。 膚色分割后仍然存在大量的噪聲，且裸露的手臂、脖子等非人臉部分以及背景中的類 膚色區(qū)域同時也會檢測出來，因此需要對分割后的類膚色區(qū)域進(jìn)行去噪處理和初步的人臉 篩選，從而得到候選人臉區(qū)域。 2 1 顏色空間 場景或物體的顏色是由照射光源的光譜成分、光線在物體上反射和吸收的情況決定。 可見光的波長分布在3 8 0 n t o 到7 8 0 h m 之間，人的顏色感覺是不同波長的可見光刺激人的 視覺器官的結(jié)果。根據(jù)光度學(xué)和色度學(xué)原理，所有顏色都可以用相互獨(dú)立的三種基本顏色 混合得到，這三種顏色被稱為三基色，由此構(gòu)成了顏色空間。著名的格拉斯曼定律表明視 覺對顏色的反應(yīng)取決于紅、綠、藍(lán)三種顏色在輸入量中的代數(shù)和。格拉斯曼定律包括如下 四個方面的內(nèi)容： ( 1 ) 所有顏色都可以用互相獨(dú)立的三基色混合而得到。 ( 2 ) 若加入三基色的混合比相等，則色調(diào)( h u e ) 和飽和度( s a t u r a t i o n ) 也相等 ( 3 ) 任意兩種顏色混合產(chǎn)生的新顏色與采用三基色分別合成這兩種顏色的各自成分 再混合得到的結(jié)果相同。 ( 4 ) 混合色的光亮度( l u m i m m c e ) 是原來各分量光亮度的總和。 這里的色調(diào)、飽和度、亮度是表示色覺程度的。色調(diào)表示各種顏色，飽和度表示顏色 的深淺 根據(jù)計(jì)算機(jī)色彩理論，對于同一種顏色而言，在計(jì)算機(jī)中有不同的表達(dá)方式，這樣就 形成了不同的顏色空間。每一種顏色空間都有其各自的產(chǎn)生背景及應(yīng)用領(lǐng)域。下面介紹幾 種常用的顏色空間 3 5 卅。 第9 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 2 1 1r g b 顏色空間 r g b 顏色空間也稱為紅、綠、藍(lán)基色模型。為標(biāo)準(zhǔn)化起見，c i e ( 國際照明委員會) 在 1 9 3 1 年選擇紅色( 波長為7 0 0 o n m ) ，綠色( 波長為5 4 6 1 n m ) ，藍(lán)色( 波長為4 3 5 8 n m ) 三種單色光作為表色系統(tǒng)的三基色，這就是r g b 顏色空間。 r g b 顏色空間可以用圖2 1 所示的r g b 直角坐標(biāo)定義的單位立方體來說明。坐標(biāo)系原 點(diǎn)( 0 ，0 ，o ) 表示黑色，坐標(biāo)點(diǎn)( 1 ，1 ，1 ，) 表示白色，坐標(biāo)軸上的三個頂點(diǎn)表示三個 基色。因此顏色空間是三維的線性空問，任意一種具有一定亮度的顏色光都可以用空間的 一個點(diǎn)或一個矢量來表示。 b g r 圖2 1r g b 顏色模型 r g b 適合用來進(jìn)行顯示，廣泛用于視頻監(jiān)視器顯示和彩色攝像機(jī)中。但是r ，g 、b 分量之間有高的相關(guān)性，所以它不適合用來進(jìn)行場景分割和分析。高相關(guān)性是指如果光強(qiáng) 變化了，色調(diào)、飽和度和灰度三個分量都會發(fā)生改變因此，大部分情況下，是以r g b 顏色空間為基礎(chǔ)來描述其它類型的顏色空間，將其它顏色空間的基色描述為r g b 三基色 的線性或非線性函數(shù)。 2 1 2r g b 線性轉(zhuǎn)換的顏色空間 ( 1 ) c i e 顏色空間 使用r g b 模型生成顏色時，三基色比例系數(shù)會出現(xiàn)負(fù)值，使用起來十分不便。同時， 不同研究者所用的三基色和標(biāo)準(zhǔn)白色不同，使得研究結(jié)果很難比較。因此，1 9 3 1 年國際照 明委員會c i e ( c o m m i s s i o ni n t e r n a t i o n a ld e le l a i r a g e - t h ei n t e r n a t i o n a lc o m m i s s i o n 第1 0 頁 國防科學(xué)技術(shù)大學(xué)研究生院工學(xué)碩士學(xué)位論文 o ni l l u m i n a t i o n ) 規(guī)定一種新的顏色系統(tǒng)，定義為c i e x y z 顏色模型，具體表達(dá)式為： x l 2 7 6 8 9 1 7 5 1 7 1 1 3 嘲州 酬0 燃0 0 0 。0 乏00 5 9 0 7 5 6 5 嬲5 9 4 3 憫 心d lzii 5 1jb i 由此可導(dǎo)出一系列的c i e 顏色空問，比如c i e - l a b 、c i e - l u v 等。 c i e 顏色空間能夠更獨(dú)立地控制顏色和灰度信息，并且比r g b 三基色要簡單。在顏色 空間中基于幾何學(xué)的分離可直接進(jìn)行顏色比較。因此，這種模型用于測量小的顏色差別很 有效。 ( 2 ) c w f 顏色空間 青( c y a n ) 、品紅( m a g e n t a ) 、黃色( y e l l o w ) 是光的二次色，換句話說，它們是顏 料的原色例如，當(dāng)被染成青色的平面被白光照射時，從該平面反射的白光中將減去紅光， 白光本身是等量的紅、綠、藍(lán)光的組合。 大多數(shù)彩色印刷或彩色復(fù)印都要求輸入c 塒數(shù)據(jù)或在機(jī)器內(nèi)部將r g b 轉(zhuǎn)化為c 塒，這種 變換為 剛 豳 ( 2 2 ) ( 2 2 ) 式表明了青色表面不反射紅光 雕u 0 萋1 4 7 巍02 8 9 簍0 4 3 61 圈g 2 3 0 1 0 0 j b ll = i 一 一 i il ( ) 【礦j 【o 6 1 5 一o 5 1 5 一【j ( 4 ) y i q 顏色空間 y i q 是從y u v 顏色空間衍生而來的，主要應(yīng)用于美國的電視系統(tǒng)。這種顏色空間的主 要優(yōu)點(diǎn)就是灰度信息可以從彩色數(shù)據(jù)中分離得到。因此，相同的信號既可以用于彩色電視 機(jī)也可以用于黑白電視機(jī)。在該顏色空間系統(tǒng)中，y 代表顏色的亮度，i 和q 是兩個相互 正交的分量表示色度信息。r g b 轉(zhuǎn)換到y(tǒng) i q 的線性變換如下： 阢瞄篙一01140 5 9 6 0 2 7 403 2 2 閣g2 ， i ，i - 1 一 一 li ( 4 ) 【副1 0 2 1 l - 0 2 5 3 0 3 1 2 j 【b j 當(dāng)0 s r s l ，0 s g s l ，0 b 1 。 第1 l 頁 三1 ：f 篡 + f 一6 ，5 ，4 ，8 ，1 ，一1 2 ，8 。5 ：5 。3 ，2 4 9 9 6 瞄 。， l c r j 【1 2 8 j1 1 1 2 0 0 0 9 3 7 8 6 1 8 2 1 4 兒b j ( 1 ) 歸一化的r g b ( n r g b ) 顏色空間 在彩色圖像的分割中，為達(dá)到好的分割效果，常常希望顏色不依賴于光強(qiáng)的變化，于 是人們提出了歸一化的r g b 。此顏色空間可以表示為： 阡 + g 刪 o 0 o + g 塒 o o 0 + g 刪 ( 2 6 ) 其中 r ，g ，b 表示歸一化的三個顏色分量，從( 2 4 ) 中可以看出r + g + b = l ，因此，歸一化 的r g b 空間僅由r 和g 的值表示，藍(lán)色分量為冗余信息，b = l r g 。 n r g b 空