分類號(hào) 密級(jí) 編號(hào) 中國科學(xué)院研究生院 博士學(xué)位論文 人臉識(shí)別中的局部表示方法研究 謝術(shù)富 指導(dǎo)教師 陳熙霖 研究員 中國科學(xué)院計(jì)算技術(shù)研究所 申請(qǐng)學(xué)位級(jí)別 工學(xué)博士 學(xué)科專業(yè)名稱 計(jì)算機(jī)應(yīng)用技術(shù) 論文提交日期 2010 年 10 月 論文答辯日期 2010 年 11 月 培養(yǎng)單位 中國科學(xué)院計(jì)算技術(shù)研究所 學(xué)位授予單位 中國科學(xué)院研究生院 答辯委員會(huì)主席 楊士強(qiáng) 教授 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和 致謝的地方外，本論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。 與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明 確的說明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國科學(xué)院計(jì)算技術(shù)研究所 可以保留并向國家有關(guān)部門或機(jī)構(gòu)送交本論文的復(fù)印件和電子文檔，允許 本論文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行 檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。 ） 作者簽名： 導(dǎo)師簽名： 日期： I 摘 要 人臉識(shí)別技術(shù)作為一種被廣泛接受的生物特征識(shí)別技術(shù)，具有重要的理論價(jià)值和廣闊的應(yīng)用前景。經(jīng)過幾十年的發(fā)展，人臉識(shí)別技術(shù)取得了長足的進(jìn)展。大量的性能評(píng)測與學(xué)術(shù)研究表明，在可控測試條件下，最好的人臉識(shí)別技術(shù)已經(jīng)能夠取得令人滿意的性能指標(biāo)；然而，在非可控條件下，光照、表情、姿態(tài)及其他因素等引起的變化導(dǎo)致了同類樣本之間的差異甚至要大于不同類別樣本之間的差異，這極大地影響了人臉識(shí)別算法的性能。 特征表示作為人臉識(shí)別算法的關(guān)鍵所在，受到了極大的關(guān)注。本文從全局和局部兩個(gè)角度綜述了人臉識(shí)別中常用的特征表示方法。局部特征對(duì)光照、表情、部分遮擋等產(chǎn)生的變化具有較好的魯棒性，因 而在人臉識(shí)別中受到了廣泛的關(guān)注。 波表示作為一種有效的局部特征，在人臉識(shí)別上取得 了良好的效果。為了發(fā)掘 征在人臉識(shí)別中的潛力，本文研究了人臉圖像 征的局部模式表示方法，并進(jìn)一步研究了其與判別性特征提取相結(jié)合的方法。本文所 取得的主要研究成果概述如下： 1. 提出了融合 值和相位局部模式的表示方法。 位特征對(duì)圖像位置的變化非常敏感， 這導(dǎo)致大多數(shù)利用相位特征的表示方法在人臉識(shí)別中取得了非常低的分類精度。針對(duì)這一問題，文中提出了基于相位特征的局部 或模式表示。該表示先將圖像的 位特征量化到不同的區(qū)間，然后利用異或算子來計(jì)算空間鄰域內(nèi)像素的局部模式，并采用分塊的直方圖來表示圖像。其優(yōu)點(diǎn)在于，采用的量化策略減弱了模式受相位對(duì)圖像位置變化敏感性的影響，而多尺度、多方向上的直方圖特征具有很強(qiáng)的表示能力。為了利用 值和相位特征之間的互補(bǔ)性，文中采用判別性特征提取方法在塊 級(jí)別上對(duì)幅值和相位的局部模式表示進(jìn)行融合，并通過和規(guī)則融合圖像塊之間的相似度。該方法從 征的局部模式表示中提取了低維的判別特征，不僅減少了圖像相似度的計(jì)算代價(jià)，而且提高了識(shí)別精度。此外，局部 或模式是一種有效的基于相位特征的表 示，保證了其與幅值局部模式融合的方法能夠取得更優(yōu)的識(shí)別性能。 2. 提出了 征“體”局部模式的表示方法。 為了高效地建模人臉圖像 征的局部模式，該方法將多尺度、多方向的 ” ：該 征“體”的前兩維是圖像平面，第三維對(duì)應(yīng)了不同尺度、不同方向上的 波。然后，該方法采用了局 部二值模式算子來計(jì)算幅值特征“體”上的局部模式，并利用直方圖來表示人臉圖像。該模式表示組合了圖像平面內(nèi)的模式與同一點(diǎn)不同濾波器響應(yīng)上的模式，因而具有更強(qiáng)的表示能力。文中進(jìn)一步提出了該表示的兩種擴(kuò)展：利用 則的子塊權(quán)重學(xué)習(xí)與判別性特征提取。子塊權(quán)重學(xué)習(xí)方法利用 則基于訓(xùn)練集學(xué)習(xí)得到各個(gè) 子塊的權(quán)重，并根據(jù)這些權(quán)重來融合中國科學(xué)院博士學(xué)位論文人臉識(shí)別中的局部表示方法研究 方法利用了人臉不同區(qū)域的判別能力，在訓(xùn)練集與測試集中圖像的變化類型保持一致時(shí)能夠提高識(shí)別的性能。 判別性特征提取方法根據(jù) 后通過和規(guī)則融合這些相似度。該方法提取了有利于分類的投影方向，在測試的三個(gè)人臉數(shù)據(jù)庫上都表現(xiàn)出了更優(yōu)的分類性能。 3. 提出了基于學(xué)習(xí)的局部 式表示方法。 從人臉圖像的構(gòu)成來看，在圖像像素與人 臉部件之間存在一種中間的表示，稱為“模式” 。人臉作為一類結(jié)構(gòu)非常相似的物體 ，應(yīng)當(dāng)有其專屬的模式構(gòu)成。從這一角度出發(fā)，針對(duì)某個(gè)尺度、某個(gè)方向的 波，該方法從人臉圖像的 征上采樣得到圖像塊的集合，進(jìn)而學(xué)習(xí)得到對(duì)應(yīng)的碼本：該碼本中的每個(gè)碼字對(duì)應(yīng)了一種模式；然后，根據(jù)學(xué)習(xí)得到的碼本去表示人臉圖像?？紤]到人臉的不同區(qū)域和不同模式在識(shí)別過程中的不同作用，文中進(jìn)一步提出了利用子塊和模式權(quán)重的加權(quán)方法。此外，針對(duì)文獻(xiàn)中存在的 11 種 征的局部模式表示方法，文中按 照模式的定義將它們劃分為兩大類：模式設(shè)計(jì)方法和模式學(xué)習(xí)方法，并從模式定義流程以及方法參數(shù)兩個(gè)方面對(duì)這些方法進(jìn)行對(duì)比分析。由于這些表示具有高維的特征，文中采用了判別性特征提取的方法來提取低維的特征。大量的實(shí)驗(yàn)結(jié)果表明，基于學(xué)習(xí)的局部 式表示方法是一種有效的人臉表示，特別地，該方法受不同訓(xùn)練集上產(chǎn)生碼本的影響比較??；加權(quán)方法同時(shí)利用了子塊和模式的區(qū)分能力，進(jìn)一步提高了識(shí)別精度；該模式表示與判別性特征提取結(jié)合的方法提取了判別特征，取得了比基準(zhǔn)方 法和加權(quán)方法更高的識(shí)別性能。 綜上所述，本文圍繞人臉圖像的 征從模式表示的角度展開了相關(guān)的研究，提出了三種局部 式表示方法。此外，本文研究了判別 性特征提取的方法并將其與不同的局部 式表示結(jié)合，不僅降低了局部 式方法中相似度計(jì)算的代價(jià)，而且在很多富有挑戰(zhàn)性的 人臉數(shù)據(jù)庫上取得了優(yōu)異的效果。 關(guān)鍵詞 ：人臉識(shí)別；局部特征； 征；局部二值模式；模式學(xué)習(xí)；判別分析 is as of In in to be of is as to is to to in As of To of as 1. a to to to OR on is of in by OR to in by of to To is to of at to it of 國科學(xué)院博士學(xué)位論文人臉識(shí)別中的局部表示方法研究 In is 2. on In to as at is to is to in at of s LD to of by of of in as in LD to to to on 3. to is As of at by to of on by of is at 1 in to a to of to 1) is in it is by 2) of 3) In of In it of in on 摘 要 I 錄 目錄 目錄 要符號(hào)對(duì)照表 一章 緒論 1 究背景及意義 1 臉識(shí)別問題描述 2 臉識(shí)別研究概述 4 關(guān)綜述 5 臉識(shí)別評(píng)測 5 征表示方法綜述 9 局表示方法 9 部表示方法 12 比討論 17 題的提出及本文的主要貢獻(xiàn) 17 題的提出 17 文的主要貢獻(xiàn) 18 文的組織結(jié)構(gòu) 19 第二章 融合 值和相位局部模式的表示方法 21 言 21 波表示的局部模式 22 部 或模式及其與以前局部模式的對(duì)比 24 值和相位局部模式的融合方法 27 別性特征提取 27 級(jí)別上融合 30 驗(yàn)結(jié)果對(duì)比及分析 32 試數(shù)據(jù)庫簡介 33 數(shù)對(duì)結(jié)果的影響及分析 34 中國科學(xué)院博士學(xué)位論文人臉識(shí)別中的局部表示方法研究 臉數(shù)據(jù)庫上的結(jié)果對(duì)比及分析 38 臉數(shù)據(jù)庫上的結(jié)果對(duì)比及分析 40 章小結(jié) 44 第三章 征 “體 ”局部模式的表示方法 45 言 45 于 “體 ”的局部 式表示 46 一步擴(kuò)展 48 用 則的子塊權(quán)重學(xué)習(xí) 49 別性特征提取 50 驗(yàn)結(jié)果對(duì)比及分析 52 驗(yàn)設(shè)置 52 同模式定義對(duì)實(shí)驗(yàn)結(jié)果的影響 53 同 征塊與“體”上模式表示的結(jié)果對(duì)比 54 征“體”局部模式表示與兩種擴(kuò)展方法的結(jié)果對(duì)比 56 章小結(jié) 62 第四章 人臉局部 式的學(xué)習(xí) 63 言 63 部 式的學(xué)習(xí)及特征表示 64 用子塊和模式權(quán)重的加權(quán)方法 67 部 式方法的分類及對(duì)比 68 法分類 69 式定義流程及參數(shù)對(duì)比 72 驗(yàn)結(jié)果對(duì)比及分析 74 數(shù)對(duì)結(jié)果的影響及分析 75 權(quán)策略及判別性特征提取方法對(duì)結(jié)果的影響 77 同局部 式方法的結(jié)果對(duì)比 79 論 85 章小結(jié) 88 第五章 結(jié)束語 91 文工作總結(jié) 91 續(xù)工作 92 參考文獻(xiàn) 93 致謝 i 作者簡介 1動(dòng)人臉識(shí)別系統(tǒng)的構(gòu)成框圖 . 3 圖 1據(jù) 據(jù)庫統(tǒng)計(jì)的近 20 年發(fā)表的與人臉識(shí)別相關(guān)的文章數(shù)量 . 4 圖 1試前兩個(gè)階段的測試結(jié)果 . 9 圖 1文各章內(nèi)容之間的關(guān)系 . 20 圖 2 個(gè)尺度、 8 個(gè)方向的 波核函數(shù)圖示 （ a）實(shí)部 （ b）虛部 . 22 圖 2幅人臉圖像與它的 波表示 （ a）人臉圖像 （ b）幅值 （ c）相位 . 23 圖 2子示意圖 （ a） 33 鄰域 （ b） 子 . 23 圖 2法中的模式編碼示例 注：相位角被量化為 4 個(gè)區(qū)間 . 25 圖 2同局部 式表示的流程對(duì)比 . 26 圖 2于塊的 性判別分析方法的流程 . 27 圖 2同方法中的塊劃分策略 （ a）局部 式（ b） . 29 圖 2值和相位局部模式的融合方法 （ a）特征層融合（ b）相似度層融合 . 30 圖 2臉庫的圖像示例 . 33 圖 2臉庫的圖像示例 （ a）可控條件下（ b）非可控條件下 . 34 圖 2同參數(shù)對(duì) 法的影響 （ a）相位角的量化區(qū)間 （ b）每幅模式圖像劃分的子塊數(shù)目 . 35 圖 2同參數(shù)對(duì) “法的影響 （ a） P=3 （ b） P=4. 36 圖 2合幅值和相位局部模式的方法與利用單一特征的方法在 試集上的結(jié)果對(duì)比 . 37 圖 2試集上不同方法的累計(jì)識(shí)別率曲線 . 39 圖 2同方法在 臉庫上的 線 （ a）實(shí)驗(yàn) 1 （ b）實(shí)驗(yàn) 4. 41 圖 2同光照預(yù)處理后的人臉圖像示