分類號 密級 編號 中國科學(xué)院研究生院 博士學(xué)位論文 基于表觀的人臉姿態(tài)估計問題研究 馬丙鵬 指導(dǎo)教師 高 文 研究員 中國科學(xué)院計算技術(shù)研究所 申請學(xué)位級別 工學(xué)博士 學(xué)科專業(yè)名稱 計算機應(yīng) 用技術(shù) 論文提交日期 2009年 4月 論文答辯日期 2009年 6月 培養(yǎng)單位 中國科學(xué)院計算技術(shù)研究所 學(xué)位授予單位 中國科學(xué)院研究生院 答辯委員會主席 盧漢清 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，本論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國科學(xué)院計算技術(shù)研究所可以保留并向國家有關(guān)部門或機構(gòu)送交本論文的復(fù)印件和電子文檔，允許本論文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。） 作者簽名 ： 導(dǎo)師簽名： 日期： I 摘要 人臉識別是計算機視覺和模式識別研究中的熱點問題，近年來受到越來越多研究者的重視。同時，作為生物特征識別的關(guān)鍵技術(shù)之一，其在公共安全、信息安全、金融等領(lǐng)域具有潛在的應(yīng)用前景。近年來，限定條件下的人臉識別取得了很大進展，但非限定條件下的人臉識別尚不成熟，其中姿態(tài)變化即是瓶頸之一。為了實現(xiàn)對不同姿態(tài)人臉的識別，估計人臉姿態(tài)通常是必要步驟之一，具有重要的研究意義和實用價值。 本文主要研究內(nèi)容就是圍繞多姿態(tài)人臉識別問題，研究姿態(tài)變化下的姿態(tài)估計技術(shù) 。本文主要針對當(dāng)前姿態(tài)估計問題中的困難問題，利用圖像的表觀特征，在統(tǒng)計學(xué)習(xí)理論的框架下，提出了一些能夠有效提高姿態(tài)估計準確率的方法。本文的主要研究成果包括： 1. 提出基于 波的人臉對稱性特征的提取方法。在傳統(tǒng)的基于圖像表觀的姿態(tài)估計方法中，圖像的特征通常通過子空間分析方法進行提取，例如主成分分析，費舍爾線性判別分析等。然而這些方法并不是專門針對姿態(tài)問題設(shè)計的，因此其提取的特征并不直接同姿態(tài)相關(guān)。另外，這些方法直接將二維的人臉圖像轉(zhuǎn)換成一維的向量進行處理，在一定程度上丟失了人臉的結(jié)構(gòu)信息。本文認為 姿態(tài)估計中應(yīng)用的特征應(yīng)該更加緊密的同姿態(tài)變化相關(guān)，同時對于人的身份、光照、表情和數(shù)據(jù)庫的差異等因素魯棒?；谶@種思想，結(jié)合頭部基本對稱這一廣為接受的假設(shè)，本文提出面部圖像的每一行灰度特征的對稱性同頭部的姿態(tài)緊密相關(guān)，并且同人的身份無關(guān)，從而可以利用該對稱性特征進行頭部的姿態(tài)估計。具體來說，本文使用了快速傅里葉變換方法提取頭部的對稱性特征。為了消除光照和噪聲的影響，進一步使用了一維 波器。在不同數(shù)據(jù)庫上的實驗結(jié)果表明，基于 波的人臉對稱性特征能夠顯著的提高姿態(tài)估計的準確率。特別是在訓(xùn)練數(shù)據(jù) 和測試數(shù)據(jù)來源的數(shù)據(jù)庫不同時，基于 波的人臉對稱性特征仍然能夠取得不錯的實驗結(jié)果，表明方法具有很好的推廣能力。 2. 提出局部判別能力增強的人臉對稱性特征的提取方法。雖然基于 波的人臉對稱性特征與姿態(tài)緊密相關(guān)，并在姿態(tài)估計問題中取得了不錯的實驗結(jié)果，但是在基于 波的人臉對稱性特征的提取過程中沒有顯式地使用到姿態(tài)類別的信息。而在模式識別中一般認為，通過使用類別的信息，能夠增強特征的判別能力。因此在本文中，為了提高特征的判別能力，將基于 波的人臉對稱性特征和費舍爾線性判別 分析方法進行了有效的結(jié)合，提出了判別能力增強的人臉對稱性特征的提取方法。實驗表明，判別能力增強的人臉對稱性特征能夠進一步的提高姿態(tài)估計的準確率和魯棒性。此外，針對姿態(tài)估計問題中的多模態(tài)問題和非線性問題，本文進一步將基于 波的人臉對稱性特征和局部費舍爾判別分析方法相結(jié)合，從而提出了局部判別能力增強的人臉對稱性特征的提取方法。實驗表明了該方法在姿態(tài)估計問題中的有效性。 3. 提出基于類別間距的 姿態(tài) 判別分析方法用于提高姿態(tài)估計的準確率 。 在傳統(tǒng)的判基于表觀的人臉姿態(tài)估計問題研究：摘要 分析方法中，計算類間散度時往往將每個類同等的對待。但是在 姿態(tài)估計問題中，姿態(tài)為 0 度和 1 度的圖像之間的差異要遠小于 0 度和 90 度的圖像之間的差異，因此姿態(tài)類別之間并不是平等的。換句話說，在姿態(tài)分類 (估計 )問題中，姿態(tài)類別之間可以定義距離度量。針對姿態(tài)估計問題，本文提出了基于類別間距的 姿態(tài) 判別分析方法。在該方法中，姿態(tài)類別之間的距離被 引入 到類間散度矩陣的計算中 ，從而使得 對于不同類的樣本，其姿態(tài)類別間距越大，則其 對總體 類間散度 矩陣的貢獻 越小 ； 反之 亦然 。 換句話說， 鄰近姿態(tài)類別的樣本之間的權(quán)重得到了提高，而姿態(tài)類別距離遠的樣本之間的權(quán)重被顯著的降低。這種對類間散度矩陣調(diào)整的 思想是基于這樣事實，在樣本被錯分時，往往被錯分到鄰近的類別中，而不是 與真實 姿態(tài)類別距離較遠的類別，因此在計算類間散度矩陣時，應(yīng)該增加鄰近類的權(quán)重， 以使得 鄰近類的樣本更加 容易區(qū)分 ，從而使特征的判別能力得到了顯著的增強。 此外， 為了保持類內(nèi)的局部結(jié)構(gòu)，在計算類內(nèi)散度矩陣時， 本文同時引入了相鄰類的樣本的相似性 。實驗表明了該方法在姿態(tài)估計問題中的有效性。 總之，通過上述工作，本文對姿態(tài)估計問題進行了深入研究，研究結(jié)果表明：基于波器的對稱性特征更加與姿態(tài)估計問題緊密相關(guān)，能夠充分的反映姿態(tài)信息 ；通過進一步和 線性判別分析相結(jié)合，提高對稱性特征的判別能力后可以有效地提高姿態(tài)估計算法的準確率。 關(guān)鍵字 人臉識別，頭部姿態(tài)估計， 波器，傅里葉變換，費舍爾線性判別分析 as in In of on To of be as a in at of of of On of be as 1. a on In by to by t In in D is in of is to to to to as of in of as an is on a is is to at of of of as a 1D is as to of To of 1D on of of is by 于表觀的人臉姿態(tài)估計問題研究： V 2. it t in by of of is of To of in is to of DA of To in is of A of is in 3. to of in of to be in of is of 5. In in be at is in in of to In of of of is on in of be to of is to is to of is by of in In a on is to of of be DA by of 群系統(tǒng) 究： of 錄 摘要 . I . 錄 . 目錄 . 目錄 . 一章 緒論 . 1 課題研究背景 . 1 研究意義 . 1 主要挑 戰(zhàn) . 3 頭部姿態(tài)估計問題綜述 . 4 姿態(tài)估計問題簡介 . 4 基于表觀的姿態(tài)估計方法 . 5 基于模型的姿態(tài)估計方法 . 12 主要頭部圖像數(shù)據(jù)庫 . 14 本文的主要貢獻及組織結(jié)構(gòu) . 16 問題提出 . 16 主要貢獻 . 16 組織結(jié)構(gòu) . 17 第二章 基于 . 19 引言 . 19 頭部圖像的對稱性特征的提取 . 20 圖像的表觀對稱性和人臉姿態(tài)變化的關(guān)系分析 . 20 傅里葉變換的對稱性屬性 . 21 特征的對稱性測量及其驗證 . 22 基于 波的人臉對稱性特征的提取方法 . 24 一維 波器介紹 . 25 征的提取過程 . 27 一維 波器的優(yōu)勢分析 . 27 基于表觀的人臉姿態(tài)估計問題研究： 目錄 . 征的維數(shù)分析 . 28 征的對稱性分析 . 29 征的提取方法的簡化計算 . 29 征在姿態(tài)估計問題中的應(yīng)用 . 31 實驗結(jié)果及分析 . 32 實驗數(shù)據(jù)庫 . 32 對比實驗設(shè)置 . 38 實驗 1： 測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)同質(zhì) . 39 實驗 2： 訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)異質(zhì) . 42 小結(jié) . 44 第三章 人臉對稱 性特征的判別能力增強 . 47 引言 . 47 判別能力增強的人臉對稱性特征的提取方法 . 47 費舍爾線 性判別分析方法介紹 . 48 判別能力增強的人臉對稱性特征的提取方法的計算過程 . 49 征的維數(shù)分析 . 49 征的計算效率分析 . 49 實驗結(jié)果及分析 . 50 局部判別能力增強的人臉對稱性特征的提取方法 . 62 費舍爾線性判別分析的點對形式 . 63 局部保持投影方法介紹 . 64 局部費舍爾線性判別分析方法介紹 . 65 局部判別能力增強的人臉對稱性特征的提取方法的計算過程 . 67 實驗結(jié)果與分析 . 70 小結(jié) . 73 第四章 基于類別間距的姿態(tài)判別分析方法 . 75 引言 . 75 基于類別間距的姿態(tài)判別分析方法 . 77 基于類別間距的姿態(tài)判別分析方法的描述 . 77 非相似性權(quán)重 的設(shè)置 . 78 相似性權(quán)重 的設(shè)置 . 79 基于類別間距的姿態(tài)判別分析方法的計算效率分析 . 81 基于表觀的人臉姿態(tài)估計問題研究： 目錄 實驗結(jié)果及分析 . 82 合成數(shù)據(jù)上的實驗結(jié)果及分析 . 82 姿態(tài)估計問題中的實驗結(jié)果及分析 . 83 小結(jié) . 85 第五章 系統(tǒng)原型實現(xiàn) . 87 引言 . 87 原型系統(tǒng)組成 . 87 系統(tǒng)模塊簡介 . 88 人臉檢測 . 88 人眼定位 . 89 人臉姿態(tài) 估計 . 90 系統(tǒng)實例 . 91 小結(jié) . 91 第六章 結(jié)論 . 93 參考文獻 . 95 致謝 . i 作者簡介 . 目錄 圖 告中的人臉識別實驗結(jié)果 . . 2 圖 頭部姿態(tài)估計示意圖 . . 4 圖 頭部的對稱平面和姿態(tài)變化關(guān)系的示意圖 . . 20 圖 函數(shù) t 和 t 的對稱性測量和反對稱性測量 . . 22 圖 在 據(jù)庫中不同姿態(tài)角度時的對稱性測量 . . 23 圖 4 個不同頻率的 函數(shù) . . 25 圖 一些圖像在不同頻率下的 述 . . 26 圖 征的提取方法的流程示意圖 . . 27 圖 征的非對稱性測量 . . 30 圖 據(jù)庫的圖像示意 . . 32 圖 像頭 . . 33 圖 置跟蹤器 . . 34 圖 圖像采集系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖 . . 34 圖 使用地球儀標定坐標系 . . 35 圖 被采集者和攝像機 . . 36 圖 采集測量程序界