分類號 密級 編號 中國科學院研究生院 博士學位論文 基于表觀 的 人臉 姿態(tài)估計問題研究 馬丙鵬 指導教師 高 文 研究員 中國科學院計算技術研究所 申請學位級別 工學博士 學科專業(yè)名稱 計算機 應 用 論文提交日期 2009年 4月 論文答辯日期 2009年 6月 培養(yǎng)單位 中國科學院計算技術研究所 學位授予單位 中國科學院研究生院 答辯委員會主席 聲 明 我聲明本論文是我本人在導師指導下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，本論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。 作者簽名： 日期： 論文版權使用授權書 本人授權中國科學院計算技術研究所可以保留并向國家有關部門或機構送交本論文的復印件和電子文檔，允許本論文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編本論文。 （保密論文在解密后適用本授權書。） 作者簽名 ： 導師簽名： 日期： I 摘要 人臉識別是計算機視覺和模式識別研究中的熱點問題 , 近年來受到越來越多研究者的重視 . 同時 , 作為生物特征識別的關鍵技術之一 , 其在公共安全、信息安全、金融等領域具有潛在的應用前景 . 而姿態(tài)估計問題作為人臉識別中的關鍵問題 , 對于提高人臉識別的準確率具有重大的意義 . 本文主要研究內(nèi)容就是圍繞人臉識別問題 , 研究姿態(tài)變化下的人臉圖像的姿態(tài)估計技術 . 本文主要針對當前姿態(tài)估計問題中的困難問題 , 利用圖像的表觀特征 , 在統(tǒng)計學習的理論的框架下 , 提出了一些能夠有效提高姿態(tài)估計準確率的算法 . 本文的主要研究成果包括： 1. 提出 基于 波器的對稱性特征的提取 方法 . 本論文的主要貢獻在于提出了一種利用圖像的表觀進行頭部姿態(tài)估計的新方法 . 在傳統(tǒng)的基于圖像表觀的姿態(tài)估計中 , 圖像的特征通常通過子空間算法進行提取 , 例如主成分分析 , 費舍爾判別分析等 , 這些算法的由于并不是專門針對姿態(tài)問題設計的 , 因此其提取的特征并不直接同姿態(tài)相關 . 另外 , 這些算法直接將 二維 的人臉圖像轉(zhuǎn)換成 一維 的向量進行處理 , 丟失了人臉的結構信息 . 本文認為姿態(tài)估計中應用 的特征應該更加緊密的同姿態(tài)變化相關 , 同時對于人的身份 , 光照 , 表情和數(shù)據(jù)庫的差異等因素魯棒 . 在這種思想下 , 結合頭部的對稱性是一個廣為接受的假設 , 本文提出面部圖像的每一行灰度特征的對稱性同頭部的姿態(tài)緊密相關 , 并且同人的身份無關 , 能夠利用該對稱性特征進行頭部的姿態(tài)估計 . 具體來說 , 本文使用了快速傅里葉變換的方法提取對稱性特征 . 為了消除光照和噪聲的影響 , 進一步使用了一維 在不同數(shù)據(jù)庫上的實驗結果表明 , 基于 特別是在 訓練數(shù)據(jù)和測試數(shù)據(jù)來源的數(shù)據(jù)庫不同時 , 基于 波器的 對稱性特征仍然能夠取得不錯的實驗結果 , 表明 方法 具有很好的推廣能力 . 2. 提出基于 判別分析的對稱性特征的提取方法和基于局部判別分析的對稱性特征的提取方法 . 在基于 波器的對稱性特征的基礎上 , 本文進一步提出了 基于 判別分析的對稱性特征的提取方法和基于局部判別分析的對稱性特征的提取方法用于姿態(tài)估計問題 . 雖然基于 波器的對稱性特征能夠緊密的姿態(tài)本身相關 , 在姿態(tài)估計問題中取得不錯的實驗結果 , 但是對稱性特征的提取過程中沒有使用 到類別的信息 . 而在模式識別中一般認為 , 通過使用類別的信息 , 能夠增強特征的判別能力 . 例如 , 在人臉識別中 , 使用類別信息的線性判別分析方法的性能要優(yōu)于沒有使用類別信息的主成分分析方法的性能 . 因此在本文中 , 為了提高對稱性特征的判別能力 , 將基于 實驗表明 , 對稱性特征和費舍爾判別分析方法相結合的特征能夠進一步的提高姿態(tài)估計的準確率和魯棒性 . 除了使用判別基于表觀的人臉姿態(tài)估計問題研究 ：摘要 征外 , 針對姿態(tài)估計中的多模態(tài)問題和非線性問題 , 在對稱性特征中引入了局部費舍爾 判別分析的方法 , 從而提出了基于局部判別分析的對稱性特征的提取方法 . 實驗表明了該方法在姿態(tài)估計問題中的有效性 . 3. 提出基于姿態(tài)類別間距的判別分析方法用于提高姿態(tài)估計的準確率 . 在傳統(tǒng)的判別分析方法中 , 計算類間散度時往往將每個類同等的對待 . 但是在姿態(tài)估計問題中 , 姿態(tài)為 0 度和 1 度的圖像之間的差異要遠小于 0 度和 90 度的圖像之間的差異 , 因此姿態(tài)類別之間并不是平等的 . 換句話說 , 在姿態(tài)分類 (估計 )問題中 , 姿態(tài)類別之間可以定義距離度量 . 針對姿態(tài)估計問題 , 本文提出了基于姿態(tài)類別間距的判別分析方法 . 在該方法中 , 姿態(tài)類別之間的距離被帶入到類間散度矩陣的計算中 : 對于不同類的樣本 , 其姿態(tài)類別間距越大 , 則其類間散度越小 ; 反之則相反 . 在這種計算方式下 , 鄰近姿態(tài)類別的姿態(tài)樣本之間的權重得到了提高 , 而姿態(tài)類別距離遠的樣本之間的權重被顯著的降低 . 這種對類間散度矩陣調(diào)整的思想是基于這樣事實 , 在樣本被錯分時 , 往往被錯分到鄰近的類別中 , 而不是姿態(tài)類別距離較遠的類別 , 因此在計算類間散度矩陣時 , 應該增加鄰近類的權重 , 使鄰近類的樣本更加可分 , 從而使特征的判別能力得到了顯著的增強 . 基于姿態(tài)類別間 距的判別分析方法的另外一個創(chuàng)新在于為了保持類內(nèi)的局部結構 , 在計算類內(nèi)散度矩陣時 , 同時引入了相鄰類的樣本的相似性 . 總之 , 通過上述工作 , 本文對姿態(tài)估計問題進行了深入研究 , 研究結果表明 : 基于波器的對稱性特征 更加與姿態(tài)估計問題緊密相關 , 能夠充分的反映姿態(tài)信息 ; 通過 進一步和線性判別分析相結合 , 提高對稱性特征的判別能力后 可以有效地提高姿態(tài)估計算法的準確率 , 并提高姿態(tài)估計系統(tǒng)的魯棒性。 關鍵字 人臉識別 , 頭部姿態(tài)估計 , 波器 , 傅里葉變換 , 線性判別分析 of on an To to to to In of be as a in at of of On of as (1)an In by to is D in of is to to to to as of in of as an is on a is is to at of is to to of of as a 1D of is as to of in 1D to on of 于表觀的人臉姿態(tài)估計問題研究 ： V is by (2)on of is of To of in is to by to in A of is (3) a in of as to be in a be at of is to in to on to is to of is by of in In a on is to of be DA of V 目 錄 摘要 . I . 錄 . V 圖目錄 . 目錄 . 一章 緒論 . 1 課題研究背景 . 1 研究意義 . 1 主要挑戰(zhàn) . 3 頭部姿態(tài)估計問題綜述 . 3 姿態(tài)估計問題簡介 . 3 基于外觀的姿態(tài)估計方法 . 5 基于模型的姿態(tài)估計方法 . 12 主要頭部圖像數(shù)據(jù)庫 . 14 本文的主要貢獻及組織結構 . 15 主要貢獻 . 15 組織結構 . 16 第二章 基于圖像表觀對稱性的姿態(tài)估計方法 . 19 引言 . 19 頭部圖像的對稱性特征的提取 . 20 圖像的表觀對稱性和人臉姿態(tài)變化的關系分析 . 20 里葉變換的對稱性屬性 . 20 稱性特征的度量及其驗證 . 22 基于一維 波器的對稱性特征的提取方法 . 24 一維 波器介紹 . 24 征的提取過程 . 26 一維 波器的優(yōu)勢分析 . 27 征的維數(shù)分析 . 28 基于表觀的人臉姿態(tài)估計問題研究 ： 目錄 . 征的對稱性分析 . 29 征的提取方法的簡化計算 . 29 征在姿態(tài)估計問題中的應 用 . 30 實驗結果及分析 . 31 實驗數(shù)據(jù)庫 . 31 對比實驗設置 . 38 實驗 1: 測試數(shù)據(jù)和訓練數(shù)據(jù)同質(zhì) . 38 實驗 2: 訓練數(shù)據(jù)與測試數(shù)據(jù)異質(zhì) . 41 小結 . 44 第三章 對稱性特征的判別能力增強 . 45 引言 . 45 判別能力增強的對稱性特征的提取方法 . 45 費舍爾判別分析方法介紹 . 46 判別能力增強的對稱性特征的提取方法的計算過程 . 47 征的維數(shù)分析 . 47 征的計算效率分析 . 47 實驗結果及分析 . 48 局部判別能力增強的對稱性特征的提取方法 . 60 費舍爾判別分析的點對形式 . 61 局部保持投影方法介紹 . 61 局部費舍爾判別分析方法介紹 . 62 局部判別能力增強的對稱性特征的提取方法的計算過程 . 64 實驗結果與分析 . 67 小結 . 70 第四章 基于類別間距的姿態(tài)判別分析方法 . 71 引言 . 71 基于類別間距的姿態(tài)判別分析方法 . 73 基于類別間距的姿態(tài)判別分析方法的描述 . 73 非相似性權重 設置 . 74 相似性權重 設置 . 75 基于類別間距的姿態(tài)判別分析方法的計算效率分析 . 77 實驗結果及分析 . 77 基于表觀的人臉姿態(tài)估計問題研究 ： 目錄 . 合成數(shù)據(jù)上的實驗結果及分析 . 78 姿態(tài)估計問題中的實驗結果及分析 . 79 小結 . 81 第五章 系統(tǒng)原型實現(xiàn) . 83 引言 . 83 原型系統(tǒng)組成 . 83 系統(tǒng)模塊簡介 . 84 人臉檢測 . 84 人眼定位 . 85 人臉姿態(tài)估計 . 86 系統(tǒng)實例 . 87 小結 . 88 第六章 結論 . 89 參考文獻 . 91 致謝 . i 作者簡介 . 目錄 圖 使用 3D 術對姿態(tài)變化的測試結果 . . 2 圖 頭部姿態(tài)估計示意圖 . . 4 圖 頭部的對稱平面和姿態(tài)變化關系的示意圖 . . 20 圖 函數(shù) )t 和 )t 的對稱性測量和反對稱性測量 . . 22 圖 在 據(jù)庫中不同姿態(tài)角度時的對稱性測量 . . 24 圖 4 個不同頻率的 函數(shù) . . 26 圖 一些圖像的 述 . . 26 圖 法的流程示意圖 . . 27 圖 征的非對稱性測量 . . 30 圖 據(jù)庫的圖像示意 . . 32 圖 像頭 . 33 圖 置跟蹤器 . 33 圖 系統(tǒng)結構圖 . 34 圖 使用地球儀標定坐標系 . . 35 圖 被采集者和攝像機 . . 36 圖 采集測量程序界面 . 36 圖 據(jù)庫的示例圖像 . 37 圖 據(jù)庫中人臉檢測結果示意圖 . . 38 圖 據(jù)庫上不同方法的姿態(tài)分類準確率 . . 40 圖 據(jù)庫上不同維數(shù)時的姿態(tài)分類準確率 . . 40 圖 據(jù)庫上的誤差均值 . 41 圖 數(shù)據(jù)異質(zhì)時各種方法姿態(tài)估計的誤差均值 . . 42 圖 數(shù)據(jù)異質(zhì)時不同維數(shù)時的誤差均值 . . 43 基于表觀的人臉姿態(tài)估計問題研究 ： 圖目錄 X 圖 據(jù)庫上的姿態(tài)估計準確率 . . 49 圖 據(jù)庫上的誤差均值 . . 49 圖 據(jù)庫上不同維數(shù)時的誤差均值 . . 50 圖 數(shù)據(jù)異質(zhì)時不同