分類號(hào) 密級(jí) 編號(hào) 中國(guó)科學(xué)院研究生院 博士學(xué)位論文 人臉識(shí)別中的光照問(wèn)題研究 卿來(lái)云 指導(dǎo)教師 高文 教授 中國(guó)科學(xué)院研究生院 申請(qǐng)學(xué)位級(jí)別 工學(xué)博士 學(xué)科專業(yè)名稱 計(jì)算機(jī)軟件與理論 論文提交日期 2005 年 03 月 論文答辯日期 2005 年 06 月 培養(yǎng)單位 中國(guó)科 學(xué)院研究生院 學(xué)位授予單位 中國(guó)科學(xué)院研究生院 答辯委員會(huì)主席 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝 的地方外，本論文中不包含其他人已經(jīng)發(fā)表或撰寫過(guò)的研究成果。與我一 同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明 確的說(shuō)明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國(guó)科學(xué)院研究生院可以保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交本論文的復(fù)印件和電子文檔，允許本論文被查 閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可 以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。 ） 作者簽名： 導(dǎo)師簽名： 日期： 要 由于人臉識(shí)別研究有著重要的理論價(jià)值和 應(yīng)用價(jià)值，經(jīng)過(guò)近四十年的發(fā)展，人臉識(shí)別技術(shù)已經(jīng)取得了長(zhǎng)足進(jìn)步。當(dāng)今的人臉 識(shí)別系統(tǒng)雖然在用戶配合的理想情況下取得了令人滿意的結(jié)果，但如在更大規(guī)模人臉數(shù) 據(jù)庫(kù)、攝像環(huán)境不可控、用戶不配合的情況下使用，其識(shí)別性能急劇下降。因此，現(xiàn)有 的人臉識(shí)別系統(tǒng)還尚未成熟，尤其需要解決非理想攝像條件（光照變化、攝像設(shè)備差異 ）和用戶不配合（視角變化、表情變化、飾物乃至化妝）等問(wèn)題。 本文主要考慮人臉識(shí)別中的光照變化問(wèn)題 ，同時(shí)兼顧姿態(tài)變化。本文從人臉圖像的成像模型出發(fā)，在估計(jì)輸入人臉圖像的成 像參數(shù)后，得到與光照無(wú)關(guān)的特征用于人臉識(shí)別，以提高人臉識(shí)別系統(tǒng)在光照變化下的 性能。簡(jiǎn)而言之，本文的主要研究成果包括以下幾個(gè)部分： (1) 任意光照下人臉圖像的光照估計(jì)?；谇蛎嬷C 波理論，朗伯反射對(duì)光照而言是一個(gè)低通濾波器。因此本文在頻域中對(duì)成 像模型進(jìn)行分析，對(duì)輸入人臉圖像進(jìn)行光照估計(jì)，即估計(jì)光照的低頻分量的系數(shù)。將人臉表面近似 為朗伯反射，融合人臉類的先驗(yàn)知識(shí)，本文可對(duì)任意輸入人臉圖像進(jìn)行光照 估計(jì)。這種光照表示可表示任何類型的光照環(huán)境，包括室外光照環(huán)境。同時(shí)，由于表示光照的參數(shù)很少，本文的光照估計(jì)對(duì)輸入人臉圖像的分辨率及配準(zhǔn)精度不敏感。 (2) 基于繪制的人臉圖像光照補(bǔ)償。基于繪制的光 照補(bǔ)償是在光照估計(jì)的基礎(chǔ)上，用光照商圖像技術(shù)將其繪制到預(yù)先定義的標(biāo)準(zhǔn)光照， 從而使所有的人臉圖像在相同的光照條件下進(jìn)行比較。本文討論了兩種標(biāo)準(zhǔn)光照：虛擬均勻 光照及環(huán)境光+正面點(diǎn)光源。其中均勻光照下的圖像中只包含人臉的紋理信息而不包含 形狀信息；環(huán)境光+點(diǎn)光源下的圖像中既包含人臉的紋理信息，又包含 了形狀信息?；诶L制的光照補(bǔ)償依賴于輸入人臉的形狀，即依賴于特征點(diǎn)的定位，因此對(duì)配準(zhǔn)比 較敏感。在精確配準(zhǔn)的情況下，基于繪制的光照補(bǔ)償對(duì)光照變化 下的人臉識(shí)別能帶來(lái)很大提高。 (3) 基于差圖像的人臉圖像光照補(bǔ)償。差圖像為原 圖像與平均人臉在輸入光照下的圖像的差。由于二者光照相同，這樣差圖 像中光照變化的影響得到了減弱，同時(shí)又保留了用于識(shí)別的輸入人臉與平均人臉的差別。 基于差圖像的光照補(bǔ)償不需要輸入人臉的形狀，因此其對(duì)配準(zhǔn)精度不敏感，更適合于實(shí)用系統(tǒng)。 (4) 基于圖像繪制的方法用于擴(kuò)充人臉檢測(cè)中的訓(xùn) 練樣本?；诮y(tǒng)計(jì)學(xué)習(xí)的人臉檢測(cè)方法的性能依賴于訓(xùn)練樣本的分布。通常 我們很難收集到足夠多的符合要求的訓(xùn)練樣本，而基于繪制的方法可以合成任意光照下的虛擬樣 本。通過(guò)合理地配置目標(biāo)光照，基于擴(kuò)充后的訓(xùn)練集的人臉檢測(cè)器的性能得到了較大提高。 (5) 基于特征諧波圖像模型的光照和姿態(tài)不變的人 臉識(shí)別。特征諧波圖像模型利用人臉識(shí)別中的光照問(wèn)題研究： 摘要 一幅 人臉圖像重構(gòu)其球面諧波基圖像。諧波基圖像包含了人臉的本質(zhì)特征：形狀和反射率， 因此我們可以用人臉的諧波基圖像用來(lái)表示人臉的不變特征，用于不同光照和姿態(tài)下的 人臉識(shí)別。假設(shè)人臉的諧波基圖像的分布為高斯分布，本部分工作對(duì)所有人臉的諧波基圖像的分布空間用 型表示。結(jié)合該先驗(yàn)限制，在光照估計(jì)的基礎(chǔ)上，可從一幅圖像恢復(fù)該 人臉的諧波基圖像。同時(shí)由于 據(jù)姿 態(tài)變化的人臉圖像中可見(jiàn)部分仍可恢復(fù)出該人臉的諧波基圖像的 數(shù)，因此該模型可兼顧姿態(tài)變化。 關(guān)鍵詞 ：人臉識(shí)別；成像模型；球面諧波 模型；光照變化；光照估計(jì)、光照補(bǔ)償、姿態(tài)變化、 on in of of if on or or of is It of on of of as as in on we in to of of as (1) on as a in we of of of as a we of of of or as of is to of (2) on An is to to a on in in a in of on of it on of If is of 人臉識(shí)別中的光照問(wèn)題研究： V(3) on is In of is of is in so is to it (4) of on on of In it is to A is to to By of on (5) of of is to in so as of of as a a on of As of in is in 錄 圖目錄 .目錄 .一章 緒論 . 1 臉識(shí)別的研究意義 . 2 臉識(shí)別的研究成果 . 3 臉識(shí)別的主要挑戰(zhàn) . 4 照問(wèn)題的提出及本文的主要貢獻(xiàn) . 6 文的組織 . 7 第二章 人臉識(shí)別中光照問(wèn)題綜述 . 9 照與人臉圖像 . 9 照變化下的人臉圖像的分布 . 9 像成像模型 . 10 臉識(shí)別中光照問(wèn)題研究概述 . 13 于圖像處理技術(shù)的方法 . 14 于子空間的方法 . 16 于成像模型的方法 . 18 照處理方法總結(jié) . 21 第三章 基于球面諧波理論的人臉圖像光照估計(jì) . 25 照估計(jì)綜述 . 25 面諧波理論 . 27 面諧波函數(shù) . 27 射光照的球面諧波展開(kāi) . 29 伯反射的 球面諧波展開(kāi) . 29 射方程的頻域表示 . 31 照估計(jì)原理 . 32 面諧波基圖像 . 32 照估計(jì) . 33 入人臉的球面諧波基圖像 . 33 入人臉的形狀 . 33 人臉識(shí)別中的光照問(wèn)題研究： 目錄 入人臉的紋理 . 35 照估計(jì)的實(shí)驗(yàn)結(jié)果分析 . 35 照估計(jì)視覺(jué)結(jié)果 . 37 照估計(jì)對(duì)配準(zhǔn)精度和圖像分辨率的敏感性 . 38 照估計(jì)結(jié)果數(shù)值分析 . 40 照估計(jì)小結(jié) . 43 第四章 基于球面諧波理論的人臉圖像光照補(bǔ)償 . 45 于繪制的光照補(bǔ)償 . 45 于繪制的光照補(bǔ)償?shù)脑?. 45 準(zhǔn)光照 . 46 處理 . 49 圖像光照補(bǔ)償 . 50 照補(bǔ)償對(duì)配準(zhǔn)精度的敏感性 . 52 據(jù)的選擇 . 53 臉識(shí)別實(shí)驗(yàn)結(jié)果 . 54 其他一些經(jīng)典的光照處理方法的比較 . 56 比較的光照處理算法 . 57 比實(shí)驗(yàn)結(jié)果 . 59 比實(shí)驗(yàn)結(jié)果分析 . 61 照繪制在人臉檢測(cè)中的應(yīng)用 . 62 標(biāo)光照的配置 . 62 臉檢測(cè)結(jié)果 . 64 章小結(jié) . 64 第五章 特征諧波圖像模型: 不同光照與姿態(tài)下的人臉識(shí)別 . 67 機(jī) . 67 什么用諧波基圖像 (. 67 什么用 型 (. 68 于球面諧波基圖像的人臉識(shí)別系統(tǒng)框架 . 68 征諧波基圖像模型的構(gòu)造 . 69 據(jù)正面人臉圖像注冊(cè)人臉 . 72 臉圖像與模型配準(zhǔn) . 72 照估計(jì) . 75 波基圖像重構(gòu) . 78 任意姿態(tài)人臉圖像重構(gòu)諧波基圖像 . 79 人臉識(shí)別中的光照問(wèn)題研究： 目錄 態(tài)估計(jì) . 80 波基圖像重構(gòu) . 82 臉識(shí)別 . 84 有光照變化的實(shí)驗(yàn)結(jié)果 . 84 態(tài)和光照同時(shí)變化的實(shí)驗(yàn)結(jié)果 . 85 結(jié)和討論 . 87 第六章 結(jié)束語(yǔ) . 89 文的主要工作 . 89 來(lái)的工作 . 91 參考文獻(xiàn) . 93 致 謝 . i 作者簡(jiǎn)歷 . 圖 1 光照變化部分的測(cè)試結(jié)果（摘自 。 . 6 圖 2同人臉在不同光照下的圖像的分布。 . 10 圖 2照和人臉圖像。 . 2射方程的表示。 . 12 圖 2部坐標(biāo)和全局坐標(biāo)。 . 13 圖 3伯反射函數(shù)的頻域表示。 . 31 圖 3臉球面諧波基圖像示例。 . 32 圖 3均人臉形狀及輸入人臉的形狀。 . 34 圖 3臉數(shù)據(jù)庫(kù)中在 3D 圖中顯示人臉、 13 個(gè)相機(jī)和 21 個(gè)閃光燈的 . 36 圖 3臉數(shù)據(jù)庫(kù)中正面姿態(tài)不同光照下圖像示例。 . 36 圖 3臉數(shù)據(jù)庫(kù)上光照估計(jì)的結(jié)果。 . 37 圖 3照的可加性。 . 38 圖 3照估計(jì)對(duì)配準(zhǔn)精度的敏感性。 . 39 圖 3照估計(jì)對(duì)圖像分辨率的敏感性。 . 39 圖 3臉數(shù)據(jù)庫(kù)中各種光照下的光照系數(shù)的均值。 . 41 圖 3臉數(shù)據(jù)庫(kù)中各種光照下的光照系數(shù)的方差。 . 42 圖 3臉數(shù)據(jù)庫(kù)中各種光照下光照系數(shù)的分類結(jié)果。 . 43 圖 4于繪制的光照補(bǔ)償結(jié)果。 . 48 圖 4多的重新繪制的例子，將光照條件相對(duì)較 好的圖像繪制到任意光照。 . 49 圖 4點(diǎn)檢測(cè)。 . 50 圖 4圖像光照補(bǔ)償實(shí)驗(yàn)結(jié)果。 . 52 圖 4 人臉數(shù)據(jù)庫(kù)中光照變化的情況。 . 53 人臉識(shí)別中的光照問(wèn)題研究： 圖目錄 臉圖像區(qū)域裁減。 . 54 圖 4臉數(shù)據(jù)庫(kù)中一個(gè)人臉圖像示例。 . 57 圖 4度校正算法中用的標(biāo)準(zhǔn)圖像。 . 58 圖 4種光照預(yù)處理算法的直觀效果圖。 . 58 圖 4臉檢測(cè)中目標(biāo)光照的配置。 . 62 圖 4臉檢測(cè)中的目標(biāo)光照。 . 63 圖 4臉檢測(cè)中基于圖像繪制生成不同光照下的虛擬樣本。 . 63 圖 4同訓(xùn)練集上基于 人臉檢測(cè)器的 線圖。 . 64 圖 5于 型的人臉識(shí)別系統(tǒng)框架。 . 69 圖 5均人臉在參考空間 ()中的表示。 . 70 圖 5征諧波基圖像。 . 72 圖 5入人臉及其與模型對(duì)齊后的圖像。 . 75 圖 5臉數(shù)據(jù)庫(kù)上光照估計(jì)的結(jié)果。 . 76 圖 5臉數(shù)據(jù)庫(kù)中各種光照下光照系數(shù)的均值。 . 77 圖 5臉數(shù)據(jù)庫(kù)中各種光照下光照系數(shù)的方差。 . 78 圖 5據(jù)不同輸入人臉在不同光照下 的圖像重構(gòu)的球面諧波基圖像。 . 79 圖 5同姿態(tài)下輸入人臉圖像及其與模型對(duì)齊后的圖像。 . 8