1、附錄B人臉和表情識別課件附錄B人臉和表情識別課件附錄B人臉和表情識別B.1生物特征識別 B.2人臉檢測定位 B.3臉部器官提取和跟蹤 B.4表情識別 B.5人臉識別章毓晉 (TH-EE-IE)附錄B人臉和表情識別B.1生物特征識別 章毓晉 (TB.1生物特征識別 1、 生物特征人臉、指紋、掌紋、手形、虹膜、視網膜、步態(tài)、足跡、筆跡和簽名等（還有一些借助其他技術的，如語音，染色體DNA等）普遍性（人人擁有）、惟一性（人與人不 同）、穩(wěn)定性（不因時間、年齡、環(huán)境的變化而變化）和采集方便性（應采集容易，設備簡單，對人影響程度小） 章毓晉 (TH-EE-IE)B.1生物特征識別 章毓晉 (TH-EE-

2、IE)B.1生物特征識別 2、 生物特征性能比較章毓晉 (TH-EE-IE)B.1生物特征識別 章毓晉 (TH-EE-IE)B.2人臉檢測定位 人臉檢測定位是人臉分析中的第一步要在輸入圖象中搜索人臉，并確定人臉的位置、尺寸等信息 B.2.1人臉檢測定位的基本方法 B.2.2基于Hausdorff距離的人臉檢測定位 章毓晉 (TH-EE-IE)B.2人臉檢測定位 章毓晉 (TH-EE-IE)B.2.1人臉檢測定位的基本方法 利用靜止圖象 (1)基于特征的方法：在圖象中搜索特定的角點，邊緣，膚色和紋理區(qū)域來定位人臉(2)基于人臉知識的方法：根據對人臉知識的了解，建立人臉特征間聯(lián)系的規(guī)則，再根據這些

3、規(guī)則來判斷檢測和定位的結果(3)基于模板匹配的方法：先對人臉建模，構建相應的模板，通過匹配來檢測和定位人臉章毓晉 (TH-EE-IE)B.2.1人臉檢測定位的基本方法 利用靜止圖象 章毓晉 (B.2.1人臉檢測定位的基本方法 利用靜止圖象 (4)基于外觀的方法：基于外觀的方法也使用模板匹配的方法來檢測和定位人臉，只是這里的模板（或模型）是通過訓練學習而得到的利用視頻圖象(1)基于圖象差的方法：與檢測運動目標的方法類似(2)基于光流場的方法：也與檢測運動目標的方法類似章毓晉 (TH-EE-IE)B.2.1人臉檢測定位的基本方法 利用靜止圖象 章毓晉 (Hausdorff距離：目標的匹配在一定意義

4、上是點集的匹配 Hausdorff距離的幾何意義如果點集A和B之間的Hausdorff距離為d，那么一個點集中的所有點將都落在另外一個點集中以任意一點為中心，以d為半徑的圓中 B.2.2基于Hausdorff距離的人臉檢測方法 章毓晉 (TH-EE-IE)Hausdorff距離：B.2.2基于Hausdorff距B.2.2基于Hausdorff距離的人臉檢測方法 Hausdorff距離：如上定義的Hausdorff距離對噪聲點或點集的外野點（outline）很敏感 改進的Hausdorff距離用平均值代替最大值 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 H

5、aB.2.2基于Hausdorff距離的人臉檢測方法 1.方差加權的Hausdorff距離 MHD對點在點集中的分布不敏感圖(a)和圖(b)的MHD均為d，但圖(a)中點的分布應比圖(b)中點的分布給出更小的Hausdorff距離才符合一般情況 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 1.B.2.2基于Hausdorff距離的人臉檢測方法 1.標準方差改進的Hausdorff距離 借助點集間距離的標準方差S(A, B)表示點集A中一點到點集B中最遠點距離的標準差 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 1.B.2.

6、2基于Hausdorff距離的人臉檢測方法 1.標準方差改進的Hausdorff距離 S(B, A)表示點集B中一點到點集A中最遠點距離的標準差對圖(a)有S(A, B) = S(B, A) = 0，而對圖(b)有S(A, B) = S(B, A) = 31/2 標準差加權的Hausdorff距離（SDWHD） 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 1.B.2.2基于Hausdorff距離的人臉檢測方法 1.標準方差改進的Hausdorff距離 上述改進距離不僅考慮了兩個點集間的平均距離，而且通過引入點集間距離的標準差加入了點集間點的分布信息（點分布的

7、一致性），所以對點集的刻畫更為細致 參數(shù)k：調節(jié)分布信息在距離計算中所占的比重 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 1.B.2.2基于Hausdorff距離的人臉檢測方法 2邊緣加權的Hausdorff距離 人臉區(qū)域中不同位置的貢獻不同 對Hausdorff距離中的各項分別進行加權權值函數(shù)可以根據圖象灰度值來確定將灰度值（利用取閾值法）轉化為二值時常丟失一些信息，不能完全忠實地反映圖象上各點對人臉匹配的重要性權值函數(shù)可以根據圖象邊緣信息來確定 能夠更直接有效地反映人臉的結構信息 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢

8、測方法 2B.2.2基于Hausdorff距離的人臉檢測方法 2邊緣加權的Hausdorff距離 人臉圖象，邊緣圖象 ，二值圖象 權值函數(shù)正比于訓練集中各圖象在對應位置處邊緣點出現(xiàn)的頻率 章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 2B.2.2基于Hausdorff距離的人臉檢測方法 2邊緣加權的Hausdorff距離 人臉檢測定位方法的比較實驗 相對誤差指標：d = max(dl, dr)/|Clt Crt|其中Clt和Crt分別為左右兩個眼睛中心的真實值，而dl和dr分別為左右兩個眼睛中心的真實值與檢測值的差 HDMHDEFWHDBioID數(shù)據庫0.97

9、880.49620.2513CMU數(shù)據庫0.60370.51570.1153章毓晉 (TH-EE-IE)B.2.2基于Hausdorff距離的人臉檢測方法 2B.3臉部器官提取和跟蹤 臉上器官對人臉識別和表情分類都很重要 B.3.1眼睛幾何模型及確定B.3.2眨眼過程中的眼睛輪廓跟蹤章毓晉 (TH-EE-IE)B.3臉部器官提取和跟蹤 章毓晉 (TH-EE-IE)B.3.1眼睛幾何模型及確定典型的眼睛幾何模型 可變形模型或模板一個圓表示虹膜的輪廓兩條拋物線表示上下眼簾的輪廓 利用P1和P2的信息可以幫助調整眼睛的寬度利用P3到P6的信息可以幫助確定眼簾的高度以及幫助精確和魯棒地計算眼睛參數(shù) 章

10、毓晉 (TH-EE-IE)B.3.1眼睛幾何模型及確定典型的眼睛幾何模型 章毓晉 (B.3.1眼睛幾何模型及確定借助SUSAN算子檢測角點 G為一個固定的幾何閾值，可取為3Smax/4，Smax是S所能取得的最大值（等于檢測模板的象素數(shù)減1） 章毓晉 (TH-EE-IE)B.3.1眼睛幾何模型及確定借助SUSAN算子檢測角點 B.3.1眼睛幾何模型及確定采用主動輪廓模型確定眼睛幾何模型 能量項 N為所檢測出的角點個數(shù)R(xi, yi)為在第i個角點處的檢測響應值 谷點域 峰點域 邊緣點域 角點域章毓晉 (TH-EE-IE)B.3.1眼睛幾何模型及確定采用主動輪廓模型確定眼睛幾何模B.3.1眼睛

11、幾何模型及確定眼睛（虹膜和眼簾）檢測示例 三步法 原始圖象 初始輪廓 第1步后 第2步后 第3步后章毓晉 (TH-EE-IE)B.3.1眼睛幾何模型及確定眼睛（虹膜和眼簾）檢測示例 章 B.3.2眨眼過程中的眼睛輪廓跟蹤1.虹膜跟蹤對虹膜的檢測可幫助判定眼睛的閉合狀態(tài) 對虹膜的具體檢測中僅考慮其下半圓 雙狀態(tài)眼睛模型 如果虹膜被檢測到，則認為眼睛的狀態(tài)為睜開，并利用眼簾中點來跟蹤眼簾的位置反之，則認為眼睛的狀態(tài)為閉合，采用一條直線來描述眼睛 章毓晉 (TH-EE-IE) B.3.2眨眼過程中的眼睛輪廓跟蹤1.虹膜跟蹤章毓晉 B.3.2眨眼過程中的眼睛輪廓跟蹤1.虹膜跟蹤(1)計算第一幀圖象中虹

12、膜下半圓的平均灰度I0(2)提取其后各幀中眼睛區(qū)域的輪廓，并計算虹膜檢測區(qū)域內的邊緣點數(shù)目N0(3)在內眼角點和外眼角點之間的眼睛區(qū)域內 以虹膜下半圓為模板搜索最大邊緣點數(shù)目N(x, y)，要求N(x, y)/N0 TN(4)計算(x, y)處虹膜下半圓的平均灰度I(x, y)，如果有|I(x, y) I0| 95%）B.4.1表情識別和步驟章毓晉 (TH-EE-IE)人臉表情分析B.4.1表情識別和步驟章毓晉 (TH-EE現(xiàn)代研究開始于上個世紀70年代 主要集中在心理學和生物學方面的分析不同性別，不同種族的人群中有一致性 面部表情編碼系統(tǒng)（FACS）用44個運動單元（AU）的變化來描述人臉表

13、情的變化 六種基本表情/情感類別 高興、悲傷、驚奇、憤怒、厭惡、恐懼B.4.1表情識別和步驟章毓晉 (TH-EE-IE)現(xiàn)代研究開始于上個世紀70年代 B.4.1表情識別和步驟表情識別步驟(1) 人臉檢測與定位 (2) 表情特征提取(3) 人臉表情分類 B.4.1表情識別和步驟章毓晉 (TH-EE-IE)表情識別步驟B.4.1表情識別和步驟章毓晉 (TH-EE-好的表情特征提取結果： （1）完整的表示出人臉表情的本質特征（2）去除了噪聲、光照變化及其他與表情無關的干擾信息（3）數(shù)據表示形式緊湊，避免過高的維數(shù)（4）不同類別表情的特征之間有較好的區(qū)分性三個步驟： 1）原始特征獲取 2）特征降維和

14、提取 3）特征分解 B.4.2表情特征提取 章毓晉 (TH-EE-IE)好的表情特征提取結果： B.4.2表情特征提取 章毓晉 表情特征提取的三個步驟及方法 原始特征獲取特征降維和提取特征分解 幾何特征：基準點 外貌特征：Gabor， HLAC，LBP 混合特征：AAM 序列特征：光流， 運動單元PCA，LDA，ICA，CDA，MPPCA，排序PCA+LDA 雙線性分解，高階奇異值分解B.4.2表情特征提取 章毓晉 (TH-EE-IE)表情特征提取的三個步驟及方法 原始特征獲取特征降維和特征降維和提取的方法主元分析（PCA）法提取了最有代表性的特征可以有效地消除冗余，降低維數(shù)但沒有考慮不同類別

15、數(shù)據之間的區(qū)分性線性判別分析（LDA）法通過最大化數(shù)據的類間離散度和最小化類內離散度來選擇合適的投影方向側重于尋找具有最大分辨力的方向 B.4.2表情特征提取 章毓晉 (TH-EE-IE)特征降維和提取的方法B.4.2表情特征提取 章毓晉 (T特征分解的方法 人臉圖象包含了豐富的信息不同的識別任務所利用的信息各不相同 人臉檢測尋找的是人臉圖象共有的一致性人臉識別需要利用表示人臉個體差異的信息表情識別需要表示各種表情之間差異的信息把人臉表情識別中不同的因素，如表情因素和個體因素分離開來 B.4.2表情特征提取 章毓晉 (TH-EE-IE)特征分解的方法 B.4.2表情特征提取 章毓晉 (TH-1

16、、Gabor變換 核函數(shù)取n = 0, 1, 2，q=0, /6, 2/6, 3/6, 4/6, 5/6，則可得到由3 6個Gabor變換濾波器組用于提取表情特征 與表情圖象進行卷積B.4.3基于Gabor變換的表情特征提取章毓晉 (TH-EE-IE)1、Gabor變換 B.4.3基于Gabor變換的表情特2、Gabor變換系數(shù)和分級直方圖相結合 Gabor濾波器在分析局部紋理變化方面的能力非常強 直方圖是一種常用的表示圖象全局特性的特征 對圖象進行逐級分塊，并在分塊后對每一個塊區(qū)域內的Gabor系數(shù)計算其直方圖分布，從而將Gabor系數(shù)和直方圖統(tǒng)計的方法在每個塊區(qū)域結合起來 B.4.3基于G

17、abor變換的表情特征提取章毓晉 (TH-EE-IE)2、Gabor變換系數(shù)和分級直方圖相結合 B.4.3基于1、表情分類方法 表情分類指定義一組類別，并設計相應的分類機制對表情進行識別，歸入相應類別 是否利用時間信息 (1) 空間分析方法(2) 空時分析方法 B.4.4表情分類章毓晉 (TH-EE-IE)1、表情分類方法 B.4.4表情分類章毓晉 (TH-EE2、表情分類系統(tǒng)比較 對每一種系統(tǒng)列出了其采用的特征提取方法、分類方法和識別目標（AU或基本表情），還列出了所用數(shù)據類型（靜態(tài)、序列或序列中抽取若干幀）、數(shù)據量、以及訓練/測試比等實驗的客觀條件。測試結果列出識別率 表情分類（FER）系

18、統(tǒng)在Cohn-Kanade庫和JAFFE庫上得到的一些結果 B.4.4表情分類章毓晉 (TH-EE-IE)2、表情分類系統(tǒng)比較 B.4.4表情分類章毓晉 (TH-3、討論 性能主要受到以下幾個方面的限制： (1) 特征提取方法仍有不足 (2) 某些表情相對易于識別 (3) 大多數(shù)都針對特定條件下采集的圖像或者圖像序列 幾個熱點： (1) 將多種特征結合(2) 特征降維、提取和選擇(3) 將心理學和生物學知識與機器學習的方法相結合(4) 對混和表情、表情強度的研究 B.4.4表情分類章毓晉 (TH-EE-IE)3、討論 B.4.4表情分類章毓晉 (TH-EE-IE)B.5人臉識別人臉表情識別和人臉識別有著非常密切的關系 B.5.1邊緣本征矢量加權的Hausdorff距離B.5.2非特定表情人臉識別章毓晉 (TH-EE-IE)B.5人臉識別章毓