1、精選優(yōu)質(zhì)文檔-傾情為你奉上CENTRAL SOUTH UNIVERSITY腦與認(rèn)知科學(xué)調(diào)研報(bào)告題 目人類表情識(shí)別技術(shù)學(xué)生姓名何偉峰學(xué)號(hào)專業(yè)班級(jí)智能科學(xué)與技術(shù)1401完成時(shí)間2015/10/27目錄人類表情識(shí)別技術(shù)人臉表情識(shí)別技術(shù)綜述一摘要：一直以來，表情是人類引以為傲的東西，這是我們和機(jī)器的一種本質(zhì)上的區(qū)別。隨著計(jì)算機(jī)的發(fā)展，我們更期盼人機(jī)之間的溝通交流，尤其是一種帶有感情的溝通交流。計(jì)算機(jī)在情感方面的成長經(jīng)歷也類似于我們每個(gè)人的成長過程以觀察和辨別情感作為最終自然，親切，生動(dòng)的交互的開始。在物聯(lián)網(wǎng)技術(shù)發(fā)展的今天，面部識(shí)別已經(jīng)不是什么太大的技術(shù)性問題，而對(duì)于人類表情識(shí)別來說，仍舊是一片空白。我

2、們希望有一天機(jī)器可以讀懂我們的語言、知悉我們的表情，更好的為我們服務(wù)，或許這才是真正的物聯(lián)網(wǎng)時(shí)代。表情識(shí)別作為一種人機(jī)交互的方式，成為研究的熱點(diǎn)?；趯?duì)表情識(shí)別的基本分析，文章重點(diǎn)介紹了面部表情識(shí)別的國內(nèi)外研究情況和面部表情特征的提取方法和他的應(yīng)用前景。 關(guān)鍵詞：表情識(shí)別；特征提??；表情分類；應(yīng)用前景。二 前言：進(jìn)入21世紀(jì)，隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)及其相關(guān)學(xué)科的迅猛發(fā)展，整個(gè)社會(huì)的自動(dòng)化程度不斷提高，人們對(duì)類似于人和人交流方式的人機(jī)交互的需求日益強(qiáng)烈。計(jì)算機(jī)和機(jī)器人如果能夠像人類那樣具有理解和表達(dá)情感的能力，將從根本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)能夠更好地為人類服務(wù)。表情識(shí)別是情感

3、理解的基礎(chǔ)，是計(jì)算機(jī)理解人們情感的前提，也是人們探索和理解智能的有效途徑。如果實(shí)現(xiàn)計(jì)算機(jī)對(duì)人臉表情的理解與識(shí)別將從根本上改變?nèi)伺c計(jì)算機(jī)的關(guān)系，這將對(duì)未來人機(jī)交互領(lǐng)域產(chǎn)生重大的意義。三 表情識(shí)別人臉表情識(shí)別系統(tǒng)主要包括人臉檢測與定位、圖像預(yù)處理、人臉表情特征提取和人臉表情分類識(shí)別。人臉檢測與定位人臉檢測與定位表情特征提取表情分類與識(shí)別圖像預(yù)處理 人臉檢測與定位可以基于Haar特征的特征提取方法和基于Adaboost的分類方法進(jìn)行人臉檢測與定位 圖像預(yù)處理由于受圖像采集硬件條件或采集環(huán)境條件的影響，采集到的圖像會(huì)存在對(duì)比度不高、亮度不夠、圖片大小不定等問題，這些問題會(huì)對(duì)人臉識(shí)別產(chǎn)生影響，為了減少這

4、些因素所產(chǎn)生的影響，對(duì)圖像進(jìn)行適當(dāng)?shù)念A(yù)處理是必不可少的。常用的圖像預(yù)處理方法包括幾何歸一化，亮度歸一化，直方圖均衡化，能量歸一化和圖像分割。 面部表情特征的提取方法 表情特征提取是表情識(shí)別系統(tǒng)中最重要的部分，有效的表情特征提取工作將使識(shí)別的性能大大提高，當(dāng)前的研究工作也大部分是針對(duì)表情特征的提取。目前為止的人臉面部表情特征提取方法大都是從人臉識(shí)別的特征提取方法別演變而來，所用到的識(shí)別特征主要有:灰度特征、運(yùn)動(dòng)特征和頻率特征三種閻?；叶忍卣魇菑谋砬閳D像的灰度值上來處理，利用不同表情有不同灰度值來得到識(shí)別的依據(jù)。運(yùn)動(dòng)特征利用了不同表情情況下人臉的主要表情點(diǎn)的運(yùn)動(dòng)信息來進(jìn)行識(shí)別。頻域特征主要是利用了

5、表情圖像在不同的頻率分解下的差別，速度快是其顯著特點(diǎn)。在具體的表情識(shí)別方法上，分類方向主要有三個(gè):整體識(shí)別法和局部識(shí)別法、形變提取法和運(yùn)動(dòng)提取法、幾何特征法和容貌特征法。整體識(shí)別法中，無論是從臉部的變形出發(fā)還是從臉部的運(yùn)動(dòng)出發(fā)，都是將表情人臉作為一個(gè)整體來分析，找出各種表情下的圖像差別。其中典型的方法有:基于特征臉的主成分分析(prineipalComponentAnalysis，pCA)法、獨(dú)立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher線性判別法(Fishers Linear Discriminants，F(xiàn)LD)、局部特征分析 (LoealF

6、eatureAnalysis，LFA)、Fishe誕動(dòng)法(Fisherctions)、隱馬爾科夫模型法(HideMarkovModel，HMM)，聚類分析法和流形法。局部識(shí)別法就是將人臉的各個(gè)部位在識(shí)別時(shí)分開，也就是說各個(gè)部位的重要性是不一樣。比如說在表情識(shí)別時(shí)，最典型的部位就是眼睛、嘴、眉毛等，這些地方的不同運(yùn)動(dòng)表示了豐富的面部表情。相比較而言，鼻子的運(yùn)動(dòng)就較少，這樣在識(shí)別時(shí)就可以盡量少的對(duì)鼻子進(jìn)行分析，能加快速度和提高準(zhǔn)確性。其中最典型的方法就是臉部運(yùn)動(dòng)編碼分析法(FacialAetionseodesystem，F(xiàn)Aes)和MPEe一4中的臉部運(yùn)動(dòng)參數(shù)法其他的還有局部主分量分析法 (Loc

7、alPCA)、Gabor小波法和神經(jīng)網(wǎng)絡(luò)法。形變提取法是根據(jù)人臉在表達(dá)各種表情時(shí)的各個(gè)部位的變形情況來識(shí)別的，主要的方法有:主分量分析法(PeA)、o汕or小波、運(yùn)動(dòng)模板法 (Aetivesh叩 eModel，AsM)6和點(diǎn)分布模型(PointDistributionModel，PDM)法。運(yùn)動(dòng)法是根據(jù)人臉在表達(dá)各種特定的表情時(shí)一些特定的特征部位都會(huì)作相應(yīng)的運(yùn)動(dòng)這一原理來識(shí)別的。典型的識(shí)別方法有:光流法 (OPticalFlow)78和MPEG一4中的臉部運(yùn)動(dòng)參數(shù)法 (FaceAnimationparameterFAp)。 幾何特征法是根據(jù)人的面部的各個(gè)部分的形狀和位置(包括嘴、眼睛、眉毛、鼻

8、子)來提取特征矢量，這個(gè)特征矢量來代表人臉的幾何特征。根據(jù)這個(gè)特征矢量的不同就可以識(shí)別不同的表情。重要的方法是:基于運(yùn)動(dòng)單元(AU)的主分量分析法。 在容貌特征法中，主要是將整體人臉或者是局部人臉通過圖像的濾波，以得到特征矢量。常用的濾波器是Gabor小波。當(dāng)然，這三個(gè)發(fā)展方向不是嚴(yán)格獨(dú)立，它們只是從不同側(cè)面來提取所需要的表情特征，都只是提供了一種分析表情的思路，相互聯(lián)系，相互影響。有很多種方法是介于兩者甚至是三者之間。例如說面部運(yùn)動(dòng)編碼系統(tǒng)法是局部法的一種，同時(shí)也是從臉部運(yùn)動(dòng)上考慮的等等。所以，接下來的分析將不從這三個(gè)方向上去說明，而是直接簡單描述各種主要的算法。 流形學(xué)習(xí)算法在實(shí)現(xiàn)降維的過

9、程中，較好的保留了本樣本間的非線性結(jié)構(gòu)，這對(duì)于靜態(tài)表情圖像和序列表情圖像的分析都有獨(dú)特的優(yōu)勢(shì)。但是，用流形學(xué)習(xí)算法來處理表情特征有個(gè)問題需要解決：意思大多數(shù)流形學(xué)習(xí)算法不像線性降維法那樣，可從訓(xùn)練集中得到適用于待測樣本的投影向量，只能以批處理的方式進(jìn)行。為了得到某些待測樣本的流形嵌入向量，必須要將該樣本加入其中。表情分類與識(shí)別在人臉表情特征提取階段，要準(zhǔn)確提取出人類表情圖像中最能有效表征表情信息的特征，表情識(shí)別的準(zhǔn)確與否講直接影響后續(xù)的表情分類結(jié)果。在表情分類識(shí)別階段根據(jù)表情特征提取階段提取的表情特征進(jìn)行分類，分類方法的好壞及分類結(jié)果的準(zhǔn)確程度也將影響表情分類結(jié)果。四 應(yīng)用前景.表情檢測防疲勞

10、駕駛百度移動(dòng)部門技術(shù)工程師整合百度“表情識(shí)別 LBS 百度云”等基礎(chǔ)技術(shù)，研發(fā)出一款提示“疲勞駕駛”的解決方案，可以對(duì)接在汽車開放平臺(tái)上使用，不過目前尚在概念階段。通過用攝像頭實(shí)時(shí)捕捉駕駛者的面部表情特征，解析表情背后的人物狀態(tài)。一旦發(fā)現(xiàn)司機(jī)有可能疲勞駕駛（閉眼超時(shí)、眉頭下垂、睜眼被動(dòng)等），后臺(tái)技術(shù)會(huì)做出判斷，觸發(fā)啟動(dòng)一系列干預(yù)手段：語音播報(bào)提示，播放嘹亮音樂為駕駛者提神；發(fā)送短信給駕駛者事先設(shè)定的緊急聯(lián)系人，請(qǐng)求幫助喚醒或解救（有可能司機(jī)的異常狀態(tài)實(shí)為心臟病等突發(fā)疾病導(dǎo)致）；LBS技術(shù)獲取車主地理位置，以“云推送”方式通知周邊車輛注意避讓。五 面部表情識(shí)別的國內(nèi)外研究情況面部表情識(shí)別技術(shù)是近

11、幾十年來才逐漸發(fā)展起來的，由于面部表情的多樣性和復(fù)雜性，并且涉及生理學(xué)及心理學(xué)，表情識(shí)別具有較大的難度，因此，與其它生物識(shí)別技術(shù)如指紋識(shí)別、虹膜識(shí)別、人臉識(shí)別等相比，發(fā)展相對(duì)較慢，應(yīng)用還不廣泛。但是表情識(shí)別對(duì)于人機(jī)交互卻有重要的價(jià)值，因此國內(nèi)外很多研究機(jī)構(gòu)及學(xué)者致力于這方面的研究，并己經(jīng)取得了一定的成果。人臉面部表情運(yùn)動(dòng)的描述方法-人臉運(yùn)動(dòng)編碼系統(tǒng)FACS (Facial Action Coding System)，根據(jù)面部肌肉的類型和運(yùn)動(dòng)特征定義了基本形變單元AU（Action Unit），人臉面部的各種表情最終能分解對(duì)應(yīng)到各個(gè)AU上來，分析表情特征信息，就是分析面部AU的變化情況 

12、;FACS有兩個(gè)主要弱點(diǎn)：1.運(yùn)動(dòng)單元是純粹的局部化的空間模板；2.沒有時(shí)間描述信息，只是一個(gè)啟發(fā)式信息六 目前存在的難點(diǎn)和問題 (1) 基于Ekinan分類的六種基本表情和中性表情不足以描述人類復(fù)雜多變的真實(shí)表情，如何找到更精確的描述方式是目前魚待解決的問題；(2) 多特征融合和多分類器融合的方法也是改善識(shí)別性能的一個(gè)手段。 (3) 由于人臉為非剛體性，人臉之間的相似性以及各種變化因素的影響，準(zhǔn)確的人臉識(shí)別仍較困難。為了滿足自動(dòng)人臉識(shí)別技術(shù)具有實(shí)時(shí)要求，在必要時(shí)需要研究人臉與指紋、虹膜、語音等識(shí)別技術(shù)的融合方法。 (4) 3D形變模型可以處理多種變化因素，具有很好的發(fā)展前景。已有研究也表明，

13、對(duì)各種變化因素采用模擬或補(bǔ)償?shù)姆椒ň哂休^好的效果。三維人臉識(shí)別算法的選取還處于探索階段，需要在原有傳統(tǒng)識(shí)別算法的基礎(chǔ)上改進(jìn)和創(chuàng)新。 (5) 已有人臉表情數(shù)據(jù)庫或自建人臉表情數(shù)據(jù)庫往往受約束條件較多，如背景單一、沒有各種飾物的干擾、人臉不發(fā)生旋轉(zhuǎn)或只有微小旋轉(zhuǎn)、夸張化的面部表情等。 用計(jì)算機(jī)來分析識(shí)別面部表情是一個(gè)非常復(fù)雜的問題，準(zhǔn)確的人臉表情識(shí)別仍然存在諸多困難。參考文獻(xiàn)：l張一鳴。人臉表情識(shí)別。遼寧:大連理工大學(xué)碩士學(xué)位論文，2006，12。2劉芳。應(yīng)用圖像處理技術(shù)的人臉表情識(shí)別研究。北京:北京科技大學(xué)碩士學(xué)位論文，2003，06。3王志良，劉芳，王莉?；谟?jì)算機(jī)視覺的表情識(shí)別技術(shù)綜述J。計(jì)算機(jī)工程，2006一