基于視頻的人臉識別研究綜述

1國內(nèi)外相關(guān)研究情況總結(jié)人臉識別具有非常重要的理論意義和應用價值。人類識別研究對促進數(shù)據(jù)處理、模式識別、計算機視覺和計算機科學的發(fā)展起到了重要的作用。同時，生物認證、視頻監(jiān)控、安全等領(lǐng)域的應用也得到了廣泛應用。經(jīng)過多年研究,人臉識別技術(shù)已取得了長足的進步和發(fā)展.隨著視頻監(jiān)控、信息安全、訪問控制等應用領(lǐng)域的發(fā)展需求,基于視頻的人臉識別已成為人臉識別領(lǐng)域最為活躍的研究方向之一.如何充分利用視頻中人臉的時間和空間信息克服視頻中人臉分辨率低,尺度變化范圍大,光照、姿態(tài)變化劇烈以及時常發(fā)生遮擋等困難是研究的重點.國內(nèi)外眾多的大學和研究機構(gòu),如美國的MIT、CMU、UIUC、Maryland大學、英國的劍橋大學、日本的Toshiba公司和國內(nèi)的中國科學院自動化所都對基于視頻的人臉識別進行了廣泛而深入的研究.鑒于目前現(xiàn)有的人臉識別國內(nèi)外綜述文獻主要針對基于靜止圖像的人臉識別研究,因此有必要對現(xiàn)階段基于視頻的人臉識別研究情況進行分析和總結(jié),期望能夠更好地指導未來的研究工作.2結(jié)語:基于視頻的人臉識別一個自動的基于視頻的人臉識別系統(tǒng)包括了人臉檢測模塊、人臉跟蹤模塊、人臉特征提取模塊和人臉識別模塊.關(guān)于人臉檢測、人臉跟蹤和人臉特征提取的研究進展可以參考綜述文獻.本文重點介紹基于視頻的人臉識別研究進展.人臉識別問題可以定義成:輸入(查詢)場景中的靜止圖像或者視頻,使用人臉數(shù)據(jù)庫識別或驗證場景中的一個人或者多個人.基于靜止圖像的人臉識別通常是指輸入(查詢)一幅靜止的圖像,使用人臉數(shù)據(jù)庫進行識別或驗證圖像中的人臉.而基于視頻的人臉識別是指輸入(查詢)一段視頻,使用人臉數(shù)據(jù)庫進行識別或驗證視頻中的人臉.如不考慮視頻的時間連續(xù)信息,問題也可以變成采用多幅圖像(時間上不一定連續(xù))作為輸入(查詢)進行識別或驗證.因此按照上面的分析,根據(jù)輸入(查詢)和人臉數(shù)據(jù)庫的不同,人臉識別可以分成如表1所示的4種情況.表中“圖像-圖像(多幅圖像)”人臉識別就是傳統(tǒng)的基于靜止圖像的人臉識別.而“圖像-視頻”人臉識別是指利用人臉圖像作為輸入采用視頻人臉數(shù)據(jù)庫進行識別或驗證.通常的應用領(lǐng)域是基于人臉的視頻信息檢索.本文重點介紹的基于視頻的人臉識別主要是指后面兩種情況,即“視頻-圖像(多幅圖像)”人臉識別和“視頻-視頻”人臉識別.“視頻-圖像(多幅圖像)”人臉識別是指輸入(查詢)一段人臉視頻,利用靜止圖像人臉數(shù)據(jù)庫進行識別或驗證.“視頻-視頻”人臉識別是指輸入和數(shù)據(jù)庫都利用視頻進行人臉識別或驗證.相對于前面3種情況,“視頻-視頻”人臉識別可以利用的信息最多.視頻中可以利用的信息包括:多幅同一個人的人臉圖像,視頻中人臉在時間和空間上的連續(xù)性,利用視頻生成的三維(3D)人臉模型等.需要強調(diào)的是本文這樣分類的目的是為了能夠?qū)φ麄€人臉識別領(lǐng)域的研究現(xiàn)狀有一個宏觀上的認識,并區(qū)分不同情況下的人臉識別.事實上不同情況下人臉識別采用的技術(shù)可以是相同的,例如對所有人臉視頻序列的處理是按照某種規(guī)則(如大小、姿態(tài)、清晰度等)提取一張人臉圖像,則上面的情況都可以采用基于靜止圖像的人臉識別技術(shù).本文首先對現(xiàn)階段基于視頻的人臉識別研究現(xiàn)狀進行了詳細的分析和討論,接著介紹了常用的視頻人臉數(shù)據(jù)庫和實驗結(jié)果,最后展望了未來的發(fā)展方向.本文假設(shè)已經(jīng)得到圖像或者視頻中需識別人臉的位置.對靜止圖像中人臉的定位可參見文獻,對視頻中人臉的定位和分割可參見文獻.3基于視頻的人臉識別根據(jù)上一節(jié)的討論,下面把基于視頻的人臉識別分成“視頻-圖像(多幅圖像)”人臉識別和“視頻-視頻”人臉識別兩種情況分別給予綜述.3.1基于貝葉斯人臉識別算法的人臉跟蹤算法“視頻-圖像(多幅圖像)”人臉識別是指采用人臉視頻作為輸入(查詢)利用靜止圖像人臉數(shù)據(jù)庫進行識別或驗證.由于現(xiàn)有的大部分人臉數(shù)據(jù)庫都是靜止圖像人臉數(shù)據(jù)庫,如何充分利用視頻中的人臉信息更好地進行人臉識別是現(xiàn)階段迫切需要解決的問題.解決這類問題的傳統(tǒng)做法可以分成兩大類:一類方法對輸入視頻中的人臉進行跟蹤,尋找滿足一定規(guī)則(如大小、姿態(tài)、清晰度等)的人臉圖像,然后利用基于靜止圖像的人臉識別方法.這類方法的缺點是規(guī)則很難定義,并且沒有最大限度地利用人臉視頻中的時間和空間連續(xù)信息.另一類方法利用視頻中的空間信息進行人臉識別.通過對輸入視頻中每一幅人臉或者若干幅人臉采用基于靜止圖像的人臉識別方法,利用各種聯(lián)合規(guī)則(如多數(shù)投票或者概率/距離累加等方法)再進行最終的識別.這類方法的缺點是聯(lián)合規(guī)則常有相當?shù)碾S機性.近年來,一些研究者開始利用視頻中人臉的時間和空間連續(xù)信息進行識別.文獻討論了在貝葉斯理論的框架下統(tǒng)一解決人臉識別和跟蹤問題,采用時間序列模型刻畫人臉的動態(tài)變化,把身份變量和運動矢量作為狀態(tài)變量從而引進時間和空間的信息;利用序貫重要度采樣(SequentialImportanceSampling,SIS)的方法有效估計出身份變量和運動矢量的聯(lián)合后驗概率分布,通過邊緣化提取出身份變量的概率分布.實驗結(jié)果表明了該算法的有效性.不過當姿態(tài)變化時識別率只有57%.之所以出現(xiàn)姿態(tài)變化時識別率低的原因是對時間連續(xù)性的利用體現(xiàn)在人臉外觀一致上,而隨著光照或姿態(tài)的變化會導致外觀的明顯不同.因此文獻進一步提出了自適應外觀變化模型并且采用自適應運動模型更準確地處理姿態(tài)的變化,對運動模型中噪聲的方差和采樣算法中的粒子數(shù)根據(jù)計算得到外觀模型的誤差進行更新,采用魯棒統(tǒng)計學(robuststatistics)處理臉部遮擋問題.利用基于貝葉斯人臉識別方法的似然函數(shù)進行權(quán)重更新使得整個算法更加有效.文獻通過對輸入視頻中人臉的臉部特征或外觀的跟蹤進行人臉驗證.基本思想是,如果是正確的輸入(對應數(shù)據(jù)庫中要驗證的人臉),則跟蹤的軌跡基本一致;而如果是不正確的輸入,則跟蹤軌跡沒有規(guī)律性.相應的數(shù)學模型就是考慮所得到的運動矢量分布,如果呈現(xiàn)尖峰(一致的運動參數(shù))則認為是正確的人臉.如果沒有呈現(xiàn)尖峰,而是類似均勻分布,則認為是錯誤的人臉.上述方法中都采用貝葉斯理論引進了時間信息,極大地提高了識別率.并且采用序貫重要度采樣克服非高斯分布和非線性系統(tǒng)帶來的難以估計概率密度的問題.但是估計概率密度需要大量的粒子,導致其計算量比較大.3.2照片人臉的特征表示“視頻-視頻”人臉識別是指輸入和數(shù)據(jù)庫中的人臉均是以視頻的形式存在.大量的文獻對如何同時利用輸入和數(shù)據(jù)庫中的人臉視頻進行了深入的研究.現(xiàn)有文獻中對視頻中人臉信息的描述方式總結(jié)起來有下面幾種:(1)利用一幅代表性的圖像得到的特征(矢量表示),如主成分分析(PCA)降維后的矢量等;(2)利用所有圖像得到的特征(矩陣表示),如特征空間、示例(exemplar)等;(3)利用概率密度函數(shù)刻畫視頻中的人臉分布,如高斯模型等;(4)利用動態(tài)模型刻畫視頻中人臉隨時間的動態(tài)變化,如隱馬爾可夫模型等;(5)利用流形(manifold)刻畫視頻中的人臉分布,如分段線性PCA子空間等.上述各種描述方式(矢量、矩陣、概率密度、動態(tài)模型、流形)之間可能的度量如表2所示.表2中d代表兩個模型之間的距離或相似度,f(X),M(X)代表概率/距離累加或多數(shù)投票,D(X)代表各幀后驗概率.下面按照對輸入描述方式的不同,分成矢量、矩陣、概率、動態(tài)模型、流形5個小節(jié)分別給予介紹.3.2.1人臉定位算法利用矢量作為輸入描述方式的基本思想是利用視頻得到一個反映輸入人臉視頻特性(如均值人臉圖像、最好的正面圖像等)的特征(矢量表示),和數(shù)據(jù)庫中的人臉視頻描述方式進行匹配.數(shù)據(jù)庫中人臉視頻的描述方式可以是矢量、矩陣、概率、動態(tài)模型、流形等.文獻對數(shù)據(jù)庫中的每類人臉建立一個PCA子空間,利用與各個人臉子空間的距離對輸入視頻中的所有人臉進行標注.文獻介紹了一種基于視頻的人臉驗證方法,采用形狀和歸一化紋理的聯(lián)合外觀模型(ActiveAppearanceModel,AAM)來表示人臉,通過加入類別信息的改進線性鑒別分析(LinearDiscriminantAnalysis,LDA)分離出身份變量(identity)和其他變化因素(姿態(tài)、光照和表情).采用卡爾曼濾波器(Kalmanfilter)對身份變量進行跟蹤得到的穩(wěn)定值就是身份穩(wěn)定估計量.人臉驗證就可以通過對輸入人臉視頻進行跟蹤得到的估計量和數(shù)據(jù)庫得到的身份估計量進行比較看是否大于某個閾值來實現(xiàn).與基于靜止圖像的人臉驗證方法相比,采用基于視頻的人臉驗證能利用更多的信息,效果更好.算法采用ASM(ActiveShapeModel)進行人臉定位可以避免誤配準帶來的影響.但是一旦定位不準,則對后繼的參數(shù)跟蹤會產(chǎn)生很大的誤差,導致識別率下降.并且對于達到穩(wěn)定估計值需要的視頻長度無法計算和估計.另一個借助視覺約束的人臉跟蹤和識別方法可見文獻.3.2.2人臉視頻特征空間的建立和分類采用矩陣作為輸入描述方式進行人臉識別的算法可以分成兩類,一類是利用得到的特征(矩陣表示)逐個與數(shù)據(jù)庫中的人臉描述方式進行比較(相當于每次取出矩陣的一行或者一列),然后利用多數(shù)投票或者概率(距離)累加最大的方法進行識別.另一類是把得到的特征(矩陣表示)看成一個整體和數(shù)據(jù)庫中的人臉描述方式進行比較.相對于前面一種方法,后者采用矩陣作為整體更能利用視頻的空間連續(xù)信息.數(shù)據(jù)庫中人臉視頻的描述方式可以是矢量、矩陣、概率、動態(tài)模型、流形等.文獻采用總體PCA方法進行降維,在低維空間中采用混合高斯模型(GaussianMixtureModel,GMM)來表示數(shù)據(jù)庫中每個人臉.通過計算輸入視頻中每一幀人臉的后驗概率,采用多數(shù)投票和概率累加最大的方法得到最終結(jié)果.文獻對數(shù)據(jù)庫的每類人臉建立多個匹配模板,并根據(jù)視頻中的動態(tài)的信息(如人臉姿態(tài)、運動模糊等)對多個模板進行自適應的融合.文獻對輸入的人臉序列和數(shù)據(jù)庫中的人臉序列分別建立一個PCA特征子空間,兩個特征子空間之間的距離由它們之間的夾角確定.為了進一步去除光照、姿態(tài)、表情等的影響,把子空間重新投影到限制子空間(constraintsubspace)中,限制子空間只包含對識別有用的成分(身份).為了解決限制子空間中需要大量樣本的問題,進一步利用整體學習(ensemblelearning)的方法訓練出M個限制子空間,通過投影到這M個限制子空間的距離加權(quán)和作為人臉之間距離的度量.該類算法的主要缺點在于沒有考慮每一類人臉的整體概率分布,沒有利用每一類的均值和特征值,在投影到限制子空間時可能會產(chǎn)生一定的問題,并且參數(shù)的設(shè)定和空間維數(shù)都需要通過經(jīng)驗給出.由于人臉在姿態(tài)、光照、表情變化時呈現(xiàn)非線性分布,文獻在線性空間中通過核的方法映射到高維的非線性空間(核Hilbert空間),在高維空間中的夾角(核主成分夾角)作為矩陣的相似性度量,并且利用正定的核函數(shù)就可以和SVM(SupportVectorMachine)結(jié)合起來提高分類的性能.文獻首先通過LDA進行線性降維,然后對每個人的人臉視頻通過矢量量化技術(shù)或者K均值聚類形成K個類別,每個類別用聚類中心和聚類的權(quán)重來表示.最后采用EMD(EarthMover’sDistance)距離作為相似性度量進行人臉識別.文獻利用聚類的方法建立局部參數(shù)模型,對數(shù)據(jù)庫中的每個人臉建立多個局部流形.首先對數(shù)據(jù)庫中的每段人臉視頻經(jīng)過LDA進行線性降維,通過采取ISOMAP(IsometricfeatureMapping)提取各點的測地距離(geodesicdistance)作為人臉之間的距離,從而可以更準確地刻畫各點在流形空間中的位置關(guān)系,然后采用HAC(HierarchicalAgglomerativeClustering)聚類方法得到K個示例,對每一示例采用類似文獻的方法對每個局部模型建立雙子空間(dualsubspace)概率模型,使用概率測度作為相似性度量,采用多數(shù)投票進行識別.文獻對每段人臉視頻建立一個特征空間并把視頻中人臉的變化看成一個非平穩(wěn)的隨機過程(AR模型),采用逐步更新特征空間的方法并且引進了權(quán)重的概念,對新的樣本權(quán)重大,對以前的樣本權(quán)重小.該文中針對每個人臉建立兩個特征空間,包括訓練集中的特征空間和識別后不斷更新建立的新的特征空間來解決過慢學習的問題.文獻利用數(shù)據(jù)庫中的人臉視頻得到三維模型生成查詢?nèi)四樢曨l條件下的光照和姿態(tài)變化,然后逐一進行比對,采用距離累計最大的方法得到識別結(jié)果.3.2.3人臉相似性度量采用概率作為輸入描述形式的基本思想是把視頻中人臉的動態(tài)變化看成是滿足一定的概率分布的高維隨機變量.一般對數(shù)據(jù)庫中視頻的描述方式也是概率方式,通過比較概率密度函數(shù)的相似性來度量人臉之間相似性.文獻采用GMM模型學習不同姿態(tài)和光照條件下的人臉分布,對輸入人臉視頻和數(shù)據(jù)庫中的人臉視頻都利用GMM模型進行建模,采用K-L散度(Kullback-Leiblerdivergence)作為人臉之間相似性度量.文獻把人臉識別問題看成是一個假設(shè)檢驗問題,證明了如果人臉視頻中每一幀之間是相互獨立的,則得到的最優(yōu)準則是K-L散度.假設(shè)每個人臉服從高斯分布,采用K-L散度作為相似性度量.但是由于假設(shè)是單高斯分布,因此無法刻畫由于光照或者是姿態(tài)變化導致人臉呈現(xiàn)流形的情況,并且K-L散度本身是一種非對稱的度量方式.文獻采用基于核函數(shù)方法把低維空間映射到高維空間,這樣就可以在高維空間中利用低維空間中的線性方法(如PCA)來解決一般的復雜的非線性問題,采用RAD(Resistor-AverageDistance)作為人臉相似性度量.為了解決配準誤差所帶來的識別率下降的問題,利用了多幅圖像和RANSAC(RandomSampleConsensus)算法來解決.另外文獻利用了核的方法,把原來的矢量空間映射到高維非線性空間RKHS(ReproducingKernelHilbertSpace)中計算概率分布之間的距離.3.2.4人臉動態(tài)模型無論是矢量、矩陣和概率都沒有利用時間連續(xù)的信息,所以可以自然地推廣到多幅人臉圖像(時間上不必連續(xù))作為輸入時的人臉識別問題.而動態(tài)模型則利用了人臉的時間和空間連續(xù)變化的信息,能夠更好地刻畫人臉的動態(tài)變化特性.數(shù)據(jù)庫通常的描述方式可以是矩陣、動態(tài)模型、流形.文獻中采用3.1節(jié)中介紹的概率模型,通過自動選擇人臉視頻中的示例(在線K均值聚類),把人臉示例的索引也作為狀態(tài)變量,采用SIS的方法估計出聯(lián)合概率密度分布,最后通過邊緣化求出身份變量的分布進行人臉識別.文獻中對數(shù)據(jù)庫中的每段人臉視頻采用PCA變換建立了特征子空間,在特征子空間中建立一個自適應隱馬爾可夫模型(HiddenMarkovModel,HMM),識別階段就可以計算每個識別序列的后驗概率作為相似性度量,并且當滿足一定條件時對HMM模型進行更新.文獻把運動人臉建模成一個ARMA(Auto-RegressiveandMovingAverage)模型(用姿態(tài)作為狀態(tài)量,采用外觀作為觀測量),采用ARMA子空間之間的夾角作為相似性度量.文獻和文獻的想法類似,認為應該把跟蹤和識別結(jié)合起來,減少跟蹤的誤配準對識別的影響.對不同姿態(tài)下的人臉構(gòu)造一個低維分段線性流形.為了引進時間信息,采用貝葉斯推理的方法,建立了不同姿態(tài)之間的轉(zhuǎn)移矩陣,該文的算法能夠很好地處理人臉的大規(guī)模旋轉(zhuǎn)時的識別和跟蹤問題.文獻首先對所有的人臉利用LLE(LocallyLinearEmbedding)降維后建立整體分段線性模型,根據(jù)到各個分段子流形的距離采用貝葉斯推理的方法計算最大后驗概率.在文獻中作者通過實驗結(jié)果指出,利用時空結(jié)構(gòu)的HMM大于一定長度時要優(yōu)于基于靜止圖像的多數(shù)投票方法,但是當視頻的長度過短時則不一定.這說明時間長短對動態(tài)模型的識別率會有一定影響.3.2.5基于流形的人臉識別人臉在不同的光照、姿態(tài)變化下會構(gòu)成一個的低維空間的流形.所以利用流形作為輸入描述可以更好地描述人臉的分布.一般對數(shù)據(jù)庫中的人臉采用同樣的描述方法.比較輸入和數(shù)據(jù)庫中流形的相似性作為度量.文獻使用流形來解決基于視頻的人臉識別問題,首先建立了一個多視角動態(tài)人臉模型,包含了一個3D模型,一個和形狀姿態(tài)無關(guān)的紋理模型,一個仿射變化模型.其基本思想是基于分析的合成,通過最小化損失函數(shù),求解出模型的參數(shù).在視頻序列中該問題可以進一步簡化,利用Kalman濾波求解出形狀和紋理.人臉紋理通過KDA(KernelDiscriminantAnalysis)降維后對單個人臉序列建立一個分段的線性流形(特征矢量隨著姿態(tài)的變化).接著就可以通過比較軌跡的匹配程度進行人臉識別.但是要進行3D模型的估計需要大量的多視角圖像,計算復雜度較大.現(xiàn)有文獻中的典型算法總結(jié)如表3所示.3.3高維人臉序列的預處理綜上可以看出“視頻-圖像(多幅圖像)”人臉識別和“視頻-視頻”人臉識別研究的主要問題包括:(1)如何對高維的人臉圖像降維;(2)如何對降維后的人臉序列進行描述;(3)如何刻畫描述方式之間的度量;人臉數(shù)據(jù)降維的目的是得到表達性特征(如主成分分析等)或鑒別性特征(如線性鑒別分析等)以降低高維人臉數(shù)據(jù)的計算復雜度和減弱噪聲、表情、光照等因素的影響.對各種常見線性和非線性的降維方法研究的介紹可參考文獻.現(xiàn)階段對降維后的人臉序列描述方式包括矢量、矩陣、概率、動態(tài)模型、流形等.其中采用概率和流形的方法需要大量反映人臉分布的樣本才能更準確地刻畫人臉的分布,達到較好的性能.利用動態(tài)模型能夠很好地利用時間和空間的信息,但是方法相對比較復雜,計算量一般都比較大.而利用矢量作為輸入描述方式的主要缺點是樣本選取的隨機性.矩陣方式最為簡單,并且可以應用到時間上不連續(xù)的多幅圖像情況,但如何更好地刻畫矩陣之間的度量是一個值得研究的內(nèi)容.4usd/n數(shù)據(jù)庫目前基于視頻的人臉識別常用的視頻人臉數(shù)據(jù)庫包括Mobo(Motionofbody)數(shù)據(jù)庫和Honda/UCSD數(shù)據(jù)庫.Mobo數(shù)據(jù)庫最初是CMU為了HumanID計劃進行步態(tài)識別而采集的數(shù)據(jù)庫.整個數(shù)據(jù)庫包含25個人在跑步機上以四種不同的方式行走的視頻序列.行走的方式包括慢速行走、快速行走、斜面行走和拿球行走.正面角度拍攝的視頻序列共99段(一段丟失).UCSD/Honda數(shù)據(jù)庫包含20個人的共52段視頻.數(shù)據(jù)庫中的人臉視頻包含了大規(guī)模的2D(平面內(nèi))和3D(平面外)的頭部旋轉(zhuǎn).另外還有DXM2VTS數(shù)據(jù)庫.這些視頻人臉數(shù)據(jù)庫普遍的缺點是沒有考慮到各種條件的變化.大部分都是姿態(tài)的變化,其他的如光照、表情的變化等考慮較少,并且數(shù)據(jù)庫的人偏少(<50個人),無法進行大規(guī)模有效的實驗來評價各種算法的優(yōu)劣.目前大部分的文獻中采用的數(shù)據(jù)庫以及訓練,測試方法都不盡相同.但為了對目前典型方法的實驗結(jié)果有一個直觀的認識,表4匯集了在視頻人臉數(shù)據(jù)庫上一些典型方法的實驗結(jié)果.5實驗結(jié)果及展望本文介紹了現(xiàn)階段基于視頻的人臉識別研究進展.在對人臉識別不同情況分類的基礎(chǔ)上,重點介紹