一種多特征相結(jié)合的三維人臉關(guān)鍵點(diǎn)檢測方法

1下頜點(diǎn)檢測算法所謂三維人臉識別，是指對輸入的三維數(shù)據(jù)進(jìn)行去除和補(bǔ)充，以獲得完整的三維人的純潔度和完整的三維人格。然后校正姿態(tài)，檢測關(guān)鍵、屬性，并執(zhí)行適應(yīng)步驟的功能。文獻(xiàn)[6]提出了一種用分層機(jī)制來檢測鼻子和鼻梁的位置,介紹了有效能量的概念,并用有效能量來表征鼻子附近的分布情況,最后采用SVM分類器來選擇正確的鼻尖點(diǎn),雖然采用了大量的數(shù)據(jù)來測試,但并沒有得到準(zhǔn)確的定位結(jié)果。文獻(xiàn)[7]為了檢測眼內(nèi)角點(diǎn),鼻尖點(diǎn),鼻隔點(diǎn),鼻翼點(diǎn),結(jié)合深度圖像上的曲率信息以及2D人臉分割技術(shù),提出了一種人臉特征檢測方法,盡管文章說在FRGCV2.0上有99.7%的檢測成功率,但并沒有給出檢測成功的定義,另外,當(dāng)人臉姿態(tài)偏轉(zhuǎn)超過15°的時(shí)候鼻子和內(nèi)眼角的檢測失效。文獻(xiàn)[8]提出了一種基于鼻梁輪廓幾何分析的鼻尖點(diǎn)檢測方法,主要應(yīng)用在人臉識別過程中的姿態(tài)矯正階段,文章沒有給出明確的鼻尖點(diǎn)定位誤差,并且此算法只適合于接近正面的人臉姿態(tài)。由此可見,當(dāng)前的鼻尖點(diǎn)檢測算法要么特征描述符單一,定位不夠準(zhǔn)確,要么姿態(tài)和表情受限,無法適用于更一般的,隨機(jī)的人臉關(guān)鍵點(diǎn)檢測。為了克服姿態(tài),表情等的影響,文章提出了一種多特征相結(jié)合的三維人臉關(guān)鍵點(diǎn)檢測方法。通過線下訓(xùn)練得到每個(gè)關(guān)鍵點(diǎn)的平均自旋圖2描述符特征三維模型上關(guān)鍵點(diǎn)檢測的準(zhǔn)確度往往依賴于特征描述符的選取,特征描述符可以反映一點(diǎn)周圍的凹凸性或者曲率特征,對于比較明顯的關(guān)鍵點(diǎn),這些點(diǎn)上的特征值是區(qū)別于非關(guān)鍵點(diǎn)的,因此可以通過某些特征描述符檢測三維模型上的關(guān)鍵點(diǎn)。下面說明文章用到的一些特征描述符。2.1局部平面距離對于三維人臉上一點(diǎn)p,取距離p點(diǎn)10mm內(nèi)的點(diǎn)為p的鄰域點(diǎn)(假設(shè)有N個(gè)),設(shè)此鄰域的重心為x其中:x一般情況下d2.2鄰域三維點(diǎn)的x轉(zhuǎn)化成二維自旋圖可以表征三維人臉上一點(diǎn)鄰域的局部形狀,對于三維人臉上一點(diǎn)p,設(shè)p點(diǎn)的法向量為n,取距離p點(diǎn)10mm內(nèi)的點(diǎn)為p的鄰域點(diǎn)(假設(shè)有N個(gè)),按照下面的公式將鄰域三維點(diǎn)x轉(zhuǎn)化成二維點(diǎn);鼻尖點(diǎn)鄰域的三維點(diǎn)投影到二維的自旋圖如圖2所示。其中:α表示點(diǎn)p與點(diǎn)x的連線在n上的投影,β表示點(diǎn)x到n的距離。2.3與電阻率相關(guān)的特征描述符曲率可以反映三維人臉點(diǎn)云上一點(diǎn)在鄰域上的變化快慢,像眼睛,嘴,鼻輪廓上的點(diǎn)變化都比較大,因此可以通過曲率檢測三維人臉上的這些關(guān)鍵位置,下面主要說明文章中用到的與曲率相關(guān)的一些特征描述符。最大主曲率kW(WillmoreEnergy):SC(ShapeCurvedness):上述公式(5)~(9)中的k3平均標(biāo)記模型與平均標(biāo)記模型的專一化手工標(biāo)記三維人臉點(diǎn)云上8個(gè)關(guān)鍵點(diǎn)(左外眼角,左內(nèi)眼角,右外眼角,右內(nèi)眼角,鼻尖點(diǎn),左嘴唇,右嘴唇,頦前點(diǎn)),由文獻(xiàn)[11-12]可知,8個(gè)關(guān)鍵點(diǎn)構(gòu)成的三維人臉標(biāo)記模型可以由下面的向量形式表示:其中:(p通過上面的計(jì)算可以得到完整人臉的平均標(biāo)記模型(FLM8),也可以得到人臉左半邊臉平均標(biāo)記模型(FLML5)以及右半邊臉的平均標(biāo)記模型(FLMR5)。上面的計(jì)算需要將所有的標(biāo)記模型歸一化到同一狀態(tài)下進(jìn)行,即以一個(gè)為標(biāo)記模型為標(biāo)準(zhǔn)標(biāo)記模型,其它的標(biāo)記模型為樣本模型,目的是要將樣本模型和標(biāo)準(zhǔn)模型對齊。普氏分析提供了一種歸一化方法,即計(jì)算樣本模型與標(biāo)準(zhǔn)模型的普氏距離,通過不斷的迭代,完成樣本模型與標(biāo)準(zhǔn)模型的對齊過程,具體過程如下:設(shè)x平移變換:對任意一個(gè)標(biāo)記模型r,利用公式(11)計(jì)算r的中心:有了標(biāo)記模型的中心,設(shè)r尺度變換:對標(biāo)記模型的每個(gè)標(biāo)記點(diǎn)乘以一個(gè)系數(shù),完成對標(biāo)記模型的單位化:其中:α=1/s(x),s旋轉(zhuǎn)變換:結(jié)合普氏分析方法,通過最小化旋轉(zhuǎn)后的x其中:有了旋轉(zhuǎn)矩陣之后,對齊的問題可以轉(zhuǎn)化為一個(gè)求解下面的最優(yōu)化問題:minR(x其中:這樣就得到了一次旋轉(zhuǎn)繞x軸,y軸,z軸的角度,從而求得了旋轉(zhuǎn)矩陣。而模型xStep1:平移xStep2::平移xStep3:初始化R=I;4篩選變形條件將訓(xùn)練集中的所有對齊的三維人臉標(biāo)記模型表示成向量形式(24維),每個(gè)向量可以看作24維空間中的點(diǎn),這些點(diǎn)構(gòu)成了24維空間中特殊的分布,對這些點(diǎn)采用主成分分析(PCA),取最大的p個(gè)特征值對應(yīng)的特征向量構(gòu)成一個(gè)24×p的矩陣A,根據(jù)文獻(xiàn)其中:b為p×1的形變參數(shù)向量,b中的每個(gè)分量表示平均模型在某個(gè)方向上的形變參數(shù),如臉部大小變形,鼻子扁平變形,下巴移動(dòng)變形等。x′表示變形后的模型。一般情況下,關(guān)鍵點(diǎn)檢測方法只能得到一些候選點(diǎn),并不能知道候選點(diǎn)在人臉上的具體位置,往往需要通過分類篩選得到更可靠的候選點(diǎn),再通過相似度比較來識別和標(biāo)記候選點(diǎn)。文章利用FLM變形參數(shù)對關(guān)鍵點(diǎn)候選點(diǎn)進(jìn)行分類和篩選,對于一個(gè)候選標(biāo)記模型組合y,利用前面的對齊方法將y和x對于b中的每個(gè)分量b其中:λ5算法2:flm模型文章的關(guān)鍵點(diǎn)檢測算法主要分為兩個(gè)部分。第一部分為線下測試,這部分通過計(jì)算訓(xùn)練集上每一點(diǎn)的不同特征,得到每個(gè)關(guān)鍵點(diǎn)關(guān)于不同特征的均值和方差,再通過相似分值計(jì)算以及LDA分析,得到不同關(guān)鍵點(diǎn)的分值加權(quán)向量。第二部分為線上測試,對于一個(gè)輸入模型,利用線上訓(xùn)練得到每個(gè)關(guān)鍵點(diǎn)關(guān)于不同特征的均值和方差以及不同關(guān)鍵點(diǎn)的分值加權(quán)向量,得到與每個(gè)關(guān)鍵點(diǎn)相關(guān)的一些候選點(diǎn),利用這些候選點(diǎn)組建人臉結(jié)構(gòu)模型,再根據(jù)絕對距離約束,相對位置約束,FLM模型一致性分類,自旋圖描述符等方法確定最終的關(guān)鍵點(diǎn)。具體流程如下:5.1對比生成相似度Step1:將CASIA-3DFaceV1數(shù)據(jù)庫分為訓(xùn)練集和測試集,訓(xùn)練集中包含300個(gè)不同表情和姿態(tài)的三維人臉,剩下的為測試集,對訓(xùn)練集中的每個(gè)模型手工標(biāo)記關(guān)鍵點(diǎn)(左外眼角,左內(nèi)眼角,右外眼角,右內(nèi)眼角,鼻尖點(diǎn),左嘴唇,右嘴唇,頦前點(diǎn));Step2:對于訓(xùn)練集中每個(gè)三維人臉ΩStep3:對于訓(xùn)練集中的每個(gè)三維人臉ΩStep4:利用公式(22)計(jì)算三維模型上任意一點(diǎn)vStep5:將300×6×8個(gè)相似分值描述圖轉(zhuǎn)化為300×8個(gè)相似分值向量描述圖,即原先描述圖上一點(diǎn)只有一個(gè)值,表示三維人臉上一點(diǎn)和某個(gè)關(guān)鍵點(diǎn)在同一特征上的相似度,經(jīng)過轉(zhuǎn)化后描述圖上一點(diǎn)是一個(gè)分值向量,向量中的一個(gè)元素表示三維人臉上一點(diǎn)和某個(gè)關(guān)鍵點(diǎn)在同一特征上的相似度;Step6:為了提高計(jì)算速度,采用如下一種降維的方法,對于每個(gè)關(guān)鍵點(diǎn)λ,取距離這個(gè)關(guān)鍵點(diǎn)5mm以內(nèi)的點(diǎn)為這個(gè)關(guān)鍵點(diǎn)的鄰域點(diǎn),取距離這個(gè)關(guān)鍵點(diǎn)在15~45mm之內(nèi)的點(diǎn)為這個(gè)關(guān)鍵點(diǎn)的非鄰域點(diǎn),與每個(gè)關(guān)鍵點(diǎn)相關(guān)的有300個(gè)分值描述圖,將這些分值描述圖中的鄰域點(diǎn)和非鄰域點(diǎn)對應(yīng)的分值向量集合在一起,構(gòu)成一個(gè)大的集合,對此集合采用LDA分析,得到與每個(gè)關(guān)鍵點(diǎn)相關(guān)的權(quán)重向量,具體流程圖如圖3所示。5.2檢驗(yàn)結(jié)果的分類Step1:對于輸入的三維模型,分別計(jì)算模型上所有點(diǎn)的不同的特征值,構(gòu)成6個(gè)特征描述圖;Step2:對于每一個(gè)特征描述圖,結(jié)合線下訓(xùn)練得到的每個(gè)關(guān)鍵點(diǎn)關(guān)于每類特征的均值和方差,利用公式(22)計(jì)算模型上一點(diǎn)和某個(gè)關(guān)鍵點(diǎn)在這個(gè)特征上的相似分值,共得到6×8個(gè)分值描述圖;Step3:上面計(jì)算得到的分值描述圖中,關(guān)于每一個(gè)關(guān)鍵點(diǎn)有6個(gè)分值描述圖,將6個(gè)分值描述圖可以融合為一個(gè)分值向量描述圖,其中每個(gè)點(diǎn)是一個(gè)分值向量,代表三維模型上一點(diǎn)和某個(gè)關(guān)鍵點(diǎn)關(guān)于不同特征的特征向量,通過融合計(jì)算總共可以得到8個(gè)分值向量描述圖,記為DL-ScoreMaps;Step4:結(jié)合線下訓(xùn)練得到的分值加權(quán)向量,利用下面的公式將DL-ScoreMaps轉(zhuǎn)化為L-ScoreMaps,即為了降低復(fù)雜度,提高計(jì)算效率,將三維模型上一點(diǎn)和某個(gè)關(guān)鍵點(diǎn)的相似分值向量轉(zhuǎn)化為一個(gè)總分值其中:uStep5:上面的計(jì)算得到了輸入模型上所有點(diǎn)分別與每個(gè)關(guān)鍵點(diǎn)的8個(gè)相似圖,如第一個(gè)相似圖表示輸入模型上所有點(diǎn)與左外眼角的相似分值。從每個(gè)相似圖中篩選分值最大的30個(gè)點(diǎn)作為每類關(guān)鍵點(diǎn)的候選點(diǎn),從左外眼角候選點(diǎn),左內(nèi)眼角候選點(diǎn),鼻尖點(diǎn)候選點(diǎn),左嘴唇候選點(diǎn),頦前點(diǎn)候選點(diǎn)中各任意拿出一個(gè)作為人臉左半邊臉的候選形狀結(jié)構(gòu)模型,總共有30Step6:根據(jù)絕對距離約束Step7:經(jīng)過上面的篩選,得到較少的左半邊臉候選形狀結(jié)構(gòu)模型和右半邊臉候選形狀結(jié)構(gòu)模型,將左半邊臉候選形狀結(jié)構(gòu)模型和右半邊臉候選形狀結(jié)構(gòu)模型結(jié)合成多個(gè)包含8個(gè)關(guān)鍵點(diǎn)的完整人臉結(jié)構(gòu)模型。采用第二節(jié)提到的對齊方法對完整的人臉結(jié)構(gòu)模型進(jìn)行對齊,采用第三節(jié)提到的方法去除掉與FLM8不一致的結(jié)構(gòu)模型;Step8:采用幾何距離與自旋圖相結(jié)合的方式計(jì)算剩余完整的人臉結(jié)構(gòu)模型的D6研究樣本選取文章的實(shí)驗(yàn)機(jī)器為聯(lián)想y50,處理器為i74710HQ,仿真軟件為Matlab2014a。實(shí)驗(yàn)數(shù)據(jù)采用CASIA-3DFaceV1數(shù)據(jù)庫和FRGCV2.0數(shù)據(jù)庫,CASIA-3DFaceV1數(shù)據(jù)庫包含了123個(gè)人的4674個(gè)三維數(shù)據(jù),其中每個(gè)人有大概38個(gè)不同表情,姿態(tài),光照的三維數(shù)據(jù),FRGCV2.0數(shù)據(jù)庫包含了477個(gè)人的4007個(gè)三維數(shù)據(jù),其中每個(gè)人的數(shù)據(jù)都接近正面但帶有表情變化。為了更好的說明文章算法的有效性,從FRGCV2.0數(shù)據(jù)庫中選取500個(gè)作為表情變化數(shù)據(jù)集(EXVDA-TA),從CASIA-3DFaceV1數(shù)據(jù)庫中選取500個(gè)作為偏移變化數(shù)據(jù)集(YAVDATA),從兩個(gè)數(shù)據(jù)庫混合選取500個(gè)作為一般數(shù)據(jù)集(GENDA-TA),并且對EXVDATA,YAVDATA,GEN-DATA手工標(biāo)記關(guān)鍵點(diǎn)(計(jì)算檢測誤差)。這里總共分為4個(gè)部分:第一部分從主觀視覺觀察文章的算法的關(guān)鍵點(diǎn)檢測效果,第二部分從客觀指標(biāo)來展示文章算法的關(guān)鍵點(diǎn)檢測的檢測誤差,第三部分通過比較不同文獻(xiàn)的檢測誤差來說明文章算法的可取性,第四部分說明文章算法的計(jì)算效率。6.1確定關(guān)鍵點(diǎn)的確定從CASIA-3DFaceV1數(shù)據(jù)庫或者FRGCV2.0數(shù)據(jù)庫中任意拿出一個(gè)作為輸入模型,結(jié)合訓(xùn)練得到的每個(gè)關(guān)鍵點(diǎn)關(guān)于每個(gè)特征的均值和方差以及分值加權(quán)向量,通過組合,約束,FLM分類之后得到候選標(biāo)記模型,最終根據(jù)自旋圖相似度確定最終關(guān)鍵點(diǎn)。由于數(shù)據(jù)庫龐大,無法展示全部檢測結(jié)果,這里僅展示兩個(gè)人的不同姿態(tài)和表情的檢測結(jié)果。圖5按照從左往右從上往下的順序前4個(gè)為第一個(gè)人的開心,傷心,右側(cè)45°,左側(cè)45°的原始三維數(shù)據(jù),后4個(gè)為第二個(gè)人的開心,傷心,右側(cè)45°,左側(cè)45°的原始三維數(shù)據(jù)。圖6為檢測到的關(guān)鍵點(diǎn)候選點(diǎn)模型,圖7為最終確定的關(guān)鍵點(diǎn)模型。圖6是每個(gè)關(guān)鍵點(diǎn)篩選10個(gè)候選點(diǎn)的篩選結(jié)果,圖7是從10個(gè)候選點(diǎn)中確定的最終關(guān)鍵點(diǎn),從視覺效果來看,的確檢測到了人臉上預(yù)期的關(guān)鍵位置,至于偏離誤差要通過下面的客觀指標(biāo)來說明。6.2每一個(gè)關(guān)鍵點(diǎn)的檢測偏差的均值和方差為了定量分析文章算法的檢測效果,分別對EXVDATA和YAVDATA進(jìn)行檢測實(shí)驗(yàn),并計(jì)算檢測位置與標(biāo)記位位置的偏差,以及每類關(guān)鍵點(diǎn)偏差的均值和方差。表1是YAVDATA中左偏22.5°和45°的三維數(shù)據(jù)關(guān)于每一個(gè)關(guān)鍵點(diǎn)的檢測偏差的均值和方差,表2是YAVDATA中右偏22.5°和45°的三維數(shù)據(jù)關(guān)于每一個(gè)關(guān)鍵點(diǎn)的檢測偏差的均值和方差,表3是EXVDATA中中性表情的三維數(shù)據(jù)關(guān)于每一個(gè)關(guān)鍵點(diǎn)的檢測偏差的均值和方差,表4是EXVDATA中極端表情的三維數(shù)據(jù)關(guān)于每一個(gè)關(guān)鍵點(diǎn)的檢測偏差的均值和方差。從表1,表2,表3,表4可以看出,文章算法的關(guān)鍵點(diǎn)檢測誤差在5mm左右,誤差偏差不超過3mm,將檢測誤差在3mm以內(nèi)看作檢測成功,除了極端表情下的檢測率略低外,其它姿態(tài)和表情下的檢測率接近95%,說明了文章算法對姿態(tài)和表情有較好的魯棒性。6.3檢測成功率檢測為了說明文章算法的優(yōu)越性,采用文獻(xiàn)[15],文獻(xiàn)[16],文獻(xiàn)[17]以及本文算法對GENDATA進(jìn)行檢測實(shí)驗(yàn),并計(jì)算每個(gè)關(guān)鍵的的檢測誤差以及檢測成功率,如表5所示。從表5結(jié)果可以看出,文獻(xiàn)[15]的每個(gè)關(guān)鍵點(diǎn)檢測誤差都在13mm以上,平均檢測誤差達(dá)到了16mm,誤差較大,文獻(xiàn)[16]的平均檢測誤差接近于7mm,有所改進(jìn),文獻(xiàn)[17]的平均檢測誤差為8mm,與文獻(xiàn)[16]的結(jié)果較為接近,而本文的平均檢測誤差還不到5mm,比文獻(xiàn)[15][16][17]的結(jié)果要好很多,并且從表6就可以看出來,在保持運(yùn)行效率相對穩(wěn)定的前提下,較大的提高了關(guān)鍵點(diǎn)檢測率。6.4算法運(yùn)行時(shí)間文章算法耗時(shí)的部分主要體現(xiàn)在前期的線下訓(xùn)練部分,一旦有了訓(xùn)練結(jié)果,實(shí)際中只需要考慮線上應(yīng)用,而文章線上部分的復(fù)雜度為N×o(n),N為特征描述符的個(gè)數(shù)。統(tǒng)計(jì)了文章算法的運(yùn)行時(shí)間,從讀入到檢測出關(guān)鍵點(diǎn)的平均總時(shí)間為7.23s。這里面每一步驟的時(shí)間如下:計(jì)算DL-FeatureMaps用時(shí)4