第十二章基于多分辨率金字塔和LLE算法的人臉圖像超分辨率算法12.1先驗(yàn)?zāi)Ｐ?2.2先驗(yàn)?zāi)Ｐ蛷?fù)原過(guò)程12.3先驗(yàn)?zāi)Ｐ秃蜏y(cè)量模型12.4實(shí)驗(yàn)結(jié)果及分析12.5本章小結(jié)

12.1先驗(yàn)?zāi)Ｐ?/p>

選擇人臉圖像的高斯金字塔(GaussianPyramid)、拉普拉斯金字塔(LaplacianPyramid)和特征金字塔(FeaturePyramid),作為人臉圖像的特征空間。對(duì)特征金字塔加入Kirsch特征,該特征能夠表示不同方向的高頻特征,克服了Baker方法提取高頻細(xì)節(jié)不夠豐富的缺點(diǎn)。

12.1.1高斯金字塔

高斯金字塔的生成包含低通濾波和降采樣的過(guò)程。設(shè)原圖像G1為高斯金字塔的最底層,即第1層,則第l層高斯金字塔由下式生成：(12-1)12.1.2拉普拉斯金字塔

拉普拉斯金字塔是高斯金字塔與其上一層通過(guò)插值放大的差值圖像,而最高層是對(duì)應(yīng)高斯金字塔本身的。由于上一層圖像是下一層圖像低通濾波后降采樣得到的,拉普拉斯金塔字實(shí)際上是同級(jí)高斯金字塔的高頻分量,即圖像的細(xì)節(jié)部分。第l層拉普拉斯金字塔由下式生成：(12-2)12.1.3特征金字塔

特征金字塔是對(duì)高斯金字塔的對(duì)應(yīng)層進(jìn)行特征濾波,提取高頻特征信息,其作用是將特征構(gòu)建金字塔并將特征用于匹配過(guò)程。本章參考了Baker方法,在一階、二階梯度特征的基礎(chǔ)上,增加Kirsch算子對(duì)高頻特征進(jìn)行提取。Kirsch算子由8個(gè)3×3窗口模板組成,每個(gè)模板分別代表一個(gè)特定的檢測(cè)方向,它能夠提取8個(gè)方向的高頻特征。它對(duì)數(shù)字圖像的每個(gè)像素考察它的8個(gè)鄰點(diǎn)灰度的變化,以其中的3個(gè)相鄰點(diǎn)的加權(quán)和減去剩下5個(gè)鄰點(diǎn)的加權(quán)和,令3個(gè)相鄰點(diǎn)環(huán)繞不斷移位得到8個(gè)模板。設(shè)Kirsch算子的第i個(gè)模板的形式為(12-3)具體來(lái)說(shuō),Kirsch算子的第一和第二個(gè)模板分別表示為(12-4)其他模板類似,在此就不一一列出。人臉圖像及其8個(gè)方向的Kirsch特征圖如圖12-1所示。利用特征金字塔提取的這些方向性信息以及拉普拉斯金字塔提取的空間尺度高頻信息和提取的特征信息組成標(biāo)準(zhǔn)人臉圖像訓(xùn)練集,構(gòu)成了一個(gè)完整的學(xué)習(xí)模型,作為超分辨率復(fù)原的依據(jù)。圖12-1人臉圖像及其8個(gè)方向的Kirsch特征圖

12.2先驗(yàn)?zāi)Ｐ蛷?fù)原過(guò)程

如圖12-2所示,輸入一幅待復(fù)原的低分辨率人臉圖像I對(duì)應(yīng)于金字塔的第3層。如何估計(jì)出金字塔的最底層G1(I),是超分辨率復(fù)原的目標(biāo)。圖12-2低分辨率人臉圖像的高斯金字塔12.2.1塔狀父結(jié)構(gòu)

設(shè)輸入的低分辨率人臉圖像為I,它的拉普拉斯金字塔和特征金字塔都從第3層開始構(gòu)建,本章定義I中的任一像素點(diǎn)p的父結(jié)構(gòu)為從第3層到第5層中與p對(duì)應(yīng)的一組像素的特征向量,如圖12-3所示。

每一層對(duì)應(yīng)像素的特征向量均由拉普拉斯金字塔和特征金字塔的信息組成,因此又稱為塔狀父結(jié)構(gòu)。像素點(diǎn)p的塔狀父結(jié)構(gòu)就是一個(gè)3×13維的向量(其中,3表示共有3層,13表示每一層有13個(gè)特征,即1個(gè)拉普拉斯特征、2個(gè)一階特征、2個(gè)二階特征以及8個(gè)Kirsch特征),定義為圖12-3塔狀父結(jié)構(gòu)示意圖

(12-5)采用同樣的方法,對(duì)訓(xùn)練庫(kù)中所有高分辨率人臉圖像訓(xùn)練樣本Ti,分別在第3層構(gòu)建塔狀父結(jié)構(gòu)S3(Ti)(m,n)。其中K(I)(m,n)包含8個(gè)Kirsch特征,L(I)(m,n)表示拉普拉斯特征,H(I)(m,n)、V(I)(m,n)表示一階梯度的水平方向和垂直方向的特征,H2(I)(m,n)、V2(I)(m,n)表示二階梯度的水平方向和垂直方向的特征。12.2.2匹配復(fù)原

塔狀父結(jié)構(gòu)S3(I)(m,n)里包含了待復(fù)原低分辨率人臉圖像的特征信息,將以這些信息為依據(jù),在人臉圖像訓(xùn)練庫(kù)中進(jìn)行最優(yōu)匹配。由于人臉圖像進(jìn)行了對(duì)齊預(yù)處理,設(shè)待復(fù)原圖像像素位置為(m,n),匹配時(shí)可以只在訓(xùn)練人臉庫(kù)圖像中的相應(yīng)像素位置(m,n)進(jìn)行匹配。

本章在匹配復(fù)原過(guò)程中引入一種新方法,即采用LLE算法對(duì)高頻信息進(jìn)行估計(jì)。在Baker算法中輸入待復(fù)原人臉圖像每一像素點(diǎn)的塔狀父結(jié)構(gòu)S3(I)(m,n),用歐氏距離度量,與訓(xùn)練庫(kù)中每一幅人臉圖像在第3層對(duì)應(yīng)像素點(diǎn)的塔狀父結(jié)構(gòu)S3(Ti)(m,n)進(jìn)行對(duì)比,搜索出與之距離最小的塔狀父結(jié)構(gòu),即(12-6)通過(guò)這種方法能夠?qū)ふ业阶罱咏乃罡附Y(jié)構(gòu)塊,但是最接近塊不一定是最好的。在訓(xùn)練樣本比較少的情況下,可能出現(xiàn)最接近塊距離與待復(fù)原的塊距離比較大的情況,這時(shí)候采用最近的歐氏距離就不太適合(不可能取得較好的復(fù)原結(jié)果,復(fù)原的圖像將與真實(shí)的圖像差別較大)。因此本章采用與其最近的幾塊的加權(quán)和來(lái)計(jì)算。如何計(jì)算相應(yīng)的權(quán)值呢？可采用LLE算法計(jì)算相應(yīng)的權(quán)值,即求使下式最小的W：(12-7)本章借鑒LLE算法求取式(12-7)最小。因此本章匹配算法的主要思想是待復(fù)原人臉圖像每一像素點(diǎn)的塔狀父結(jié)構(gòu)S3(I)(m,n)可由訓(xùn)練庫(kù)中與其最近的K個(gè)S3(Ti)(m,n)重建,設(shè)重建系數(shù)矩陣為W。保持重建系數(shù)矩陣W不變,可用訓(xùn)練庫(kù)中對(duì)應(yīng)的拉普拉斯高頻信息恢復(fù)待復(fù)原人臉圖像的高頻信息。就匹配算法而言,只需要求出其重建關(guān)系(即權(quán)值矩陣W),即只使用LLE算法的前兩個(gè)步驟。與單獨(dú)使用一個(gè)最匹配的高分辨率塊進(jìn)行復(fù)原的方法相比,使用本章匹配算法將獲得更加完整、豐富的高頻信息。12.2.3算法實(shí)現(xiàn)

算法的實(shí)現(xiàn)可分為兩個(gè)過(guò)程,即訓(xùn)練過(guò)程和學(xué)習(xí)過(guò)程。

具體算法的步驟如下：

1.訓(xùn)練過(guò)程

對(duì)輸入的每一個(gè)訓(xùn)練樣本Ti建立高斯金字塔、拉普拉斯金字塔以及特征金字塔。在拉普拉斯金字塔和特征金字塔的基礎(chǔ)上構(gòu)建塔狀父結(jié)構(gòu)S(Ti)。本章實(shí)驗(yàn)中塔狀父結(jié)構(gòu)從第三層開始構(gòu)建。

2.學(xué)習(xí)過(guò)程

(1)對(duì)待復(fù)原的圖像I建立塔狀父結(jié)構(gòu)S3(I)。

(2)將待復(fù)原的圖像的每一個(gè)像素位置的特征S3(I)(m,n)與訓(xùn)練樣本相應(yīng)位置的特征S3(Ti)(m,n)進(jìn)行比較,計(jì)算歐氏距離。

(3)取最小的K個(gè)距離對(duì)應(yīng)的S3(Ti)(m,n),使用LLE算法計(jì)算權(quán)值矩陣W。

(4)拷貝訓(xùn)練樣本中相應(yīng)位置的底層拉普拉斯金字塔的信息,用權(quán)值矩陣W進(jìn)行加權(quán)計(jì)算。

(5)與待復(fù)原的圖像進(jìn)行融合,得到高分辨率圖像。

學(xué)習(xí)過(guò)程的基本流程如圖12-4所示。圖12-4學(xué)習(xí)過(guò)程的基本流程該流程圖分為3個(gè)主要步驟：

(1)通過(guò)輸入圖像和訓(xùn)練圖像的塔狀父結(jié)構(gòu)特征求取權(quán)值矩陣W。

(2)保持權(quán)值矩陣W不變,拷貝訓(xùn)練樣本中相應(yīng)位置的底層拉普拉斯金字塔的信息(如圖12-4所示的1、2層),用權(quán)值矩陣W進(jìn)行加權(quán)計(jì)算,得到一個(gè)新的1、2層金字塔。

(3)將這個(gè)新的1、2層金字塔和輸入圖像的3、4、5層金字塔進(jìn)行合成,最終得到高分辨率圖像。

12.3先驗(yàn)?zāi)Ｐ秃蜏y(cè)量模型

1.求取先驗(yàn)?zāi)Ｐ?/p>

假設(shè)輸入的圖像是t,通過(guò)本章先驗(yàn)?zāi)Ｐ蛷?fù)原出的高分辨率圖像是Rt,真實(shí)的高分辨率圖像為T。Rt和T的高頻特征分別為F(Rt)和F(T)。理論上Rt和T是相等的,同樣F(Rt)和F(T)也是相等的。但是F(Rt)和F(T)之間存在一定的誤差,假設(shè)F(Rt)和F(T)之間的誤差滿足高斯分布,并且方差為σp?？梢越⑾率?該式的概率分布是方差為σp的高斯分布：

P(T)=P(ηp)|ηp=F(Rt)－F(T)

(12-8)

這樣,先驗(yàn)?zāi)Ｐ蚉(T)轉(zhuǎn)化為高斯分布函數(shù)。

2.求取觀測(cè)模型

觀測(cè)模型就是求取P(t|T)的值,與先驗(yàn)?zāi)Ｐ拖啾?求取觀測(cè)模型相對(duì)來(lái)說(shuō)較為簡(jiǎn)單。待求高分辨率人臉圖像T所對(duì)應(yīng)的低分辨率人臉圖像D(T)可以用平滑和下采樣過(guò)程得到,輸入的低分辨率人臉圖像t應(yīng)該與D(T)是相同的,但是通常來(lái)說(shuō)t和D(T)之間存在一定的誤差。假設(shè)t和D(T)之間的誤差滿足高斯分布,并且方差為σm。

建立如下公式,該式的概率分布是方差為σm的高斯分布：

P(t|T)=P(ηm)|ηm=D(T)－t

(12-9)

這樣,把觀測(cè)模型P(t|T)轉(zhuǎn)化為高斯分布函數(shù)。

12.4實(shí)驗(yàn)結(jié)果及分析

本章實(shí)驗(yàn)使用亞洲人臉標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(kù)(IMDB)中的高分辨率人臉圖像(每一幅圖像為256×256)作為測(cè)試數(shù)據(jù)。IMDB中包含了107人,每人有17幅不同圖像,共107×17＝1219幅人臉圖。其中帶眼鏡的有32人。IMDB庫(kù)里的每一幅人臉圖像都已經(jīng)做了歸一化處理,對(duì)兩只眼睛的中心都進(jìn)行標(biāo)定,事先對(duì)齊在固定的位置。

本實(shí)驗(yàn)的目標(biāo)是輸入低分辨率人臉圖像,采用多分辨率金字塔和LLE算法復(fù)原出高分辨率人臉圖像。選取所有不帶眼鏡的75人進(jìn)行實(shí)驗(yàn),每人選3幅圖像,總共75×3＝225幅。用其中的213幅人臉圖像(71人)作為訓(xùn)練數(shù)據(jù),剩下的12幅人臉圖像(4人,不同于訓(xùn)練庫(kù)里的71人)作為測(cè)試數(shù)據(jù)。對(duì)12幅測(cè)試圖像先進(jìn)行低通濾波和降采樣處理,得到64×64的待復(fù)原低分辨率人臉圖像。將最近鄰插值算法、Baker算法、CubicB-Spline算法和本章算法的實(shí)驗(yàn)結(jié)果進(jìn)行比較,如圖12-5所示。從實(shí)驗(yàn)結(jié)果的對(duì)比中可以看出：最近鄰插值算法、CubicB-Spline算法在平滑噪聲的同時(shí)模糊了大部分的人臉細(xì)節(jié);Baker算法的復(fù)原結(jié)果邊緣有鋸齒,生成的人臉圖像在有些部位存在較大的噪聲;本章算法復(fù)原出的人臉圖像噪聲較少,邊緣處理比Baker好得多,在保留大部分人臉細(xì)節(jié)的同時(shí),看上去更加逼真。

定量的平均峰值信噪比分析可以看出本章方法比最近鄰插值算法、Baker算法以及CubicB-Spline算法具有更高的平均峰值信噪比。圖12-6為不同方法的平均峰值信噪比的示意圖。從圖中可以看出,本章算法具有最高的平均峰值信噪比;最近鄰插值算法與Baker算法的平均峰值信噪比較低,雖然Baker算法從視覺效果來(lái)看較好,但是由于Baker算法在人臉輪廓部分存在較大的噪聲,這造成Baker算法的峰值信噪比相對(duì)較低;CubicB-Spline插值算法的平均峰值信噪比在它們之間。圖12-5實(shí)驗(yàn)結(jié)果比較圖12-6不同方法的平均峰值信噪比

12.5本章小結(jié)

本章采用基于多分辨率金字塔和LLE算法相結(jié)合的人臉圖像超分辨率復(fù)原算法,主要針對(duì)特征提取和匹配算法這兩個(gè)核心問(wèn)題進(jìn)行研究。針對(duì)Baker算法建立的圖像金字塔提取高頻細(xì)節(jié)不夠豐富的缺