第七章基于改進的非下采樣Contourlet變換的人臉圖像超分辨率7.1非下采樣Contourlet變換7.2改進的非下采樣Contourlet變換7.3算法實現(xiàn)7.4實驗結(jié)果與分析7.5本章小結(jié)

7.1非下采樣Contourlet變換

非下采樣Contourlet變換(NonSubsampledContourletTransform,NSCT)是在Contourlet變換的基礎(chǔ)上由M.N.Do和A.L.Cunha在2005年提出的。非下采樣Contourlet變換是一種超完備的變換,它與Contourlet變換在結(jié)構(gòu)上很相似,不同的是它去掉了抽樣環(huán)節(jié),是由一個非下采樣的金字塔濾波器(NonSubsampledPyramid,NSP)和一個非下采樣的方向濾波器組(NonSubsampledDirectionalFilterBank,NSDFB)構(gòu)成的。非下采樣Contourlet變換不僅具有多尺度、良好的空域和頻域局部特性和方向特性,還具有平移不變特性(Shift-Invariance)以及更高的冗余度。

Contourlet在變換過程中通過對圖像進行下采樣以降低數(shù)據(jù)冗余量,是一種小冗余的圖像表示方法。但是由于LP和DFB均有下采樣,特別是DFB存在下采樣,使得Contourlet變換不具有平移不變性,應用于圖像復原時邊緣處容易產(chǎn)生偽Gibbs現(xiàn)象。

非下采樣Contourlet變換(NSCT)中的金字塔濾波器和DFB都是非下采樣的,這使得其具有平移不變性,并由此衍生出兩個優(yōu)點：

(1)更高的冗余度保證了圖像經(jīng)NSCT變換后在所得到的各個子帶中的視覺特征及信息的更加完整;

(2)根據(jù)多抽樣率理論,NSCT的低頻子帶不會有頻率混淆現(xiàn)象產(chǎn)生,因而具有更強的方向選擇性。

非下采樣Contourlet變換首先采用NSP獲得圖像的多尺度分解,然后采用NSDFB對得到的各尺度子帶圖像進行方向分解,從而得到不同尺度、不同方向的子帶圖像(系數(shù))。圖7-1所示為NSCT變換流程圖。圖7-1NSCT變換流程圖7.1.1非下采樣金字塔

非下采樣金字塔分級結(jié)構(gòu)是通過多級迭代的方式實現(xiàn)的。首先提供滿足下列完全重建條件的一組基本的低通、高通濾波器組：

H0(z)G0(z)+H1(z)G1(z)=1

(7-1)

其中,H0(z)為低通分解濾波器;H1(z)為高通分解濾波器;G0(z)為低通重建濾波器;G1(z)為高通重建濾波器。圖7-2為非下采樣金字塔濾波器組一級分解重建的結(jié)構(gòu)示意圖。圖7-2非下采樣金字塔濾波器組一級分解重建的結(jié)構(gòu)示意圖為了實現(xiàn)對圖像的多尺度分解,采用與“atrous”小波算法相似的思想,對低通濾波器和高通濾波器分別進行上采樣(對于第j尺度上的分解,在相鄰的兩個濾波器系數(shù)間插入2j－1個零),然后對上一尺度的低頻圖像用上采樣后的低通濾波器進行低通濾波,得到低頻圖像,對上一尺度低頻圖像用上采樣后的高通濾波器進行高通濾波,得到分解后的高頻圖像。該過程可以反復進行,類似于拉普拉斯金字塔變換。7.1.2非下采樣方向濾波器組

非下采樣方向濾波器組(NSDFB)是Contourlet變換中臨界采樣DFB的平移不變版本,它也是采用“atrous”算法的思想,即對級聯(lián)的每級濾波器進行上采樣來獲得平移不變性的。非下采樣DFB的基本模塊是一個雙通道的非下采樣濾波器組。

NSCT在基本扇形濾波器組或鉆石濾波器組的基礎(chǔ)上,通過對濾波器的操作來得到需要的象限濾波器組和平行濾波器組,避免了對圖像的采樣操作。非下采樣方向濾波器組的結(jié)構(gòu)為：①先經(jīng)過扇形濾波器組和象限濾波器組將圖像分為4個方向的子帶;②經(jīng)過平行濾波器組的迭代分為各個不同的方向子帶。為了實現(xiàn)更好、更加精細的方向分解,對非下采樣的方向濾波器組進行迭代。在第一層方向分解之后,都用一個梅花形矩陣Q對方向濾波器組中的所有濾波器進行上采樣,作為下一層方向分解的方向濾波器組,定義為(7-2)圖7-3顯示了非下采樣DFB分解中雙通道濾波器組的迭代結(jié)構(gòu)。如果對某尺度下子帶圖像進行k級方向分解,可得到2k個與原始輸入圖像尺寸大小相同的方向子帶圖像。圖像經(jīng)J級NSCT分解后可得到1個低頻子帶圖像和個帶通方向子帶圖像,其中kj為尺度j下的方向分解級數(shù)。圖7-3迭代NSDFB的分解結(jié)構(gòu)圖非下采樣Contourlet變換繼承了Contourlet變換的多尺度、多方向以及良好的空域和頻域局部特性,變換后能量更加集中,能夠更好地捕捉和跟蹤圖像中重要的幾何特征。由于NSCT分解和重構(gòu)中不存在下采樣和上采樣環(huán)節(jié),因此圖像的分解和重構(gòu)過程中不具有頻率混疊項,因而濾波器的設(shè)計自由度更大,也使得NSCT具有平移不變性以及得到的各級子帶圖像與源圖像具有尺寸大小相同等特性,在圖像復原或者融合過程中能夠有效減少配準誤差對融合結(jié)果的影響以及較容易找到各個子帶圖像之間的對應關(guān)系,從而有利于運算的實現(xiàn)。

7.2改進的非下采樣Contourlet變換

非下采樣Contourlet(NSCT)變換結(jié)果的每一層圖像大小都一樣,不能像拉普拉斯金字塔那樣建立高低分辨率圖像的對應關(guān)系。雖然有人提出將低分辨率圖像插值放大后的結(jié)果圖像與對高分辨率圖像進行NSCT變換后的低通圖像作為對等圖像,但是實際上兩者存在差異?？紤]到拉普拉斯金字塔可建立多分辨率金字塔結(jié)構(gòu),并且建立拉普拉斯金字塔需要的運算量比建立NSCT的非抽樣金字塔運算量要少很多,雖然拉普拉斯金字塔理論上會產(chǎn)生偽Gibbs現(xiàn)象,但是在實際復原過程中,產(chǎn)生的偽Gibbs現(xiàn)象相對來說不是很明顯,因此本章對NSCT變換進行改進,NSCT變換采用了非抽樣的金字塔結(jié)構(gòu)和非抽樣方向濾波器組,本章提出的改進的NSCT變換(INSCT)則將NSCT變換的非抽樣金字塔替換為拉普拉斯金字塔,而非抽樣方向濾波器組還是保持不變。這一改進在處理速度和冗余度上進行了折中,并且可建立多分辨率金字塔結(jié)構(gòu)。對人臉圖像進行改進的NSCT變換的結(jié)果圖如圖7-4所示,人臉圖像進行了4層拉普拉斯金字塔,拉普拉斯金字塔的每一層進行4個方向的非下采樣方向濾波。圖7-4人臉圖像進行INSCT變換的結(jié)果圖本章采用INSCT變換的方法提取特征。INSCT變換不僅能夠準確地捕獲到不同尺度、不同方向、不同頻率的子帶中的圖像邊緣信息,而且具有Contourlet變換不具有的冗余,同時相對于NSCT變換減少了計算量。

一般來說,分辨率越高,信息也相對越多;而分辨率越低,信息也相對越少。因此對分辨率高的層,分解的方向可以增加,而分辨率低的層,對其分解的方向可減少。如圖7-5(a)所示,對待復原的低分辨率圖像,使用INSCT將其分解為兩層,上面的一層使用非下采樣DFB分解為8個方向,下面的一層使用非下采樣DFB分解為4個方向。對訓練庫中的高分辨率圖像進行4層分解,最上面的兩層分解為16個方向,最下面兩層的分解方式與對待復原的低分辨率圖像的分解方式一致,如圖7-5(b)所示。圖7-5高、低分辨率圖像分解示意圖與Contourlet變換的基于學習的方法類似,基于INSCT變換的超分辨率復原需要獲得待復原的低分辨率圖像的細節(jié)部分的系數(shù)(即圖7-5(a)虛線部分的系數(shù))。由于INSCT變換有較大的冗余度,以及得到各級子帶圖像與同級的拉普拉斯金字塔圖像具有尺寸相同的特性,在超分辨率復原過程中能夠有效減少配準誤差對復原結(jié)果的影響以及較容易找到各個子帶圖像之間的對應關(guān)系,因此本章中只是使用INSCT金字塔系數(shù)作為特征。

設(shè)輸入的低分辨率人臉圖像為I,它的INSCT金字塔從第3層開始構(gòu)建,本章定義I中的任一像素點p的父結(jié)構(gòu)為第3層和第4層中與p對應的一組像素的特征向量,如圖7-6所示。圖7-6父結(jié)構(gòu)示意圖像素的特征向量由該層和該層以下的非下采樣的方向濾波器提取的特征信息組成。像素點p的父結(jié)構(gòu)特征就是一個8+4維的向量(其中,第3層分解為8個方向,第4層分解為4個方向特征),定義為(7-3)其中,LiDj(I)(m,n)表示第i層的第j個方向的特征。采用同樣的方法,對訓練庫中所有高分辨率人臉圖像訓練樣本Ti,分別在第3層構(gòu)建塔狀父結(jié)構(gòu)S3(Ti)(m,n)。

7.3算法實現(xiàn)

算法分為兩個部分,即訓練部分和學習部分。具體算法的步驟如下：

1.訓練過程

對輸入的每一個訓練樣本Ti建立INSCT金字塔并構(gòu)建父結(jié)構(gòu)特征S(Ti)。在本章實驗中父結(jié)構(gòu)特征從第3層開始構(gòu)建。

2.學習過程

(1)對待復原的圖像I建立父結(jié)構(gòu)特征S3(I)。

(2)將待復原的圖像位置為(m,n)的特征S3(I)(m,n)與訓練樣本相應位置的特征S3(Ti)(m,n)進行比較,計算歐氏距離：

di=min||S3(Ti)(m,n)－S3(I)(m,n)||

(7-4)

(3)將最小距離di對應的S3(Ti)(m,n)的低層(第1、2層)系數(shù)(高頻信息)拷貝到待復原圖像相應的低層位置(即圖7-5(a)虛線部分)。

(4)將待復原圖像和獲取的系數(shù)一起進行INSCT反變換得到高分辨率復原圖像。

7.4實驗結(jié)果與分析

實驗中使用與上一章相同的數(shù)據(jù)集,即亞洲人臉標準圖像數(shù)據(jù)庫IMDB中的人臉圖像,實驗結(jié)果如圖7-7所示。圖7-7(a)為基于INSCT變換的結(jié)果,圖(b)為最近鄰插值算法的結(jié)果,圖(c)為CubicB-Spline插值算法的結(jié)果,圖(d)為基于Contourlet變換的結(jié)果。圖7-7各種不同方法的實驗結(jié)果本章將分別從復原圖像的主觀視覺效果和客觀評價指標峰值信噪比與熵對算法的性能方面進行分析。從主觀視覺效果來看,基于INSCT變換的結(jié)果明顯比最近鄰插值算法和CubicB-Spline插值算法效果好得多。本章算法復原結(jié)果接近于原始的高分辨率圖像,與基于Contourlet變換的方法相比,在細節(jié)上本章算法的結(jié)果相對較好,并且本章算法基本沒有明顯的偽Gibbs現(xiàn)象,而基于Contourlet變換的復原結(jié)果在輪廓部有明顯的偽Gibbs現(xiàn)象。圖7-8為基于INSCT變換的復原結(jié)果與基于Contourlet變換的復原結(jié)果及其局部放大比較圖。可以從該圖中看出基于Contourlet變換的復原結(jié)果在輪廓部有明顯的偽Gibbs現(xiàn)象,而基于INSCT變換的復原結(jié)果基本上不存在此現(xiàn)象。圖7-8實驗結(jié)果及其局部放大比較圖為了客觀評價算法的好壞,采用平均峰值信噪比及平均熵。(平均峰值信噪比是指所有測試樣本峰值信噪比的平均,平均熵類似。)

圖像的熵定義為(7-5)其中,復原圖像的灰度值從1到255的分布為p={p(1),p(2),…,p(i),…,p(255)},p(i)表示灰度值i在兩幅圖像中出現(xiàn)的概率。圖7-9為各種不同方法的平均峰值信噪比,本章方法具有最高的平均峰值信噪比。最近鄰插值算法與CubicB-Spline插值算法的結(jié)果的峰值信噪比較低,只有29dB左右。Contourlet方法的結(jié)果只有31.1dB,而本章算法的結(jié)果能夠達到32.6dB。表7-1為各種不同方法復原結(jié)果的平均熵,本章算法和Contourlet方法結(jié)果的熵都較插值算法結(jié)果的熵有一定的提高。雖然本章方法復原結(jié)果的熵較Contourlet方法復原結(jié)果的熵略低,但是本章算法復原結(jié)果基本不存在Contourlet方法復原結(jié)果中的偽Gibbs現(xiàn)象,并且峰值信噪比也較Contourlet方法提高

1.5dB。圖7-9各種不同方法的平均峰值信噪比表7-1各種不同方法復原圖像的平均熵本章算法的效果與非下采樣方向濾波器的方向數(shù)有一定的關(guān)系,方向數(shù)的選取在算法中起到一定的作用。在下面的實驗中,還是以前面隨機選擇的8人為例,以剩下的67人(67幅人臉圖像)作為訓練數(shù)據(jù)。

第4、3層的方向系數(shù)用于特征的匹配,而第2、1層是需要復原的高頻系數(shù)。因此在實驗中分別對第2、1層的方向和第4、3層的方向進行實驗分析。首先固定第4、3層的方向數(shù)分別為22、23,然后對第2、1層的方向數(shù)進行變化。圖7-10為第2、1層方向數(shù)對復原圖像的平均峰值信噪比的影響,其中橫坐標表示第2、1層的方向數(shù),例如(1,2)表示第2、1層的方向數(shù)分別為21、22。圖7-10第2、1層方向數(shù)對復原圖像的平均峰值信噪比的影響隨著第2、1層方向的增加,復原效果也越來越好,這主要是由于INSCT變換有較大的冗余度,并且隨著方向的增加,冗余度越大。同時，得到的各級子帶圖像與同級的拉普拉斯金字塔圖像具有尺寸大小相同的特性,在超分辨率復原過程中能夠有效減少配準誤差對復原結(jié)果的影響。

第4、3層的方向數(shù)對平均峰值信噪比的影響如圖7-11所示。固定第2、1層的方向數(shù)分別為24、24,然后對第4、3層的方向數(shù)進行變化。