(19)中民國(guó)家知識(shí)

*CN (10)公告號(hào) (21(22(73)專利權(quán)人大地址430072省市武昌區(qū)珞珈山武(72)發(fā)明人韓

JP2008-219271XiangMaetal..position-basedfacehallucinationmethod.《ICME2009員人G06T5/00權(quán)利要求書2頁(yè)說明書8頁(yè)附圖3(57)B內(nèi)人臉圖像分別劃分為相互交疊的圖像塊；對(duì)輸個(gè)圖像相應(yīng)位置圖像塊進(jìn)行替換，合成高分辨率圖像塊BCN

權(quán)利要求 1/2分辨率人臉樣本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像劃分相互的圖像塊；練集中所有低分辨率人臉樣本圖像該位置上的圖像塊對(duì)它進(jìn)行線性重建時(shí)的最優(yōu)權(quán)值系數(shù)；和M表示低分辨率訓(xùn)練集中低數(shù)；其中，wm(i,j)為來自低分辨率訓(xùn)練集中第m個(gè)低分辨率人臉樣本圖像中第ijw(i,j)Mij像塊的重建系數(shù)組成的行向量，w(i,j)＝w1(i,j),w2(i,j),…,wm(i,j),…,wM(i,j)]，dm(i,j)為重建系數(shù)wm(i,j)的懲罰因子，τ是平衡重建誤差和局部約束的正則化參數(shù)“ο表示兩個(gè)向量之間的內(nèi)積運(yùn)算表示歐氏平方距離返回關(guān)于變w(i,j)的函數(shù)在得到最小值時(shí)w(i,j)w*(i,j)，即所要求的最優(yōu)權(quán)值系數(shù)，，，為合成低分辨率人臉圖像的第i的最優(yōu)權(quán)值系數(shù)；，，，，其中XL(i,j)為低分辨率人臉圖像中第i行第j列的圖像塊為低分辨率訓(xùn)練mij CN

權(quán)利要求 2/2，；驟3中，用步驟2所得權(quán)重系數(shù)合成高分辨率人臉圖像塊XH(i,j)采用如下公式計(jì)算，；其中為步驟2中合成低分辨率人臉圖像的第i行第j列圖像塊時(shí)低分辨率訓(xùn)練集中第m個(gè)低分辨率人臉樣本圖像中第i行第j列圖像塊的最優(yōu)權(quán)值系數(shù)為mij一種基于局部約束表示的人臉超分辨率重建方 1Pasztor,andO.Carmichael.Learninglow-levelvision.InIJCV40(1):25–47,2000中首先提出一種Markov網(wǎng)絡(luò)（Markovnetwork的超分辨率方法。同年，SimonKanade2（S.BakerandT.Kanade.Hallucinatingfaces.InFGGrenoble,France,Mar.2000,83-88中提出n（C.andC.S.Zhang.Atwo-stepapproachtohallucinatingfaces:globalparametric2001.[0004]（4S.TRoweisandL.K.Saul.Nonlineardimensionalityreductionbylocallylinearembedding.Science,2902000.2004Y.M.Xiong.Super-resolutionthroughneighborembedding.InCVPR,pp.275–282,2004.）中基于高低分辨率樣本庫(kù)具有相似局部幾何特征這一假設(shè)，提出一種鄰域2010Ma等人在文獻(xiàn)6（X.Ma,J.PZhang,andC.Qi.HallucinatingfacebyL.Jiao,B.Liu,andM.Gong,“Position-PatchBasedFaceHallucinationUsingConvexOptimization,”IEEESignalProcess.Lett.vol.18,no.6,pp.367–370, 重建方法，包括如下步驟：低分辨率人臉樣本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像劃分相互的圖像塊；辨率訓(xùn)練集中所有低分辨率人臉樣本圖像該位置上的圖像塊對(duì)它進(jìn)行線性重建時(shí)的最優(yōu)權(quán)值系數(shù)；本圖像的圖像塊，用步驟2所得最優(yōu)權(quán)重系數(shù)合成高分辨率人臉圖像塊； 而且，設(shè)將低分辨率人臉圖像劃分圖像塊所得集合，劃分圖像塊所得集合分別為，圖像的個(gè)數(shù)

表示所劃分的圖像塊的行號(hào)和列號(hào)

和分別表示每一列和每一行 其中 為來自低分辨率訓(xùn)練集中 個(gè)低分辨率人臉樣本圖像中，，，行第列圖像塊的重建系數(shù)是由所有M張低分辨率人臉樣本圖像中第行第列圖像塊的重建系數(shù)組成的行向量， 為重建系數(shù) 的懲罰因子是平衡重建誤差和局部約束的正則化參數(shù)“”，，，表示兩個(gè)向量之間的內(nèi)積運(yùn)算 表示歐氏平方距離

返回關(guān)于變 的函數(shù)在得到最小值 的取 即所要求的最優(yōu)權(quán)值系數(shù) 為合成低分辨率人臉圖像的第第列圖像塊時(shí)來自低分辨率訓(xùn)練集中第個(gè)低分辨率人臉樣本圖像中第行第列圖像塊的最優(yōu)權(quán)值系數(shù)； 所述懲罰因子的計(jì)算公式如下 其中

為低分辨率人臉圖像中第行第列的圖像塊

[0020]而且，步驟3中，用步驟2所得最優(yōu)權(quán)重系數(shù)合成高分辨率人臉圖像塊，[0022]其中，為步驟2中合成低分辨率人臉圖像的第行第列圖像塊時(shí)來自低分辨率訓(xùn)練集中第個(gè)低分辨率人臉樣本圖像中第行第列圖像塊的最優(yōu)權(quán)值系數(shù)，為高辨率訓(xùn)練集的第個(gè)高分辨率人臉樣本圖像中第行第列的圖像塊。67 1低分辨率人臉樣本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像劃分相互的[0033]低分辨率訓(xùn)練集中包含低分辨率人臉樣本圖像，高分辨率訓(xùn)練集中包含高分辨率練集中每個(gè)低分辨率人臉樣本圖像是由高分辨率訓(xùn)練集中的一個(gè)高分辨率人臉樣本圖像，，[0034] 實(shí)施例中設(shè)輸入的低分辨率人臉圖像高分辨率訓(xùn)練集和低分辨率訓(xùn)練集。即低分辨率訓(xùn)練中包含低分辨率人臉樣本圖像高分辨率訓(xùn)練中包含高分辨率人臉樣本圖像。為便于后續(xù)替換起見實(shí)施例將低分辨率人臉樣本圖像和高分辨率人臉樣本圖像對(duì)應(yīng)編號(hào)即低分辨率人臉樣本圖是高分辨率人臉樣本圖通過Bicubic下采樣四倍的結(jié)。低分辨率訓(xùn)練集中低分辨率人臉樣本圖像的個(gè)數(shù)和高分辨率訓(xùn)練集中高分辨率人臉樣本圖像的個(gè)數(shù)相同都。[0035] 將低分辨率人臉圖像劃分圖像塊所得集合為將高分辨率訓(xùn)練集和低分辨率訓(xùn)練集相應(yīng)地劃分圖像塊所得集合分別為和表示低辨率訓(xùn)練集中低分辨率人臉樣本圖像的個(gè)數(shù)和高辨率訓(xùn)練集中高分辨率人臉樣本圖像的個(gè)數(shù)如圖2所，，示 表示所劃分的圖像塊在圖像塊坐標(biāo) 下的位置信息即圖像塊的行號(hào)和號(hào)。以待劃分的圖像左上方為起點(diǎn)劃分得到的圖像塊位置信息 、。位 處的圖像塊上下左右鄰接的圖像塊在坐標(biāo)系下的坐標(biāo)分別、、和、。、和、[0036]和分別表示每一行和每一行劃分出的圖像塊數(shù)本發(fā)明對(duì)輸入的低分辨率人×[0037]具體的和數(shù)值根據(jù)圖像劃分方式得到本發(fā)明對(duì)圖像劃分相互的圖像×的圖像塊，使圖像塊的上方和左方與已劃分部分有個(gè)像素交疊（ （1） 其中 和分別表示圖像的行數(shù)和列（單位像素 表劃分出的正方形圖像塊的邊長(zhǎng) 表示圖像塊與圖像塊之間交疊的像素個(gè)數(shù)表示返回大于或者等于的最小整數(shù)即位置處的圖像塊與上下左右鄰接的圖像塊分 一個(gè)×的矩形區(qū)域當(dāng)然圖像塊位于圖像邊緣時(shí)除外。 “回退”并以右邊邊緣為基準(zhǔn)的策略進(jìn)行分塊4[0043]步驟2對(duì)于低分辨率人臉圖像的每一個(gè)位置上的圖像塊計(jì)算在局部約束下由低分辨率訓(xùn)練集中所有低分辨率人臉樣本圖像該位置上的圖像塊對(duì)它進(jìn)行線性重建時(shí)的最優(yōu)權(quán)值系數(shù)。 [0045]，，，，局部約束其中為來自低分辨率訓(xùn)練集中第個(gè)低分辨率人臉樣本圖像中第行第列圖像塊的重建系數(shù)是由所有M張低分辨率人臉樣本圖像中第行第列圖像塊的重建系數(shù)組成的行向量為重建系數(shù)，，，，，，內(nèi)積運(yùn)算，表示歐氏平方距離返回關(guān)于變量，，時(shí)的取值即所要求的最優(yōu)權(quán)值系數(shù)

為合成低分辨率人臉圖像的第行第列圖像塊時(shí)來自低分辨率訓(xùn)練集中第個(gè)低分辨率人臉樣本圖像中第行， 為輸入的低分辨率人臉圖像中第行第列的圖像塊為低辨率訓(xùn)練集的第個(gè)低分辨率人臉樣本圖像中第行第列的圖像塊。當(dāng)圖像塊距離輸，入圖像塊較大時(shí)賦予較大的懲罰反之當(dāng)圖像塊距離輸入圖像子: （3的重建效果不同當(dāng)時(shí)本發(fā)明中的局部約束表示方法就為文獻(xiàn)6中最小二乘表示方法。本發(fā)明的建議的取值在0.02到0.1之間。 （5） 即為在局部約束下由低分辨率訓(xùn)練集中所有低分辨率人臉樣本圖像塊對(duì) 為對(duì)矩陣D第m行m列的取值 為重建系 的懲罰因 （7） 矩陣C （8） 其 是由低分辨率訓(xùn)練集中所 個(gè)低分辨率人臉樣本圖像在，行第列的圖像塊對(duì)應(yīng)的列向量所組成的矩陣， 是元素全為1的行向量表示矩陣C的轉(zhuǎn)置矩陣。， 樣本圖像的圖像塊用步驟2所得最優(yōu)權(quán)重系數(shù)合成高分辨率人臉圖像塊 （9）[0065]其中，為步驟2中合成低分辨率人臉圖像的第行第列圖像塊時(shí)來自低分辨率訓(xùn)練集中第個(gè)低分辨率人臉樣本圖像中第行第列圖像塊的最優(yōu)權(quán)值系數(shù)，為高辨率訓(xùn)練集的第個(gè)高分辨率人臉樣本圖像中第行第列的圖像塊。 表示下由低分辨率訓(xùn)練集中所有個(gè)低分辨率人臉樣本圖像該位置上的圖像塊進(jìn)行、、、性重建的權(quán)值系數(shù)為…。用樣本的圖像塊來近似表示輸入的圖像塊會(huì)存在一定的誤差，因此圖1、、、、為位置對(duì)應(yīng)的高分辨率人臉樣本圖像的圖像塊用權(quán)值系 、 …合成、 3交疊次數(shù)矩陣F（所有元素值為0）； b，將高分辨率人臉圖像塊按位置疊加到圖像矩陣I疊了一次； [0076] 采用了FEI人臉數(shù)據(jù)庫(kù)（8Z.Wang,A.Bovik,H.Sheikh,andE.Simoncelli,“Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity,”IEEETrans.ImageProcessvol.13,no.4,pp.600–612,2004.。，圖像塊交疊為1個(gè)像素。即對(duì)于高分辨率的圖像=120,=100,，，=12,=4對(duì)于低分辨率的圖像=30,=25,=3,，=1 [0079]采用文獻(xiàn)9的稀疏求解方（E.C