圖像超分辨重建中的若干問題研究StudiesonSeveralProblemsinImageSuper-resolutionReconstruction編輯課件1圖像超分辨重建中的StudiesonSeveralPr超分辨的背景和意義成本過高物理極限編輯課件2超分辨的背景和意義成本過高物理極限編輯課件2應(yīng)用場景1)消費電子：數(shù)字高清電視（HDTV)。2)衛(wèi)星遙感圖像分析。3)安檢監(jiān)控。4)醫(yī)學影像處理。頸動脈MRI圖像超分辨重建編輯課件3應(yīng)用場景1)消費電子：數(shù)字高清電視（HDTV)。2)衛(wèi)星國內(nèi)外的研究進展Lukosz提出序列超分辨：通過提高成像時間分辨率來換取成像空間分辨率的提高。LukoszW.Opticalsystemswithresolvingpowersexceedingtheclassicallimit[J].JOSA,1966,56(11):1463-1471.最早提出超分辨率重建概念的是Harris和Goodman：HarrisJL.Diffractionandresolvingpower[J].JournaloftheOpticalSocietyofAmerica,1964,54(7):931-933.編輯課件4國內(nèi)外的研究進展Lukosz提出序列超分辨：序列超分辨例子編輯課件5序列超分辨例子編輯課件5序列超分辨的基本步驟超分辨重建技術(shù)主要分為配準和融合兩個階段：配準：估計各低分辨率圖像的相對移動關(guān)系；(2)重建：根據(jù)配準結(jié)果將低分辨率圖像放置到高分辨率網(wǎng)格上，

融合重建高分辨率圖像。(3)后處理：去模糊等，增強圖像。在低分辨圖像進行運動估計，估計的可靠性？病態(tài)問題，算法的魯棒性，有效的先驗正則化？編輯課件6序列超分辨的基本步驟超分辨重建技術(shù)主要分為配準和融合超分辨的極限問題：時間分辨率

空間分辨率BakerS,KanadeT.Limitsonsuper-resolutionandhowtobreakthem[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2002,24(9):1167-1183.解答：基于學習的單幅超分辨方法編輯課件7超分辨的極限問題：時間分辨率空間分辨基于學習的單幅超分辨方法編輯課件8基于學習的單幅超分辨方法編輯課件8樣本多義性的問題高分辨率圖像與低分辨率圖像間的多義性示意圖編輯課件9樣本多義性的問題高分辨率圖像與低分辨率圖像間的多義性示意圖編目前超分辨重建中需要解決的問題可靠運動估計問題重建方法魯棒性問題序列中信息有破缺的問題單幅圖像重建中的樣本多義性問題編輯課件10目前超分辨重建中需要解決的問題可靠運動估計問題重建方法魯棒性基于非局部正則化和可靠運動估計的超分辨重建傳統(tǒng)方法：

(1)全局運動假設(shè)衛(wèi)星遙感實際視頻(2)局部塊匹配和光流法(3)概率運動場編輯課件11基于非局部正則化和可靠運動估計的超分辨重建傳統(tǒng)方法：衛(wèi)星遙感基于非局部正則化和可靠運動估計的超分辨重建序列超分辨的觀測模型：(1)(2)編輯課件12基于非局部正則化和可靠運動估計的超分辨重建序列超分辨的觀測模基于非局部正則化和可靠運動估計的超分辨重建逆問題的MAP建模：根據(jù)根據(jù)貝葉斯公式，最大后驗概率可表示為：似然條件圖像先驗條件運動場先驗條件編輯課件13基于非局部正則化和可靠運動估計的超分辨重建逆問題的MAP建?；诜蔷植空齽t化和可靠運動估計的超分辨重建似然條件：根據(jù)假定各幀低分辨圖像獲取的過程中是統(tǒng)計獨立，則，其中(2)(1)編輯課件14基于非局部正則化和可靠運動估計的超分辨重建似然條件：根據(jù)假定圖像先驗條件：下采樣下采樣Slover1Slover2基于非局部正則化和可靠運動估計的超分辨重建編輯課件15圖像先驗條件：下采樣下采樣Slover1Slover2基于非根據(jù)Patchtobedenoised非局部平均去噪NLM(Non-LocalMeans)編輯課件16根據(jù)Patchtobe非局部平均去噪編輯課件16運動場先驗條件：基于非局部正則化和可靠運動估計的超分辨重建Horn-Schunck光流約束：片段光滑編輯課件17運動場先驗條件：基于非局部正則化和可靠運動估計的超分辨重建H最大后驗概率的問題的求解將求解最大后驗概率的問題轉(zhuǎn)換為能量最小化的問題：交替迭代求解：運動場：圖像重建：編輯課件18最大后驗概率的問題的求解將求解最大后驗概率的問題轉(zhuǎn)換為能量最可靠運動估計（配準）傳統(tǒng)光流法無法直接應(yīng)用于超分辨場合(c)真實光流場(d)傳統(tǒng)光流結(jié)果(e)本文方法編輯課件19可靠運動估計（配準）傳統(tǒng)光流法無法直接應(yīng)用于超分辨場合(c)光流法失效原因分析問題1：混疊破壞了傳統(tǒng)光強不變假設(shè)解決：“coarse-to-fine”的迭代優(yōu)化策略編輯課件20光流法失效原因分析問題1：混疊破壞了傳統(tǒng)光強不變假設(shè)解決：“光流法失效原因分析問題2：光強不變假設(shè)成立，光流求解的穩(wěn)定性“光強不變”假設(shè)：光流方程：(1)(2)考慮光流方程的病態(tài)本質(zhì)，需要添加額外的約束才能求得光流:(1)Horn-Schunck光流約束：片段光滑(2)Lucas-Kanade

光流約束：鄰域光流一致編輯課件21光流法失效原因分析問題2：光強不變假設(shè)成立，光流求解的穩(wěn)定性光流法失效原因分析問題：數(shù)值解的穩(wěn)定性對光流d的求解，可利用最小二乘法求解：編輯課件22光流法失效原因分析問題：數(shù)值解的穩(wěn)定性對光流d的求解，可利用光流法失效原因分析問題：數(shù)值解的穩(wěn)定性

應(yīng)當可逆，考慮到抗噪性，其能量不應(yīng)過小------特征值不應(yīng)過小。

的條件數(shù)應(yīng)該接近于1。------特征值比值應(yīng)該接近于1。編輯課件23光流法失效原因分析問題：數(shù)值解的穩(wěn)定性應(yīng)當可逆，考慮到抗噪光流法失效原因分析解決：光流場可靠性度量編輯課件24光流法失效原因分析解決：光流場可靠性度量編輯課件24光流法失效原因分析解決：可靠光流的自適應(yīng)傳播擴散系數(shù)的自適應(yīng)變換：編輯課件25光流法失效原因分析解決：可靠光流的自適應(yīng)傳播擴散系數(shù)的自適應(yīng)光流法失效原因分析雙邊濾波器（BilateralFilter）.TomasiC,ManduchiR.Bilateralfilteringforgrayandcolorimages[C]ICCV,1998:839-846.空域約束亮度域約束擴散效果：編輯課件26光流法失效原因分析雙邊濾波器（BilateralFilte多約束自適應(yīng)擴散濾波器空域約束亮度域約束光流域約束可靠性約束其中，

為不可靠區(qū)域半徑函數(shù)擴散范圍：編輯課件27多約束自適應(yīng)擴散濾波器空域約束亮度域約束光流域約束可靠性約束匹配權(quán)重計算匹配權(quán)重描述的是重建高分辨率圖像在經(jīng)過運動場

和下采樣

的作用之后，與輸入低分辨率幀之間的匹配程度：編輯課件28匹配權(quán)重計算匹配權(quán)重描述的是重建高分辨率圖像在經(jīng)過運動場和模糊核估計15x15windowsLevinA,WeissY,DurandF,etal.Understandingandevaluatingblinddeconvolutionalgorithms[C]CVPR,2009:1964-1971.編輯課件29模糊核估計15x15windowsLevinA,Wei利用階躍邊緣估計模糊核階躍函數(shù)沖擊函數(shù)求導編輯課件30利用階躍邊緣估計模糊核階躍函數(shù)沖擊函數(shù)求導編輯課件30利用階躍邊緣估計模糊核階躍邊緣梯度剖面與模糊核關(guān)系：編輯課件31利用階躍邊緣估計模糊核階躍邊緣梯度剖面與模糊核關(guān)系：編輯課件利用階躍邊緣估計模糊核編輯課件32利用階躍邊緣估計模糊核編輯課件32實驗結(jié)果(a)原圖(b)Lanczos插值(c)非局部平均(d)非局部核回歸(e)本文方法(a)原圖(b)Lanczos插值(c)非局部平均(d)非局部核回歸(e)本文方法編輯課件33實驗結(jié)果(a)原圖(b)Lanczos插值(c)非局實驗結(jié)果編輯課件34實驗結(jié)果編輯課件34實驗結(jié)果編輯課件35實驗結(jié)果編輯課件35實驗結(jié)果編輯課件36實驗結(jié)果編輯課件36實驗結(jié)果編輯課件37實驗結(jié)果編輯課件37實驗結(jié)果編輯課件38實驗結(jié)果編輯課件38本章小結(jié)(1)配準：利用圖像自身的空間一致性，約束擴散濾波器，對可靠運動信息進行傳播，獲得了可靠運動場。(2)重建：利用圖像非局部相似性，構(gòu)造圖像先驗來代替?zhèn)鹘y(tǒng)的基于梯度統(tǒng)計特性的圖像先驗。(3)后處理：利用圖像中的階躍邊緣，對模糊核進行估計編輯課件39本章小結(jié)(1)配準：利用圖像自身的空間一致性，約束擴散濾波自適應(yīng)魯棒多幀圖像超分辨重建算法美，往往不漂亮?！鸬鋺騽〖宜固亓直uber范數(shù)混合型范數(shù)（hybridL1/L2）問題：實際環(huán)境中存在不同類型的噪聲，理想模型

與現(xiàn)實的偏差。解決：選擇次最優(yōu)，但魯棒的方法。編輯課件40自適應(yīng)魯棒多幀圖像超分辨重建算法美，往往不漂亮。Huber配準魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/L2）ProtterM,EladM.Superresolutionwithprobabilisticmotionestimation[J].IEEETransactionsonImageProcessing2009,18(8):1899-1904.不需要精確配準信息的超分辨方法：基于概率運動場的觀測模型：概率運動場的基本思想：概率運動場，即假定圖像中的一個像素可以有多種運動的可能，同時給出這些運動的可能性大?。?quán)重），增加冗余性

換取魯棒性。編輯課件41配準魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/重建魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/L2）基于概率運動場的超分辨最大似然解：引入正則項的超分辨重建模型：雙邊總變分正則項(BilateralTotalVariation,BTV)：正則項編輯課件42重建魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/M-估計穩(wěn)健統(tǒng)計理論（Robuststatistics）。穩(wěn)健統(tǒng)計理論主要研究的是當總體假設(shè)與實際情況不相符時，統(tǒng)計方法的適應(yīng)性問題。在穩(wěn)健統(tǒng)計理論中，基于最大似然估計思想的一類方法被稱為M估計。L2-范數(shù)：測度函數(shù)的選擇：對應(yīng)最小二乘解，在高斯分布下為最優(yōu)解L1-范數(shù)：對應(yīng)中值估計，在高斯分布下非最優(yōu)解，但魯棒估計直線的例子：..............L1-normestimationL2-normestimationOutlier編輯課件43M-估計穩(wěn)健統(tǒng)計理論（Robuststatistics）。Huber范數(shù)L1-normestimationL2-normestimationOutlierHuber范數(shù)混合型范數(shù)（hybridL1/L2）編輯課件44Huber范數(shù)L1-normestimationL2-n基于加權(quán)Huber估計的超分辨基于加權(quán)Huber范數(shù)的魯棒估計優(yōu)化問題：采用梯度最速下降法(gradientdescent)進行迭代優(yōu)化求解：編輯課件45基于加權(quán)Huber估計的超分辨基于加權(quán)Huber范數(shù)的魯棒估自適應(yīng)正則化參數(shù)的選擇通常需要在平滑噪聲和保持圖像細節(jié)之間進行權(quán)衡：LeeES,KangMG.Regularizedadaptivehigh-resolutionimagereconstructionconsideringinaccuratesubpixelregistration[J].IEEETransactionsonImageProcessing,2003,12(7):826-837.(1)(2)(3)編輯課件46自適應(yīng)正則化參數(shù)的選擇通常需要在平滑噪聲和保持圖像細節(jié)之間進概率運動場權(quán)重計算L1-normestimationL2-normestimationOutlier映射函數(shù)選擇原則：單調(diào)遞減函數(shù)，將[0,∞)映射為[1,0]e指數(shù)函數(shù)的缺點：形狀依賴于標準差σ，但σ很難確定。因此根據(jù)映射函數(shù)選擇原則，利用Heaviside逼近函數(shù)實現(xiàn)映射。(1)誤差：(2)映射：主運動：臨界轉(zhuǎn)換點：(1)(2)編輯課件47概率運動場權(quán)重計算L1-normestimationL2-權(quán)重映射曲線L1-normestimationL2-normestimationOutlier編輯課件48權(quán)重映射曲線L1-normestimationL2-nor實驗結(jié)果編輯課件49實驗結(jié)果編輯課件49實驗結(jié)果編輯課件50實驗結(jié)果編輯課件50實驗結(jié)果編輯課件51實驗結(jié)果編輯課件51實驗結(jié)果編輯課件52實驗結(jié)果編輯課件52實驗結(jié)果編輯課件53實驗結(jié)果編輯課件53本章小結(jié)配準：

模糊運動場，即假定圖像中的一個像素可以有多種運動的可能，

同時給出這些運動的可能性大?。?quán)重），增加冗余性換取魯棒性。(2)重建：穩(wěn)健回歸(M-估計)指出，L1范數(shù)估計較L2范數(shù)估計，次最優(yōu)，

但對大的偏差(outlier)具有很好的抵抗力。問題：實際環(huán)境中存在不同類型的噪聲，理想模型與現(xiàn)實的偏差。解決：選擇次最優(yōu)，但魯棒的方法。Huber范數(shù)混合型范數(shù)（hybridL1/L2）編輯課件54本章小結(jié)配準：模糊運動場，即假定圖像中的一個像素可以有多融合單幀復原技術(shù)的多幀圖像超分辨重建Tobe,ornottobe—thatisthequestion——WilliamShakespeare問題：如果序列中未能保存下足夠的信息怎么辦解決：結(jié)合從外部樣本庫中學習的知識來恢復。編輯課件55融合單幀復原技術(shù)的多幀圖像超分辨重建Tobe,orno融合單幀復原技術(shù)的多幀圖像超分辨重建算法流程圖編輯課件56融合單幀復原技術(shù)的多幀圖像超分辨重建算法流程圖編輯課件56概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建有效/無效區(qū)域)采用硬閾值，剔除“異常點”的問題：編輯課件57概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建有效/無效區(qū)域)M（無效區(qū)域）(1)(2)編輯課件58概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建壓縮感知與稀疏表示稀疏編碼模型:1、獲取稀疏編碼：2、由稀疏編碼重建高分辨圖像：編輯課件59壓縮感知與稀疏表示稀疏編碼模型:1、獲取稀疏編碼：2、由稀疏加權(quán)稀疏編碼模型加權(quán)稀疏編碼模型：CandesEJ,WakinMB,BoydSP.EnhancingsparsitybyreweightedL1minimization[J].JournalofFourierAnalysisandApplications,2008,14(5-6):877-905.編輯課件60加權(quán)稀疏編碼模型加權(quán)稀疏編碼模型：CandesEJ,W稀疏編碼模型加入非局部正則化編輯課件61稀疏編碼模型加入非局部正則化編輯課件61稀疏編碼模型這是一個加權(quán)L1范數(shù)的線性反問題，該問題可以利用迭代收縮算法進行求解DaubechiesI,DefriseM,DeMolC.Aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[J].CommunicationsonPureandAppliedMathematics,2004,57(11):1413-1457.編輯課件62稀疏編碼模型這是一個加權(quán)L1范數(shù)的線性反問題，該問題可以利實驗結(jié)果：編輯課件63實驗結(jié)果：編輯課件63實驗結(jié)果：編輯課件64實驗結(jié)果：編輯課件64實驗結(jié)果：編輯課件65實驗結(jié)果：編輯課件65本章小結(jié)問題：如果序列中未能保存下足夠的信息怎么辦？解決：結(jié)合從外部樣本庫中學習的知識來恢復。稀疏表示樣本庫稀疏字典Φ從序列中獲取信息從樣本中獲取信息編輯課件66本章小結(jié)問題：如果序列中未能保存下足夠的信息怎么辦？稀疏表示超分辨的極限問題：時間分辨率

空間分辨率BakerS,KanadeT.Limitsonsuper-resolutionandhowtobreakthem[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2002,24(9):1167-1183.解答：基于學習的方法編輯課件67超分辨的極限問題：時間分辨率空間分辨Edge-focused[Sunetal.]Example-based[Freemanetal.]PriorExamples編輯課件68Edge-focused[Sunetal.]ExamplHRFeatureSpaceLRFeatureSpaceSimilarLRImageHRImageMani-foldlearning&SparseRepresentation[Changetal.][Yangetal.]編輯課件69HRFeatureSpaceLRFeatureSpaImprovementNonlocalCentralizedSPSR[Dong,2013]Semi-CoupledDictionaryLearning[Wang,2012]AdaptiveSparseDomainSelection[Dong,2011]JointLearningCoupledConstraint[Gao,2012]?Ambiguity:One-to-manyMapping編輯課件70ImprovementNonlocalCentralize基于情景感知和跨層相似性的單幅超分辨方法編輯課件71基于情景感知和跨層相似性的單幅超分辨方法編輯課件71(

SparseCodingModel(nonparametric):trainingexampleselectionrules:(1)(2)(StructureMatrix)圖像中重要結(jié)構(gòu)稀疏編碼模型(1)(2)編輯課件72(SparseCodingModel(nonpa(主要結(jié)構(gòu)重建結(jié)果編輯課件73(主要結(jié)構(gòu)重建結(jié)果編輯課件73基于跨尺度相似性的細節(jié)重建編輯課件74基于跨尺度相似性的細節(jié)重建編輯課件74基于跨尺度相似性的細節(jié)重建編輯課件75基于跨尺度相似性的細節(jié)重建編輯課件75示例樣本的多義性高分辨率圖像與低分辨率圖像間的多義性示意圖編輯課件76示例樣本的多義性高分辨率圖像與低分辨率圖像間的多義性示意圖編自然語言中多義詞歧義消除系統(tǒng)編輯課件77自然語言中多義詞歧義消除系統(tǒng)編輯課件77示例樣本多義性歧義消除系統(tǒng)圖塊的局部情景系統(tǒng)編輯課件78示例樣本多義性歧義消除系統(tǒng)圖塊的局部情景系統(tǒng)編輯課件78示例樣本多義性歧義消除系統(tǒng)給定一個低分辨圖塊

的情況下，該模型度量了

能夠在示例金字塔中找到高質(zhì)量的高分辨樣本進行重建的可能性大小。編輯課件79示例樣本多義性歧義消除系統(tǒng)給定一個低分辨圖塊的情況下，該模情景感知圖編輯課件80情景感知圖編輯課件80基于馬爾科夫隨機場的細節(jié)合成編輯課件81基于馬爾科夫隨機場的細節(jié)合成編輯課件81細節(jié)重建結(jié)果編輯課件82細節(jié)重建結(jié)果編輯課件82細節(jié)與邊緣的融合按照情景感知權(quán)重進行融合：編輯課件83細節(jié)與邊緣的融合按照情景感知權(quán)重進行融合：編輯課件83邊緣重建實驗結(jié)果：編輯課件84邊緣重建實驗結(jié)果：編輯課件84輸入圖片本身作為示例的實驗結(jié)果：編輯課件85輸入圖片本身作為示例的實驗結(jié)果：編輯課件85輸入圖片本身作為示例的實驗結(jié)果：編輯課件86輸入圖片本身作為示例的實驗結(jié)果：編輯課件86輸入圖片本身作為示例的實驗結(jié)果：編輯課件87輸入圖片本身作為示例的實驗結(jié)果：編輯課件87提供外部示例的實驗結(jié)果：編輯課件88提供外部示例的實驗結(jié)果：編輯課件88提供外部示例的實驗結(jié)果：編輯課件89提供外部示例的實驗結(jié)果：編輯課件89客觀評價指標：編輯課件90客觀評價指標：編輯課件90本章小結(jié)問題：序列超分辨遇到極限解決：基于學習的單幀超分辨方法邊緣細節(jié)樣本多義性問題對主要結(jié)構(gòu)進行學習情景感知編輯課件91本章小結(jié)問題：序列超分辨遇到極限邊緣細節(jié)樣本多義性問題對主要創(chuàng)新點摘要（1）針對現(xiàn)有超分辨算法運動估計不準的問題，提出了一種基于非局部正則化和可靠運動估計的序列超分辨方法。該方法不僅能夠利用局部空間一致性對不可靠的運動估計進行修正，還可以利用非局部信息減小噪聲對重建的影響，因此有效地改善了超分辨重建的質(zhì)量。（2）針對傳統(tǒng)序列超分辨方法對于模型假設(shè)與實際情況的偏差過于敏感的問題，提出了一種自適應(yīng)魯棒超分辨方法，該方法將概率運動場和魯棒估計方法相結(jié)合，分別從配準和重建兩個方面對傳統(tǒng)超分辨方法的魯棒性進行了提升。（3）針對實際拍攝過程中可能存在序列信息破缺的問題，提出了一種融入單幅超分辨技術(shù)的序列超分辨方法。該方法可以對破缺區(qū)域進行檢測，并利用基于稀疏模型的單幅圖像復原技術(shù)從外部樣本庫中獲取信息，對破缺信息進行補全，因此改善了序列信息破缺情況下的超分辨重建質(zhì)量。（4）針對單幅圖像超分辨中高低分辨率樣本間的多義性問題，提出了一種綜合重建框架，該框架利用“去噪”編碼模型減小了二義性對邊緣重建的影響，利用樣本情景信息消除了二義性對細節(jié)重建的影響。從而從邊緣和細節(jié)兩方面提高了單幅超分辨的重建質(zhì)量。編輯課件92創(chuàng)新點摘要（1）針對現(xiàn)有超分辨算法運動估計不準的問題，提出了展望(1)算法執(zhí)行的效率問題。當處理圖像的尺寸變大時，超分辨算法的計算量往往會成倍增長。因此算法的執(zhí)行效率成為了制約超分辨重建技術(shù)在實際中使用的一個重要因素。(2)樣本的仿射不變性問題。在單幅圖像超分辨方法中，盡管可以利用圖像金字塔，來解決樣本搜索過程中的尺度不變性問題。但是如果示例樣本受到了其它因素的干擾，如產(chǎn)生了仿射形變等，則會對高質(zhì)量示例樣本的尋找?guī)砗艽蟮挠绊憽?3)重建結(jié)果的質(zhì)量評價。圖像質(zhì)量評價方法對圖像處理研究結(jié)果的展示和評估具有重要意義。然而圖像處理領(lǐng)域中最常用的客觀評價方法如PSNR，SSIM等都不能完全反映圖像信息，特別是在超分辨領(lǐng)域，重建效果的主觀評價結(jié)果往往和客觀評價標準不能保持一致，這對超分辨結(jié)果的評價帶來了很大的困擾，因而適用于超分辨領(lǐng)域的圖像質(zhì)量評價標準仍然需要進一步研究。編輯課件93展望(1)算法執(zhí)行的效率問題。編輯課件93圖像超分辨重建中的若干問題研究StudiesonSeveralProblemsinImageSuper-resolutionReconstruction編輯課件94圖像超分辨重建中的StudiesonSeveralPr超分辨的背景和意義成本過高物理極限編輯課件95超分辨的背景和意義成本過高物理極限編輯課件2應(yīng)用場景1)消費電子：數(shù)字高清電視（HDTV)。2)衛(wèi)星遙感圖像分析。3)安檢監(jiān)控。4)醫(yī)學影像處理。頸動脈MRI圖像超分辨重建編輯課件96應(yīng)用場景1)消費電子：數(shù)字高清電視（HDTV)。2)衛(wèi)星國內(nèi)外的研究進展Lukosz提出序列超分辨：通過提高成像時間分辨率來換取成像空間分辨率的提高。LukoszW.Opticalsystemswithresolvingpowersexceedingtheclassicallimit[J].JOSA,1966,56(11):1463-1471.最早提出超分辨率重建概念的是Harris和Goodman：HarrisJL.Diffractionandresolvingpower[J].JournaloftheOpticalSocietyofAmerica,1964,54(7):931-933.編輯課件97國內(nèi)外的研究進展Lukosz提出序列超分辨：序列超分辨例子編輯課件98序列超分辨例子編輯課件5序列超分辨的基本步驟超分辨重建技術(shù)主要分為配準和融合兩個階段：配準：估計各低分辨率圖像的相對移動關(guān)系；(2)重建：根據(jù)配準結(jié)果將低分辨率圖像放置到高分辨率網(wǎng)格上，

融合重建高分辨率圖像。(3)后處理：去模糊等，增強圖像。在低分辨圖像進行運動估計，估計的可靠性？病態(tài)問題，算法的魯棒性，有效的先驗正則化？編輯課件99序列超分辨的基本步驟超分辨重建技術(shù)主要分為配準和融合超分辨的極限問題：時間分辨率

空間分辨率BakerS,KanadeT.Limitsonsuper-resolutionandhowtobreakthem[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2002,24(9):1167-1183.解答：基于學習的單幅超分辨方法編輯課件100超分辨的極限問題：時間分辨率空間分辨基于學習的單幅超分辨方法編輯課件101基于學習的單幅超分辨方法編輯課件8樣本多義性的問題高分辨率圖像與低分辨率圖像間的多義性示意圖編輯課件102樣本多義性的問題高分辨率圖像與低分辨率圖像間的多義性示意圖編目前超分辨重建中需要解決的問題可靠運動估計問題重建方法魯棒性問題序列中信息有破缺的問題單幅圖像重建中的樣本多義性問題編輯課件103目前超分辨重建中需要解決的問題可靠運動估計問題重建方法魯棒性基于非局部正則化和可靠運動估計的超分辨重建傳統(tǒng)方法：

(1)全局運動假設(shè)衛(wèi)星遙感實際視頻(2)局部塊匹配和光流法(3)概率運動場編輯課件104基于非局部正則化和可靠運動估計的超分辨重建傳統(tǒng)方法：衛(wèi)星遙感基于非局部正則化和可靠運動估計的超分辨重建序列超分辨的觀測模型：(1)(2)編輯課件105基于非局部正則化和可靠運動估計的超分辨重建序列超分辨的觀測?；诜蔷植空齽t化和可靠運動估計的超分辨重建逆問題的MAP建模：根據(jù)根據(jù)貝葉斯公式，最大后驗概率可表示為：似然條件圖像先驗條件運動場先驗條件編輯課件106基于非局部正則化和可靠運動估計的超分辨重建逆問題的MAP建?；诜蔷植空齽t化和可靠運動估計的超分辨重建似然條件：根據(jù)假定各幀低分辨圖像獲取的過程中是統(tǒng)計獨立，則，其中(2)(1)編輯課件107基于非局部正則化和可靠運動估計的超分辨重建似然條件：根據(jù)假定圖像先驗條件：下采樣下采樣Slover1Slover2基于非局部正則化和可靠運動估計的超分辨重建編輯課件108圖像先驗條件：下采樣下采樣Slover1Slover2基于非根據(jù)Patchtobedenoised非局部平均去噪NLM(Non-LocalMeans)編輯課件109根據(jù)Patchtobe非局部平均去噪編輯課件16運動場先驗條件：基于非局部正則化和可靠運動估計的超分辨重建Horn-Schunck光流約束：片段光滑編輯課件110運動場先驗條件：基于非局部正則化和可靠運動估計的超分辨重建H最大后驗概率的問題的求解將求解最大后驗概率的問題轉(zhuǎn)換為能量最小化的問題：交替迭代求解：運動場：圖像重建：編輯課件111最大后驗概率的問題的求解將求解最大后驗概率的問題轉(zhuǎn)換為能量最可靠運動估計（配準）傳統(tǒng)光流法無法直接應(yīng)用于超分辨場合(c)真實光流場(d)傳統(tǒng)光流結(jié)果(e)本文方法編輯課件112可靠運動估計（配準）傳統(tǒng)光流法無法直接應(yīng)用于超分辨場合(c)光流法失效原因分析問題1：混疊破壞了傳統(tǒng)光強不變假設(shè)解決：“coarse-to-fine”的迭代優(yōu)化策略編輯課件113光流法失效原因分析問題1：混疊破壞了傳統(tǒng)光強不變假設(shè)解決：“光流法失效原因分析問題2：光強不變假設(shè)成立，光流求解的穩(wěn)定性“光強不變”假設(shè)：光流方程：(1)(2)考慮光流方程的病態(tài)本質(zhì)，需要添加額外的約束才能求得光流:(1)Horn-Schunck光流約束：片段光滑(2)Lucas-Kanade

光流約束：鄰域光流一致編輯課件114光流法失效原因分析問題2：光強不變假設(shè)成立，光流求解的穩(wěn)定性光流法失效原因分析問題：數(shù)值解的穩(wěn)定性對光流d的求解，可利用最小二乘法求解：編輯課件115光流法失效原因分析問題：數(shù)值解的穩(wěn)定性對光流d的求解，可利用光流法失效原因分析問題：數(shù)值解的穩(wěn)定性

應(yīng)當可逆，考慮到抗噪性，其能量不應(yīng)過小------特征值不應(yīng)過小。

的條件數(shù)應(yīng)該接近于1。------特征值比值應(yīng)該接近于1。編輯課件116光流法失效原因分析問題：數(shù)值解的穩(wěn)定性應(yīng)當可逆，考慮到抗噪光流法失效原因分析解決：光流場可靠性度量編輯課件117光流法失效原因分析解決：光流場可靠性度量編輯課件24光流法失效原因分析解決：可靠光流的自適應(yīng)傳播擴散系數(shù)的自適應(yīng)變換：編輯課件118光流法失效原因分析解決：可靠光流的自適應(yīng)傳播擴散系數(shù)的自適應(yīng)光流法失效原因分析雙邊濾波器（BilateralFilter）.TomasiC,ManduchiR.Bilateralfilteringforgrayandcolorimages[C]ICCV,1998:839-846.空域約束亮度域約束擴散效果：編輯課件119光流法失效原因分析雙邊濾波器（BilateralFilte多約束自適應(yīng)擴散濾波器空域約束亮度域約束光流域約束可靠性約束其中，

為不可靠區(qū)域半徑函數(shù)擴散范圍：編輯課件120多約束自適應(yīng)擴散濾波器空域約束亮度域約束光流域約束可靠性約束匹配權(quán)重計算匹配權(quán)重描述的是重建高分辨率圖像在經(jīng)過運動場

和下采樣

的作用之后，與輸入低分辨率幀之間的匹配程度：編輯課件121匹配權(quán)重計算匹配權(quán)重描述的是重建高分辨率圖像在經(jīng)過運動場和模糊核估計15x15windowsLevinA,WeissY,DurandF,etal.Understandingandevaluatingblinddeconvolutionalgorithms[C]CVPR,2009:1964-1971.編輯課件122模糊核估計15x15windowsLevinA,Wei利用階躍邊緣估計模糊核階躍函數(shù)沖擊函數(shù)求導編輯課件123利用階躍邊緣估計模糊核階躍函數(shù)沖擊函數(shù)求導編輯課件30利用階躍邊緣估計模糊核階躍邊緣梯度剖面與模糊核關(guān)系：編輯課件124利用階躍邊緣估計模糊核階躍邊緣梯度剖面與模糊核關(guān)系：編輯課件利用階躍邊緣估計模糊核編輯課件125利用階躍邊緣估計模糊核編輯課件32實驗結(jié)果(a)原圖(b)Lanczos插值(c)非局部平均(d)非局部核回歸(e)本文方法(a)原圖(b)Lanczos插值(c)非局部平均(d)非局部核回歸(e)本文方法編輯課件126實驗結(jié)果(a)原圖(b)Lanczos插值(c)非局實驗結(jié)果編輯課件127實驗結(jié)果編輯課件34實驗結(jié)果編輯課件128實驗結(jié)果編輯課件35實驗結(jié)果編輯課件129實驗結(jié)果編輯課件36實驗結(jié)果編輯課件130實驗結(jié)果編輯課件37實驗結(jié)果編輯課件131實驗結(jié)果編輯課件38本章小結(jié)(1)配準：利用圖像自身的空間一致性，約束擴散濾波器，對可靠運動信息進行傳播，獲得了可靠運動場。(2)重建：利用圖像非局部相似性，構(gòu)造圖像先驗來代替?zhèn)鹘y(tǒng)的基于梯度統(tǒng)計特性的圖像先驗。(3)后處理：利用圖像中的階躍邊緣，對模糊核進行估計編輯課件132本章小結(jié)(1)配準：利用圖像自身的空間一致性，約束擴散濾波自適應(yīng)魯棒多幀圖像超分辨重建算法美，往往不漂亮?！鸬鋺騽〖宜固亓直uber范數(shù)混合型范數(shù)（hybridL1/L2）問題：實際環(huán)境中存在不同類型的噪聲，理想模型

與現(xiàn)實的偏差。解決：選擇次最優(yōu)，但魯棒的方法。編輯課件133自適應(yīng)魯棒多幀圖像超分辨重建算法美，往往不漂亮。Huber配準魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/L2）ProtterM,EladM.Superresolutionwithprobabilisticmotionestimation[J].IEEETransactionsonImageProcessing2009,18(8):1899-1904.不需要精確配準信息的超分辨方法：基于概率運動場的觀測模型：概率運動場的基本思想：概率運動場，即假定圖像中的一個像素可以有多種運動的可能，同時給出這些運動的可能性大小（權(quán)重），增加冗余性

換取魯棒性。編輯課件134配準魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/重建魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/L2）基于概率運動場的超分辨最大似然解：引入正則項的超分辨重建模型：雙邊總變分正則項(BilateralTotalVariation,BTV)：正則項編輯課件135重建魯棒性提升Huber范數(shù)混合型范數(shù)（hybridL1/M-估計穩(wěn)健統(tǒng)計理論（Robuststatistics）。穩(wěn)健統(tǒng)計理論主要研究的是當總體假設(shè)與實際情況不相符時，統(tǒng)計方法的適應(yīng)性問題。在穩(wěn)健統(tǒng)計理論中，基于最大似然估計思想的一類方法被稱為M估計。L2-范數(shù)：測度函數(shù)的選擇：對應(yīng)最小二乘解，在高斯分布下為最優(yōu)解L1-范數(shù)：對應(yīng)中值估計，在高斯分布下非最優(yōu)解，但魯棒估計直線的例子：..............L1-normestimationL2-normestimationOutlier編輯課件136M-估計穩(wěn)健統(tǒng)計理論（Robuststatistics）。Huber范數(shù)L1-normestimationL2-normestimationOutlierHuber范數(shù)混合型范數(shù)（hybridL1/L2）編輯課件137Huber范數(shù)L1-normestimationL2-n基于加權(quán)Huber估計的超分辨基于加權(quán)Huber范數(shù)的魯棒估計優(yōu)化問題：采用梯度最速下降法(gradientdescent)進行迭代優(yōu)化求解：編輯課件138基于加權(quán)Huber估計的超分辨基于加權(quán)Huber范數(shù)的魯棒估自適應(yīng)正則化參數(shù)的選擇通常需要在平滑噪聲和保持圖像細節(jié)之間進行權(quán)衡：LeeES,KangMG.Regularizedadaptivehigh-resolutionimagereconstructionconsideringinaccuratesubpixelregistration[J].IEEETransactionsonImageProcessing,2003,12(7):826-837.(1)(2)(3)編輯課件139自適應(yīng)正則化參數(shù)的選擇通常需要在平滑噪聲和保持圖像細節(jié)之間進概率運動場權(quán)重計算L1-normestimationL2-normestimationOutlier映射函數(shù)選擇原則：單調(diào)遞減函數(shù)，將[0,∞)映射為[1,0]e指數(shù)函數(shù)的缺點：形狀依賴于標準差σ，但σ很難確定。因此根據(jù)映射函數(shù)選擇原則，利用Heaviside逼近函數(shù)實現(xiàn)映射。(1)誤差：(2)映射：主運動：臨界轉(zhuǎn)換點：(1)(2)編輯課件140概率運動場權(quán)重計算L1-normestimationL2-權(quán)重映射曲線L1-normestimationL2-normestimationOutlier編輯課件141權(quán)重映射曲線L1-normestimationL2-nor實驗結(jié)果編輯課件142實驗結(jié)果編輯課件49實驗結(jié)果編輯課件143實驗結(jié)果編輯課件50實驗結(jié)果編輯課件144實驗結(jié)果編輯課件51實驗結(jié)果編輯課件145實驗結(jié)果編輯課件52實驗結(jié)果編輯課件146實驗結(jié)果編輯課件53本章小結(jié)配準：

模糊運動場，即假定圖像中的一個像素可以有多種運動的可能，

同時給出這些運動的可能性大小（權(quán)重），增加冗余性換取魯棒性。(2)重建：穩(wěn)健回歸(M-估計)指出，L1范數(shù)估計較L2范數(shù)估計，次最優(yōu)，

但對大的偏差(outlier)具有很好的抵抗力。問題：實際環(huán)境中存在不同類型的噪聲，理想模型與現(xiàn)實的偏差。解決：選擇次最優(yōu)，但魯棒的方法。Huber范數(shù)混合型范數(shù)（hybridL1/L2）編輯課件147本章小結(jié)配準：模糊運動場，即假定圖像中的一個像素可以有多融合單幀復原技術(shù)的多幀圖像超分辨重建Tobe,ornottobe—thatisthequestion——WilliamShakespeare問題：如果序列中未能保存下足夠的信息怎么辦解決：結(jié)合從外部樣本庫中學習的知識來恢復。編輯課件148融合單幀復原技術(shù)的多幀圖像超分辨重建Tobe,orno融合單幀復原技術(shù)的多幀圖像超分辨重建算法流程圖編輯課件149融合單幀復原技術(shù)的多幀圖像超分辨重建算法流程圖編輯課件56概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建有效/無效區(qū)域)采用硬閾值，剔除“異常點”的問題：編輯課件150概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建有效/無效區(qū)域)M（無效區(qū)域）(1)(2)編輯課件151概率運動場權(quán)重計算與無效區(qū)域確定自適應(yīng)閾值:(衡量序列重建壓縮感知與稀疏表示稀疏編碼模型:1、獲取稀疏編碼：2、由稀疏編碼重建高分辨圖像：編輯課件152壓縮感知與稀疏表示稀疏編碼模型:1、獲取稀疏編碼：2、由稀疏加權(quán)稀疏編碼模型加權(quán)稀疏編碼模型：CandesEJ,WakinMB,BoydSP.EnhancingsparsitybyreweightedL1minimization[J].JournalofFourierAnalysisandApplications,2008,14(5-6):877-905.編輯課件153加權(quán)稀疏編碼模型加權(quán)稀疏編碼模型：CandesEJ,W稀疏編碼模型加入非局部正則化編輯課件154稀疏編碼模型加入非局部正則化編輯課件61稀疏編碼模型這是一個加權(quán)L1范數(shù)的線性反問題，該問題可以利用迭代收縮算法進行求解DaubechiesI,DefriseM,DeMolC.Aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[J].CommunicationsonPureandAppliedMathematics,2004,57(11):1413-1457.編輯課件155稀疏編碼模型這是一個加權(quán)L1范數(shù)的線性反問題，該問題可以利實驗結(jié)果：編輯課件156實驗結(jié)果：編輯課件63實驗結(jié)果：編輯課件157實驗結(jié)果：編輯課件64實驗結(jié)果：編輯課件158實驗結(jié)果：編輯課件65本章小結(jié)問題：如果序列中未能保存下足夠的信息怎么辦？解決：結(jié)合從外部樣本庫中學習的知識來恢復。稀疏表示樣本庫稀疏字典Φ從序列中獲取信息從樣本中獲取信息編輯課件159本章小結(jié)問題：如果序列中未能保存下足夠的信息怎么辦？稀疏表示超分辨的極限問題：時間分辨率

空間分辨率BakerS,KanadeT.Limitsonsuper-resolutionandhowtobreakthem[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2002,24(9):1167-1183.解答：基于學習的方法編輯課件160超分辨的極限問題：時間分辨率空間分辨Edge-focused[Sunetal.]Example-based[Freemanetal.]PriorExamples編輯課件161Edge-focused[Sunetal.]ExamplHRFeatureSpaceLRFeatureSpaceSimilarLRImageHRImageMani-foldlearning&SparseRepresentation[Changetal.][Yangetal.]編輯課件162HRFeatureSpaceLRFeatureSpaImprovementNonlocalCentralizedSPSR[Dong,2013]Semi-CoupledDictionaryLearning[Wang,2012]AdaptiveSparseDomainSelection[Dong,2011]JointLearningCoupledConstraint[Gao,2012]?Ambiguity:One-to-manyMapping編輯課件163Impr