2025/1/111第六章圖像復(fù)原第五章圖像復(fù)原2025/1/112第六章圖像復(fù)原本章主要內(nèi)容：1.概述2.圖像的退化模型3.退化參數(shù)的估計(jì)4.圖像濾波復(fù)原法5.圖像代數(shù)復(fù)原法2025/1/113第六章圖像復(fù)原1.概述

什么是圖像退化

圖像的質(zhì)量變壞叫做退化。退化的形式有圖像模糊、圖像有干擾等

圖像退化的處理方法

無(wú)論是由光學(xué)、光電或電子方法獲得的圖像都會(huì)有不同程度的退化；

退化的形式多種多樣。如傳感器噪聲、攝像機(jī)未聚焦、物體與攝像設(shè)備之間的相對(duì)移動(dòng)、隨機(jī)大氣湍流、光學(xué)系統(tǒng)的相差、成像光源或射線的散射等；

如果我們對(duì)退化的類型、機(jī)制和過(guò)程都十分清楚，那么就可以利用其反過(guò)程來(lái)復(fù)原圖像。2025/1/114第六章圖像復(fù)原1.概述

典型的圖像復(fù)原方法是根據(jù)圖像退化的先驗(yàn)知識(shí)建立一個(gè)退化模型，以此模型為基礎(chǔ)，采用濾波等手段進(jìn)行處理，使得復(fù)原后的圖像符合一定的準(zhǔn)則，達(dá)到改善圖像質(zhì)量的目的。2025/1/115第六章圖像復(fù)原2.圖像的退化模型f(i,j)：原始圖像g(i,j)：降質(zhì)圖像T(·)：成像系統(tǒng)的作用，則：設(shè)T是線性的。一幅連續(xù)的圖像f(x,y)可以用抽樣函數(shù)的二維卷積表示：因此，，則有：2025/1/116第六章圖像復(fù)原2.圖像的退化模型為點(diǎn)擴(kuò)散函數(shù)(PSF)或系統(tǒng)沖擊響應(yīng)。多數(shù)情況下它表現(xiàn)為時(shí)不變的，反映在圖像中為位移不變的，則可以表示為其中*表示卷積運(yùn)算。如果T(·)是一個(gè)h可分離系統(tǒng)，即

稱則二維運(yùn)算可以分解為列和行兩次一維運(yùn)算來(lái)代替。

在加法噪聲情況下，圖像退化模型可以表示為其中n(x,y)為噪聲圖像2025/1/117第六章圖像復(fù)原2.圖像的退化模型線性位移不變的圖像退化模型則表示為：

f(x,y)

H

n(x,y)

g(x,y)

2025/1/118第六章圖像復(fù)原2.圖像的退化模型—離散圖像退化模型對(duì)于圖像降質(zhì)過(guò)場(chǎng)進(jìn)行數(shù)學(xué)建模f(i,j)：原始圖像y(i,j)：降質(zhì)圖像h(i,j;k,l)：點(diǎn)擴(kuò)散函數(shù)圖像為M×N維假設(shè)為空間不移變h(i,j;k,l)，則：2025/1/119第六章圖像復(fù)原2.圖像的退化模型—離散圖像退化模型用矩陣形式表示上式：y、f和n分別表示M×N的函數(shù)矩陣y(i,j)、f(i,j)和n(i,j)的各行或各列前后相連而成的維矢量。如果假設(shè)原始圖像是N×N維矩陣，則H是N

2×N

2模糊矩陣：H是一個(gè)分塊循環(huán)矩陣：每一個(gè)子矩陣H(i)自身也是循環(huán)矩陣：2025/1/1110第六章圖像復(fù)原2.圖像的退化模型—線性不變降質(zhì)算子

運(yùn)動(dòng)模糊通常在拍攝過(guò)程中，相機(jī)或物體移動(dòng)造成的運(yùn)動(dòng)模糊可以用一維均勻鄰域像素灰度的平均值來(lái)表示

大氣擾動(dòng)模糊這種模糊經(jīng)常出現(xiàn)在遙感和航空攝影中，由于曝光時(shí)間過(guò)長(zhǎng)引起的模糊可用高斯點(diǎn)擴(kuò)散函數(shù)來(lái)表示：式中K是一個(gè)歸一化常數(shù)，保證模糊的大小為單位值，σ2可以決定模糊的程度。2025/1/1111第六章圖像復(fù)原2.圖像的退化模型—線性不變降質(zhì)算子

均勻不聚焦模糊這是由于相機(jī)聚焦不準(zhǔn)確引起的，雖然不聚焦由許多參數(shù)決定，如相機(jī)的焦距、相機(jī)孔的大小、形狀、物體和相機(jī)之間的距離等，但在研究中為了簡(jiǎn)單起見，我們用下列函數(shù)表示聚焦不準(zhǔn)引起的模糊

均勻二維模糊這是最常見的一種模糊，可以用來(lái)近似聚焦不準(zhǔn)引起的模糊。其中L是奇數(shù)。2025/1/1112第六章圖像復(fù)原2.圖像的退化模型—線性不變降質(zhì)算子

通常模糊算子相當(dāng)于一個(gè)低通濾波器，因此當(dāng)模糊算子作用于原始圖像時(shí)，會(huì)引起圖像中邊緣和輪廓的模糊。7×7均勻二維模糊算子作用于圖像Camera的結(jié)果如下圖所示原始圖像

7×7均勻二維模糊算子作用后的結(jié)果2025/1/1113第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型數(shù)字圖像中的噪聲主要來(lái)源于圖像的獲取與傳輸過(guò)程白噪聲（Whitenoise）白噪聲的傅立葉頻譜為常數(shù)假定白噪聲與空間坐標(biāo)系相互獨(dú)立假定白噪聲與圖像像素之間相互獨(dú)立周期噪聲噪聲分布與空間坐標(biāo)系相關(guān)大多數(shù)周期性噪聲可通過(guò)頻域?yàn)V波基本消除2025/1/1114第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)高斯噪聲2025/1/1115第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)瑞利噪聲2025/1/1116第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)愛爾蘭（伽馬）噪聲2025/1/1117第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)指數(shù)分布噪聲2025/1/1118第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)均勻分布噪聲2025/1/1119第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型主要噪聲的概率密度函數(shù)脈沖噪聲（椒鹽噪聲）2025/1/1120第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲模型噪聲對(duì)于圖像的影響2025/1/1121第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲參數(shù)的估計(jì)所需參數(shù)通過(guò)傳感器特性進(jìn)行估計(jì)分析傳感器成像器件特性（溫度、光譜響應(yīng)、電子電路特性、。。。）使傳感器針對(duì)均勻灰度圖像成像從圖像本身進(jìn)行估計(jì)在圖像中截取具有恒定灰度值區(qū)域進(jìn)行計(jì)算直方圖2025/1/1122第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—噪聲參數(shù)的估計(jì)利用小的條帶法計(jì)算直方圖（右）：均勻噪聲（中）：瑞利噪聲（左）：高斯噪聲2025/1/1123第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—圖像恢復(fù)的相關(guān)指標(biāo)

模糊信噪比(BSNR,theBlurredSignal-to-NoiseRatio)表示由模糊和疊加噪聲引起的降質(zhì)程度2025/1/1124第六章圖像復(fù)原3.退化參數(shù)的估計(jì)—圖像恢復(fù)的相關(guān)指標(biāo)ISNR（theImprovementinSNR）ISNR只是評(píng)價(jià)圖像恢復(fù)算法好壞的一個(gè)客觀指標(biāo)，ISNR高并不一定主觀視覺效果好。2025/1/1125第六章圖像復(fù)原4.圖像濾波復(fù)原法

逆濾波對(duì)于圖像退化模型

兩邊取傅立葉變換

H(u,v)又稱為系統(tǒng)的轉(zhuǎn)移函數(shù)(或?yàn)V波函數(shù))，它使圖像退化。

在無(wú)噪聲的情況下，上式可以簡(jiǎn)化為：

這種1/H(u,v)的形式稱為逆濾波。再進(jìn)行傅立葉逆變換就可以得到f(x,y)。2025/1/1126第六章圖像復(fù)原4.圖像濾波復(fù)原法實(shí)際情況中，噪聲是不可避免的，因而只能求F(u,v)的估計(jì)值：

如果H(u,v)有許多零點(diǎn)，必然使得復(fù)原的結(jié)果受到極大影響?；蛘呷绻鸋(u,v)不為零但是有非常小的值，也即病態(tài)條件，也會(huì)使復(fù)原效果受到影響。解決這個(gè)問(wèn)題的方法是避開H(u,v)的零點(diǎn)。

幸好一般的H(u,v)在低頻附近的有限區(qū)域內(nèi)不為零。

因此逆濾波可以在原點(diǎn)附近進(jìn)行，相當(dāng)于在頻域乘上一低通窗口函數(shù)W(u,v)。

2025/1/1127第六章圖像復(fù)原4.圖像濾波復(fù)原法在理想無(wú)噪聲的理想情況下，等效于在空域f(x,y)和w(x,y)的卷積。逆濾波會(huì)使原圖像變模糊。只引入少量模糊，方法簡(jiǎn)單，因而受重視。逆濾波的應(yīng)用條件：退化圖像g(x,y)是信噪比較高的圖像。2025/1/1128第六章圖像復(fù)原4.圖像濾波復(fù)原法維納濾波器

逆濾波復(fù)原方法對(duì)噪聲極為敏感，要求信噪比較高，通常不滿足該條件。因此希望找到一種方法，在有噪聲條件下，從退化圖像g(x,y)復(fù)原出f(x,y)的估計(jì)值，該估計(jì)值符合一定的準(zhǔn)則。用向量f,g,n來(lái)表示f(x,y),g(x,y),n(x,y)，Q為對(duì)f的線性算子，在約束條件下求Qf的最小化而得到f的最佳估計(jì)。

基本原理2025/1/1129第六章圖像復(fù)原4.圖像濾波復(fù)原法用拉格朗日法求微分，γ可以用來(lái)調(diào)節(jié)以滿足約束條件。2025/1/1130第六章圖像復(fù)原4.圖像濾波復(fù)原法設(shè)Rf和Rn為f和n的相關(guān)矩陣：它們是對(duì)稱矩陣。對(duì)于大多數(shù)圖像而言，相鄰象素之間相關(guān)性很強(qiáng)，在20個(gè)象素之外，趨于零。在此條件下，Rf和Rn可以近似為分塊循環(huán)矩陣：其中A和B為對(duì)角陣，W為酋陣。若QTQ用Rf－1Rn來(lái)代替2025/1/1131第六章圖像復(fù)原4.圖像濾波復(fù)原法當(dāng)D為對(duì)角陣，分塊循環(huán)矩陣因此：寫成頻域形式為：其中Sff(u,v),Snn(u,v)分別是f(x,y)和n(x,y)的譜密度。2025/1/1132第六章圖像復(fù)原4.圖像濾波復(fù)原法卡爾曼濾波

維納濾波是對(duì)圖像為平穩(wěn)過(guò)程且已知相關(guān)函數(shù)情況下再假定為白噪聲條件下的最有線性濾波。

維納濾波提供了一種頻域?yàn)V波，顯然用頻域方法時(shí)，計(jì)算機(jī)的存儲(chǔ)量、計(jì)算量大而且不能向非平穩(wěn)過(guò)程推廣。

為了克服維納濾波的上述不足，卡爾曼等人在20世紀(jì)60年代初提出了一種遞歸濾波算法，即卡爾曼濾波。

由于空間技術(shù)的需要推動(dòng)了卡爾曼濾波的發(fā)展。它雖然也是根據(jù)隨機(jī)過(guò)程統(tǒng)計(jì)的觀點(diǎn)，但它可以在時(shí)域進(jìn)行?？柭鼮V波的另一個(gè)優(yōu)點(diǎn)是它用遞歸濾波的方法，節(jié)約了存儲(chǔ)量，減少了計(jì)算量。

卡爾曼濾波也是求最小方差意義上的最優(yōu)解，但它可以從某一點(diǎn)為起點(diǎn)去觀測(cè)，用遞歸方法計(jì)算，有利于計(jì)算機(jī)實(shí)時(shí)求解。2025/1/1133第六章圖像復(fù)原4.圖像濾波復(fù)原法卡爾曼離散狀態(tài)方程和觀測(cè)方程

卡爾曼離散濾波的兩個(gè)方程為狀態(tài)方程和觀測(cè)方程狀態(tài)方程觀測(cè)方程設(shè)Wk和觀測(cè)噪聲Vk為兩兩互不相關(guān)的零均值正態(tài)白噪聲系列2025/1/1134第六章圖像復(fù)原4.圖像濾波復(fù)原法

根據(jù)Y1,Y2,…,Yk去估計(jì)xk稱為卡爾曼濾波，根據(jù)Y1,Y2,…,Yk去估計(jì)xk＋1稱為卡爾曼預(yù)測(cè)或外推。問(wèn)題：無(wú)偏估計(jì)值：觀測(cè)數(shù)據(jù)的估值：以下差稱為新息，包含了從tk-1到tk時(shí)刻的隨機(jī)干擾的影響：新息可以乘以一個(gè)增益系數(shù)矩陣Kk，來(lái)修正對(duì)xk的預(yù)測(cè)即為tk時(shí)刻的最佳線性估計(jì)。2025/1/1135第六章圖像復(fù)原4.圖像濾波復(fù)原法在均方誤差最小的準(zhǔn)則下，我們可以求出Kk的值。估計(jì)誤差可求誤差的協(xié)方差陣再看xk和它的無(wú)偏估計(jì)值的誤差協(xié)方差陣2025/1/1136第六章圖像復(fù)原4.圖像濾波復(fù)原法上述兩協(xié)方差矩陣之間的關(guān)系為：上面各式中為求誤差的協(xié)方差陣Pk最小，令解之，得2025/1/1137第六章圖像復(fù)原4.圖像濾波復(fù)原法總結(jié)以上，共得四式：

(a)原始圖像(b)1×5水平運(yùn)動(dòng)(c)卡爾曼濾波恢復(fù)的結(jié)果模糊算子作用后的結(jié)果

（高斯白噪聲BSNR=40dB）（ISNR=–0.006）2025/1/1138第六章圖像復(fù)原5.圖像代數(shù)復(fù)原法幾何畸變的復(fù)原

在不同條件下拍攝的圖像，一個(gè)物體的圖像常會(huì)發(fā)生幾何畸變，出現(xiàn)歪斜變形的現(xiàn)象。

從太空中宇航器拍攝的地球上的等距平行線，其圖像會(huì)變?yōu)橥嵝被虿坏染啵挥霉鈱W(xué)和電子掃描儀攝取的圖像常會(huì)有桶形畸變和枕形畸變；用普通的光學(xué)攝影與測(cè)試?yán)走_(dá)拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異?！砸桓眻D像為基準(zhǔn)，去校正另一種方式攝入的圖像，以期校正其幾何畸變，就叫做圖像的幾何畸變復(fù)原或者幾何畸變校正。2025/1/1139第六章圖像復(fù)原5.圖像代數(shù)復(fù)原法幾何畸變的描述幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用(x,y)來(lái)表示需要校正的圖像的坐標(biāo)系統(tǒng)用(x’,y’)表示設(shè)兩個(gè)圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示通常h1(x,y)和h2(x,y)用多項(xiàng)式來(lái)表示：2025/1/1140第六章圖像復(fù)原5.圖像代數(shù)復(fù)原法

通常用線性畸變來(lái)近似較小的幾何畸變

更精確一些可以用二次型來(lái)近似

若基準(zhǔn)圖像為f(x,y)，畸變圖像為g(x’,y’)，對(duì)于景物上的同一個(gè)點(diǎn)，假定其灰度不變，則2025/1/1141第六章圖像復(fù)原5.圖像代數(shù)復(fù)原法

已知h1(x,y)和h2(x,y)通常用線性