圖像復(fù)原知識(shí)要點(diǎn)圖像退化的常見原因圖像退化模型圖像退化與圖像增強(qiáng)的關(guān)系線性復(fù)原非線性復(fù)原幾何失真校正盲圖像復(fù)原MATLAB圖像處理工具箱去模糊函數(shù)10.1圖像退化原因與復(fù)原技術(shù)分類圖像在形成、傳輸和記錄過程中，由于受到多方面的影響，造成圖像質(zhì)量的退化（degradation）。（1）射線輻射、大氣湍流等造成的照片畸變。（2）A/D過程會(huì)損失部分細(xì)節(jié)，造成圖像質(zhì)量下降。（3）鏡頭聚焦不準(zhǔn)產(chǎn)生的散焦模糊。（4）成像系統(tǒng)中始終存在的噪聲干擾。（5）相機(jī)與景物之間的相對(duì)運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊。（6）底片感光、圖像顯示時(shí)會(huì)造成記錄顯示失真。（7）成像系統(tǒng)的像差、非線性畸變、有限帶寬。（8）攜帶遙感儀器的飛機(jī)或衛(wèi)星運(yùn)動(dòng)的不穩(wěn)定，以及地球自轉(zhuǎn)等因素引起的照片幾何失真。圖像復(fù)原（imagerestoration）的目的和任務(wù)目的在研究圖像退化原因的基礎(chǔ)上，以退化圖像為依據(jù)，根據(jù)一定的先驗(yàn)知識(shí)，建立一個(gè)退化模型，然后用相反的運(yùn)算，以恢復(fù)原始景物圖像。圖像復(fù)原要明確規(guī)定質(zhì)量準(zhǔn)則衡量接近原始景物圖像的程度。圖像復(fù)原模型可以用連續(xù)數(shù)學(xué)或離散數(shù)學(xué)處理。圖像復(fù)原根據(jù)退化的數(shù)學(xué)模型對(duì)退化圖像進(jìn)行處理，其實(shí)現(xiàn)可在空間域卷積或在頻域相乘。圖像復(fù)原在初級(jí)視覺處理中的地位在航空航天、國(guó)防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。傳統(tǒng)的復(fù)原方法基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)已知等條件下討論的現(xiàn)代的復(fù)原方法對(duì)非平穩(wěn)圖像（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、信號(hào)與噪聲的先驗(yàn)知識(shí)未知（如盲圖像復(fù)原）等前提下開展工作。10.1.1連續(xù)圖像退化的數(shù)學(xué)模型連續(xù)圖像退化的一般模型如下圖所示。輸入圖像f(x,y)經(jīng)過一個(gè)退化系統(tǒng)或退化算子H(x,y)后產(chǎn)生的退化圖像g(x,y)可以表示為：

g(x,y)=H[f(x,y)]

（10.1）

如果僅考慮加性噪聲的影響，則退化圖像可表示為：g(x,y)=H[f(x,y)]+n(x,y)

（10.2）f(x,y)的最佳估計(jì)退化的圖像是由成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的。若已知H(x,y)和n(x,y)，圖像復(fù)原是在退化圖像的基礎(chǔ)上，作逆運(yùn)算，得到f(x,y)的一個(gè)最佳估計(jì)?！白罴压烙?jì)”而非“真實(shí)估計(jì)”。由于存在可能導(dǎo)致圖像復(fù)原的病態(tài)性。導(dǎo)致圖像復(fù)原的病態(tài)性的原因（1）最佳估計(jì)問題不一定有解。由于圖像復(fù)原中可能遇到奇異問題；（2）逆問題可能存在多個(gè)解。點(diǎn)擴(kuò)展函數(shù)PSF（Point-spreadFunction）在退化算子H表示線性和空間不變系統(tǒng)的情況下，輸入圖像f(x,y)經(jīng)退化后的輸出為g(x,y)：

h(x,y)稱為退化系統(tǒng)的沖激響應(yīng)函數(shù)。在圖像形成的光學(xué)過程中，沖激為一光點(diǎn)。又被稱為退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF。空間域分析與頻率分析退化系統(tǒng)的輸出就是輸入圖像f(x,y)與點(diǎn)擴(kuò)展函數(shù)h(x,y)的卷積，考慮到噪聲的影響，即

在頻域上可以寫成（11.6）G(u,v)、F(u,v)、N(u,v)分別是g(x,y)、f(x,y)、n(x,y)的傅立葉變換

H(u,v)是h(x,y)的傅立葉變換，為系統(tǒng)的傳遞函數(shù)。（11.7）10.1.2離散圖像退化的數(shù)學(xué)模型設(shè)f(x,y)大小為A×B，h(x,y)被均勻采樣為C×D大小。為避免交疊誤差，采用添零延拓的方法，將它們擴(kuò)展成M=A+C-1和N=B+D-1個(gè)元素的周期函數(shù)。則輸出的降質(zhì)數(shù)字圖像為二維離散退化模型可以用矩陣形式

g=Hf給定了退化圖像g(x,y)、退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x,y)和噪聲分布n(x,y)，就可以得到原始圖像f的估計(jì)。實(shí)際計(jì)算的工作量十分龐大。g=Hf+n通常有兩種解決上述問題的途徑：假設(shè)圖像大小M=N，則H的大小為N4，要解出f(x,y)需要解N2個(gè)聯(lián)立方程組。（1）通過對(duì)角化簡(jiǎn)化分塊循環(huán)矩陣，再利用FFT快速算法可以大大地降低計(jì)算量且能極大地節(jié)省存儲(chǔ)空間。（2）分析退化的具體原因，找出H的具體簡(jiǎn)化形式。勻速運(yùn)動(dòng)造成模糊的PSF就可以用簡(jiǎn)單的形式表示，這樣使復(fù)原問題變得簡(jiǎn)單。線性移不變降質(zhì)算子

運(yùn)動(dòng)模糊通常在拍攝過程中，相機(jī)或物體移動(dòng)造成的運(yùn)動(dòng)模糊可以用一維均勻鄰域像素灰度的平均值來表示

大氣擾動(dòng)模糊這種模糊經(jīng)常出現(xiàn)在遙感和航空攝影中，由于曝光時(shí)間過長(zhǎng)引起的模糊可用高斯點(diǎn)擴(kuò)散函數(shù)來表示：式中K是一個(gè)歸一化常數(shù)，保證模糊的大小為單位值，σ2可以決定模糊的程度。

均勻不聚焦模糊這是由于相機(jī)聚焦不準(zhǔn)確引起的，雖然不聚焦由許多參數(shù)決定，如相機(jī)的焦距、相機(jī)孔的大小、形狀、物體和相機(jī)之間的距離等，但在研究中為了簡(jiǎn)單起見，我們用下列函數(shù)表示聚焦不準(zhǔn)引起的模糊

均勻二維模糊這是最常見的一種模糊，可以用來近似聚焦不準(zhǔn)引起的模糊。其中L是奇數(shù)。通常模糊算子相當(dāng)于一個(gè)低通濾波器，因此當(dāng)模糊算子作用于原始圖像時(shí)，會(huì)引起圖像中邊緣和輪廓的模糊。7×7均勻二維模糊算子作用于圖像Camera的結(jié)果如下圖所示原始圖像

7×7均勻二維模糊算子作用后的結(jié)果圖像恢復(fù)的相關(guān)指標(biāo)

模糊信噪比(BSNR,theBlurredSignal-to-NoiseRatio)表示由模糊和疊加噪聲引起的降質(zhì)程度ISNR（theImprovementinSNR）ISNR只是評(píng)價(jià)圖像恢復(fù)算法好壞的一個(gè)客觀指標(biāo)，ISNR高并不一定主觀視覺效果好。11.2逆濾波復(fù)原非約束復(fù)原根據(jù)對(duì)退化系統(tǒng)H和噪聲n的了解，已知退化圖像g的情況下，在一定的最小誤差準(zhǔn)則下，得到原始圖像f的估計(jì)。逆濾波是最早使用的一種無(wú)約束復(fù)原方法成功地應(yīng)用于航天器傳來的退化圖像。n=g－Hf

當(dāng)對(duì)n的統(tǒng)計(jì)特性不確定時(shí)，希望對(duì)原始圖像f的估計(jì)滿足這樣的條件，使H在最小二乘意義上近似于g。使得噪聲項(xiàng)的范數(shù)希望找到一個(gè)最小。即目標(biāo)函數(shù)為最小。

在M=N的情況下，H為方陣且H有逆陣H-1，則（10.20）（10.21）當(dāng)系統(tǒng)H逆作用于退化圖像g時(shí)，可以得到最小平方意義上的非約束估計(jì)。對(duì)式（10.20）進(jìn)行傅立葉變換，則逆濾波法的特點(diǎn)優(yōu)點(diǎn)：形式簡(jiǎn)單適用于極高信噪比條件下的圖像復(fù)原問題。缺點(diǎn)：具體求解的計(jì)算量很大，需要根據(jù)循環(huán)分塊矩陣條件進(jìn)行簡(jiǎn)化。當(dāng)H等于0或接近于0時(shí)，還原的圖像將變得無(wú)意義。這時(shí)需要人為對(duì)傳遞函數(shù)進(jìn)行修正，以降低由于傳遞函數(shù)病態(tài)而造成的恢復(fù)不穩(wěn)定性。10.3約束復(fù)原約束復(fù)原除了對(duì)降質(zhì)系統(tǒng)的PSF有所了解外，還需要對(duì)原始圖像和外加噪聲的特性有先驗(yàn)知識(shí)。根據(jù)不同領(lǐng)域的要求，有時(shí)需要對(duì)f和n作一些特殊的規(guī)定，使處理得到的圖像滿足某些條件。10.3.1約束復(fù)原的基本原理約束最小二乘法復(fù)原問題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)使下面的目標(biāo)函數(shù)為最小(10.23)

式中，γ=α-1

式中，α為拉格朗日乘子,f的最佳估值11.3.2維納濾波方法最小二乘法濾波復(fù)原的核心是如何選擇一個(gè)合適的變換矩陣Q。Q的形式不同，可得到不同類型的復(fù)原方法。選用圖像f和噪聲n的自相關(guān)矩陣Rf和Rn表示Q就可得到維納濾波復(fù)原方法。將f和n近似地看成是平穩(wěn)隨機(jī)過程。假設(shè)Rf和Rn為f和n的自相關(guān)矩陣。Rf

=E{ffT}（10.24a）

Rn

=E{nnT}（10.24b）定義QTQ=R-1fRn，代入式(10.23)，得

（10.25）

假設(shè)M=N，Sf和Sn分別為圖像和噪聲的功率譜，則

（10.26）分3種情況對(duì)式(10.26)作分析：（1）如果γ=1，系統(tǒng)函數(shù)Hw(u,v)是維納濾波器的傳遞函數(shù)。（2）如果γ=0，系統(tǒng)變成單純的去卷積濾波器，系統(tǒng)的傳遞函數(shù)即為H-1。盡管γ≠0但無(wú)噪聲影響，Sn(u,v)=0，復(fù)原系統(tǒng)亦為理想的逆濾波器，可以看成是維納濾波器的一種特殊情況。（3）若γ為可調(diào)整的其他參數(shù)，此時(shí)為參數(shù)化維納濾波器。例

說明采用維納濾波復(fù)原的具體實(shí)現(xiàn)方法原始圖像如圖（a），使用函數(shù)DECONVWNR對(duì)圖（b）所示的無(wú)噪聲模糊圖像進(jìn)行復(fù)原重建，觀察所得結(jié)果，并將不同PSF產(chǎn)生的復(fù)原效果進(jìn)行比較。

（a）原始圖像（b）無(wú)噪聲模糊圖像

維納濾波deconvwnr函數(shù)一般形式J=deconvwnr(I,PSF,NSR)或J=deconvwnr(I,PSF,NCORR,ICORR)其中I為待處理圖像，J為處理后圖像，NSR為噪聲信號(hào)功率比，默認(rèn)值為0；NCORR,ICORR分別表示噪聲和原始圖像的自相關(guān)函數(shù)。PSF可由fspecial函數(shù)產(chǎn)生，如：PSF=fspecial(‘motion’,LEN,THETA)圖

不同PSF產(chǎn)生的復(fù)原效果比較（a）使用真實(shí)的PSF復(fù)原（b）使用較“長(zhǎng)”的PSF復(fù)原（c）使用較“陡峭”的PSF復(fù)原10.4非線性復(fù)原方法經(jīng)典復(fù)原濾波器的顯著特點(diǎn)約束方程和準(zhǔn)則函數(shù)中的表達(dá)式都可以改為矩陣乘法。非線性復(fù)原方法所采用的準(zhǔn)則函數(shù)都不能進(jìn)行對(duì)角化，因而線性代數(shù)的方法在這里是不適用的。設(shè)S是非線性函數(shù)，當(dāng)考慮圖像的非線性退化時(shí)，圖像的退化模型可以表示成10.4.1同態(tài)濾波復(fù)原自然景物的圖像是由照明函數(shù)和反射函數(shù)兩個(gè)分量的乘積所組成。同態(tài)濾波法復(fù)原方法是基于圖像的乘性結(jié)構(gòu)理論而提出來的。當(dāng)降質(zhì)圖像是由兩個(gè)分量相乘得到時(shí)，可先對(duì)降質(zhì)圖像取對(duì)數(shù)，得到兩個(gè)相加的分量，再進(jìn)行濾波處理，最后通過指數(shù)變換得到復(fù)原圖像。退化圖像g(x,y)可以分為兩部分乘積，即

g(x,y)=i(x,y)r(x,y)（10.42）取對(duì)數(shù)得

logg(x,y)=logi(x,y)+logr(x,y)（10.43）設(shè)同態(tài)濾波器沖激響應(yīng)為l(x,y)同態(tài)濾波復(fù)原過程可用下圖所示。圖同態(tài)濾波器復(fù)原同態(tài)復(fù)原結(jié)果

=10l(x,y)*[logi(x,y)+logr(x,y)](10.44)同態(tài)濾波器的傳遞函數(shù)同態(tài)濾波技術(shù)也可以用于圖像增強(qiáng)。采用同態(tài)濾波可以實(shí)現(xiàn)同態(tài)增晰能使圖像的灰度動(dòng)態(tài)范圍壓縮又能使感興趣的物體圖像灰度級(jí)擴(kuò)展。10.5盲圖像復(fù)原很多情況下難以確定退化的點(diǎn)擴(kuò)展函數(shù)和噪聲的統(tǒng)計(jì)特性。盲圖像復(fù)原法是在沒有圖像退化必要的先驗(yàn)知識(shí)的情況下，對(duì)觀察的圖像以某種方式提取出退化信息，采用盲去卷積算法對(duì)圖像進(jìn)行復(fù)原。對(duì)具有加性噪聲的模糊圖像作盲圖像復(fù)原的方法有兩種：直接測(cè)量法間接估計(jì)法直接測(cè)量法需要測(cè)量圖像的模糊脈沖響應(yīng)和噪聲功率譜或協(xié)方差函數(shù)在所觀察的景物中，往往點(diǎn)光源能直接指示出沖激響應(yīng)圖像邊緣是否陡峭也能用來推測(cè)模糊沖激響應(yīng)在背景亮度恒定的區(qū)域內(nèi)測(cè)量圖像的協(xié)方差，可以估計(jì)出觀察圖像的噪聲協(xié)方差函數(shù)間接估計(jì)法可利用時(shí)間上的平均概念去除圖像中模糊可利用同態(tài)處理方法把原始圖像的頻譜和退化傳遞函數(shù)分開對(duì)于有噪聲的圖像需要先降噪MATLAB提供了函數(shù)deconvblind進(jìn)行盲圖像復(fù)原：[J,PSF]=deconvblind(I,INITPSF,NUMIT,DAMPAR,WEIGHT,READOUT)函數(shù)deconvblind采用最大似然算法對(duì)模糊圖像I進(jìn)行去卷積處理，返回去模糊的圖像J和相應(yīng)的點(diǎn)擴(kuò)散函數(shù)PSF.INITPSF:初始PSFNUMIT:迭代次數(shù)，默認(rèn)10DAMPAR:圖像I產(chǎn)生的閾值偏移，默認(rèn)0WEIGHT:權(quán)值矩陣READOUT：攝取設(shè)備的讀出噪聲方差，默認(rèn)010.6幾何失真校正圖像在獲取過程中，由于成像系統(tǒng)的非線性、飛行器的姿態(tài)變化等原因，成像后的圖像與原景物圖像相比，會(huì)產(chǎn)生比例失調(diào)，甚至扭曲。以上圖像退化現(xiàn)象稱之為幾何失真。有幾何畸變的圖像不但視覺效果不好而且在對(duì)圖像進(jìn)行定量分析時(shí)提取的形狀、距離、面積等數(shù)據(jù)也不準(zhǔn)確。10.6.1典型的幾何失真1．系統(tǒng)失真光學(xué)系統(tǒng)、電子掃描系統(tǒng)失真而引起的斜視畸變、枕形、桶形畸變等，都可能使圖像產(chǎn)生幾何特性失真。原圖像；(b)梯形失真；(c)枕形失真；(d)桶形失真2．非系統(tǒng)失真從飛行器上所獲得的地面圖像，由于飛行器的姿態(tài)、高度和速度變化引起的不穩(wěn)定與不可預(yù)測(cè)的幾何失真這類畸變一般要根據(jù)航天器的跟蹤資料和地面設(shè)置控制點(diǎn)辦法來進(jìn)行校正。典型的非系統(tǒng)失真如下圖所示。幾何畸變校正一般分兩步來做幾何畸變校正要對(duì)失真圖像進(jìn)行精確的幾何校正通常是先確定一幅圖像為基準(zhǔn)，然后去校正另一幅圖像的幾何形狀。第一步：圖像空間坐標(biāo)的變換；第二步：重新確定在校正空間各像素點(diǎn)的取值。10.6.2空間幾何坐標(biāo)變換按照一幅標(biāo)準(zhǔn)圖像f(x,y)或一組基準(zhǔn)點(diǎn)去校正另一幅幾何失真圖像g(x‘,y’)。根據(jù)兩幅圖像的一些已知對(duì)應(yīng)點(diǎn)對(duì)建立起函數(shù)關(guān)系式，將失真圖像的x‘-y’坐標(biāo)系變換到標(biāo)準(zhǔn)圖像x-y坐標(biāo)系，從而實(shí)現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使f(x,