1、電子科技大學(xué) 光電信息學(xué)院 二一年4月6日,彭真明 Email: pengzm_,第六章 圖像復(fù)原,C6 Image Restoration,桶形畸變-負(fù)畸變,枕形畸變-正畸變,攝像機(jī)等導(dǎo)致的幾何畸變,圖像模糊,運(yùn)動(dòng)產(chǎn)生模糊,運(yùn)動(dòng)模糊,運(yùn)動(dòng)模糊（產(chǎn)生效果圖）,圖像退化過程,Electrical interference,Thermal interference,Noisy image examples,Noisy image examples,退化與進(jìn)化,圖像復(fù)原(考古學(xué)),退化,復(fù)原圖,理想圖,圖像復(fù)原,主要內(nèi)容,圖像退化與復(fù)原的基本概念 圖像退化模型 圖像復(fù)原方法,主要內(nèi)容,圖像退化與復(fù)原

2、的基本概念 圖像退化模型 圖像復(fù)原方法,什么是退化（Degrade）？ 成像過程中的“退化”，是指由于成像系統(tǒng)各種因素的影響，使得圖像質(zhì)量降低。 引起圖像退化的原因 成像系統(tǒng)的散焦； 成像設(shè)備與物體的相對(duì)運(yùn)動(dòng)； 成像器材的固有缺陷； 外部干擾等。,一、圖像退化與復(fù)原的基本概念,一、圖像退化與復(fù)原的基本概念,圖像恢復(fù)與圖像增強(qiáng)的異同,一、圖像退化與復(fù)原的基本概念,圖像復(fù)原可以看作圖像退化的逆過程，是將圖像退化的過程加以估計(jì)，建立退化的數(shù)學(xué)模型后，補(bǔ)償退化過程造成的失真。,在圖像退化確知的情況下，圖像退化的逆過程是有可能進(jìn)行的，這屬于反問題求解。,圖像恢復(fù)的本質(zhì)(inversion problem

3、),一、圖像退化與復(fù)原的基本概念,實(shí)際情況經(jīng)常是退化過程并不知曉，這種復(fù)原屬于盲目復(fù)原。 由于圖像模糊的同時(shí)，噪聲和干擾也會(huì)同時(shí)存在，這也為復(fù)原帶來了困難和不確定性。,圖像恢復(fù)存在的困難,主要內(nèi)容,圖像退化與復(fù)原的基本概念 圖像退化模型 圖像復(fù)原方法,二、圖像退化模型,二、圖像退化模型,低通,二、圖像退化模型,帶通,*,f(x,y),h(x,y),g(x,y),|F(sx,sy)|,|H(sx,sy)|,|G(sx,sy)|,二、圖像退化模型,退化模型示意圖,退化過程: 恢復(fù)過程:,二、圖像退化模型,輸入(激勵(lì)) ：(x-,y-) 輸出(響應(yīng))：H(x-,y-) =h(x, ;y, ) h(x

4、,y)是成象系統(tǒng)的沖激響應(yīng) (在光學(xué)系統(tǒng)中稱點(diǎn)擴(kuò)展函數(shù)-PSF)。 H線性運(yùn)算算子。 若輸入為f(x,y)，響應(yīng)為g(x,y)，則:,二、圖像退化模型,Point spread function(PSF),(1)如果線性成像系統(tǒng)的沖擊響應(yīng)是理想的，即H(x-,y-)=(x-,y-)，那么 形成的圖像g(x,y)就和原始圖像一樣，不產(chǎn)生模糊。,二、圖像退化模型,(2)若沖激響應(yīng)不是理想的 因而造成圖像模糊。 通常把成像系統(tǒng)考慮成為線性移不變系統(tǒng)，即,二、圖像退化模型,(3)退化的另一種現(xiàn)象,噪聲污染,假定噪聲是加性的,那么退化模型為： 其傅氏變換：,二、圖像退化模型,空間域的卷積等同于 頻率域的

5、乘積,f(x,y)表示一幅輸入圖像。 g(x,y)是f(x,y)產(chǎn)生的一幅退化圖像。 H表示退化函數(shù)。 給定g(x,y)和H，怎樣獲得關(guān)于原始圖像的近似估計(jì)？,圖像退化/復(fù)原過程的一體模型,從前述的線性移不變性系統(tǒng)的退化過程，可以看出：,因此，退化的PSF(h或H)及噪聲模型很重要。,二、圖像退化模型,退化模型的向量空間表示,離散卷積形式:,二、圖像退化模型,退化模型向量空間表示,(1) 矩陣形式 :,H是分塊循環(huán)矩陣。,分塊循環(huán)矩陣，即：,注意：每行最后一項(xiàng)等于下一行最前一項(xiàng)； 最后一行最后一項(xiàng)等于第一行第一項(xiàng)。,退化模型向量空間表示,其中的每個(gè)Hj是由PSF的he(x,y)第j行而來：,H

6、中的每塊是循環(huán)標(biāo)注的，所以這里的H也是循環(huán)矩陣。,退化模型向量空間表示,(2) 如果考慮噪聲，設(shè)n是MN維噪聲向量，則退化模型為：,退化模型向量空間表示,退化參數(shù)的確定 點(diǎn)擴(kuò)展函數(shù)(PSF) 噪聲(方差,性質(zhì)),二、圖像退化模型,(一)運(yùn)用先驗(yàn)知識(shí): 大氣湍流; 光學(xué)系統(tǒng)散焦; 照相機(jī)與景物相對(duì)運(yùn)動(dòng); 根據(jù)導(dǎo)致模糊的物理過程(先驗(yàn)知識(shí))來確定h(x,y)或H(u,v)。,點(diǎn)擴(kuò)展函數(shù)確定 Point spread function (PSF),退化參數(shù)的確定,(1)長時(shí)間曝光下大氣湍流造成的轉(zhuǎn)移函數(shù)。,這里，k是與湍流性質(zhì)有關(guān)的常數(shù)。,點(diǎn)擴(kuò)展函數(shù)的確定,Atmospheric turbulenc

7、e (大氣湍流),Atmospheric turbulence (大氣湍流),(2) 光學(xué)散焦,其中，d是散焦點(diǎn)擴(kuò)展函數(shù)(PSF)的直徑，J1()是第一類貝塞爾函數(shù)。,點(diǎn)擴(kuò)展函數(shù)的確定,設(shè)T為快門(曝光)時(shí)間，x0(t)，y0(t)是位移的x分量和y分量(或相機(jī)的運(yùn)動(dòng)速度) 。則模糊圖像為：,點(diǎn)擴(kuò)展函數(shù)的確定,(3) 照相機(jī)與景物相對(duì)運(yùn)動(dòng),求其傅立葉變換為：,點(diǎn)擴(kuò)展函數(shù)的確定,則可以得到運(yùn)動(dòng)模糊的變換函數(shù)為：,若為勻速運(yùn)動(dòng)，即,點(diǎn)擴(kuò)展函數(shù)的確定,Original image,Motion blurred image a = b = 0.1, T = 1,運(yùn)動(dòng)模糊的例子,從退化圖像本身來估計(jì)h(

8、x,y) 。 (1)若有把握斷定原始景物某部位有一個(gè)清晰的點(diǎn)，于是那個(gè)點(diǎn)再退回圖像的模糊圖像就是h(x,y) 。 (2)原景物含有明顯的直線，從這些線條的退化圖像得出h(x,y) 。,(二) 運(yùn)用后驗(yàn)判斷的方法,點(diǎn)擴(kuò)展函數(shù)的確定,(3)有明顯的界限 可以證明：界線的退化圖像的導(dǎo)數(shù)平行與該界線的線源的退化圖像。,點(diǎn)擴(kuò)展函數(shù)的確定,噪聲及來源,退化參數(shù)的確定,光學(xué)圖像的噪聲主要來源于圖像的獲取和傳輸過程。 圖像獲取的數(shù)字化過程，如圖像傳感器的質(zhì)量和環(huán)境條件。 圖像傳輸過程中傳輸信道的噪聲干擾，如通過無線網(wǎng)絡(luò)傳輸?shù)膱D像會(huì)受到光或其它大氣因素的干擾。,噪聲(Noise) 最常見的退化因素之一，圖像中不

9、希望有的部分，圖像中不需要的部分 。如： （1）無線電中的靜電干擾，道路上的喧鬧聲。 （2）電視上的雪花。 對(duì)信號(hào)來說，噪聲是一種外部干擾。但噪聲本身也是一種信號(hào)（攜帶了噪聲源的信息）。,噪聲及來源,常見噪聲 熱噪聲：與物體的絕對(duì)溫度有關(guān)。也稱： 白噪聲 （頻率覆蓋整個(gè)頻譜） 高斯噪聲（幅度符合高斯分布） 閃爍噪聲：電流運(yùn)動(dòng)產(chǎn)生。 具有反比于頻率（1/f）的頻譜，也稱粉色噪聲（在對(duì)數(shù)頻率間隔內(nèi)有相同的能量） 發(fā)射噪聲：高斯分布（電子運(yùn)動(dòng)的隨機(jī)性）,噪聲及來源,其它特定的噪聲 高斯噪聲 瑞利噪聲 伽馬（愛爾蘭）噪聲 指數(shù)分布噪聲 均勻分布噪聲 脈沖噪聲（椒鹽噪聲）,噪聲及來源,電子設(shè)備或傳感器產(chǎn)

10、生的噪聲。,噪聲及來源,(1) 高斯噪聲-Gaussian,噪聲灰度常用概率密度函數(shù)（PDF）來刻畫。,(2) 均勻噪聲-Uniform,隨機(jī)數(shù)發(fā)生器,噪聲及來源,(3) 脈沖（椒鹽）噪聲Impulse( Salt I = I(50+1:256,2+1:256,:); figure;imshow(I);title(Original Image); PSF = fspecial(gaussian,5,5); Blurred = imfilter(I,PSF,symmetric,conv); V = 0.002; BlurredNoisy = imnoise(Blurred,gaussian,0,

11、V); figure;imshow(BlurredNoisy);title(Blurred and Noisy Image) luc1 = deconvlucy(BlurredNoisy,PSF,5); figure; imshow(luc1); title(Restored Image);,Lucy-Richardson例子,3.5 算法仿真,Lucy-Richardson例子,原圖,20次迭代,100次迭代,200次迭代,PSF,模糊加噪,3.6 其他非線性復(fù)原方法,模擬退火法(SA),神經(jīng)網(wǎng)絡(luò)法(ANN),遺傳算法(GA),粒子群優(yōu)化算法(PSO),粒子濾波法(PF),主要內(nèi)容,圖像退化

12、與復(fù)原的基本概念 圖像退化模型 圖像復(fù)原方法,Any queastions!,Terms,Image restoration:圖像恢復(fù) Degrade: 退化 Autocorrelation:自相關(guān) Convolution:卷積 Deconvolution：反褶積,反卷積,去卷積 Row stacking:堆疊 Pad:補(bǔ)零 Period:周期 Linear algebra:線性代數(shù),Image bluring:圖像模糊 Debluring: 去模糊 Motion deblurring:去運(yùn)動(dòng)模糊 Inverse Filtering：反濾波，逆濾波 Blind deconvolution:盲反卷積 Iterative Image Restoration：迭代圖像復(fù)原,Terms,Circulant matrix:循環(huán)矩陣 Transpose:轉(zhuǎn)置 Block matrix:分塊矩陣 Block circulant matrix:分塊循環(huán)矩陣 Impulse: 沖激函數(shù) Dirac delta function: 狄拉