1、第5章 圖像復(fù)原,圖像復(fù)原又稱為圖像恢復(fù),與圖像增強(qiáng)相似都要得到在某種意義上改進(jìn)的圖像，或者說，希望要改進(jìn)輸入圖像的視覺質(zhì)量 不同之處圖像增強(qiáng)技術(shù)一般要借助人的視覺系統(tǒng)的特性，以取得看起來好的視覺結(jié)果，而圖像復(fù)原則認(rèn)為圖像是在某種情況下退化或惡化了(圖像品質(zhì)下降了)，現(xiàn)在需要根據(jù)相應(yīng)的退化模型和知識(shí)重建或恢復(fù)原始的圖像 圖像恢復(fù)技術(shù)是要將圖像退化的過程模型化，并據(jù)此采取相反的過程以得到原始的圖像,圖像恢復(fù)的內(nèi)容,退化模型和循環(huán)矩陣對(duì)角化 復(fù)原的代數(shù)方法 逆濾波 最小二乘方濾波 交互式恢復(fù) 空間復(fù)原技術(shù),退化模型和循環(huán)矩陣對(duì)角化,退化模型,產(chǎn)生原因,光學(xué)系統(tǒng)中的衍射,傳感器非線性畸變,光學(xué)系統(tǒng)的

2、像差,攝影膠片的非線性,大氣流的擾動(dòng)效應(yīng),圖像運(yùn)動(dòng)造成的模糊,幾何畸變,定義：,fx,y: 原始圖像 gx,y: 退化圖像 nx,y: 加性噪聲 gx,y = Hfx,y + nx,y H : 系統(tǒng)或操作,圖像恢復(fù)就是在給定g(x,y)和代表退化的H的基礎(chǔ)上，得到對(duì)f(x,y)的某個(gè)近似的過程,H.,+,f(x,y),n(x,y),g(x,y),簡單的通用退化模型,線性： Hk1f1 + k2f2 = k1Hf1 + k2Hf2 相加性：令 k1 = k2 = 1，則 Hf1 + f2 = Hf1 + Hf2 一致性：令 f2 = 0，則 Hk1f1 = k1Hf1 位置（空間）不變性： Hf

3、x-a, y-b = gx-a, y-b,H多具有的性質(zhì),圖像任意位置的響應(yīng)只與在該位置的輸入值有關(guān)，而與位置本身無關(guān),常見具體退化模型示例,空間不變,線性,攝影膠片的沖洗過程,非線性,光學(xué)成像系統(tǒng)，由于孔徑衍射產(chǎn)生的退化,目標(biāo)運(yùn)動(dòng)造成的模糊退化,模糊退化,隨機(jī)噪聲迭加，隨機(jī)性的退化,退化模型的計(jì)算,假設(shè)對(duì)2個(gè)函數(shù)f(x)和h(x)進(jìn)行均勻采樣，其結(jié)果放到尺寸為A和B地2個(gè)數(shù)組。,對(duì)f(x)，x的取值范圍是0,1,2A-1；對(duì)h(x)，x的取值范圍是0,1,2,.B-1。利用卷積計(jì)算g(x)。為了避免卷積的各個(gè)周期重疊，取MA+B-1，并將函數(shù)用0擴(kuò)展補(bǔ)齊,fe(x)和he(x)表示擴(kuò)展函數(shù)，

4、卷積為,ge(x)=fe(m) he(x-m) x=0,1,M-1,矩陣表示,g=Hf,g和f是M維列矢量： fT = f0, f1, , fM-1 gT = g0, g1, , gM-1 ,H稱為MM循環(huán)矩陣,H=,g=Hf+n (1),考慮噪聲,如果直接對(duì)式(1)進(jìn)行計(jì)算求解f，計(jì)算量達(dá)，如M=N=512 ,則H的尺寸為262144262144，可以通過對(duì)角化H來簡化,當(dāng)k=0,1M-1時(shí)，循環(huán)矩陣H(設(shè)為MM)的特征矢量和特征值分別為,循環(huán)矩陣對(duì)角化,將H的M個(gè)特征矢量組成1個(gè)MM的矩陣W,W = w(0) w(1) w(2) w(M-2) w(M-1),H = WDW-1D = W-1

5、HW,其中：D(k,k) = (k)，WW-1 =W-1W=I,復(fù)原的代數(shù)方法,圖像復(fù)原的主要目的是當(dāng)給定退化的圖像g以及H和n的某種假設(shè)，估計(jì)出原始圖像f 代數(shù)復(fù)原方法的中心是尋找一個(gè)估計(jì)的f，它使事先確定的某種優(yōu)度準(zhǔn)則為最小,無約束復(fù)原方法,由退化模型可知，其噪聲項(xiàng)為： n= g-Hf 在并不知道n的情況下，希望找到一個(gè)f，使得Hf在最小二乘方意義上來說近似于g，也就是說，尋找一個(gè)f，使得,|n|2 = |g Hf|2 J(f),nTn = (g Hf)T(g Hf),或,實(shí)際上是求J(f)的極小值問題，除了要求J(f)為最小外，不受任何其它條件約束，因此稱為無約束復(fù)原,dJ(f )/df

6、 = 0 = -2HT(g Hf),即,f = (HTH)-1 HTg,M=N時(shí)，則有,f = H-1(HT)-1 HTg = H-1 g,(2),約束復(fù)原方法,在最小二乘方復(fù)原處理中，為了在數(shù)學(xué)上更容易處理，常常附加某種約束條件。 如令Q為f的線性算子，最小二乘復(fù)原問題可看成是使形式為|Qf|2函數(shù)，服從約束條件|g Hf|2 = |n|2 的最小問題，這種帶有附件條件的極值問題可用拉各朗日乘數(shù)法處理,處理過程,尋找一個(gè)f，使下述準(zhǔn)則函數(shù)為最小,J(f) = |Qf|2 + |g Hf|2 - |n|2,拉各朗日系數(shù),dJ(f )/df = 0,f = (HTH + QTQ)1 HTg,=1

7、/,逆濾波,基本原理,在不考慮噪聲的情況下，假設(shè)M=N，則根據(jù)前面的公式，有,f = H1 g = WD1 W1 g 或 W1 f = D1 W1 g F(u,v) = G(u,v)/H(u,v),傅立葉變換,經(jīng)過傅立葉反變換，可求得原始圖像f(x,y),反向?yàn)V波的作用,在有噪聲的情況下,F(u,v) = F(u,v) + N(u,v)/H(u,v),從上面兩式可以看出，在進(jìn)行復(fù)原處理時(shí)可能會(huì)發(fā)生下列情況：,H(u,v)=0或H(u,v)非常小，在這種情況下，即使無噪聲，也無法精確恢復(fù)f(x,y) 在有噪聲存在時(shí)，在H(u,v)的鄰域內(nèi)，H(u,v)的值可能比N(u,v)的值小的多，由上式得到

8、的噪聲項(xiàng)可能會(huì)非常大，不能使f(x,y)正確恢復(fù),一般說，逆濾波不能正確估計(jì)H(u,v)的零點(diǎn) 實(shí)際中，不用1/H(u,v)，而用另外一個(gè)關(guān)于u,v的函數(shù)M(u,v),處理框圖為：,f(x,y),H(u,v),+,M(u,v),G(u,v),N(u,v),F(u,v),M(u,v)=,1/H(u,v) u2+v2w20,1 u2+v2 w20,例子,原始圖像,散焦模糊,利用原始圖像的一個(gè)鄰域光譜面恢復(fù),利用大的鄰域進(jìn)行恢復(fù),消除勻速直線運(yùn)動(dòng)引起的模糊,在獲取圖像時(shí)，由于景物和攝像機(jī)之間的相對(duì)運(yùn)動(dòng)，造成圖像的模糊。,假設(shè)對(duì)平面勻速運(yùn)動(dòng)的景物采集1幅圖像f(x,y)，并設(shè)x0(t)和y0(t)分別

9、是景物在x和y方向的運(yùn)動(dòng)分量，T是采集時(shí)間長度。,實(shí)際采集到的由運(yùn)動(dòng)而造成的模糊圖像g(x,y)為：,g(x,y)=0Tfx-x0(t),y-y0(t)dt,G(u,v) = F(u,v) 0Texp-j2pux0(t) + vy0(t)dt = F(u,v)H(u,v),H(u,v) = 0Texp-j2pux0(t) + vy0(t)dt,如果知道運(yùn)動(dòng)分量x0(t)和y0(t)，從上式直接得到H(u,v),只考慮x方向的運(yùn)動(dòng)情況，即x0(t)=ct/T，y0(t)0，則,H(u,v) = 0Texp-j2ux0(t)dt = (T/uc)sin(uc)e-juc,當(dāng)n為整數(shù)時(shí)，H在u=n/

10、c處為0,根據(jù)模糊圖像g(x,y)，不考慮y的變化,g(t) = 0Tfx-x0(t)dt = 0Tfx-ct/Tdt = x-cxftdt, 0 x L,其中：t = x ct/T. 因此， g(x) = f(x) f(x-c)orf(x) = g(x) + f(x-c),假設(shè) L = Kc, 其中 K使整數(shù). 變量x為： x = z + mc 其中 z 在0,c范圍， m 是 (x/a)的整數(shù)部分 (m 的取值為 0, 1, , K-1). 則, f(z+mc) = g(z+mc) + fz+(m-1)c 這個(gè)等式能通過遞歸 f(z)解決， f(z) = f(z-a) 定義為運(yùn)動(dòng)范圍的一部

11、分 0 z c. f(x) = Sk=0m g(x-kc) + f(x-mc) 由于g(x)為已知，問題就轉(zhuǎn)化為估計(jì)f(x),為了估計(jì) f(x):f(x-mc) = f(x) f(x). 對(duì)每個(gè) kc x (k+1)c計(jì)算，并將 k = 0, 1, , K-1 的結(jié)果加起來，得到 Kf(x) = Sk=0K-1f(x+kc) Sk=0K-1f(x+kc), 0 x c f(x) A (1/K) Sk=0K-1f(x+kc), 0 x c 其中 (1/K) Sk=0K-1f(x+kc) 是未知的，但是當(dāng) K很大時(shí)，其接近平均值，將其設(shè)為常數(shù)A。 因此, f(x-mc) A (1/K) Sk=0K

12、-1f(x+kc-mc), 0 x L A (1/K)Sk=0K-1Sj=0kgx-mc+(k-j)c 或?qū)?0 x,y L f(x,y) A (1/K)Sk=0K-1Sj=0kgx-mc+(k-j)c,y + Sj=0mgx-jc,y,最小二乘方濾波,最小二乘濾波也就是維納濾波，它是使原始圖像f(x,y)及其恢復(fù)圖像f(x,y)之間的均方誤差最小的復(fù)原方法,具體的數(shù)學(xué)公式推導(dǎo)過程忽略，直接給出公式,Sf(u,v):為 fx,y的功率普，Sh(u,v)為 nx,y的功率普,討論一下上式的幾種情況,（1）如果s=1，方括號(hào)中的項(xiàng)就是維納濾波器 （2）如果s是變量，就稱為參數(shù)維納濾波器 （3）當(dāng)沒

13、有噪聲時(shí)，Sn(u,v)=0，維納濾波器就退化為理想的逆濾波器 （4）當(dāng)Sn(u,v)和Sf(u,v)未知時(shí)，用常數(shù)K可代替,因此必須調(diào)節(jié)s以滿足,f = (HTH + sQTQ)1 HTg,逆濾波和維納濾波恢復(fù)比較,1,10,100,SNR,退化圖像 傅立葉功率普 逆濾波恢復(fù) 維納濾波恢復(fù) 光譜圖,原始圖像,逆濾波恢復(fù),模糊和增加噪聲,約束的最小二乘濾波,交互式恢復(fù),前面討論都是自動(dòng)解析的恢復(fù)方法，在具體恢復(fù)工作中，常常需要人機(jī)結(jié)合，由人來控制恢復(fù)過程，以達(dá)到一些特殊的效果,實(shí)際中，有時(shí)圖像會(huì)被1種2-D的正弦干擾模式(也叫相關(guān)噪聲)覆蓋。令(x,y)代表幅度為A，頻率分量為(u0,v0)的

14、正弦干擾模式，即：,(x,y)=Asin(u0 x+v0y),傅立葉變換為：,N(u,v)=-jA(u-u0/(2),v-v0/v(2)- (u+u0/ (2),v+v0/ (2) ,這里退化僅由噪聲造成，所以有：,G(u,v)=F(u,v)+N(u,v),利用前面講的帶阻濾波器消除，以去掉正弦干擾模式影響,正弦干擾,傅立葉光譜,恢復(fù)圖像,n(x,y) = A sin(u0 x+v0y),例子,周期干擾退化圖像,傅立葉譜,干涉模式,處理后圖像,空間復(fù)原技術(shù),空間變換 灰度插值,空間變換,在圖像的獲取或顯示過程中，產(chǎn)生幾何失真，如成像系統(tǒng)有一定的幾何非線性，因此會(huì)造成如圖所示的枕形失真或桶形失真，另外，由于地球表面呈球形，攝取的平面圖像也將會(huì)有較大的幾何失真。對(duì)這些圖像必須加以校正，以免影響分析精度,原始圖像,枕形失真,桶形失真,校正過程,實(shí)際空 間畸變,理想圖像,觀測圖像,空間變 形校正,已校正圖像,* * * * * * * *,* * * * * * * *,+,+,觀測圖像和校正圖像之間對(duì)應(yīng)點(diǎn),設(shè)原圖為f(x,y)，受到幾何形變得影響變成g(x,y)，這里(x,y)表示失真圖像的坐標(biāo),x=s(x,y) y=t(x,y),線性失真,s(x,y)=k1x+k2y+k3 t(x,y)=k4x+k5y+k6,非線性失真,s(x,y)=k1+k2x+k3y