1、,第5章 圖像的復(fù)原,第5章 圖像的復(fù)原,內(nèi)容： 圖像復(fù)原的概念 退化模型 復(fù)原方法 去除圖像的運(yùn)動(dòng)模糊 圖像的幾何畸變校正,圖像的復(fù)原與退化,圖像復(fù)原：對(duì)退化的圖像進(jìn)行處理，力求還原圖像的本來面目。 復(fù)原的過程是沿著質(zhì)量降質(zhì)（退化）的逆過程來重現(xiàn)原始圖像。 圖像退化：圖像在形成、記錄、處理和傳輸過程中，由于成像系統(tǒng)、記錄設(shè)備、傳輸介質(zhì)和處理方法的不完善，從而導(dǎo)致的圖像質(zhì)量下降。,進(jìn)化與退化,基本思路：,高質(zhì)量圖像,退化了的圖像,復(fù)原的圖像,圖像退化,圖像復(fù)原,研究退化模型,實(shí) 例,復(fù)原受正弦噪聲干擾的圖像 (a)原圖像 (b)被正弦噪聲干擾的圖像 (c) 濾波效果圖,(a),(b),(c),

2、維納濾波器應(yīng)用 (a) 由運(yùn)動(dòng)模糊嚴(yán)重影響的圖像 (b) 用維納濾波器恢復(fù)出的圖像,(a),(b),圖像退化典型表現(xiàn)： 圖像模糊、失真、有噪聲 圖像退化的原因： （1）放大鏡凸透變形； （2）攝影時(shí)照相機(jī)鏡頭的移動(dòng)。 復(fù)原方法： 根據(jù)不同的退化模型，處理技巧和估計(jì)準(zhǔn)則，導(dǎo)出各種不同的恢復(fù)方法。,退化模型示意圖,退化過程 T f g 恢復(fù)過程 T-1 g f,退化模型,n是MN 維噪聲向量，則退化模型,圖像復(fù)原方法,圖像復(fù)原方法： 退化函數(shù)估計(jì)：H的估計(jì)，噪聲（n）的估計(jì)。 圖像去噪：可以使用空間域或頻率域?yàn)V波器實(shí)現(xiàn) 逆濾波 維納濾波,退化參數(shù)的確定,退化參數(shù)： h(x,y), n(x,y) 圖

3、像恢復(fù)： 對(duì)原始圖像作出盡可能好的估計(jì)。 已知退化圖像，要作這種估計(jì)，須知道退化參數(shù)的有關(guān)知識(shí)。,點(diǎn)擴(kuò)展函數(shù)的確定,（一）運(yùn)用先驗(yàn)知識(shí): 光學(xué)系統(tǒng)散焦 照相機(jī)與景物相對(duì)運(yùn)動(dòng) 根據(jù)導(dǎo)致模糊的物理過程（先驗(yàn)知識(shí)）來確定h(x,y)或H(u,v)。,（1）光學(xué)散焦,d是散焦點(diǎn)擴(kuò)展函數(shù)的直徑,J1()是第一類貝塞爾函數(shù)。,（2）照相機(jī)與景物相對(duì)運(yùn)動(dòng) 設(shè)T為快門時(shí)間，x0(t)，y0(t)是位移的x分量和y分量,點(diǎn)擴(kuò)展函數(shù)的確定,（二）運(yùn)用后驗(yàn)判斷的方法 從退化圖像本身來估計(jì)h(x,y) 。 （1）若有把握斷定原始景物某部位有一個(gè)清晰的點(diǎn)，于是那個(gè)點(diǎn)再退回圖像的模糊圖像就是h(x,y) 。 （2）原景物

4、含有明顯的直線，從這些線條的退化圖像得出h(x,y) 。,點(diǎn)擴(kuò)展函數(shù)的確定,（3）有明顯的界限 可以證明：界線的退化圖像的導(dǎo)數(shù)平行與該界線的線源的退化圖像。,噪聲的確定,要知道n(x,y)的統(tǒng)計(jì)性質(zhì)，以及n(x,y)與f(x,y)之間的相關(guān)性質(zhì)。 一般假設(shè)圖像上的噪聲是一類白噪聲。 白噪聲：圖像平面上不同點(diǎn)的噪聲是不相關(guān)的，其譜密度為常數(shù)。 實(shí)用上，只要噪聲帶寬遠(yuǎn)大于圖像帶寬，就可把它當(dāng)作白噪聲。雖不精確，確是一個(gè)很方便的模型。,常見噪聲：高斯均勻?qū)?shù)正態(tài)瑞利指數(shù)厄蘭,噪聲的確定,例：下圖為原始圖像和其直方圖,因?yàn)椴煌虍a(chǎn)生的噪音的分布是不同，可以通過分析圖片中噪音的分布得到產(chǎn)生這些噪音的參

5、數(shù)，然后進(jìn)行逆運(yùn)算進(jìn)行圖像復(fù)原。 eg:維納濾波要知道噪聲的譜密度 約束最小平方濾波要知道噪聲的方差,圖像復(fù)原的濾波方法,逆濾波 維納濾波,逆濾波,假定退化圖像遵從以下模型,在不考慮噪聲的情況下,寫成,逆濾波,該恢復(fù)方法取名為逆濾波。,逆濾波,有噪聲情況: G(u,v) =F(u,v) H(u,v)+N(u,v) 仍采用逆濾波器P(u,v)=1/H(u,v)作恢復(fù)濾波器。,逆濾波,維納濾波,維納濾波,可推出,維納濾波,維納濾波例子,模糊的噪聲圖像,使用常數(shù)比率的維納濾波的結(jié)果,維納濾波例子,原圖像,運(yùn)動(dòng)模糊圖像,復(fù)原后的圖像,補(bǔ)充：圖像的幾何變換,圖像的幾何變換,圖像的幾何變換包括了圖像的形狀

6、變換和圖像的位置變換。 圖像的形狀變換是指圖像的放大、縮小與錯(cuò)切。 圖像的位置變換是指圖像的平移、鏡像與旋轉(zhuǎn)。 圖像的仿射變換描述。,圖像的幾何變換不改變像素的值，只改變像素的位置。,圖像的形狀變換,圖像的形狀變換主要是指圖像的縮小、放大與錯(cuò)切。 圖像的形狀變換通常在目標(biāo)物識(shí)別中使用。,圖像的形狀變換應(yīng)用 目標(biāo)物識(shí)別,如圖所示,要判別圖中的某個(gè)果子是蘋果還是李子,要將該圖像進(jìn)行放大或者是縮小,才能夠進(jìn)行正確的比較與識(shí)別。,圖像的縮小,分為按比例縮小和不按比例縮小兩種。 圖像縮小之后，因?yàn)槌休d的信息量小了，所以畫布可相應(yīng)縮小。,(a) 按比例縮小 (b) 不按比例縮小,圖像縮小 實(shí)現(xiàn)思路,圖像縮

7、小實(shí)際上就是對(duì)原有的多個(gè)數(shù)據(jù)進(jìn)行挑選或處理，獲得期望縮小尺寸的數(shù)據(jù)，并且盡量保持原有的特征不丟失。 最簡(jiǎn)單的方法就是等間隔地選取數(shù)據(jù)。,圖像縮小 實(shí)現(xiàn)方法,設(shè)原圖像大小為M*N，縮小為k1M*k2N， （k11，k21）。算法步驟如下： 1）設(shè)原圖為F(i,j)， i=1,2,M, j=1,2,N. 壓縮后圖像是G(x,y), x=1,2,k1M, y=1,2,k2N. 2）G(x,y)=F(c1*x,c2*y) 其中，c1=1/k1 c2=1/k2,圖像縮小 例題,K1=0.6, k2=0.75,i=1,6, j=1,6. x=1,6*06=1,4, y=1,6*0.75=1,5. x=1/

8、0.6,2/0.6,3/0.6,4/0.6=1.67,3.33,5,6.67=i2,i3,i5,i6, y=1/0.75,2/0.75,3/0.75,4/0.75,5/0.75=j1,j3,j4,j5,j6.,圖像放大,圖像放大從字面上看，是圖像縮小的逆操作，但是，從信息處理的角度來看，則難易程度完全不一樣。 圖像縮小是從多個(gè)信息中選出所需要的信息，而圖像放大則是需要對(duì)多出的空位填入適當(dāng)?shù)闹?，是信息的估?jì)。,圖像放大 實(shí)現(xiàn)思路,最簡(jiǎn)單的思想是，如果需要將原圖像放大為k倍，則將原圖像中的每個(gè)像素值，填在新圖像中對(duì)應(yīng)的k*k大小的子塊中。,顯然，當(dāng)k為整數(shù)時(shí)，可以采用這種簡(jiǎn)單的方法。,圖像放大 實(shí)

9、現(xiàn)方法,設(shè)原圖像大小為M*N,放大為k1M*k2N， （k11，k21）。算法步驟如下： 1）設(shè)舊圖像是F(i,j)， i=1,2,M, j=1,2,N. 新圖像是G(x,y), x=1,2,k1M, y=1,2,k2N. 2）G(x,y)=F(c1*i,c2*j) c1=1/k1 c2=1/k2,K1=1.5, k2=1.2,圖像放大 實(shí)現(xiàn)方法,i=1,2, j=1,3. x=1,3, y=1,4. x=1/1.5,2/1.5,3/1.5=i1,i1,i2, y=1/1.2,2/1.2,3/1.2,4/1.2=j1,j2,j3, j3.,思考一個(gè)問題： 如果放大倍數(shù)太大，按照前面的方法處理會(huì)

10、出現(xiàn)馬賽克效應(yīng)。如果這個(gè)問題交給你，有沒有辦法解決？或者想辦法至少使之有所改善？,圖像放大 思考問題,圖像錯(cuò)切 基本概念,圖像的錯(cuò)切變換實(shí)際上是平面景物在投影平面上的非垂直投影效果。 因?yàn)榻^大多數(shù)圖像都是三維物體在二維平面上的投影得到的，所以需要研究圖像的錯(cuò)切現(xiàn)象。,圖像錯(cuò)切 數(shù)學(xué)模型,錯(cuò)切的數(shù)學(xué)模型如下：,圖像錯(cuò)切 示例,可以看到，錯(cuò)切之后原圖像的像素排列方向發(fā)生改變。該坐標(biāo)變化的特點(diǎn)是，x方向與y方向獨(dú)立變化。,圖像的位置變換,所謂圖像的位置變換是指圖像的大小和形狀不發(fā)生變化，只是將圖像進(jìn)行平移、鏡像和旋轉(zhuǎn)。 圖像的位置變換主要是用于目標(biāo)識(shí)別中的目標(biāo)配準(zhǔn)。,圖像的平移,圖像的平移非常簡(jiǎn)單，

11、所用到的是中學(xué)學(xué)過的直角坐標(biāo)系的平移變換公式：,注意：x方向與y方向是矩陣的行列方向。,即：g(x,y)=f(x, y),圖像的平移 示例,注意：平移后的景物與原圖像相同，但“畫布”一定是擴(kuò)大了。否則就會(huì)丟失信息。,x=1,2,3 ; y=1,2,3 x=2,3,4 ; y=3,4,5,圖像的鏡像,所謂的鏡像，通俗地講，是指在鏡子中所成的像。其特點(diǎn)是左右顛倒或者是上下顛倒。 鏡像分為水平鏡像和垂直鏡像。,圖像的水平鏡像,水平鏡像計(jì)算公式如下（圖像大小為M*N）,因?yàn)楸硎緢D像的矩陣坐標(biāo)不能為負(fù)，因此需要在進(jìn)行鏡像計(jì)算之后，再進(jìn)行坐標(biāo)的平移。,（坐標(biāo)平移）,圖像的水平鏡像,示例：,圖像的垂直鏡像,

12、垂直鏡像計(jì)算公式如下（圖像大小為M*N）,因?yàn)楸硎緢D像的矩陣坐標(biāo)不能為負(fù)，因此需要在進(jìn)行鏡像計(jì)算之后，再進(jìn)行坐標(biāo)的平移。,（坐標(biāo)平移）,圖像的垂直鏡像,示例：,圖像的旋轉(zhuǎn),圖像的旋轉(zhuǎn)計(jì)算公式如下：,這個(gè)計(jì)算公式計(jì)算出的值為小數(shù)，而坐標(biāo)值為正整數(shù)。 這個(gè)計(jì)算公式計(jì)算的結(jié)果值所在范圍與原來的值所在的范圍不同。,因此需要前期處理：擴(kuò)大畫布，取整處理，平移處理 。,圖像旋轉(zhuǎn)的前期處理 畫布的擴(kuò)大,圖像旋轉(zhuǎn)之前，為了避免信息的丟失，畫布的擴(kuò)大是最重要的。 畫布擴(kuò)大的原則是：以最小的面積承載全部的畫面信息。,圖像旋轉(zhuǎn)的前期處理 畫布的擴(kuò)大,畫布擴(kuò)大的簡(jiǎn)單方法是：根據(jù)公式 計(jì)算出x和y的最大、最小值，即xm

13、in、xmax和ymin，ymax。 畫布大小為： xmax xmin、 ymax ymin。,圖像旋轉(zhuǎn)的前期處理 畫布的擴(kuò)大,旋轉(zhuǎn)后圖像的畫布大小為：,例,平移量為x=2; y=0。,圖像旋轉(zhuǎn) 按照確定畫布時(shí)的平移量取整,結(jié)論：按照?qǐng)D像旋轉(zhuǎn)計(jì)算公式獲得的結(jié)果與想象中的差異很大。,對(duì)原圖的(1,1)像素，x=1,y=1,取整后，該點(diǎn)在新圖的(2,1)上。,對(duì)原圖的(1,2)像素，x=1,y=2,取整后，該點(diǎn)在新圖的(2,2)上。,必須進(jìn)行后處理操作。,圖像旋轉(zhuǎn)后處理 旋轉(zhuǎn)后的隱含問題分析,圖像旋轉(zhuǎn)之后，出現(xiàn)了兩個(gè)問題： 1）像素的排列不是完全按照原有的相鄰關(guān)系。這是因?yàn)橄噜徬袼刂g只能有8個(gè)方

14、向（相鄰為45度），如下圖所示。 2）會(huì)出現(xiàn)許多的空洞點(diǎn)。,示例,圖像旋轉(zhuǎn)后處理 解決問題的思路,出現(xiàn)問題的核心是像素之間的連接是不連續(xù)的。 相鄰像素的角度是無法改變的，所以只能通過增加分辨率的方法來從整體上解決這個(gè)問題。 采用某種填補(bǔ)方法來填充空洞。,圖像旋轉(zhuǎn)的后處理 插值,最簡(jiǎn)單的方法是行插值（列插值）方法。,1）找出當(dāng)前行的最小和最大的非背景點(diǎn)的坐標(biāo)，記作：(i,k1)、(i,k2)。,如右圖有： (1,3)、(1,3); (2,1)、(2,4); (3,2)、(3,4)； (4,2)、(4,3)。,圖像旋轉(zhuǎn)的后處理 插值,2）在(k1,k2)范圍內(nèi)進(jìn)行插值，插值的方法是：空點(diǎn)的像素值等

15、于前一點(diǎn)的像素值。 3）同樣的操作重復(fù)到所有行。,圖像旋轉(zhuǎn)的后處理 插值效果分析,經(jīng)過插值處理之后，圖像效果就變得自然。 思考一個(gè)問題：邊界的鋸齒如何處理？,圖像的仿射變換,圖像仿射變換提出的意義是采用通用的數(shù)學(xué)影射變換公式，來表示前面給出的幾何變換。 回顧前面講過的幾何變換，除了圖像的平移，其他的變換均為線性變換，比較容易處理。 為了適應(yīng)平移,提出了齊次坐標(biāo)的概念。,平移公式：,圖像的仿射變換 齊次坐標(biāo),原坐標(biāo)為 (x,y)，定義齊次坐標(biāo)為： （wx,wy,w） 實(shí)質(zhì)是通過增加一個(gè)坐標(biāo)量來解決問題。,平移：,圖像的仿射變換 通式,有了齊次坐標(biāo) ，就可以定義仿射變換 如下：,仿射變換公式中，取

16、齊次坐標(biāo)的w=1。,用矩陣形式表示為：,圖像的仿射變換 圖像幾何變換表示,圖像的平移：,圖像的旋轉(zhuǎn)：,圖像的仿射變換 圖像幾何變換表示,圖像的水平鏡像：,圖像的垂直鏡像：,圖像的仿射變換 圖像幾何變換表示,圖像的垂直錯(cuò)切：,圖像的水平錯(cuò)切：,不同幾何變換實(shí)際上對(duì)應(yīng)著不同的變換矩陣。,圖像的成倍放大效果示例,圖像大比例放大時(shí)的馬賽克效應(yīng),放大10倍,圖像旋轉(zhuǎn)的效果示例,圖像旋轉(zhuǎn)中的插值效果示例,圖像的錯(cuò)切效果,圖像配準(zhǔn)示例,與原圖比較，有位置，角度偏差,水平鏡像示例,垂直鏡像示例,幾何畸變校正,在圖像的獲取或顯示過程中往往會(huì)產(chǎn)生幾何失真。 這主要是由于攝像管攝像機(jī)及陰極射線管顯示器的掃描偏轉(zhuǎn)系統(tǒng)

17、有一定的非線性，因此會(huì)造成如圖5.4所示的枕形失真或桶形失真。圖(a)為原始圖像，圖(b)和圖(c)為失真圖像。,基本的方法:先建立幾何校正的數(shù)學(xué)模型；其次利用已知條件確定模型參數(shù)；最后根據(jù)模型對(duì)圖像進(jìn)行幾何校正。通常分兩步： 圖像空間坐標(biāo)的變換； 確定校正空間各像素的灰度值（灰度內(nèi)插）。,空間坐標(biāo)變換,實(shí)際工作中常以一幅圖像為基準(zhǔn)，去校正幾何失真圖像。通?；鶞?zhǔn)圖像f(x,y)是利用沒畸變或畸變較小的攝像系統(tǒng)獲得，而把有較大的幾何畸變系統(tǒng)所攝入圖像用g(x,y)表示，其畸變形式是多樣的。,任意幾何失真都可由非失真坐標(biāo)系(x, y)變換到失真坐標(biāo)系的方程來定義。方程的一般形式為：,設(shè)f(x,y)

18、是無失真的原始圖像，而g(x,y)是f(x,y)畸變的結(jié)果，這一失真的過程是已知的，并且用函數(shù)h1和h2定義。于是有：,幾何校正,1已知h1(x,y)和h2(x,y)條件下的幾何校正 若我們具備先驗(yàn)知識(shí)h1(x,y)、h2(x,y)，則希望將幾何畸變圖像g(x,y)恢復(fù)為基準(zhǔn)幾何坐標(biāo)的圖像f(x,y)。幾何校正方法可分為直接法和間接法兩種。 直接法：先由 推出 ，然后依次計(jì)算每個(gè)像素的校正坐標(biāo)值，保持各像素灰度值不變，這樣生成一幅校正圖像，但其像素分布是不規(guī)則的，會(huì)出現(xiàn)像素?cái)D壓、疏密不均等現(xiàn)象，不能滿足要求。因此最后還需對(duì)不規(guī)則圖像通過灰度內(nèi)插生成規(guī)則的柵格圖像。,圖像處理常用插值方法,最鄰近

19、插值法 設(shè)i+u, j+v(i, j為正整數(shù)， u, v為大于零小于1的小數(shù)，下同)為待求像素坐標(biāo)，則待求像素灰度的值 f(i+u, j+v)如圖所示.如果(i+u, j+v)落在哪個(gè)區(qū)，則將此區(qū)的灰度值賦給待求像素,圖像處理常用插值方法,最鄰近插值法的問題(nearst neighbour) 最鄰近元法計(jì)算量較小，但可能會(huì)造成插值生成的圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。,圖像處理常用插值方法,雙線性插值法(Bilinear) 雙線性內(nèi)插法是利用待求象素四個(gè)鄰象素的灰度在兩個(gè)方向上作線性內(nèi)插，如圖所示。,圖像處理常用插值方法,對(duì)于(i,j+v)有： 同理，對(duì)于(i+1,j+v)有: 對(duì)于(i,j+v) 和(i+1,j+v)有關(guān)于u的線性關(guān)系，得,圖像處理常用插值方法,圖像處理常用插值方法,三次插值法（Bicubic） 利用三次多項(xiàng)式S(x)求逼近理論上最佳插值函數(shù)sin(x)/x, 其數(shù)學(xué)表達(dá)式為： 待求像素的值為： 三次曲線插值方法計(jì)算量較大，但插值后的圖像效果最好。,圖像處理常用插值方法,其中：,圖像處理常用插值方法,幾何校正,間接法：設(shè)恢復(fù)的圖像像素在基準(zhǔn)坐標(biāo)系統(tǒng)為等距網(wǎng)格的交叉點(diǎn)，從網(wǎng)格交叉點(diǎn)的坐標(biāo)（x,y）出發(fā)算出在已知畸變圖像上的坐標(biāo)(