1、數(shù)字圖像處理,鄰域運(yùn)算,鄰域運(yùn)算,一、引言 二、平滑 三、中值濾波 四、邊緣檢測(cè) 五、細(xì)化,1 引言,1）鄰域運(yùn)算 定義 輸出圖像中每個(gè)像素是由對(duì)應(yīng)的輸入像素及其一個(gè)鄰域內(nèi)的像素共同決定時(shí)的圖像運(yùn)算。 通常鄰域是遠(yuǎn)比圖像尺寸小的一規(guī)則形狀。如下面情況中，一個(gè)點(diǎn)的鄰域定義為以該點(diǎn)為中心的一個(gè)圓內(nèi)部或邊界上點(diǎn)的集合。,鄰域運(yùn)算與點(diǎn)運(yùn)算一起構(gòu)成最基本、最重要的圖像處理方法。,點(diǎn)+的鄰域,點(diǎn)+的鄰域,1 引言,1 引言,舉例 另一種表達(dá),$進(jìn)一步閱讀：Gonzalez, p91.,1 引言,2）相關(guān)與卷積 信號(hào)與系統(tǒng)分析中基本運(yùn)算相關(guān)與卷積，在實(shí)際圖像處理中都表現(xiàn)為鄰域運(yùn)算。 兩個(gè)連續(xù)函數(shù)f(x)和g

2、(x)的相關(guān)記作： 兩個(gè)連續(xù)函數(shù)f(x)和g(x)的卷積定義為：,1 引言,3）模板（template，filter mask）的相關(guān)與卷積運(yùn)算 給定圖像f(x,y)大小N*N，模板T(i,j)大小m*m（m為奇數(shù)）。 常用的相關(guān)運(yùn)算定義為：使模板中心T(m-1)/2,(m-1)/2) 與f(x,y)對(duì)應(yīng)。,演 示,1 引言,相關(guān)運(yùn)算,1 引言,卷積運(yùn)算定義為：,1 引言,4）相關(guān)與卷積的物理含義 相關(guān)運(yùn)算是將模板當(dāng)權(quán)重矩陣作加權(quán)平均； 而卷積先沿縱軸翻轉(zhuǎn)，再沿橫軸翻轉(zhuǎn)后再加權(quán)平均。 如果模板是對(duì)稱(chēng)的，那么相關(guān)與卷積運(yùn)算結(jié)果完全相同。 鄰域運(yùn)算實(shí)際上就是卷積和相關(guān)運(yùn)算，用信號(hào)分析的觀點(diǎn)就是濾波

3、。,2 平滑,圖像平滑的目的 是消除或盡量減少噪聲的影響，改善圖像的質(zhì)量。 假設(shè) 在假定加性噪聲是隨機(jī)獨(dú)立分布的條件下，利用鄰域的平均或加權(quán)平均可以有效的抑制噪聲干擾。 從信號(hào)分析的觀點(diǎn) 圖像平滑本質(zhì)上低通濾波。將信號(hào)的低頻部分通過(guò)，而阻截高頻的噪聲信號(hào)。 問(wèn)題 往往圖像邊緣也處于高頻部分。,2 平滑,1）鄰域平均（矩形鄰域和圓形鄰域） 注意：大卷積模板可以加大濾波程度，但也會(huì)導(dǎo)致圖像細(xì)節(jié)的損失。,2 平滑,有高斯噪聲的朱家角風(fēng)光,無(wú)噪聲朱家角風(fēng)光,2 平滑,通過(guò)T3鄰域平均后的朱家角風(fēng)光,通過(guò)T5鄰域平均后的朱家角風(fēng)光,2 平滑,2）高斯濾波（Gaussian Filters） 采用高斯函數(shù)

4、作為加權(quán)函數(shù)。 原因一：二維高斯函數(shù)具有旋轉(zhuǎn)對(duì)稱(chēng)性，保證濾波時(shí)各方向平滑程度相同； 原因二：離中心點(diǎn)越遠(yuǎn)權(quán)值越小。確保邊緣細(xì)節(jié)不被模糊。,2 平滑,設(shè)計(jì)離散高斯濾波器的方法： 設(shè)定2和n，確定高斯模板權(quán)值。如2 =2和n=5：,2 平滑,整數(shù)化和歸一化后得：,2 平滑,經(jīng)過(guò)高斯濾波后的朱家角風(fēng)光,通過(guò)T5鄰域平均后的朱家角風(fēng)光,3 中值濾波,1）什么是中值濾波 與加權(quán)平均方式的平滑濾波不同，中值濾波用一個(gè)含有奇數(shù)點(diǎn)的滑動(dòng)窗口，將鄰域中的像素按灰度級(jí)排序，取其中間值為輸出像素。 2）中值濾波的要素 中值濾波的效果取決于兩個(gè)要素：鄰域的空間范圍和中值計(jì)算中涉及的像素?cái)?shù)。（當(dāng)空間范圍較大時(shí)，一般只用

5、某個(gè)稀疏矩陣做計(jì)算）。 3）中值濾波的優(yōu)點(diǎn) 中值濾波能夠在抑制隨機(jī)噪聲的同時(shí)不使邊緣模糊。但對(duì)于線、尖頂?shù)燃?xì)節(jié)多的圖像不宜采用中值濾波。,3 中值濾波,例,有椒鹽噪聲的朱家角風(fēng)光,用3*3的濾波窗口對(duì)上圖做二維中值濾波,4 邊緣檢測(cè),1）什么是邊緣檢測(cè) 邊緣是指圖像中灰度發(fā)生急劇變化的區(qū)域。圖像灰度的變化可以用圖像的梯度反映。 邊緣檢測(cè)：求連續(xù)圖像f(x,y)梯度的局部最大值和方向。,$進(jìn)一步閱讀：Gonzalez, p463.,4 邊緣檢測(cè),4 邊緣檢測(cè),梯度最大值及其方向,4 邊緣檢測(cè),最簡(jiǎn)單的梯度近似計(jì)算為：,4 邊緣檢測(cè),2）梯度算子 在離散情況下常用梯度算子來(lái)檢測(cè)邊緣，給定圖像f(m

6、,n)在兩個(gè)正交方向H1和H2上的梯度1(m,n)和2(m,n)如下： 則邊緣的強(qiáng)度和方向由下式給出：,4 邊緣檢測(cè),3）常用邊緣檢測(cè)算子 Roberts算子： 其卷積模板分別是： Roberts算子特點(diǎn)是邊緣定位準(zhǔn)，對(duì)噪聲敏感。,4 邊緣檢測(cè),Prewitt算子：采用3x3模板。 Prewitt算子：平均、微分對(duì)噪聲有抑制作用。,4 邊緣檢測(cè),Sobel算子：與Prewitt算子類(lèi)似，采用了加權(quán)。 Isotropic Sobel算子： Sobel算子在實(shí)際中最常用。,4 邊緣檢測(cè),4 邊緣檢測(cè),Lenna的Sobel邊界,4 邊緣檢測(cè),Lenna的Prewitt邊界,4 邊緣檢測(cè),Lenna

7、的Roberts邊界,4 邊緣檢測(cè),4）邊緣檢測(cè)算法的基本步驟 （1）濾波。邊緣檢測(cè)主要基于導(dǎo)數(shù)計(jì)算，但受噪聲影響。但濾波器在降低噪聲的同時(shí)也導(dǎo)致邊緣強(qiáng)度的損失。 （2）增強(qiáng)。增強(qiáng)算法將鄰域中灰度有顯著變化的點(diǎn)突出顯示。一般通過(guò)計(jì)算梯度幅值完成。 （3）檢測(cè)。但在有些圖像中梯度幅值較大的并不是邊緣點(diǎn)。最簡(jiǎn)單的邊緣檢測(cè)是梯度幅值閾值判定。 （4）定位。精確確定邊緣的位置。,4 邊緣檢測(cè),4 邊緣檢測(cè),5）二階算子（拉普拉斯算子）,直方圖法,梯度閾值法,二階過(guò)零點(diǎn)法,4 邊緣檢測(cè),一階導(dǎo)數(shù)的局部最大值對(duì)應(yīng)著二階導(dǎo)數(shù)的零交叉點(diǎn)（Zero crossing）。這樣通過(guò)求圖像的二階導(dǎo)數(shù)的零交叉點(diǎn)就能找到

8、精確邊緣點(diǎn)。 在二維空間，對(duì)應(yīng)二階導(dǎo)數(shù)算子有拉普拉斯算子。,4 邊緣檢測(cè),是不依賴(lài)邊緣方向的二階微分算子，是一個(gè)標(biāo)量而不是一個(gè)向量，具有旋轉(zhuǎn)不變性即各向同性的性質(zhì)。,4 邊緣檢測(cè),用卷積模板表示為：,注意：與梯度算子的不同, 只需要一個(gè)卷積模板,4 邊緣檢測(cè),例：在下列圖像中，判斷一階差分梯度算子和Laplacian算子的區(qū)別。圖中處表示1，其他為0。 其中一階差分梯度算子采用,4 邊緣檢測(cè),4 邊緣檢測(cè),A圖中對(duì)孤立的點(diǎn)，輸出的是一個(gè)擴(kuò)大略帶模糊的點(diǎn)和線。 B圖和C圖中對(duì)線的端點(diǎn)和線，輸出的是加粗了的端點(diǎn)和線。 D中對(duì)階躍線，輸出的只有一條線。 對(duì)梯度運(yùn)算，梯度算子的灰度保持不變。而對(duì)拉氏算

9、子，孤立點(diǎn)增加4倍，端點(diǎn)增加3倍，線增加2倍，界線不變。 拉氏算子在實(shí)際應(yīng)用中對(duì)噪聲敏感。因此在實(shí)際中通常不直接使用。,4 邊緣檢測(cè),6）過(guò)零點(diǎn)檢測(cè)：Marr算子（LoG算法） （1）基本原理 A) 對(duì)有噪聲信號(hào)，先濾波 B) 再對(duì)g(x)求一階或二階導(dǎo)數(shù)以檢測(cè)邊緣點(diǎn),4 邊緣檢測(cè),因此下面兩步驟在數(shù)學(xué)上是等價(jià)的： 求圖像與濾波器的卷積，再求卷積的拉氏變換。 求濾波器的拉氏變換，再求與圖像的卷積。 C) 濾波器h(x)應(yīng)滿足以下條件,4 邊緣檢測(cè),4 邊緣檢測(cè),（2）Marr邊緣檢測(cè)算法 step1:平滑濾波器采用高斯濾波器； step2:邊緣增強(qiáng)用二階導(dǎo)數(shù)（二維拉普拉斯函數(shù)）； step3:

10、邊緣檢測(cè)判據(jù)是二階導(dǎo)數(shù)零交叉點(diǎn)； step4:采用線性插值的方法估計(jì)邊緣的位置。 因?yàn)椴捎肔aplacian算子，故有LoG（Laplacian of Gaussian）濾波器。,4 邊緣檢測(cè),離散拉普拉斯高斯模板（5*5，delta=2）,4 邊緣檢測(cè),（3）為符合人類(lèi)視覺(jué)生理，用DoG逼近,Difference of Gaussian,4 邊緣檢測(cè),（4）Marr過(guò)零點(diǎn)檢測(cè)的優(yōu)缺點(diǎn) 過(guò)零點(diǎn)（Zero-crossing）的檢測(cè)所依賴(lài)的范圍與參數(shù)delta有關(guān)，但邊緣位置與delta的選擇無(wú)關(guān)，若只關(guān)心全局性的邊緣可以選取比較大的鄰域(如delta= 4 時(shí)，鄰域接近40個(gè)像素寬)來(lái)獲取明顯的

11、邊緣。 過(guò)度平滑形狀，例如會(huì)丟失角點(diǎn)； 傾向產(chǎn)生環(huán)行邊緣。,為什么？請(qǐng)思考。,4 邊緣檢測(cè),Marr邊緣Delta=2,4 邊緣檢測(cè),Marr邊緣delta=4,4 邊緣檢測(cè),7）Canny邊緣檢測(cè)最優(yōu)的階梯型邊緣檢測(cè)算法 （1）基本原理 圖像邊緣檢測(cè)必須滿足兩個(gè)條件：一能有效地抑制噪聲；二必須盡量精確確定邊緣的位置。 根據(jù)對(duì)信噪比與定位乘積進(jìn)行測(cè)度，得到最優(yōu)化逼近算子。這就是Canny邊緣檢測(cè)算子。 類(lèi)似與Marr（LoG）邊緣檢測(cè)方法，也屬于先平滑后求導(dǎo)數(shù)的方法。,4 邊緣檢測(cè),（2）Canny邊緣檢測(cè)算法 step1:用高斯濾波器平滑圖像； step2:用一階偏導(dǎo)的有限差分來(lái)計(jì)算梯度的幅

12、值和方向； step3:對(duì)梯度幅值進(jìn)行非極大值抑制； step4:用雙閾值算法檢測(cè)和連接邊緣。 step1:高斯平滑函數(shù)：,4 邊緣檢測(cè),step2:一階差分卷積模板：,4 邊緣檢測(cè),step3:非極大值抑制 僅僅得到全局的梯度并不足以確定邊緣，因此為確定邊緣，必須保留局部梯度最大的點(diǎn)，而抑制非極大值。（non-maxima suppression,NMS） 解決方法：利用梯度的方向。,4 邊緣檢測(cè),四個(gè)扇區(qū)的標(biāo)號(hào)為0到3，對(duì)應(yīng)3*3鄰域的四種可能組合。 在每一點(diǎn)上，鄰域的中心像素M與沿著梯度線的兩個(gè)像素相比。如果M的梯度值不比沿梯度線的兩個(gè)相鄰像素梯度值大，則令M=0。 即：,4 邊緣檢測(cè),

13、step4:閾值化 減少假邊緣段數(shù)量的典型方法是對(duì)Ni，j使用一個(gè)閾值。將低于閾值的所有值賦零值。但問(wèn)題是如何選取閾值？ 解決方法：雙閾值算法。 在T1中收取邊緣，將T2中所有間隙連接起來(lái)。,4 邊緣檢測(cè),Canny邊緣 Tao=2,4 邊緣檢測(cè),Canny邊緣 Tao=4,4 邊緣檢測(cè),邊緣檢測(cè)的小結(jié) 評(píng)價(jià)邊緣檢測(cè)器性能的測(cè)度 （1）假邊緣概率； （2）丟失邊緣概率； （3）邊緣方向角估計(jì)誤差； （4）邊緣估計(jì)值到真邊緣的距離平方均值； （5）畸變邊緣和其他諸如角點(diǎn)和結(jié)點(diǎn)的誤差范圍。,5 細(xì)化,1）什么是細(xì)化？ 2）一些基本概念 3）細(xì)化的要求 4）細(xì)化算法,5 細(xì)化,1）什么是細(xì)化（thi

14、nning） 細(xì)化是一種二值圖像處理運(yùn)算?？梢园讯祱D像區(qū)域縮成線條，以逼近區(qū)域的中心線。 細(xì)化的目的是減少圖像成分，只留下區(qū)域最基本的信息，以便進(jìn)一步分析和處理。 細(xì)化一般用于文本分析預(yù)處理階段。,5 細(xì)化,5 細(xì)化,2）基本概念 （1）近鄰 4鄰點(diǎn)（4-neighbors）：如果兩個(gè)像素有公共邊界，則稱(chēng)它們互為4鄰點(diǎn)。 8鄰點(diǎn)（8-neighbors）：如果兩個(gè)像素至少共享一個(gè)頂角，則稱(chēng)它們互為8鄰點(diǎn)。 （2）連通 一個(gè)像素與它的4鄰點(diǎn)是4連通（4-connected）關(guān)系； 一個(gè)像素與它的8鄰點(diǎn)是8連通（8-connected）關(guān)系；,5 細(xì)化,（3）路徑 從像素0到像素n的路徑是指一個(gè)

15、像素序列，0,1,k,n，其中k與k+1像素互為鄰點(diǎn)。 如果鄰點(diǎn)關(guān)系是4連通的，則是4路徑； 如果鄰點(diǎn)關(guān)系是8連通的，則是8路徑； （4）前景 圖像中值為1的全部像素的集合稱(chēng)為前景(foreground)，用S來(lái)表示。,5 細(xì)化,5 細(xì)化,（5）連通性 已知像素 ，如果存在一條p到q的路徑，且路徑上全部像素都包含在S中，則稱(chēng)p與q是連通的。 連通性具有：自反性、互換性和傳遞性。 （6）連通成分 一個(gè)像素集合，如果集合中每一個(gè)像素與其他像素連通，則稱(chēng)該集合是連通成分（connected component）。 （7）簡(jiǎn)單邊界點(diǎn) S中的一個(gè)邊界點(diǎn)P，如果其鄰域中只有一個(gè)連通成分，則P是簡(jiǎn)單邊界點(diǎn)。

16、,5 細(xì)化,判斷下圖中哪些是簡(jiǎn)單邊界點(diǎn)？,5 細(xì)化,3）細(xì)化要求 （1）連通區(qū)域必須細(xì)化成連通線結(jié)構(gòu)； （2）細(xì)化結(jié)果至少是8連通的； （3）保留終止線的位置； （4）細(xì)化結(jié)果應(yīng)該近似于中軸線； （5）由細(xì)化引起的附加突刺應(yīng)該是最小的。,5 細(xì)化,4）細(xì)化算法 在至少3x3鄰域內(nèi)檢查圖像前景中的每一個(gè)像素，迭代削去簡(jiǎn)單邊界點(diǎn)，直至區(qū)域被細(xì)化成一條線。 算法描述： 對(duì)于每一個(gè)像素，如果 A) 沒(méi)有上鄰點(diǎn)（下鄰點(diǎn)、左鄰點(diǎn)、右鄰點(diǎn)）； B) 不是孤立點(diǎn)或孤立線； C) 去除該像素點(diǎn)不會(huì)斷開(kāi)連通區(qū)域，則刪除該像素點(diǎn)； D) 重復(fù)這一步驟直到?jīng)]有像素點(diǎn)可以去除。,有條件限制,5 細(xì)化,每次細(xì)化分4步（不去除只有一個(gè)鄰點(diǎn)），具體過(guò)程如下： (1）八連通下北向邊界點(diǎn)（n=0, p=1）可刪除條件 上式排除下面5種情況：,5 細(xì)化,（2）八連通下的南向邊界點(diǎn)（s=0, p=1）可刪除條件： （3）八連通下的西向邊界點(diǎn)（w=0, p=1）可刪除條件：,5 細(xì)化,