1、1,第七章 圖像分割,2,圖像分割,圖像,圖像識(shí)別,圖像 預(yù)處理,圖像理解,圖像分割在整個(gè)圖像處理過(guò)程中的作用,圖像分割,作用,圖像分割是圖像識(shí)別和圖像理解的基本前提步驟，圖像分割質(zhì)量的好壞直接影響后續(xù)圖像處理的效果。,3,分割出來(lái)的各區(qū)域?qū)δ撤N性質(zhì)例如灰度，紋理而言具有相似性，區(qū)域內(nèi)部是連通的且沒(méi)有過(guò)多小孔； 區(qū)域邊界是明確的； 相鄰區(qū)域?qū)Ψ指钏罁?jù)的性質(zhì)有明顯的差異。,圖像分割,特征,圖像分割是指將一幅圖像分解為若干互不交疊的、有意義的、具有相同性質(zhì)的區(qū)域。,不同的分割算法總是在不同的約束之間尋找一種合理的平衡.,4, 第1類性質(zhì)的應(yīng)用途徑是基于亮度的不連續(xù)變化分割圖像,比如圖像的邊緣.

2、第2類的主要應(yīng)用途徑是依據(jù)事先制定的準(zhǔn)則將圖像分割為相似的區(qū)域.門限(閾值)處理、區(qū)域生長(zhǎng)、區(qū)域分離和聚合都是這類方法的實(shí)例。,圖像分割,特征,圖像分割算法一般是基于亮度值的兩個(gè)基本特性之一: 不連續(xù)性和相似性.,5, 間隔檢測(cè) 邊緣連接和邊界檢測(cè) 門限處理（閾值分割） 區(qū)域分割,圖像分割,本章要點(diǎn),6,7.1 間隔檢測(cè), 點(diǎn)檢測(cè) 線檢測(cè) 邊緣檢測(cè),7,間隔檢測(cè)的通用方法： 使用一個(gè)模板對(duì)整幅圖像進(jìn)行檢測(cè)。,1個(gè)33的模板,8,點(diǎn)檢測(cè),孤立點(diǎn)的檢測(cè),使用右圖模板,若,則在模板中心的位置已經(jīng)檢測(cè)到一個(gè)孤立點(diǎn). T為非負(fù)門限,如果一個(gè)孤立的點(diǎn)與它周圍的點(diǎn)很不同,則很容易被這類 模板檢測(cè)到.,點(diǎn)檢測(cè)

3、模板,9,線檢測(cè),線檢測(cè)模板,垂直,水平,第1個(gè)模板對(duì)水平方向(一個(gè)像素寬度)的線條有很強(qiáng)的響應(yīng). 第2個(gè)模板對(duì)+45度方向線有最佳響應(yīng).,10,線檢測(cè),若要檢測(cè)特定方向上的線,應(yīng)使用與這一方向有關(guān)的模板,并設(shè)置該模板的輸出門限.,令R1,R2,R3,R4分別表示圖7.3中模板的響應(yīng),如果 |Ri|Rj|,則此點(diǎn)被認(rèn)為與在模板i方向上的線更相關(guān).,11,邊緣檢測(cè),當(dāng)人看一個(gè)有邊緣的物體時(shí),首先感覺(jué)到的便是邊緣. 在邊緣處，灰度和結(jié)構(gòu)等信息產(chǎn)生突變.邊緣是一個(gè)區(qū)域的結(jié)束,也是另一個(gè)區(qū)域的開(kāi)始,利用該特征可以分割圖像.,由于圖像數(shù)據(jù)是二維的,而實(shí)際物體是三維的,從三維到二維的投影必然會(huì)造成信息的丟

4、失,再加上成像過(guò)程中光照的不均和噪聲等因素的影響,使得有邊緣的地方不一定能被檢測(cè)出來(lái),而檢測(cè)出來(lái)的邊緣也不一定代表實(shí)際邊緣.,圖像的邊緣有方向和幅度兩個(gè)屬性,沿邊緣方向像素變化平緩,垂直于邊緣方向像素變化劇烈.邊緣上的這種變化可以用微分算子檢測(cè)出來(lái),通常用一階或二階導(dǎo)數(shù)來(lái)檢測(cè)邊緣.,12,邊緣檢測(cè),斜坡數(shù)字邊緣模型,理想數(shù)字邊緣模型,水平線通過(guò)圖像的灰度剖面圖,水平線通過(guò)圖像的灰度剖面圖,斜坡部分與邊緣的模糊程度成正比.,13,邊緣檢測(cè),灰度剖面圖,一階導(dǎo)數(shù),二階導(dǎo)數(shù),一階導(dǎo)數(shù)可以用于檢測(cè)圖像中的一個(gè)點(diǎn)是否在斜坡上. 二階導(dǎo)數(shù)的符號(hào)可以用于判斷一個(gè)邊緣像素是在邊緣亮的一邊還是暗的一邊. (1)

5、對(duì)圖像中的每條邊緣二階導(dǎo)數(shù)生成兩個(gè)值。 (2)一條連接二階導(dǎo)數(shù)正極值和負(fù)極值的虛構(gòu)直線將在邊緣中點(diǎn)附近穿過(guò)零點(diǎn).據(jù)此可以用于確定粗邊線的中心.,14,邊緣檢測(cè),基于一階導(dǎo)數(shù)的邊緣檢測(cè)算子包括Roberts算子、Sobel算子、Prewitt算子等.通過(guò)22或者33的模板作為核與圖像中的每個(gè)像素點(diǎn)做卷積和運(yùn)算,然后選取合適的閾值以提取邊緣.,拉普拉斯邊緣檢測(cè)算子是基于二階導(dǎo)數(shù)的邊緣檢測(cè)算子,對(duì)噪聲敏感,一種改進(jìn)方式是先對(duì)圖像進(jìn)行平滑處理,然后再應(yīng)用二階導(dǎo)數(shù)的邊緣檢測(cè)算子.,圖像邊緣對(duì)應(yīng)一階導(dǎo)數(shù)的極大值點(diǎn)和二階導(dǎo)數(shù)的過(guò)零點(diǎn)。,15,邊緣檢測(cè),梯度算子是一階導(dǎo)數(shù)算子,幅值,方向角,16,梯度算子,

6、數(shù)字圖像處理中用差分代替微分,近似計(jì)算,17,梯度算子,Roberts算子,18,梯度算子,Prewitt算子,19,梯度算子,Sobel算子,20,梯度算子,Prewitt,Sobel,用于檢測(cè)對(duì)角邊緣的Prewitt算子和Sobel算子,21,梯度算子,原圖,Prewitt算子,Sobel算子,Roberts算子,22,拉普拉斯算子,差分,微分,二階導(dǎo)數(shù)算子,23,拉普拉斯算子,兩種常用的拉普拉斯算子模板,24,拉普拉斯算子,拉普拉斯算子一般不以其原始形式用于邊緣檢測(cè),這是因?yàn)椋?(1) 作為一個(gè)二階導(dǎo)數(shù),拉普拉斯算子對(duì)噪聲具有無(wú)法接受的敏感性; (2) 拉普拉斯算子的幅值產(chǎn)生雙邊緣,這是

7、復(fù)雜的分割不希望有的結(jié)果; (3) 拉普拉斯算子不能檢測(cè)邊緣的方向.,拉普拉斯算子在分割中所起的作用包括: (1) 利用它的零交叉的性質(zhì)進(jìn)行邊緣定位; (2) 確定一個(gè)像素是在邊緣暗的一邊還是亮的一邊.,25,噪聲對(duì)邊緣檢測(cè)的影響,26,高斯拉普拉斯算子,考慮函數(shù):,h的拉普拉斯算子(h關(guān)于r的二階導(dǎo)數(shù)) :,高斯型的拉普拉斯算子 (LoG),模糊圖像,用該函數(shù)對(duì)圖像進(jìn)行平滑濾波,然后再應(yīng)用拉普拉斯算子.,27,拉普拉斯算子,高斯型拉普拉斯算子,三維曲線,圖像,橫截面,55的模板,28,拉普拉斯算子,29,算子比較, Roberts算子：Roberts算子利用局部差分算子尋找邊緣，邊緣定位精度

8、較高，但容易丟失一部分邊緣，同時(shí)由于圖像沒(méi)經(jīng)過(guò)平滑處理，因此不具備抑制噪聲的能力。該算子對(duì)具有陡峭邊緣且含噪聲少的圖像效果較好。 Sobel算子和Prewitt算子：都是對(duì)圖像先做加權(quán)平滑處理，然后再做微分運(yùn)算，所不同的是平滑部分的權(quán)值有些差異，因此對(duì)噪聲具有一定的抑制能力，但不能完全排除檢測(cè)結(jié)果中出現(xiàn)的虛假邊緣。雖然這兩個(gè)算子邊緣定位效果不錯(cuò)，但檢測(cè)出的邊緣容易出現(xiàn)多像素寬度。,30,算子比較, Laplacian算子：是不依賴于邊緣方向的二階微分算子，對(duì)圖像中的階躍型邊緣點(diǎn)定位準(zhǔn)確，該算子對(duì)噪聲非常敏感，它使噪聲成分得到加強(qiáng)，這兩個(gè)特性使得該算子容易丟失一部分邊緣的方向信息，造成一些不連續(xù)

9、的檢測(cè)邊緣，同時(shí)抗噪聲能力比較差。,31,算子比較, LOG算子：該算子首先用高斯函數(shù)對(duì)圖像作平滑濾波處理，然后才使用Laplacian算子檢測(cè)邊緣，因此克服了Laplacian算子抗噪聲能力比較差的缺點(diǎn)，但是在抑制噪聲的同時(shí)也可能將原有的比較尖銳的邊緣也平滑掉了，造成這些尖銳邊緣無(wú)法檢被測(cè)到。 應(yīng)用LOG算子，高斯函數(shù)中方差參數(shù)的選擇很關(guān)鍵，對(duì)圖像邊緣檢測(cè)效果有很大的影響。高斯濾波器為低通濾波器，越大，通頻帶越窄，對(duì)較高頻率的噪聲的抑制作用越大，避免了虛假邊緣的檢出，同時(shí)信號(hào)的邊緣也被平滑了，造成某些邊緣點(diǎn)的丟失。反之，越小，通頻帶越寬，可以檢測(cè)到的圖像更高頻率的細(xì)節(jié)，但對(duì)噪聲的抑制能力相對(duì)

10、下降，容易出現(xiàn)虛假邊緣。因此，應(yīng)用LOG算子，為取得更佳的效果，對(duì)于不同圖像應(yīng)選擇不同參數(shù)。,32,7.2 邊緣連接和邊界檢測(cè),利用前面的方法檢測(cè)出邊緣點(diǎn),但由于噪聲、光照不均等因素的影響，獲得邊緣點(diǎn)有可能是不連續(xù)的，必須使用連接過(guò)程將邊緣像素組合成有意義的邊緣信息，以備后續(xù)處理。,33,局部處理,分析圖像中每個(gè)點(diǎn)（x,y）的一個(gè)小鄰域，根據(jù)梯度確定邊緣像素的相似性。,如果滿足：,如果大小和方向準(zhǔn)則得到滿足,則在前面定義的(x,y)鄰域中的點(diǎn)就與位于(x,y)的像素連接起來(lái).,34,基本步驟,從圖像中一個(gè)邊緣點(diǎn)出發(fā)，然后根據(jù)某種判別準(zhǔn)則搜索下一個(gè)邊緣點(diǎn)以此跟蹤出目標(biāo)邊界。,確定邊界的起始搜索點(diǎn)

11、，起始點(diǎn)的選擇很關(guān)鍵，對(duì)某些圖像，選擇不同的起始點(diǎn)會(huì)導(dǎo)致不同的結(jié)果。 確定合適邊界判別準(zhǔn)則和搜索準(zhǔn)則，判別準(zhǔn)則用于判斷一個(gè)點(diǎn)是不是邊界點(diǎn)，搜索準(zhǔn)則指導(dǎo)如何搜索下一個(gè)邊緣點(diǎn)。 確定搜索的終止條件。,35,灰度圖像邊界跟蹤,36,7.3 門限處理(閾值分割),由于圖像門限處理的直觀性和易于實(shí)現(xiàn)的性質(zhì),使它在圖像分割應(yīng)用中處于中心地位.,37,基本原理,上圖(a)為一幅圖像的灰度級(jí)直方圖,其由亮的對(duì)象和暗的背景組成. 對(duì)象和背景的灰度級(jí)形成兩個(gè)不同的模式. 選擇一個(gè)門限值T, 可以將這些模式分開(kāi). (b)包含3個(gè)模式.,(a)單一門限 (b)多門限進(jìn)行分割的灰度級(jí)直方圖,38,基本原理,原始圖像f(

12、x,y) 灰度閾值T 閾值運(yùn)算得二值圖像g(x,y), 閾值選擇直接影響分割效果，通?？梢酝ㄟ^(guò)對(duì)灰度直方圖 的分析來(lái)確定它的值。,對(duì)象點(diǎn),背景點(diǎn),39,閾值選擇,利用灰度直方圖求雙峰或多峰 選擇兩峰之間的谷底作為閾值,40,41,人工閾值,人工選擇法是通過(guò)人眼的觀察，應(yīng)用人對(duì)圖像的知識(shí)，在分析圖像直方圖的基礎(chǔ)上，人工選出合適的閾值。也可以在人工選出閾值后，根據(jù)分割效果，不斷的交互操作，從而選擇出最佳的閾值。,42,T=155的二值化圖像 T=210的二值化圖像,原始圖像,圖像直方圖,人工閾值,43,自動(dòng)閾值,迭代法,基本思想：開(kāi)始時(shí)選擇一個(gè)閾值作為初始估計(jì)值，然后按某種策略不斷地改進(jìn)這一估計(jì)值

13、，直到滿足給定的準(zhǔn)則為止。在迭代過(guò)程中，關(guān)鍵之處在于選擇什么樣的閾值改進(jìn)策略，好的閾值的改進(jìn)策略應(yīng)該具備兩個(gè)特征，一是能夠快速收斂，二是在每一個(gè)迭代過(guò)程中，新產(chǎn)生閾值優(yōu)于上一次的閾值。,在無(wú)人介入的情況下自動(dòng)選取閾值是大部分應(yīng)用的基本要求,自動(dòng)閾值法通常使用灰度直方圖來(lái)分析圖像中灰度值的分布,結(jié)合特定的應(yīng)用領(lǐng)域知識(shí)來(lái)選取合適的閾值.,44,最小誤差準(zhǔn)則 是指使圖像中目標(biāo)物和背景分割錯(cuò)誤最小的閾值。 設(shè)一幅圖像只由目標(biāo)物和背景組成，圖像中感興趣目標(biāo)的像點(diǎn)灰度級(jí)服從正態(tài)分布，密度為p1(z)，均值和方差分別為1和12；背景點(diǎn)的灰度級(jí)服從正態(tài)分布，密度為p2(z)，均值和方差分別為2和22。設(shè)目標(biāo)的

14、像素?cái)?shù)占圖像總像素?cái)?shù)的百分比為，背景點(diǎn)占(1-)，則混合概率密度為,自動(dòng)閾值,迭代法,45,自動(dòng)閾值,迭代法,46,當(dāng)選定門限為t時(shí)，目標(biāo)點(diǎn)錯(cuò)劃為背景點(diǎn)的概率為 把背景點(diǎn)錯(cuò)分為目標(biāo)點(diǎn)的概率為 則總錯(cuò)誤概率為,自動(dòng)閾值,迭代法,47,為了使這個(gè)誤差最小，可令,，則有,由此得出,若先驗(yàn)概率已知，例如,自動(dòng)閾值,迭代法,48,自動(dòng)閾值,迭代法,(1) 選擇圖像灰度的中值作為初始閾值Ti=T0。 (2) 利用閾值Ti把圖像分割成兩部分區(qū)域，R1和R2，并計(jì)算其灰度均值,(3) 計(jì)算新的閾值Ti+1,(4) 重復(fù)步驟2、3，直到Ti+1和Ti的值差別小于某個(gè)給定值,迭代式閾值選擇的基本步驟如下:,適用于

15、背景和對(duì)象在圖像中占據(jù)的面積相近的情況.,49,自動(dòng)閾值,迭代法,原始圖像,迭代閾值二值化圖象,迭代式閾值二值化圖像,50,自動(dòng)閾值,迭代法,(a) 原圖 (b) 圖像的直方圖 (c) 通過(guò)用迭代估計(jì)的門限對(duì)圖像進(jìn)行分割的結(jié)果,51,自動(dòng)閾值,分水嶺算法,分水嶺算法(watershed)是一種借鑒了形態(tài)學(xué)理論的分割方法，它將一幅圖象看成為一個(gè)拓?fù)涞匦螆D，其中灰度值被認(rèn)為是地形高度值。高灰度值對(duì)應(yīng)著山峰，低灰度值處對(duì)應(yīng)著山谷。將水從任一處流下，它會(huì)朝地勢(shì)底的地方流動(dòng)，直到某一局部低洼處才停下來(lái)，這個(gè)低洼處被稱為吸水盆地，最終所有的水會(huì)分聚在不同的吸水盆地, 吸水盆地之間的山脊被稱為分水嶺，水從分

16、水嶺流下時(shí)，它朝不同的吸水盆地流去的可能性是相等的。 將這種想法應(yīng)用于圖像分割，就是要在灰度圖像中找出不同的吸水盆地和分水嶺，由這些不同的吸水盆地和分水嶺組成的區(qū)域即為我們要分割的目標(biāo)。,52,自動(dòng)閾值,分水嶺算法,(a)原始圖像 (b)圖像對(duì)應(yīng)的拓?fù)涞匦螆D 圖像對(duì)應(yīng)的拓?fù)浔砻鎴D,53,自動(dòng)閾值,分水嶺算法,分水嶺閾值選擇算法可以看成是一種自適應(yīng)的多閾值分割算法,分水嶺形成示意圖,分水嶺對(duì)應(yīng)于原始圖像中的邊緣,54,自動(dòng)閾值,分水嶺算法,分水嶺算法是以梯度圖的局部極小點(diǎn)作為吸水盆地的標(biāo)記點(diǎn),由于梯度圖中可能有較多的局部極小點(diǎn),因此可能會(huì)導(dǎo)致過(guò)分割.,55,自動(dòng)閾值,分水嶺算法,L=waters

17、hed(f),MATLAB函數(shù),不準(zhǔn)確標(biāo)記分水嶺算法導(dǎo)致過(guò)分割,原始圖像,分水嶺,分割結(jié)果,局部極小值,56,自動(dòng)閾值,改進(jìn)的分水嶺算法,準(zhǔn)確標(biāo)記的分水嶺算法分割過(guò)程,原始圖像,原圖像的距離變換,標(biāo)記外部約束,標(biāo)記內(nèi)部約束,由標(biāo)記內(nèi)外部約束重構(gòu)的梯度圖,分割結(jié)果,57,7.4 區(qū)域分割,58,基本思想,閾值分割法由于沒(méi)有或很少考慮空間關(guān)系，使多閾值選擇受到限制 基于區(qū)域的分割方法可以彌補(bǔ)這點(diǎn)不足，它利用的是圖像的空間性質(zhì)，該方法認(rèn)為分割出來(lái)的屬于同一區(qū)域的像素應(yīng)具有相似的性質(zhì)，其概念是相當(dāng)直觀的。 傳統(tǒng)的區(qū)域分割算法有區(qū)域生長(zhǎng)法和區(qū)域分裂合并法。該類方法在沒(méi)有先驗(yàn)知識(shí)可以利用時(shí)，對(duì)含有復(fù)雜場(chǎng)景

18、或自然景物等先驗(yàn)知識(shí)不足的圖像進(jìn)行分割, 也可以取得較好的性能。但是，空間和時(shí)間開(kāi)銷都比較大。,59,條件(1)表明分割區(qū)域要覆蓋整個(gè)圖像且各區(qū)域互不重疊； 條件(2)表明每個(gè)區(qū)域具有相同的性質(zhì)； 條件(3)表明相鄰的兩個(gè)區(qū)域性質(zhì)相異不能合并為一個(gè)區(qū)域。,形式化地定義如下：令I(lǐng)表示圖像,H表示具有相同性質(zhì)的謂詞,圖像分割把I分解成n個(gè)區(qū)域 Ri, i1,2,n,滿足：,基本公式,60,區(qū)域生長(zhǎng),區(qū)域生長(zhǎng)法主要考慮象素及其空間鄰域象素之間的關(guān)系 開(kāi)始時(shí)確定一個(gè)或多個(gè)象素點(diǎn)作為種子，然后按某種相似性準(zhǔn)則增長(zhǎng)區(qū)域，逐步生成具有某種均勻性的空間區(qū)域，將相鄰的具有相似性質(zhì)的象素或區(qū)域歸并從而逐步增長(zhǎng)區(qū)域

19、，直至沒(méi)有可以歸并的點(diǎn)或其它小區(qū)域?yàn)橹埂?區(qū)域內(nèi)象素的相似性度量可以包括平均灰度值、紋理、顏色等信息。,區(qū)域生長(zhǎng)是一種根據(jù)事前定義的準(zhǔn)則將像素或子區(qū)域聚合成更大區(qū)域的過(guò)程.,61,區(qū)域生長(zhǎng),區(qū)域增長(zhǎng)示例,(a) 初始情形 (b) T=1 (c) T=2 (d) T=3,生長(zhǎng)準(zhǔn)則: 所考慮的像素點(diǎn)和種子點(diǎn)的灰度值的絕對(duì)值差小于或等于某個(gè)閾值T就將該像素點(diǎn)歸入種子點(diǎn)所在的區(qū)域.,62,區(qū)域生長(zhǎng),選擇合適的種子點(diǎn) 確定相似性準(zhǔn)則(生長(zhǎng)準(zhǔn)則) 確定生長(zhǎng)停止條件,步驟,63,區(qū)域生長(zhǎng),實(shí)例,顯示有缺陷的焊縫的圖像 種子點(diǎn) 區(qū)域生長(zhǎng)的結(jié)果 對(duì)有缺陷的焊縫區(qū)域進(jìn)行分割得到的邊界,64,區(qū)域生長(zhǎng),實(shí)例,區(qū)域生

20、長(zhǎng),原始圖像及種子點(diǎn)位置,三個(gè)種子點(diǎn)區(qū)域生長(zhǎng)結(jié)果,原始圖像及種子點(diǎn)位置,四個(gè)種子點(diǎn)區(qū)域生長(zhǎng)結(jié)果,65,區(qū)域分裂,如果區(qū)域的某些特性差別比較大,即不滿足一致性準(zhǔn)則時(shí),則區(qū)域應(yīng)該采用分裂法,分裂過(guò)程從圖像的最大區(qū)域開(kāi)始，一般情況下，是從整幅圖像開(kāi)始. 注意： 確定分裂準(zhǔn)則(一致性準(zhǔn)則) 確定分裂方法，即如何分裂區(qū)域，使得分裂后的子區(qū)域的特性盡可能都滿足一致性準(zhǔn)則值。,66,區(qū)域分裂,算法, 形成初始區(qū)域 對(duì)圖像的每一個(gè)區(qū)域Ri，計(jì)算P(Ri)，如果 P(Ri)=FALSE 則沿著某一合適的邊界分裂區(qū)域 重復(fù)步驟2，當(dāng)沒(méi)有區(qū)域需分裂時(shí)，算法結(jié)束。,67,區(qū)域合并,合并運(yùn)算就是把相鄰的具有相似性質(zhì)的區(qū)域合成為一個(gè)區(qū)域 合并