1、第7章 圖像描述與分析,7.1 灰度描述 7.2 邊界描述 7.3 區(qū)域描述 7.4 紋理描述 7.5 形態(tài)分析,第7章 圖像描述與分析,圖像分析 也叫景物分析或圖像理解 是一種描述過(guò)程，研究用自動(dòng)或半自動(dòng)裝置和系統(tǒng)，從圖像中提取有用數(shù)據(jù)或信息生成非圖的描述或表示 圖像分析：特征提取、圖像分割、符號(hào)描述、紋理分析、運(yùn)動(dòng)圖 像分析和圖像的檢測(cè)與配準(zhǔn),預(yù)處理,分割,特征提取,分類描述,符號(hào)表達(dá),識(shí)別跟蹤,解釋描述,輸入圖像,圖像分析通常按下列順序進(jìn)行 從圖像中提取對(duì)象或?qū)ο蠼M成部分的圖像特征(例如圖像中景物的邊緣或區(qū)域) 利用圖像特征的屬性或相互關(guān)系來(lái)決定每個(gè)屬性應(yīng)屬于哪個(gè)對(duì)象的哪個(gè)部分,第7章

2、圖像描述與分析,7.1 灰度描述,7.1.1 幅度特征 7.1.2 直方圖特征 7.1.3 變換系數(shù)特征,7.1.1 幅度特征,最基本的是圖像的幅度特征。 例如在區(qū)域內(nèi)的平均幅度，即,7.1.1 幅度特征,a)原圖 b)利用幅度特征將目標(biāo)分割出來(lái),P(rk)=nk/N 第rk個(gè)灰度級(jí)出現(xiàn)的頻數(shù) 可從直方圖的分布得到：圖像對(duì)比度、 動(dòng)態(tài)范圍、明暗程度等 一階直方圖的特征參數(shù)： rk量化層 均值： 方差： 歪斜度：,7.1.2 直方圖特征,峭度：,熵：,能量：,7.1.2 直方圖特征,v,v(m+1),u,v(m),水平切口 垂直切口 環(huán)狀切口 扇狀切口,7.1.3 變換系數(shù)特征,頻域中的一些特征

3、 如,M與F不是唯一地對(duì)應(yīng)（M有位移不變性）,7.1.3 變換系數(shù)特征,特征：圖像中含有這些切口的頻譜成分的含量。信息可作為模式識(shí)別或分類系統(tǒng)的輸入信息。已成功用于土地情況分類，放射照片病情診斷等,7.1.3 變換系數(shù)特征,7.2.1 鏈碼描述 7.2.2 傅里葉描述子,7.2 邊界描述,7.2.1 鏈碼描述,在數(shù)字圖像中，邊界或曲線是由一系列離散的像素點(diǎn)組成的，其最簡(jiǎn)單的表示方法是由美國(guó)學(xué)者Freeman提出的鏈碼方法。 鏈碼實(shí)質(zhì)上是一串指向符的序列，有4向鏈碼、8向鏈碼等。,4向鏈碼 8向鏈碼,7.2.1 鏈碼描述,a)原鏈碼方向 b)逆時(shí)針旋轉(zhuǎn)90,圖a曲線的鏈碼為：0112223310

4、0000765556706 其差分鏈碼為：1010010670000777001116,圖b曲線的鏈碼為：23344455322222107770120 其差分鏈碼為：1010010670000777001116,7.2.1 鏈碼描述,曲線的鏈碼是：6022222021013444444454577012 其差分鏈碼是： 220000627712100000017120111,7.2.1 鏈碼描述,曲線的鏈碼是：024444424323566666676711234 其差分鏈碼是： 22000062771210000017120111,7.2.1 鏈碼描述,鏈碼的特殊性質(zhì) 一個(gè)物體很容易實(shí)現(xiàn)旋

5、轉(zhuǎn)45。如果一個(gè)物體旋轉(zhuǎn)n45，可由原鏈碼加上 n 倍的模8得到,鏈碼的微分，也稱差分碼，由原碼的一階差分求得鏈碼差分是關(guān)于旋轉(zhuǎn)不變的邊界描述方法,區(qū)域的一些其它性質(zhì)，如面積和角點(diǎn)，可以由鏈碼直接得,7.2.1 鏈碼描述,7.2.2 傅里葉描述子,對(duì)邊界的離散傅里葉變換表達(dá)，可以作為定量描述邊界形狀的基礎(chǔ)。采用傅里葉描述的一個(gè)優(yōu)點(diǎn)是將二維的問(wèn)題簡(jiǎn)化為一維問(wèn)題。,邊界點(diǎn)的兩種表示方法,7.3 區(qū)域描述,7.3.1 幾何特征 7.3.2 不變矩,1. 像素與鄰域,a) 4-鄰域 b) 8-鄰域,7.3.1 幾何特征,2. 區(qū)域面積,3. 位置,質(zhì)心,形心,7.3.1 幾何特征,4.區(qū)域周長(zhǎng),三種定

6、義： (1) 區(qū)域和背景交界線（接縫）的長(zhǎng)度 (2) 區(qū)域邊界8鏈碼的長(zhǎng)度 (3) 邊界點(diǎn)數(shù)之和,7.3.1 幾何特征,5. 方向,二階矩軸:物體上的全部點(diǎn)到該線的距離平方和最小 其中 是物體點(diǎn)到直線 的距離,7.3.1 幾何特征,6. 距離,1) 歐幾里德距離（Euclidean）,2) 4-鄰域距離(City-block城區(qū)距離),3) 8-鄰域距離（Chessboard棋盤距離）,7.3.1 幾何特征,7.圓形度 描述連通域與圓形相似程度的量。根據(jù)圓周長(zhǎng)與圓面積的計(jì)算公式，定義圓形度的計(jì)算公式如下： 其中， 為連通域S的面積； 為連通域S的周長(zhǎng)。圓形度 值越大，表明目標(biāo)與圓形的相似度越高

7、,7.3.1 幾何特征,8. 矩形度,描述連通域與矩形相似程度的量 其中， 為連通域S的面積； 是包含該連通域的最小矩形的面積。對(duì)于矩形目標(biāo)，矩形度 取最大值1，對(duì)細(xì)長(zhǎng)而彎曲的目標(biāo)，則矩形度的值變得很小,7.3.1 幾何特征,9. 長(zhǎng)寬比,其中， 是包圍連通域的最小矩形的寬度； 是包圍連通域的最小矩形的長(zhǎng)度。,7.3.1 幾何特征,7.3.2 不變矩,1.矩的定義 對(duì)于二維連續(xù)函數(shù) ， 階矩定義為：,中心矩定義為：,數(shù)字圖像，則上式變?yōu)椋?2.不變矩,定義歸一化的中心矩為： 利用歸一化的中心矩，可以獲得對(duì)平移、縮放、鏡像和旋轉(zhuǎn)都不敏感的7個(gè)不變矩，定義如下：,7.3.2 不變矩,7.3.2 不

8、變矩,7.4 紋理描述,7.4.1 矩分析法 7.4.2 灰度差分統(tǒng)計(jì)法 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析,紋理特征 自然紋理：種子、草地（無(wú)規(guī)則性） 人工紋理：織物、磚墻（有規(guī)則性，它的灰度分布具有周期性，即使灰度變化是隨機(jī)的，它也具有一定的統(tǒng)計(jì)特性） 標(biāo)志三要素 1）某種局部的序列性在該序列更大的區(qū)域內(nèi)不斷重復(fù) 2）序列基本元素是非隨機(jī)排列組成的 3）區(qū)域內(nèi)任何地方都有大致相同的結(jié)構(gòu)尺寸,7.4 紋理描述,a) 結(jié)構(gòu)型紋理 b) 隨機(jī)型紋理,7.4 紋理描述,描述紋理圖像特征的參數(shù)有許多種，如 1）知道像素及鄰近像素的灰度分布情況。 2）檢查小區(qū)域內(nèi)灰度直方圖，檢查各

9、小區(qū)域直方圖的相似性，具有相似直方圖的小區(qū)域同屬一個(gè)大區(qū)域,7.4 紋理描述,紋理：灰度與顏色的二維變化的圖案，是區(qū)域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。 統(tǒng)計(jì)方法：用于木紋、紗地、草地等不規(guī)則物體 自然紋理：具有重復(fù)性排列現(xiàn)象的自然景象，無(wú)規(guī)則 結(jié)構(gòu)方法：布料的印刷圖案或磚花地等組成紋理的元素及其排列規(guī)則來(lái)描述紋理的結(jié)構(gòu) 人工紋理：是由自然背景上的符號(hào)排列組成、有規(guī)則的,7.4 紋理描述,7.4 紋理描述,7.4 紋理描述,(1) 均值（Mean） (2) 方差（Variance） (3) 扭曲度（Skewness）,7.4.1 矩分析法,(5) 熵（Entropy）,7.

10、4.1 矩分析法,(4) 峰度（Kurtosis）,灰度差分統(tǒng)計(jì)法又稱一階統(tǒng)計(jì)法，通過(guò)計(jì)算圖像中一對(duì)像素間灰度差分直方圖來(lái)反映圖像的紋理特征。 令 為兩個(gè)像素間的位移矢量， 是位移量為 的灰度差分： 粗紋理時(shí)，位移相差為 的兩像素通常有相近的灰度等級(jí)，因此， 值較小，灰度差分直方圖值集中在 附近； 細(xì)紋理時(shí)，位移相差為 的兩像素的灰度有較大變化 ， 值一般較大，灰度差分直方圖值會(huì)趨于發(fā)散,7.4.2 灰度差分統(tǒng)計(jì)法,灰度直方圖中，各像素的灰度是獨(dú)立進(jìn)行處理的，故不能很好地給紋理賦予特征。因此，如果研究圖像中兩像素組合中灰度配置的情況，就能夠很好地給紋理賦予特征，這樣的特征叫二階統(tǒng)計(jì)量， （灰度

11、直方圖是一階統(tǒng)計(jì)量） 代表性的是以灰度共生矩陣為基礎(chǔ)的紋理特征計(jì)算法。,7.4.3 灰度共生矩陣法,灰度級(jí)聯(lián)合分布（二階統(tǒng)計(jì)量）,7.4.3 灰度共生矩陣法,x,y坐標(biāo)，f(x,y)灰度，L灰度級(jí)數(shù),x列，y行,7.4.3 灰度共生矩陣法,例:,7.4.3 灰度共生矩陣法,設(shè)圖像矩陣為,水平方向無(wú)重復(fù)，變化較快,水平方向數(shù)值大，重復(fù)多，紋理較粗,1）對(duì)角線元素全為0，表明同行灰度變化快 2）對(duì)角線元素較大，表明紋理較粗,7.4.3 灰度共生矩陣法,7.4.4 紋理的結(jié)構(gòu)分析,紋理結(jié)構(gòu)的描述及排列,c) 由 和其它規(guī)則生成的二維紋理模式,紋理結(jié)構(gòu)分析圖例,7.4.4 紋理的結(jié)構(gòu)分析,形態(tài)學(xué)基本運(yùn)

12、算,7.5 形態(tài)分析,1腐蝕,集合A被B腐蝕，表示為 ，其定義為： 其中A稱為輸入圖像，B稱為結(jié)構(gòu)元素。,腐蝕類似于收縮,7.5 形態(tài)分析,2. 膨脹,AC 表示集合A的補(bǔ)集， 表示B關(guān)于坐標(biāo)原點(diǎn)的反射（對(duì)稱集）。那么，集合A被B膨脹，表示為AB，定義為：,利用圓盤膨脹,7.5 形態(tài)分析,a) 原始圖像 b) 腐蝕圖像 c) 膨脹圖像,7.5 形態(tài)分析,3.開(kāi)運(yùn)算,假定A仍為輸入圖像，B為結(jié)構(gòu)元素，利用B對(duì)A作開(kāi)運(yùn)算，用符號(hào) 表示，定義為：,開(kāi)運(yùn)算實(shí)際上是A先被B腐蝕，然后再被B膨脹的結(jié)果。開(kāi)運(yùn)算通常用來(lái)消除小對(duì)象物、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界的同時(shí)并不明顯改變其體積。,7.5 形

13、態(tài)分析,a)輸入圖像A b)結(jié)構(gòu)元素B c) d),用圓盤對(duì)輸入圖像開(kāi)運(yùn)算的結(jié)果,7.5 形態(tài)分析,開(kāi)運(yùn)算濾除背景噪聲,a) 原圖 b)開(kāi)運(yùn)算結(jié)果,7.5 形態(tài)分析,4閉運(yùn)算,閉運(yùn)算是開(kāi)運(yùn)算的對(duì)偶運(yùn)算，定義為先作膨脹然后再作腐蝕。利用B對(duì)A作閉運(yùn)算表示為 ，其定義為:,利用圓盤對(duì)輸入圖像進(jìn)行閉運(yùn)算,7.5 形態(tài)分析,(a) 輸入圖像 (b) 閉運(yùn)算的結(jié)果,利用閉運(yùn)算去除前景噪聲,7.5 形態(tài)分析,5邊界檢測(cè),利用圓盤結(jié)構(gòu)元素作膨脹會(huì)使圖像擴(kuò)大，做腐蝕會(huì)使圖像縮小，這兩種運(yùn)算都可以用來(lái)檢測(cè)二值圖像的邊界。對(duì)于圖像A和圓盤B，下圖給出了三種求取二值邊界的方法：內(nèi)邊界，外邊界和跨騎在實(shí)際邊緣上的邊界

14、，其中跨騎在實(shí)際邊緣上的邊界又稱形態(tài)學(xué)梯度。,7.5 形態(tài)分析,A B,用腐蝕和膨脹運(yùn)算得出的三種圖像邊界,7.5 形態(tài)分析,三種形態(tài)學(xué)邊界實(shí)例,7.5 形態(tài)分析,作業(yè),7-1 圖像都有哪些特征？簡(jiǎn)要說(shuō)明這些特征的特點(diǎn)？ 7-2 對(duì)圖像A和B分別求d1，q00，450的共生矩陣,0 1 2 3 0 1 1 2 3 0 1 2 2 3 0 1 2 3 3 0 1 2 3 0 0 1 2 3 0 1 1 2 3 0 1 2,0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 2 2 2 2 3 3 2 2 2 2 3 3,7-3 在下圖所示的圖像子集中，

15、按8鄰域概念，紅色標(biāo)記的數(shù)字是否連通？圖像子集S中是否存在孔？,1 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 0 1 1 1,作業(yè),7-4 試用Robert算子和拉普拉斯算子檢測(cè)下面圖像的邊緣,作業(yè),第7章 圖像描述與分析,7.1 灰度描述 7.2 邊界描述 7.3 區(qū)域描述 7.4 紋理描述 7.5 形態(tài)分析,第7章 圖像描述與分析,圖像分析 也叫景物分析或圖像理解 是一種描述過(guò)程，研究用自動(dòng)或半自動(dòng)裝置和系統(tǒng)，從圖像中提取有用數(shù)據(jù)或信息生成非圖的描述或表示 圖像分析：特征提取、圖像分割、符號(hào)描述、紋理分析、運(yùn)動(dòng)圖 像分析和圖像的檢測(cè)與配準(zhǔn),預(yù)處理,分割

16、,特征提取,分類描述,符號(hào)表達(dá),識(shí)別跟蹤,解釋描述,輸入圖像,圖像分析通常按下列順序進(jìn)行 從圖像中提取對(duì)象或?qū)ο蠼M成部分的圖像特征(例如圖像中景物的邊緣或區(qū)域) 利用圖像特征的屬性或相互關(guān)系來(lái)決定每個(gè)屬性應(yīng)屬于哪個(gè)對(duì)象的哪個(gè)部分,第7章 圖像描述與分析,7.1 灰度描述,7.1.1 幅度特征 7.1.2 直方圖特征 7.1.3 變換系數(shù)特征,7.1.1 幅度特征,最基本的是圖像的幅度特征。 例如在區(qū)域內(nèi)的平均幅度，即,7.1.1 幅度特征,a)原圖 b)利用幅度特征將目標(biāo)分割出來(lái),P(rk)=nk/N 第rk個(gè)灰度級(jí)出現(xiàn)的頻數(shù) 可從直方圖的分布得到：圖像對(duì)比度、 動(dòng)態(tài)范圍、明暗程度等 一階直方

17、圖的特征參數(shù)： rk量化層 均值： 方差： 歪斜度：,7.1.2 直方圖特征,峭度：,熵：,能量：,7.1.2 直方圖特征,v,v(m+1),u,v(m),水平切口 垂直切口 環(huán)狀切口 扇狀切口,7.1.3 變換系數(shù)特征,頻域中的一些特征 如,M與F不是唯一地對(duì)應(yīng)（M有位移不變性）,7.1.3 變換系數(shù)特征,特征：圖像中含有這些切口的頻譜成分的含量。信息可作為模式識(shí)別或分類系統(tǒng)的輸入信息。已成功用于土地情況分類，放射照片病情診斷等,7.1.3 變換系數(shù)特征,7.2.1 鏈碼描述 7.2.2 傅里葉描述子,7.2 邊界描述,7.2.1 鏈碼描述,在數(shù)字圖像中，邊界或曲線是由一系列離散的像素點(diǎn)組成

18、的，其最簡(jiǎn)單的表示方法是由美國(guó)學(xué)者Freeman提出的鏈碼方法。 鏈碼實(shí)質(zhì)上是一串指向符的序列，有4向鏈碼、8向鏈碼等。,4向鏈碼 8向鏈碼,7.2.1 鏈碼描述,a)原鏈碼方向 b)逆時(shí)針旋轉(zhuǎn)90,圖a曲線的鏈碼為：01122233100000765556706 其差分鏈碼為：1010010670000777001116,圖b曲線的鏈碼為：23344455322222107770120 其差分鏈碼為：1010010670000777001116,7.2.1 鏈碼描述,曲線的鏈碼是：6022222021013444444454577012 其差分鏈碼是： 2200006277121000000

19、17120111,7.2.1 鏈碼描述,曲線的鏈碼是：024444424323566666676711234 其差分鏈碼是： 22000062771210000017120111,7.2.1 鏈碼描述,鏈碼的特殊性質(zhì) 一個(gè)物體很容易實(shí)現(xiàn)旋轉(zhuǎn)45。如果一個(gè)物體旋轉(zhuǎn)n45，可由原鏈碼加上 n 倍的模8得到,鏈碼的微分，也稱差分碼，由原碼的一階差分求得鏈碼差分是關(guān)于旋轉(zhuǎn)不變的邊界描述方法,區(qū)域的一些其它性質(zhì)，如面積和角點(diǎn)，可以由鏈碼直接得,7.2.1 鏈碼描述,7.2.2 傅里葉描述子,對(duì)邊界的離散傅里葉變換表達(dá)，可以作為定量描述邊界形狀的基礎(chǔ)。采用傅里葉描述的一個(gè)優(yōu)點(diǎn)是將二維的問(wèn)題簡(jiǎn)化為一維問(wèn)題。

20、,邊界點(diǎn)的兩種表示方法,7.3 區(qū)域描述,7.3.1 幾何特征 7.3.2 不變矩,1. 像素與鄰域,a) 4-鄰域 b) 8-鄰域,7.3.1 幾何特征,2. 區(qū)域面積,3. 位置,質(zhì)心,形心,7.3.1 幾何特征,4.區(qū)域周長(zhǎng),三種定義： (1) 區(qū)域和背景交界線（接縫）的長(zhǎng)度 (2) 區(qū)域邊界8鏈碼的長(zhǎng)度 (3) 邊界點(diǎn)數(shù)之和,7.3.1 幾何特征,5. 方向,二階矩軸:物體上的全部點(diǎn)到該線的距離平方和最小 其中 是物體點(diǎn)到直線 的距離,7.3.1 幾何特征,6. 距離,1) 歐幾里德距離（Euclidean）,2) 4-鄰域距離(City-block城區(qū)距離),3) 8-鄰域距離（Ch

21、essboard棋盤距離）,7.3.1 幾何特征,7.圓形度 描述連通域與圓形相似程度的量。根據(jù)圓周長(zhǎng)與圓面積的計(jì)算公式，定義圓形度的計(jì)算公式如下： 其中， 為連通域S的面積； 為連通域S的周長(zhǎng)。圓形度 值越大，表明目標(biāo)與圓形的相似度越高,7.3.1 幾何特征,8. 矩形度,描述連通域與矩形相似程度的量 其中， 為連通域S的面積； 是包含該連通域的最小矩形的面積。對(duì)于矩形目標(biāo)，矩形度 取最大值1，對(duì)細(xì)長(zhǎng)而彎曲的目標(biāo)，則矩形度的值變得很小,7.3.1 幾何特征,9. 長(zhǎng)寬比,其中， 是包圍連通域的最小矩形的寬度； 是包圍連通域的最小矩形的長(zhǎng)度。,7.3.1 幾何特征,7.3.2 不變矩,1.矩的

22、定義 對(duì)于二維連續(xù)函數(shù) ， 階矩定義為：,中心矩定義為：,數(shù)字圖像，則上式變?yōu)椋?2.不變矩,定義歸一化的中心矩為： 利用歸一化的中心矩，可以獲得對(duì)平移、縮放、鏡像和旋轉(zhuǎn)都不敏感的7個(gè)不變矩，定義如下：,7.3.2 不變矩,7.3.2 不變矩,7.4 紋理描述,7.4.1 矩分析法 7.4.2 灰度差分統(tǒng)計(jì)法 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析,紋理特征 自然紋理：種子、草地（無(wú)規(guī)則性） 人工紋理：織物、磚墻（有規(guī)則性，它的灰度分布具有周期性，即使灰度變化是隨機(jī)的，它也具有一定的統(tǒng)計(jì)特性） 標(biāo)志三要素 1）某種局部的序列性在該序列更大的區(qū)域內(nèi)不斷重復(fù) 2）序列基本元素是非隨

23、機(jī)排列組成的 3）區(qū)域內(nèi)任何地方都有大致相同的結(jié)構(gòu)尺寸,7.4 紋理描述,a) 結(jié)構(gòu)型紋理 b) 隨機(jī)型紋理,7.4 紋理描述,描述紋理圖像特征的參數(shù)有許多種，如 1）知道像素及鄰近像素的灰度分布情況。 2）檢查小區(qū)域內(nèi)灰度直方圖，檢查各小區(qū)域直方圖的相似性，具有相似直方圖的小區(qū)域同屬一個(gè)大區(qū)域,7.4 紋理描述,紋理：灰度與顏色的二維變化的圖案，是區(qū)域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。 統(tǒng)計(jì)方法：用于木紋、紗地、草地等不規(guī)則物體 自然紋理：具有重復(fù)性排列現(xiàn)象的自然景象，無(wú)規(guī)則 結(jié)構(gòu)方法：布料的印刷圖案或磚花地等組成紋理的元素及其排列規(guī)則來(lái)描述紋理的結(jié)構(gòu) 人工紋理：是由自然

24、背景上的符號(hào)排列組成、有規(guī)則的,7.4 紋理描述,7.4 紋理描述,7.4 紋理描述,(1) 均值（Mean） (2) 方差（Variance） (3) 扭曲度（Skewness）,7.4.1 矩分析法,(5) 熵（Entropy）,7.4.1 矩分析法,(4) 峰度（Kurtosis）,灰度差分統(tǒng)計(jì)法又稱一階統(tǒng)計(jì)法，通過(guò)計(jì)算圖像中一對(duì)像素間灰度差分直方圖來(lái)反映圖像的紋理特征。 令 為兩個(gè)像素間的位移矢量， 是位移量為 的灰度差分： 粗紋理時(shí)，位移相差為 的兩像素通常有相近的灰度等級(jí)，因此， 值較小，灰度差分直方圖值集中在 附近； 細(xì)紋理時(shí)，位移相差為 的兩像素的灰度有較大變化 ， 值一般較大

25、，灰度差分直方圖值會(huì)趨于發(fā)散,7.4.2 灰度差分統(tǒng)計(jì)法,灰度直方圖中，各像素的灰度是獨(dú)立進(jìn)行處理的，故不能很好地給紋理賦予特征。因此，如果研究圖像中兩像素組合中灰度配置的情況，就能夠很好地給紋理賦予特征，這樣的特征叫二階統(tǒng)計(jì)量， （灰度直方圖是一階統(tǒng)計(jì)量） 代表性的是以灰度共生矩陣為基礎(chǔ)的紋理特征計(jì)算法。,7.4.3 灰度共生矩陣法,灰度級(jí)聯(lián)合分布（二階統(tǒng)計(jì)量）,7.4.3 灰度共生矩陣法,x,y坐標(biāo)，f(x,y)灰度，L灰度級(jí)數(shù),x列，y行,7.4.3 灰度共生矩陣法,例:,7.4.3 灰度共生矩陣法,設(shè)圖像矩陣為,水平方向無(wú)重復(fù)，變化較快,水平方向數(shù)值大，重復(fù)多，紋理較粗,1）對(duì)角線元素

26、全為0，表明同行灰度變化快 2）對(duì)角線元素較大，表明紋理較粗,7.4.3 灰度共生矩陣法,7.4.4 紋理的結(jié)構(gòu)分析,紋理結(jié)構(gòu)的描述及排列,c) 由 和其它規(guī)則生成的二維紋理模式,紋理結(jié)構(gòu)分析圖例,7.4.4 紋理的結(jié)構(gòu)分析,形態(tài)學(xué)基本運(yùn)算,7.5 形態(tài)分析,1腐蝕,集合A被B腐蝕，表示為 ，其定義為： 其中A稱為輸入圖像，B稱為結(jié)構(gòu)元素。,腐蝕類似于收縮,7.5 形態(tài)分析,2. 膨脹,AC 表示集合A的補(bǔ)集， 表示B關(guān)于坐標(biāo)原點(diǎn)的反射（對(duì)稱集）。那么，集合A被B膨脹，表示為AB，定義為：,利用圓盤膨脹,7.5 形態(tài)分析,a) 原始圖像 b) 腐蝕圖像 c) 膨脹圖像,7.5 形態(tài)分析,3.開(kāi)

27、運(yùn)算,假定A仍為輸入圖像，B為結(jié)構(gòu)元素，利用B對(duì)A作開(kāi)運(yùn)算，用符號(hào) 表示，定義為：,開(kāi)運(yùn)算實(shí)際上是A先被B腐蝕，然后再被B膨脹的結(jié)果。開(kāi)運(yùn)算通常用來(lái)消除小對(duì)象物、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界的同時(shí)并不明顯改變其體積。,7.5 形態(tài)分析,a)輸入圖像A b)結(jié)構(gòu)元素B c) d),用圓盤對(duì)輸入圖像開(kāi)運(yùn)算的結(jié)果,7.5 形態(tài)分析,開(kāi)運(yùn)算濾除背景噪聲,a) 原圖 b)開(kāi)運(yùn)算結(jié)果,7.5 形態(tài)分析,4閉運(yùn)算,閉運(yùn)算是開(kāi)運(yùn)算的對(duì)偶運(yùn)算，定義為先作膨脹然后再作腐蝕。利用B對(duì)A作閉運(yùn)算表示為 ，其定義為:,利用圓盤對(duì)輸入圖像進(jìn)行閉運(yùn)算,7.5 形態(tài)分析,(a) 輸入圖像 (b) 閉運(yùn)算的結(jié)果,利用

28、閉運(yùn)算去除前景噪聲,7.5 形態(tài)分析,5邊界檢測(cè),利用圓盤結(jié)構(gòu)元素作膨脹會(huì)使圖像擴(kuò)大，做腐蝕會(huì)使圖像縮小，這兩種運(yùn)算都可以用來(lái)檢測(cè)二值圖像的邊界。對(duì)于圖像A和圓盤B，下圖給出了三種求取二值邊界的方法：內(nèi)邊界，外邊界和跨騎在實(shí)際邊緣上的邊界，其中跨騎在實(shí)際邊緣上的邊界又稱形態(tài)學(xué)梯度。,7.5 形態(tài)分析,A B,用腐蝕和膨脹運(yùn)算得出的三種圖像邊界,7.5 形態(tài)分析,三種形態(tài)學(xué)邊界實(shí)例,7.5 形態(tài)分析,行人檢測(cè)特征綜述,智能汽車主動(dòng)安全技術(shù)研發(fā)趨勢(shì),隨著技術(shù)發(fā)展，智能汽車包括自動(dòng)駕駛汽車成為各國(guó)爭(zhēng)取技術(shù)制高點(diǎn)的核心技術(shù)領(lǐng)域，豈能汽車中具備事前預(yù)防的“主動(dòng)安全”是智能汽車技術(shù)中的核心，圖像傳感器作為

29、智能汽車中的核心部件，被越來(lái)越多基于圖像的現(xiàn)有的汽車智能系統(tǒng)上，圖1顯示了基于計(jì)算機(jī)視覺(jué)技術(shù)的車載主動(dòng)安全系統(tǒng)中，各種可能的圖像傳感器安裝位置，分別對(duì)應(yīng)于不同的安全子系統(tǒng)。,行人防碰撞系統(tǒng)(Pedestrian Warning and Protection System/ Collision Avoidance System) 行人防碰撞系統(tǒng)利用圖像處理技術(shù)有效識(shí)別行人，利用汽車的速度、方向盤角度及橫擺角速度等信號(hào)，通過(guò)一套演算方法的開(kāi)發(fā)來(lái)估計(jì)車輛和行人的移動(dòng)路徑，依據(jù)危險(xiǎn)狀況進(jìn)行提前預(yù)警，從而規(guī)避碰撞事故。 智能氣囊系統(tǒng)(Smart Airbags) 智能氣囊系統(tǒng)在碰撞發(fā)生時(shí)，根據(jù)人所在的位

30、置確定是否完全展開(kāi)安全氣囊，根據(jù)圖像算法判定身體和頭部位置，確定展開(kāi)氣囊的強(qiáng)度和力度，做出及時(shí)相應(yīng)和判斷。 盲點(diǎn)檢測(cè)系統(tǒng)(Blind-spot Monitor) 盲點(diǎn)檢測(cè)系統(tǒng)直接把攝像頭安裝在汽車周邊，為駕駛者提供視線盲點(diǎn)的圖像信息，在轉(zhuǎn)彎、泊位或倒車時(shí)可以提醒司機(jī)注意盲區(qū)的動(dòng)態(tài)或靜態(tài)障礙，防止碰撞及其它意外情況發(fā)生。 疲勞駕駛檢測(cè)系統(tǒng)(Drowsy Driving Detection System) 疲勞駕駛檢測(cè)系統(tǒng)通過(guò)對(duì)人眼的開(kāi)合程度以及頻率進(jìn)行分析，實(shí)現(xiàn)對(duì)駕駛者疲勞狀態(tài)的判斷 車道偏離預(yù)警系統(tǒng)(Lane Departure Warning System) 車道偏離系統(tǒng)可以對(duì)危險(xiǎn)的換道行為

31、進(jìn)行預(yù)警；當(dāng)駕駛者長(zhǎng)時(shí)間在車道安全范圍之外時(shí)，也可以間接提醒駕駛者處于危險(xiǎn)狀態(tài)。,實(shí)例：,圖 1 豐田安全駕駛輔助系統(tǒng),圖 2 奧迪的安全駕駛輔助安全系統(tǒng),圖 3 寶馬安全駕駛輔助系統(tǒng),行人檢測(cè),行人檢測(cè)（Pedestrian Detection)指從輸入的圖像或視頻幀中判斷是否包含行人。行人檢測(cè)兼具剛性和柔性物體的特征，外形容易發(fā)生改變，如穿著，遮擋物，姿態(tài)，視角等影響。 行人檢測(cè)技術(shù)分為兩塊： 特征提取，分類與定位,行人檢測(cè)流程,行人檢測(cè)常用特征,Haar特征,Haar特征是對(duì)物體灰度信息進(jìn)行描述物體的特性的特征。每個(gè)模板的特征值就是對(duì)應(yīng)的白色區(qū)域灰度值的和減去黑色區(qū)域灰度值的和，他表征的

32、是圖像中灰度信息的變化。Haar特征在人臉檢測(cè)中常常用到， Haar特征是由一系列模板組成的，如下圖所示。人眼部分的灰度值偏小，就可以用一種Haar特征表征；人的鼻子的地方會(huì)偏亮，也可以用另一種Haar特征來(lái)表征。,Haar特征,HOG-Histogram of oriented gradient,Dalal等受到SIFT特征啟發(fā)，提出了梯度方向直方圖HOG特征。 HOG特征是目前行人檢測(cè)中最為成功的特征之一，這種特征對(duì)光照的變化，復(fù)雜的背景和行人多種姿勢(shì)有較好的容錯(cuò)率，在行人檢測(cè)中魯棒性很好,顏色歸一化,這種處理方式的作用是可以減少因光照、局部明暗變化、角度等因素帶來(lái)的影響，調(diào)節(jié)圖像的對(duì)比度

33、、抑制噪音的干擾。 計(jì)算方法： gamma標(biāo)準(zhǔn)化，如公式所示，Ic(u,v)代表的是c通道（可以是RGB顏色空間的某個(gè)通道，也可以是灰度空間的單通道）像素點(diǎn)(u,v)的值。 (1),計(jì)算圖像梯度,計(jì)算圖像梯度是計(jì)算HOG特征的重要基礎(chǔ)步驟，在這一步中的作用主要是能夠獲取圖像的輪廓信息。Dalal在他的文章試驗(yàn)了用一維模板 -1,1、-1,0,1、1,-8,0,8,-1、22對(duì)角矩陣模板、Sobel算子模板等進(jìn)行計(jì)算，實(shí)驗(yàn)結(jié)果表明使用最簡(jiǎn)單的一維模板效果最理想。 表 31 Dalal采用不同模板算子對(duì)檢測(cè)結(jié)果的影響,總體來(lái)說(shuō)，最好最簡(jiǎn)單的方法是使用一維模板-1,0,1。利用這個(gè)模板在橫坐標(biāo)x方向

34、和縱坐標(biāo)y方向的兩個(gè)方向上對(duì)圖像進(jìn)行處理，得到圖像在這一像素點(diǎn),x, y方向上的兩個(gè)梯度值。計(jì)算公式分別為公式2和公式3，其中Gx(u,v)是在x軸上的梯度值，Gy(u,v)是在y軸上的梯度值，p(u,v)是坐標(biāo)點(diǎn)在(u,v)的圖像像素值 (2) (3),然后根據(jù)這兩個(gè)方向的梯度值用公式計(jì)算該點(diǎn)的梯度方向和梯度幅度值，并采用公式6對(duì)梯度方向的無(wú)符號(hào)化（即0180）。 (4) (5) (6),最核心的部分： 在一個(gè)64128大小的檢測(cè)窗口中，將圖像劃分成1616大小的block塊，每一個(gè)block塊內(nèi)又分成四個(gè)88大小的cell，而左右兩個(gè)block塊和上下兩個(gè)block塊之間都重疊了兩個(gè)cel

35、l大小的區(qū)域，這樣，在一個(gè)檢測(cè)窗口中，水平方向上會(huì)產(chǎn)生7個(gè)block塊，垂直方向上會(huì)產(chǎn)生15個(gè)block塊，總共有（715=）105個(gè)block塊，分塊方式如圖所示。,計(jì)算方向梯度直方圖,計(jì)算方向梯度直方圖,計(jì)算直方圖在單獨(dú)每一個(gè)block塊中進(jìn)行，將梯度方向在0180內(nèi)按照每20劃分為范圍相等的9個(gè)bin，如圖所示。計(jì)算時(shí)使用一種單線性插值方式來(lái)計(jì)算cell中的每個(gè)像素點(diǎn)梯度方向?qū)ο噜弮蓚€(gè)不同的bin的貢獻(xiàn)權(quán)重，然后根據(jù)權(quán)重值分別插入到這兩個(gè)bin中。,計(jì)算方向梯度直方圖,同時(shí)使用雙線性插值根據(jù)該像素點(diǎn)在block塊中的位置計(jì)算其對(duì)4個(gè)cell的貢獻(xiàn)權(quán)重值，如圖所示。這樣，兩次的插值方式組成

36、的三線性插值使得每一個(gè)像素點(diǎn)都對(duì)4個(gè)cell的直方圖有貢獻(xiàn)，更準(zhǔn)確、均衡地構(gòu)建了HOG特征。,計(jì)算方向梯度直方圖,用如上所說(shuō)的方式對(duì)1個(gè)block塊內(nèi)的4個(gè)cell進(jìn)行9個(gè)bin的直方圖投票計(jì)算統(tǒng)計(jì)，遍歷256個(gè)像素點(diǎn)后，得到36維的block梯度直方圖特征。,block歸一化,block歸一化及生成HOG特征 對(duì)一個(gè)block中的36維特征進(jìn)行歸一化處理的目的是減少由于局部強(qiáng)烈光照變化和陰影帶來(lái)的影響。常用的歸一化方法有L1-norm、L2-norm、L1-sqrt等。 (7) (8) (9) 最終，經(jīng)過(guò)105個(gè)block塊的特征計(jì)算和歸一化后，在一個(gè)64128大小的檢測(cè)掃描窗口內(nèi)總共計(jì)算得

37、到（94105=）3780維的HOG特征向量。,基于紋理信息的特征描述符,在目標(biāo)檢測(cè)和識(shí)別中，LBP（Local Binary Patterns）局部二值模式特征是最常見(jiàn)的一種描述圖像局部紋理變化信息的特征，是由T. Ojala等人在1994年提出來(lái)的。,基于顏色信息的特征描述符,在行人檢測(cè)中，利用顏色信息的特征很多，這里我們介紹一種直接將顏色信息用特征表示。Color self-similar 特征是利用行人的著裝一定的顏色模式，比如在一般情況下衣服的顏色有一定的相關(guān)性，褲子的顏色也有著一定的相關(guān)性。,HSV（Hue代表色相 Saturation代表飽和度 Value代表色調(diào)）,兩個(gè)block之間的相似度得到一個(gè)特征數(shù)，計(jì)算所有的128個(gè)block之間的相似性可以得到總共（128127/2=）8128維的特征向量。最后對(duì)這特征向量采用L2-norm歸一化,Integral channel features,目標(biāo)檢測(cè)算法的性能主要受到兩個(gè)因素的制約：學(xué)習(xí)算法和特征描述算子。 積分通道特征的大概思路是：通過(guò)對(duì)輸入圖像做各種線性和非線性的變換，諸如局部求和、