關(guān)于特征提取算子目錄基本概念及所需知識(shí)Harris算子程序設(shè)計(jì)及實(shí)驗(yàn)結(jié)果圖像變化特征點(diǎn)的作用角點(diǎn)基本思想數(shù)學(xué)表達(dá)改進(jìn)的Harris算子第2頁(yè),共26頁(yè)，2024年2月25日，星期天基本概念及所需知識(shí)

——圖像變化的類型幾何變化旋轉(zhuǎn)相似(旋轉(zhuǎn)+各向相同的尺度縮放)

仿射(非各向相同的尺度縮放)

適用于:物體局部為平面灰度變化仿射灰度變化(I

a

I+b)第3頁(yè),共26頁(yè)，2024年2月25日，星期天基本概念及所需知識(shí)

——提取特征點(diǎn)的作用圖像的點(diǎn)特征是許多計(jì)算機(jī)視覺算法的基礎(chǔ)：使用特征點(diǎn)來(lái)代表圖像的內(nèi)容運(yùn)動(dòng)目標(biāo)跟蹤物體識(shí)別圖像配準(zhǔn)全景圖像拼接三維重建第4頁(yè),共26頁(yè)，2024年2月25日，星期天基本概念及所需知識(shí)

——特征點(diǎn)（角點(diǎn)）特征點(diǎn)在許多文獻(xiàn)中又被稱為興趣點(diǎn)(interestpoint)、角點(diǎn)(cornerpoint),對(duì)特征點(diǎn)目前還沒(méi)有統(tǒng)一的定義,一般認(rèn)為特征點(diǎn)產(chǎn)生于兩條或多條相對(duì)直線交叉的區(qū)域。不同的檢測(cè)方法對(duì)特征點(diǎn)有不同的定義。角點(diǎn)（cornerpoints）：局部窗口沿各方向移動(dòng)，均產(chǎn)生明顯變化的點(diǎn)圖像局部曲率突變的點(diǎn)典型的角點(diǎn)檢測(cè)算法：Harris角點(diǎn)檢測(cè)CSS角點(diǎn)檢測(cè)第5頁(yè),共26頁(yè)，2024年2月25日，星期天一種好的局部特征應(yīng)該具有以下性質(zhì):(1)可重復(fù)性:同一個(gè)物體或場(chǎng)景在不同的條件下(如視角、尺度發(fā)生變化),兩幅圖像中對(duì)應(yīng)的特征越多越好。(2)獨(dú)特性:特征的幅值模式需要呈現(xiàn)多樣性,這樣的特征才能被區(qū)分和匹配。(3)局部性:特征應(yīng)該是局部的,從而減少被遮擋的可能性,并且允許用簡(jiǎn)單的模型來(lái)近似兩幅圖像間的幾何和成像變形。(4)數(shù)量性:一般來(lái)說(shuō),檢測(cè)到的特征數(shù)目一定要多,但是在圖像檢索中,特征太多,又會(huì)對(duì)檢索的實(shí)時(shí)性造成一定影響。理想情況是檢測(cè)到的特征數(shù)量在一個(gè)比較大的范圍內(nèi),然后可以通過(guò)一個(gè)簡(jiǎn)單的預(yù)知就可以調(diào)整。而這個(gè)閾值的調(diào)整可以通過(guò)在檢索系統(tǒng)中的實(shí)驗(yàn)得以確定。基本概念及所需知識(shí)

——特征點(diǎn)（角點(diǎn)）第6頁(yè),共26頁(yè)，2024年2月25日，星期天(5)準(zhǔn)確性:得到的特征應(yīng)該能夠被精確定位,包括圖像空間和尺度空間上的精確定位。(6)高效性:檢測(cè)和描述的時(shí)間越短越好,以便用于后續(xù)的實(shí)時(shí)應(yīng)用。這6條性質(zhì)中,最重要的是可重復(fù)性。Moravec[44]于1977年提出Moravec角點(diǎn)算法,是最早提出的角點(diǎn)檢測(cè)算法之一。該方法中,角點(diǎn)被定義為在各個(gè)方向(垂直、水平、對(duì)角線)都存在劇烈灰度變化的點(diǎn)基本概念及所需知識(shí)

——特征點(diǎn)（角點(diǎn)）第7頁(yè),共26頁(yè)，2024年2月25日，星期天不同類型的角點(diǎn)第8頁(yè),共26頁(yè)，2024年2月25日，星期天Harris角點(diǎn)檢測(cè)基本思想從圖像局部的小窗口觀察圖像特征角點(diǎn)定義

窗口向任意方向的移動(dòng)都導(dǎo)致圖像灰度的明顯變化第9頁(yè),共26頁(yè)，2024年2月25日，星期天Harris角點(diǎn)檢測(cè)基本思想平坦區(qū)域：

任意方向移動(dòng)，無(wú)灰度變化邊緣：沿著邊緣方向移動(dòng)，無(wú)灰度變化角點(diǎn)：沿任意方向移動(dòng)，明顯灰度變化第10頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)圖像灰度平移后的圖像灰度窗口函數(shù)將圖像窗口平移[u,v]產(chǎn)生灰度變化E(u,v)或窗口函數(shù)w(x,y)=Gaussian1inwindow,0outside第11頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)寫成矩陣形式：式中，Ix為x方向的差分，Iy為y方向的差分，w(x,y)為高斯函數(shù)第12頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)窗口移動(dòng)導(dǎo)致的圖像變化：實(shí)對(duì)稱矩陣M的特征值分析

max,

min

M的特征值緩慢變化的方向快速變化的方向(

max)-1/2(

min)-1/2E(u,v)的橢圓形式第13頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)

1

2“Corner”

1

和

2

都較大且數(shù)值相當(dāng)

1~

2;

圖像窗口在所有方向上移動(dòng)都產(chǎn)生明顯灰度變化如果

1

和

2

都很小，圖像窗口在所有方向上移動(dòng)都無(wú)明顯灰度變化“Edge”

1>>

2“Edge”

2>>

1“Flat”region通過(guò)M的兩個(gè)特征值的大小對(duì)圖像點(diǎn)進(jìn)行分類:第14頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)定義：角點(diǎn)響應(yīng)函數(shù)R(k–empiricalconstant,k=0.04-0.06)第15頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：數(shù)學(xué)表達(dá)

1

2“Corner”“Edge”“Edge”“Flat”

R

只與M的特征值有關(guān)角點(diǎn)：R

為大數(shù)值正數(shù)

邊緣：R為大數(shù)值負(fù)數(shù)

平坦區(qū)：R為小數(shù)值R>0R<0R<0|R|small第16頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：算法優(yōu)化用

Harris

算法進(jìn)行檢測(cè)，有三點(diǎn)不足：（1

）該算法不具有尺度不變性；（2

）該算法提取的角點(diǎn)是像素級(jí)的；（3

）該算法檢測(cè)時(shí)間不是很令人滿意?；谝陨险J(rèn)識(shí)，主要針對(duì)第（3

）點(diǎn)對(duì)Harris

角點(diǎn)檢測(cè)算法提出了改進(jìn)。

第17頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：算法優(yōu)化Harris

角點(diǎn)檢測(cè)是基于圖像像素灰度值變化梯度的，

灰度值圖像的角點(diǎn)附近，是其像素灰度值變化非常大的區(qū)域，其梯度也非常大。換句話說(shuō)，在非角點(diǎn)位置鄰域里，各點(diǎn)的像素值變化不大，甚至幾乎相等，其梯度相對(duì)也比較小。從這個(gè)角度著眼，提出了圖像區(qū)域像素的相似度的概念，它是指檢測(cè)窗口中心點(diǎn)灰度值與其周圍n

鄰域內(nèi)其他像素點(diǎn)灰度值的相似程度，這種相似程度是用其灰度值之差來(lái)描述的。如果鄰域內(nèi)點(diǎn)的灰度值與中心點(diǎn)Image

(i,j)

的灰度值之差的絕對(duì)值在一個(gè)閾值t范圍內(nèi)，那就認(rèn)為這個(gè)點(diǎn)與中心點(diǎn)是相似的。與此同時(shí)，屬于該Image

(i,j)

點(diǎn)的相似點(diǎn)計(jì)數(shù)器nlike(i,j)

也隨之加一。在

Image

(i,j)

點(diǎn)的n

鄰域

全部被遍歷一邊之后，就能得到

在這個(gè)鄰域范圍內(nèi)與中心點(diǎn)相似的點(diǎn)個(gè)數(shù)的統(tǒng)計(jì)值nlike(i,j)

。根據(jù)nlike(i,j)

的大小，就可以判斷這個(gè)中心點(diǎn)是否可能為角點(diǎn)。第18頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：算法優(yōu)化由于我選擇3*3

的檢測(cè)窗口，所以，

對(duì)于中心像素點(diǎn)

,

在下面的討論中只考慮其8

鄰域內(nèi)像素點(diǎn)的相似度。

計(jì)算該范圍的像素點(diǎn)與中心像素點(diǎn)的灰度值之差的絕對(duì)值

(

記為

Δ

)

,

如果該值小于等于設(shè)定的閾值

(

記為

t)

,

則認(rèn)為該像素點(diǎn)與目標(biāo)像素點(diǎn)相似

。

nlike(i,j)=sum(R(i+x,j+y))從定義中可以看出

:0

≤

nlike(i,j)

≤

8

。

現(xiàn)在討論

nlike(i,j)

值的含義

。(1)

nlike(i,j)=8,

表示當(dāng)前中心像素點(diǎn)的

8

鄰域范圍內(nèi)都是與之相似的像素點(diǎn)

,

所以該像素點(diǎn)鄰域范圍內(nèi)的梯度不會(huì)很大

,

因此角點(diǎn)檢測(cè)時(shí)

,

應(yīng)該排除此類像素點(diǎn)，不將其作為角點(diǎn)的候選點(diǎn)。(2)

nlike(i,j)=0,

表示當(dāng)前中心像素點(diǎn)的

8

鄰域范圍內(nèi)沒(méi)有與之相似的像素點(diǎn)

,

所以該像素點(diǎn)為孤立像素點(diǎn)或者是噪聲點(diǎn)

,

因此角點(diǎn)檢測(cè)時(shí)

,

也應(yīng)該排除此類像素點(diǎn)

。第19頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：算法優(yōu)化(3)

nlike(i,j)=7,

可以歸結(jié)為以下的兩者情況

,

其他情形都可以通過(guò)旋轉(zhuǎn)來(lái)得到

(

圖中黑色區(qū)域僅表示與中心像素相似

,

而兩個(gè)黑色區(qū)域像素可能是相似的

,

也可能不相似

)

。

對(duì)于圖

1

(a)中

,

可能的角點(diǎn)應(yīng)該是中心像素點(diǎn)的正上方的那個(gè)像素點(diǎn)

,

1(b)

圖中可能的角點(diǎn)應(yīng)該是中心像素點(diǎn)右上方的那個(gè)像素點(diǎn)

,

故這種情況下

,

中心像素點(diǎn)不應(yīng)該作為角點(diǎn)的候選點(diǎn)

。圖1（a）圖1（b）第20頁(yè),共26頁(yè)，2024年2月25日，星期天Harris檢測(cè)：算法優(yōu)化(4)

nlike(i,j)=1,

可以歸結(jié)為圖

2

中的兩種情況

(

圖中白色區(qū)域僅表示與中心像素不相似,

而兩個(gè)白色區(qū)域像素可能是相似的

,

也可能不相似

),

在這兩種情況下

,

中心像素點(diǎn)也不可能為角點(diǎn)

。圖2（a）圖2（b）(5)

2

≤

nlike(i,j)

≤

6,

情況比較復(fù)雜

,

無(wú)法確認(rèn)像素點(diǎn)準(zhǔn)確的性質(zhì)。我采取的方法是先將其列入候選角點(diǎn)之列，對(duì)其進(jìn)行計(jì)算CRF

等后續(xù)操作。第21頁(yè),共26頁(yè)，2024年2月25日，星期天Harris角點(diǎn)的性質(zhì)旋轉(zhuǎn)不變性：橢圓轉(zhuǎn)過(guò)一定角度但是其形狀保持不變（特征值保持不變）角點(diǎn)響應(yīng)函數(shù)

R

對(duì)于圖像的旋轉(zhuǎn)具有不變性第22頁(yè),共26頁(yè)，2024年2月25日，星期天Harris角點(diǎn)的性質(zhì)對(duì)于圖像灰度的仿射變化具有部分的不變性

只使用了圖像導(dǎo)數(shù)=>對(duì)于灰度平移變化不變

I

I+b

對(duì)于圖像灰度的尺度變化:I

a

IRx

(imagecoordinate)閾值Rx

(imagecoordinate)第23頁(yè),共26頁(yè)，2024年2月25日，星期天Harris角點(diǎn)的性質(zhì)隨幾何尺度變化，Harris角點(diǎn)檢測(cè)的性能下降Repeatabilityrate:#correspondences

#possi