SIFT特征匹配技術(shù)任甲元鄭舒穎金喆SIFT特征匹配技術(shù)任甲元鄭舒穎金喆1圖像配準結(jié)果典型應用圖像配準結(jié)果典型應用2

關(guān)鍵技術(shù)：局部特征提取

關(guān)鍵技術(shù)：局3局部特征：感興趣區(qū)域檢測&描述子感興趣區(qū)域描述子<012310023…><500113715…><1421100322…>局部特征：感興趣區(qū)域檢測&描述子感興趣區(qū)域描述子4DavidLoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

作者簡介DavidLowe作者簡介5SIFT概述

SIFT算法由D.G.Lowe1999年提出，2004年完善總結(jié)。此后Y.Ke將其描述子部分用PCA代替直方圖的方式，對其進行改進。定義：SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值點，提取位置、尺度、旋轉(zhuǎn)不變量。特點：1、SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。2、獨特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。3、多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量的SIFT特征向量。4、高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達到實時的要求。5、可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。SIFT概述SIFT算法由D.G.Lowe161、檢測尺度空間極值點。2、精確定位極值點。關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成SIFT概述關(guān)鍵點檢測描述子生成SIFT概述72、精確定位極值點。關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成1、檢測尺度空間極值點。SIFT概述關(guān)鍵點檢測描述子生成1、檢測尺度空間極值點。SIFT概述8尺度空間極值點檢測尺度空間極值點檢測9尺度空間極值點檢測尺度空間：二維尺度可變高斯核函數(shù)（濾波函數(shù)），高斯核和高斯微分是尺度空間分析的惟一平滑核。

(本實驗采用一維高斯函數(shù))空間坐標尺度空間因子（坐標）二維圖像函數(shù)尺度空間極值點檢測尺度空間：二維尺度可變高斯核函數(shù)（濾波函數(shù)10高斯差分尺度空間（DOGscale-space）：是尺度歸一化LOG算子的近似高斯金字塔的構(gòu)建：高斯金字塔共o(7)階，每階有s(6)層，下一階的圖像由上一階圖像降采樣得到。尺度空間極值點檢測高斯差分尺度空間（DOGscale-space）：是尺度歸11sift算法講解課件12sift算法講解課件13sift算法講解課件14歸一化歸一化15歸一化gray0=135791011歸一化gray0=135791016歸一化gray0=135791011gray1=02468910歸一化gray0=135791017歸一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/101歸一化gray0=135791018歸一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/1010=<gray2<=1歸一化gray0=135791019sift算法講解課件20sift算法講解課件21放大一倍放大一倍22放大一倍1

357911131517放大一倍135791113151723放大一倍1

357911131517放大一倍135791113151724放大一倍1

3579111315171

35

7

9111315

17放大一倍13579111315171325放大一倍1

3579111315171

2

345

78

9101113141516

17放大一倍13579111315171226放大一倍1

3579111315171

2

345468

78

9101110121413141516

17放大一倍13579111315171227放大一倍1

3579111315171

2

34545678

78

91011101112131413141516

17放大一倍13579111315171228放大一倍1

3579111315171

2

3455456788

78

910111110111213141413141516

1717131415161717放大一倍13579111315171229sift算法講解課件30sift算法講解課件31

高斯濾波高斯濾波32

高斯濾波高斯濾波33

高斯濾波高斯濾波34

高斯濾波高斯濾波35

高斯濾波高斯濾波36

高斯濾波高斯濾波37

高斯濾波高斯濾波38

高斯濾波高斯濾波39

高斯濾波高斯濾波40

高斯濾波高斯濾波41

高斯濾波高斯濾波42

高斯濾波高斯濾波43

高斯濾波高斯濾波44

高斯濾波高斯濾波45

高斯濾波高斯濾波46

高斯濾波高斯濾波47

高斯濾波高斯濾波48

高斯濾波高斯濾波49sift算法講解課件50sift算法講解課件51sift算法講解課件52sift算法講解課件53sift算法講解課件54sift算法講解課件55降采樣降采樣56降采樣1

2

3455456788

78

910111110111213141413141516

1717131415161717降采樣12345545678857降采樣1

2

3455456788

78

910111110111213141413141516

1717131415161717

降采樣12345545678858降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

降采樣12345545678859降采樣1

23455456788

78

910111110111213141413141516

17171314151617171

降采樣12345545678860降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3

降采樣12345545678861降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3

降采樣12345545678862降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35

降采樣12345545678863降采樣1

2

345545678878

910111110111213141413141516

17171314151617171

35

降采樣12345545678864降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357

降采樣12345545678865降采樣1

2

3455456788

78910111110111213141413141516

17171314151617171

357

降采樣12345545678866降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579

降采樣12345545678867降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579

降采樣12345545678868降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911

降采樣12345545678869降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911

降采樣12345545678870降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35791113

降采樣12345545678871降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35791113

降采樣12345545678872降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579111315

降采樣12345545678873降采樣1

2

3455456788

78

91011111011121314141314151617171314151617171

3579111315

降采樣12345545678874降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911131517降采樣12345545678875sift算法講解課件76sift算法講解課件77sift算法講解課件78sift算法講解課件79sift算法講解課件80在3x3x3鄰域內(nèi)選擇所有的極值中間的檢測點和尺度空間共26個點比較尺度空間極值點檢測在3x3x3鄰域內(nèi)選擇所有的極值尺度空間極值點檢測81關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成SIFT概述2、精確定位極值點。1、檢測尺度空間極值點。關(guān)鍵點檢測描述子生成SIFT概述2、精確定位極值點。1、檢82x采樣檢測到的極值實際極值極值點定位兩步檢驗：1、必須與周圍的像素有明顯的差異，即濾除低對比度的點。2、不能是邊緣點。因為DOG算子會產(chǎn)生較強的邊緣響應目的：增強匹配穩(wěn)定性、提高抗噪聲能力x采樣檢測到的極值實際極值極值點定位兩步檢驗：目的：增強匹配83方法：擬合三維二次方程，找出低對比度的點泰勒序列展開式：

其中：D是DOG計算的結(jié)果，x是候選關(guān)鍵點之一最小化的到真正的極值（偏移量）：當：則該點是低對比度的點關(guān)鍵點濾除--低對比度點的濾除方法：擬合三維二次方程，找出低對比度的點關(guān)鍵點濾除84關(guān)鍵點濾除--邊緣響應的濾除一個定義好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。主曲率（Hessian矩陣）：D的主曲率和H的特征值成正比，令為最大特征值，為最小的特征值關(guān)鍵點濾除一個定義好的高斯差分算子的極值在橫跨85為了檢測主曲率是否在某閾值r下，只需檢測：關(guān)鍵點濾除--邊緣響應的去除令，則的值在兩個特征值相等的時候最小，隨著的增大而增大文章中：若不滿足上式，則是邊緣的點為了檢測主曲率是否在某閾值r下，只需檢測：關(guān)鍵點濾除令86沒有進行任何處理的關(guān)鍵點沒有進行任何處理的關(guān)鍵點87去除了低對比度之后的點去除了低對比度之后的點88去除邊界相應的點去除邊界相應的點89關(guān)鍵點檢測4、關(guān)鍵點描述子的生成描述子生成SIFT概述3、為每個關(guān)鍵點指定方向1、檢測尺度空間極值點。2、精確定位極值點關(guān)鍵點檢測描述子生成SIFT概述3、為每個關(guān)鍵點指定方向190選擇一系列好的關(guān)鍵點選擇每個關(guān)鍵點周圍的一個區(qū)域去除尺度和旋轉(zhuǎn)的影響關(guān)鍵點方向分配選擇一系列好的關(guān)鍵點關(guān)鍵點方向分配91采用梯度直方圖來確定關(guān)鍵點的方向用點的尺度選擇正確的圖像用有限差分計算梯度的模值和方向關(guān)鍵點方向分配采用梯度直方圖來確定關(guān)鍵點的方向關(guān)鍵點方向分配92關(guān)鍵點方向分配

實際計算中，在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0~360度，其中每10度一個柱，總共36個柱。

直方圖的峰值代表關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。關(guān)鍵點方向分配實際計算中，在以關(guān)鍵點為中心的鄰93在梯度方向直方圖中，當存在另一個相當于主峰值80%能量的峰值時，則將這個方向認為是該關(guān)鍵點的輔方向。一個關(guān)鍵點可能會被指定具有多個方向（一個主方向、一個以上輔方向），可以增強匹配的魯棒性。每個關(guān)鍵點有三個信息：位置，所處尺度，方向。由此可以確定一個SIFT特征區(qū)域。關(guān)鍵點方向分配在梯度方向直方圖中，當存在另一個相當于主峰值80%能量的峰值94關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向描述子生成SIFT概述4、關(guān)鍵點描述子的生成1、檢測尺度空間極值點2、精確定位極值點關(guān)鍵點檢測描述子生成SIFT概述4、關(guān)鍵點描述子的生成1、95特征點描述子1、首先將坐標軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不變性。2、以關(guān)鍵點為中心取8×8的窗口。3、在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。

鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。特征點描述子1、首先將坐標軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不96特征點描述子實際計算過程中，為了增強匹配的穩(wěn)健性，建議對每個關(guān)鍵字使用4×4共16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù)，最終形成128維SIFT特征向量。--此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變化因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。當兩幅圖像的SIFT特征向量生成后，下一步采用關(guān)鍵點特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點的相似性判定度量。--取圖像1中的某個關(guān)鍵點，并找出其與圖像2中歐氏距離最近的前兩個關(guān)鍵點，在這兩個關(guān)鍵點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點。降低這個閾值，SIFT匹配點數(shù)目會減少，但更加穩(wěn)定。特征點描述子實際計算過程中，為了增強匹配的穩(wěn)健性，建議對每個97SIFT特征匹配技術(shù)任甲元鄭舒穎金喆SIFT特征匹配技術(shù)任甲元鄭舒穎金喆98圖像配準結(jié)果典型應用圖像配準結(jié)果典型應用99

關(guān)鍵技術(shù)：局部特征提取

關(guān)鍵技術(shù)：局100局部特征：感興趣區(qū)域檢測&描述子感興趣區(qū)域描述子<012310023…><500113715…><1421100322…>局部特征：感興趣區(qū)域檢測&描述子感興趣區(qū)域描述子101DavidLoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

作者簡介DavidLowe作者簡介102SIFT概述

SIFT算法由D.G.Lowe1999年提出，2004年完善總結(jié)。此后Y.Ke將其描述子部分用PCA代替直方圖的方式，對其進行改進。定義：SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值點，提取位置、尺度、旋轉(zhuǎn)不變量。特點：1、SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。2、獨特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。3、多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量的SIFT特征向量。4、高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達到實時的要求。5、可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。SIFT概述SIFT算法由D.G.Lowe11031、檢測尺度空間極值點。2、精確定位極值點。關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成SIFT概述關(guān)鍵點檢測描述子生成SIFT概述1042、精確定位極值點。關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成1、檢測尺度空間極值點。SIFT概述關(guān)鍵點檢測描述子生成1、檢測尺度空間極值點。SIFT概述105尺度空間極值點檢測尺度空間極值點檢測106尺度空間極值點檢測尺度空間：二維尺度可變高斯核函數(shù)（濾波函數(shù)），高斯核和高斯微分是尺度空間分析的惟一平滑核。

(本實驗采用一維高斯函數(shù))空間坐標尺度空間因子（坐標）二維圖像函數(shù)尺度空間極值點檢測尺度空間：二維尺度可變高斯核函數(shù)（濾波函數(shù)107高斯差分尺度空間（DOGscale-space）：是尺度歸一化LOG算子的近似高斯金字塔的構(gòu)建：高斯金字塔共o(7)階，每階有s(6)層，下一階的圖像由上一階圖像降采樣得到。尺度空間極值點檢測高斯差分尺度空間（DOGscale-space）：是尺度歸108sift算法講解課件109sift算法講解課件110sift算法講解課件111歸一化歸一化112歸一化gray0=135791011歸一化gray0=1357910113歸一化gray0=135791011gray1=02468910歸一化gray0=1357910114歸一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/101歸一化gray0=1357910115歸一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/1010=<gray2<=1歸一化gray0=1357910116sift算法講解課件117sift算法講解課件118放大一倍放大一倍119放大一倍1

357911131517放大一倍1357911131517120放大一倍1

357911131517放大一倍1357911131517121放大一倍1

3579111315171

35

7

9111315

17放大一倍135791113151713122放大一倍1

3579111315171

2

345

78

9101113141516

17放大一倍135791113151712123放大一倍1

3579111315171

2

345468

78

9101110121413141516

17放大一倍135791113151712124放大一倍1

3579111315171

2

34545678

78

91011101112131413141516

17放大一倍135791113151712125放大一倍1

3579111315171

2

3455456788

78

910111110111213141413141516

1717131415161717放大一倍135791113151712126sift算法講解課件127sift算法講解課件128

高斯濾波高斯濾波129

高斯濾波高斯濾波130

高斯濾波高斯濾波131

高斯濾波高斯濾波132

高斯濾波高斯濾波133

高斯濾波高斯濾波134

高斯濾波高斯濾波135

高斯濾波高斯濾波136

高斯濾波高斯濾波137

高斯濾波高斯濾波138

高斯濾波高斯濾波139

高斯濾波高斯濾波140

高斯濾波高斯濾波141

高斯濾波高斯濾波142

高斯濾波高斯濾波143

高斯濾波高斯濾波144

高斯濾波高斯濾波145

高斯濾波高斯濾波146sift算法講解課件147sift算法講解課件148sift算法講解課件149sift算法講解課件150sift算法講解課件151sift算法講解課件152降采樣降采樣153降采樣1

2

3455456788

78

910111110111213141413141516

1717131415161717降采樣123455456788154降采樣1

2

3455456788

78

910111110111213141413141516

1717131415161717

降采樣123455456788155降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

降采樣123455456788156降采樣1

23455456788

78

910111110111213141413141516

17171314151617171

降采樣123455456788157降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3

降采樣123455456788158降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3

降采樣123455456788159降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35

降采樣123455456788160降采樣1

2

345545678878

910111110111213141413141516

17171314151617171

35

降采樣123455456788161降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357

降采樣123455456788162降采樣1

2

3455456788

78910111110111213141413141516

17171314151617171

357

降采樣123455456788163降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579

降采樣123455456788164降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579

降采樣123455456788165降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911

降采樣123455456788166降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911

降采樣123455456788167降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35791113

降采樣123455456788168降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

35791113

降采樣123455456788169降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

3579111315

降采樣123455456788170降采樣1

2

3455456788

78

91011111011121314141314151617171314151617171

3579111315

降采樣123455456788171降采樣1

2

3455456788

78

910111110111213141413141516

17171314151617171

357911131517降采樣123455456788172sift算法講解課件173sift算法講解課件174sift算法講解課件175sift算法講解課件176sift算法講解課件177在3x3x3鄰域內(nèi)選擇所有的極值中間的檢測點和尺度空間共26個點比較尺度空間極值點檢測在3x3x3鄰域內(nèi)選擇所有的極值尺度空間極值點檢測178關(guān)鍵點檢測3、為每個關(guān)鍵點指定方向。4、關(guān)鍵點描述子的生成。描述子生成SIFT概述2、精確定位極值點。1、檢測尺度空間極值點。關(guān)鍵點檢測描述子生成SIFT概述2、精確定位極值點。1、檢179x采樣檢測到的極值實際極值極值點定位兩步檢驗：1、必須與周圍的像素有明顯的差異，即濾除低對比度的點。2、不能是邊緣點。因為DOG算子會產(chǎn)生較強的邊緣響應目的：增強匹配穩(wěn)定性、提高抗噪聲能力x采樣檢測到的極值實際極值極值點定位兩步檢驗：目的：增強匹配180方法：擬合三維二次方程，找出低對比度的點泰勒序列展開式：