信息融合中的surf檢測方法

0surf算法檢測特征點(diǎn)圖像集匹配是指對包含同一場景的兩幅圖像進(jìn)行對齊，并確定彼此對應(yīng)關(guān)系的圖像分析和處理技術(shù)。它廣泛應(yīng)用于導(dǎo)航、地圖和土地匹配、生物特征識(shí)別、文字識(shí)別、醫(yī)學(xué)圖像分析、計(jì)算機(jī)視覺等領(lǐng)域。目前,圖像匹配算法的研究已經(jīng)由基于像素的灰度相關(guān)向局部特征相關(guān)轉(zhuǎn)變,人們已經(jīng)提出了各種各樣的局部特征算法。文獻(xiàn)通過各種實(shí)驗(yàn)對幾種有代表性的局部特征算法進(jìn)行了性能評估,結(jié)論表明:SURF算法是性能最為魯棒的局部特征算法。SURF算法由Bay等人提出,它主要分成3部分:1)特征點(diǎn)提取。即在積分圖像的基礎(chǔ)上,利用方框?yàn)V波近似代替二階高斯濾波,計(jì)算待選特征點(diǎn)及其周圍點(diǎn)的Hessian值,如果最大,則為特征點(diǎn)。2)特征點(diǎn)描述。即在特征點(diǎn)周圍小區(qū)域上計(jì)算Haar小波,并計(jì)算其4種和以構(gòu)成特征描述。3)利用特征點(diǎn)描述向量進(jìn)行配準(zhǔn)。對大量的圖像數(shù)據(jù)進(jìn)行研究發(fā)現(xiàn),當(dāng)特征區(qū)域像素分布簡單時(shí),圖像旋轉(zhuǎn)、光照變化等會(huì)使圖像特征點(diǎn)檢測率下降。產(chǎn)生這種情況的原因是:1)特征點(diǎn)信息量小。若特征點(diǎn)所包含的信息量越多,在另一幅圖像中被檢測出來的概率就越高。2)特征點(diǎn)匹配不精確。即參考圖像中用某種尺度檢測出來的特征集中的2個(gè)特征點(diǎn),可能分別與配準(zhǔn)圖像中用不同尺度檢測出來的2個(gè)特征集中的特征點(diǎn)對應(yīng)。針對以上問題,本文先用SURF算法檢測出某一特征點(diǎn),稱為初始特征點(diǎn),再計(jì)算初始特征點(diǎn)的信息量,當(dāng)其信息量大于某一閾值時(shí),即將它作為匹配特征點(diǎn),以提高特征點(diǎn)的魯棒性,然后采用特征子集配準(zhǔn)方法,進(jìn)一步提高配準(zhǔn)速度。實(shí)驗(yàn)表明,本文配準(zhǔn)策略可使配準(zhǔn)速度比SURF算法的配準(zhǔn)速度更快,同時(shí)還提高了配準(zhǔn)精度。1suft算法的改進(jìn)1.1特征點(diǎn)特征提取的一般理論采用SURF算法提取特征點(diǎn)進(jìn)行匹配時(shí),發(fā)現(xiàn)有大量的特征點(diǎn)未進(jìn)行匹配,對這些特征點(diǎn)進(jìn)行分析,發(fā)現(xiàn)其所含的信息量較低。因此,本文用原SURF算法檢測特征點(diǎn),然后計(jì)算檢測出來的特征點(diǎn)的信息量,去掉信息量低的特征點(diǎn),減少特征點(diǎn)匹配時(shí)間,以提高配準(zhǔn)速度。衡量信息量大小的標(biāo)準(zhǔn)很多,如梯度、熵、配準(zhǔn)度(registrability)等。據(jù)文獻(xiàn)分析知,采用香農(nóng)熵是較好的信息量大小的衡量標(biāo)準(zhǔn),然而,香農(nóng)熵也有其局限性,因它只考慮了像素值離散的情況,而本文中還需考慮特征區(qū)域像素值的分布情況。因此,筆者對香農(nóng)熵作了如下2個(gè)方面的改進(jìn):1)在一幅圖像中,由于待選特征點(diǎn)是比周圍點(diǎn)hessian值大的像素點(diǎn),特征點(diǎn)鄰域是凸鄰域,所以特征點(diǎn)鄰域中由外向中心方向,離特征點(diǎn)越近,像素值應(yīng)該越大。2)為使算法更好地適應(yīng)圖像的旋轉(zhuǎn),特征點(diǎn)應(yīng)具有旋轉(zhuǎn)不變性。根據(jù)以上分析,本文改進(jìn)原有特征點(diǎn)信息量的計(jì)算方法如下:1)計(jì)算某種尺度下初始特征點(diǎn)(初始特征點(diǎn)記為xi,i=1,2,3,…,n)領(lǐng)域內(nèi)每一點(diǎn)的香農(nóng)熵,計(jì)算方法參考文獻(xiàn)。2)計(jì)算初始特征點(diǎn)鄰域內(nèi)每一像素點(diǎn)(鄰域內(nèi)的像素點(diǎn)記為yj,j=1,2,3,…,m)的差值貢獻(xiàn)率。其計(jì)算方法是:對鄰域內(nèi)某一像素點(diǎn)yj,找到y(tǒng)j與初始特征點(diǎn)的連接線段L,并找到線段上與yj相距1個(gè)單位像素的點(diǎn)(記為k,k=1,2,3,…,m)。如果k點(diǎn)與圖像上的像素點(diǎn)重合,則以該點(diǎn)的像素值減去yj點(diǎn)的像素值得到差值;如果不是,采用PV插值法計(jì)算出k點(diǎn)的像素值,再用計(jì)算出來的像素值減去yj點(diǎn)的像素值得到差值。然后,把所有差值的絕對值相加,得和值為fsum,即;以yj點(diǎn)像素值的差值除以fsum,商即為這點(diǎn)(yj)的差值貢獻(xiàn)率。3)計(jì)算某種尺度下xi周圍區(qū)域內(nèi)每一點(diǎn)yj的旋轉(zhuǎn)不變度。先以中心點(diǎn)xi為圓心找到多個(gè)同心圓,計(jì)算每一個(gè)圓的圓周上所有點(diǎn)像素值的均值,然后,計(jì)算區(qū)域內(nèi)每一點(diǎn)yj的像素值和它所在圓周像素均值的差的絕對值,如果絕對值為0,這點(diǎn)(yj)的旋轉(zhuǎn)不變度為1,否則,旋轉(zhuǎn)不變度為絕對值的倒數(shù)。計(jì)算公式為式中:為yj所在圓的圓周上像素值的均值。然后,在特征點(diǎn)xi鄰域中,將前面計(jì)算得到的每一點(diǎn)的3個(gè)值相乘,作為yj的信息量,把每一點(diǎn)的信息量相加,就得到特征點(diǎn)xi的信息量,計(jì)算公式為式中:為yj點(diǎn)在尺度空間出現(xiàn)的頻率;lg為yj點(diǎn)的香農(nóng)熵。為了平衡尺度因子帶來的影響,把與二階高斯函數(shù)作卷積,所得結(jié)果再與相乘以去掉尺度帶來的影響。1.2配準(zhǔn)圖像特征匹配算法SURF匹配算法中判斷參考圖像(假設(shè)有N1個(gè)特征點(diǎn))中第i個(gè)特征點(diǎn)是否與配準(zhǔn)圖像(假設(shè)有N2個(gè)特征點(diǎn))中某個(gè)特征點(diǎn)匹配,要計(jì)算參考圖像中第i點(diǎn)與配準(zhǔn)圖像中所有N2個(gè)特征點(diǎn)的歐氏距離并排序,這需要計(jì)算1×64向量和64×N2向量的乘積得到1×N2維向量,并對該向量排序。當(dāng)計(jì)算參考圖像中所有N1個(gè)特征點(diǎn)的匹配關(guān)系時(shí),需要重復(fù)如上操作N1次,當(dāng)N1和N2都很大時(shí),計(jì)算很耗時(shí),算法效率低。為了提高圖像配準(zhǔn)精度,就不能存在以下情況,即在參考圖像中用某種尺度檢測出來的特征集中的2個(gè)特征點(diǎn),其中一個(gè)對應(yīng)配準(zhǔn)圖像中用某種尺度檢測出來的特征集中的某一特征點(diǎn),而另一個(gè)則對應(yīng)配準(zhǔn)圖像中用另一種尺度檢測出來的特征集中的某一特征點(diǎn)。因此,本文提出以下匹配算法:1)先考慮參考圖像,根據(jù)尺度空間理論,假設(shè)形成n1個(gè)特征集;在配準(zhǔn)圖像中,同理假設(shè)形成n2個(gè)特征集。分別將2幅圖像中的特征集各自按尺度空間從小到大的順序排列,并分別編號(hào)。固定參考圖像的排序不動(dòng),而配準(zhǔn)圖像的排序可以沿參考圖像的排列方向移動(dòng),參見圖1~3。2)讓參考圖像的1號(hào)特征集對應(yīng)配準(zhǔn)圖像的n2號(hào)特征集,計(jì)算此時(shí)特征集的對應(yīng)個(gè)數(shù),即參考圖像1號(hào)特征集和配準(zhǔn)圖像n2號(hào)特征集匹配特征點(diǎn)個(gè)數(shù)。3)將配準(zhǔn)圖像特征集向右移動(dòng)1位,即參考圖像1號(hào)特征集對應(yīng)配準(zhǔn)圖像n2-1號(hào)特征集,參考圖像2號(hào)特征集對應(yīng)配準(zhǔn)圖像n2號(hào)特征集,計(jì)算參考圖像1號(hào)特征集和配準(zhǔn)圖像的n2-1號(hào)特征集對應(yīng)的特征個(gè)數(shù),再計(jì)算參考圖像2號(hào)特征集和配準(zhǔn)圖像的n2號(hào)特征集的對應(yīng)特征個(gè)數(shù),并求它們的和作為此種特征集對應(yīng)關(guān)系的對應(yīng)特征點(diǎn)個(gè)數(shù)。4)以此類推,直到參考圖像的n1號(hào)特征集對應(yīng)配準(zhǔn)圖像的1號(hào)特征集,計(jì)算參考圖像n1號(hào)特征集和配準(zhǔn)圖像1號(hào)特征集的匹配特征點(diǎn)個(gè)數(shù)。5)最后比較各種特征集對應(yīng)組中特征點(diǎn)的匹配個(gè)數(shù),找到特征點(diǎn)匹配個(gè)數(shù)最大的特征集對應(yīng)組,并把這種特征集對應(yīng)的特征點(diǎn)匹配關(guān)系作為圖像的特征點(diǎn)匹配關(guān)系,計(jì)算配準(zhǔn)轉(zhuǎn)換矩陣,實(shí)現(xiàn)配準(zhǔn)。用這種方法可減少特征搜索區(qū)域,增加正確匹配數(shù),減少匹配計(jì)算時(shí)間。接下來再考慮新匹配算法的時(shí)間特性:為了計(jì)算方便,設(shè)2幅圖像各有n個(gè)特征集,各個(gè)特征集有特征點(diǎn)數(shù)為x1,x2,x3,…,xn和y1,y2,y3,…,yn。如用原方法匹配,則所需時(shí)間關(guān)系如下:若用新方法匹配,則新的時(shí)間復(fù)雜性為:式(2)減式(3)可看出本算法節(jié)約時(shí)間約50%。2特征描述子計(jì)算改進(jìn)的SURF算法配準(zhǔn)步驟如下:1)分別計(jì)算配準(zhǔn)圖像和參考圖像的積分圖像,然后構(gòu)建各自的圖像金字塔,在每一層中使用SURF算法計(jì)算特征點(diǎn)。2)每計(jì)算出1個(gè)特征點(diǎn),用本文改進(jìn)的新算法計(jì)算該特征點(diǎn)的信息量,只有大于信息量閾值的特征點(diǎn)才保留下來,再計(jì)算保留下來的特征描述子。3)在計(jì)算描述子時(shí),同SURF算法一樣,得到64維的描述向量。4)分特征匹配,得到2幅圖像的每一個(gè)尺度的特征集,按尺度大小排列特征集,按1.2節(jié)的方法計(jì)算尺度對應(yīng)關(guān)系,找出相應(yīng)特征集對。5)用RANSAC和最小二乘法去除偽匹配對。實(shí)際配準(zhǔn)流程如圖4所示。3實(shí)驗(yàn)結(jié)果及分析本實(shí)驗(yàn)的目的是比較本文算法與其它算法的匹配效率和匹配速度。實(shí)驗(yàn)環(huán)境為:matlab2009,系統(tǒng)windowsXPsp3,cpu奔騰雙核E2200。評價(jià)基于關(guān)鍵點(diǎn)的圖像匹配算法性能最常用的方法是使用recall曲線和1-precision曲線。recall和1-precision分別定義為:recall為找到的匹配點(diǎn)對中正確的匹配數(shù)目與2幅圖像中存在的正確匹配數(shù)目的比值;1-precision為找出來的匹配對中錯(cuò)誤匹配的數(shù)目與找出來的特征對數(shù)目的比值。好的基于關(guān)鍵點(diǎn)的圖像匹配算法能在找到盡可能多的匹配關(guān)鍵點(diǎn)對的同時(shí)還能保證高的正確率,即1-precision同樣的情況下recall值越大越好,在圖像匹配的實(shí)際情況中,圖像中存在的實(shí)際匹配數(shù)目往往事先未知,所以本文只用1-precision比較算法性能。對圖5所示大小為173像素×319像素的圖像進(jìn)行旋轉(zhuǎn)和平移變化,采用本文改進(jìn)的SURF算法、SURF算法和SIFT算法提取特征點(diǎn),將最終得到的計(jì)算值與真實(shí)值比較,結(jié)果如表1所示。從表1可知,對圖像進(jìn)行旋轉(zhuǎn)、平移時(shí),采用本文改進(jìn)后的圖像配準(zhǔn)算法可得出誤差較小、精度更高的參數(shù)計(jì)算結(jié)果。對圖5進(jìn)行平移和旋轉(zhuǎn)試驗(yàn),比較傳統(tǒng)的SURF算法和改進(jìn)后的SURF算法在進(jìn)行特征點(diǎn)匹配時(shí)的正確率和所用時(shí)間。如表2所示,平移實(shí)驗(yàn)所得數(shù)據(jù)為圖像平移1/9,1/8,1/7,1/6,1/5,1/4,1/3,1/2倍邊長和1倍邊長時(shí)各實(shí)驗(yàn)數(shù)據(jù)的平均值,旋轉(zhuǎn)實(shí)驗(yàn)所得數(shù)據(jù)為圖像旋轉(zhuǎn)10,20,30,40,50,60,70,80和90°時(shí)各實(shí)驗(yàn)數(shù)據(jù)的平均值?？梢钥闯?1)在正確匹配率(匹配效率)方面,改進(jìn)的SURF匹配算法具有較強(qiáng)的優(yōu)勢;2)在匹配時(shí)間方面:改進(jìn)的SURF匹配算法使匹配時(shí)間有較大降低。圖6給出了圖5檢測特征點(diǎn)時(shí)信息量閾值與檢測出來的特征對及其中正確特征對的關(guān)系。曲線1為檢測出來的特征點(diǎn)個(gè)數(shù),曲線2為RANSAC法去除錯(cuò)誤的匹配特征點(diǎn)對之后的特征點(diǎn)個(gè)數(shù)。從圖6可見信息量閾值取0~0.1時(shí)較好。從圖7的分圖a)中可看出,大量路面的點(diǎn)被檢測出來,而這些點(diǎn)不能找到對應(yīng)的匹配點(diǎn),信息量小,是多余的點(diǎn),在檢測特征點(diǎn)時(shí)應(yīng)剔除。圖8為改進(jìn)SURF算法配準(zhǔn)實(shí)例。分圖a)顯示已剔除了大量信息量小的待選特征點(diǎn),分圖b)為配準(zhǔn)結(jié)果。由于篇幅限制,本文只簡單介紹改進(jìn)的SURF配準(zhǔn)的其他特性。在同樣的閾值