1、Efficient object detection and segmentation for fine-grained recognition細(xì)粒度識(shí)別的有效目標(biāo)檢測(cè)與分割李其信 信號(hào)與信息處理1摘要本文提出了一種針對(duì)細(xì)粒度的識(shí)別的目的檢測(cè)和分割算法。該算法首先檢測(cè)可能屬于對(duì)象的低級(jí)別的區(qū)域，然后通過(guò)傳播進(jìn)行完整的對(duì)象分割。除了分割對(duì)象，我們也可以以中心“放大”對(duì)象，依據(jù)尺度比例規(guī)范對(duì)象，因此折扣背景的影響。這種算法與一個(gè)國(guó)家的最先進(jìn)分類算法的結(jié)合能明顯提高性能，特別是對(duì)于認(rèn)為很難識(shí)別數(shù)據(jù)集，如鳥(niǎo)類物種，性能提高更加明顯。該算法的效率遠(yuǎn)遠(yuǎn)超過(guò)同樣方案下的其它已知算法4,21。我們的方法也比較

2、簡(jiǎn)單，我們將其應(yīng)用到不同的對(duì)象的類，如鳥(niǎo)類，花卉，貓和狗。我們?cè)谝恍┗鶞?zhǔn)細(xì)粒度的分類數(shù)據(jù)集上測(cè)試了該算法的性能。它優(yōu)于所有已知的最先進(jìn)的方法對(duì)這些數(shù)據(jù)集的性能，有時(shí)高達(dá)11%。在所有的數(shù)據(jù)集上應(yīng)用此算法，基線算法的性能提高了3-4%。我們?cè)谧R(shí)別性能上具有挑戰(zhàn)性的大規(guī)模花的數(shù)據(jù)集（包含578個(gè)品種的花圖像）上進(jìn)行試驗(yàn)，觀察到還觀察到上出現(xiàn)超過(guò)4%的改善。2背景本文討論的對(duì)象分類問(wèn)題屬于相同的基本范疇，如物種鳥(niǎo)，花等。這個(gè)任務(wù)通常被稱為細(xì)粒識(shí)別，需要特定領(lǐng)域的專家知識(shí)，而這些知識(shí)通常很少的人才有。因此，開(kāi)發(fā)自動(dòng)識(shí)別系統(tǒng)這樣的任務(wù)對(duì)于非專家存在很大好處。毫無(wú)疑問(wèn)，細(xì)粒度的分類面臨的主要挑戰(zhàn)是物種之間

3、細(xì)微的差異。然而，一個(gè)自動(dòng)系統(tǒng)會(huì)遇到更多的挑戰(zhàn)。例如，圖像通常包括豐富的自然環(huán)境和具有挑戰(zhàn)性的背景，其中的背景的影響可能會(huì)變得突出，從而干擾算法的識(shí)別。但是，有時(shí)背景可能是有用的，所以分割出背景將是有益的。分割也有助于提取感興趣對(duì)象的輪廓，可以提供良好的特征識(shí)別。一種檢測(cè)和分割算法的另一個(gè)好處就是，它可以定位對(duì)象，這個(gè)對(duì)象是有益的，特別是如果該對(duì)象不在圖像的中心，或者大小的中央，不同于其它對(duì)象的大小。在本文中，我們提出了一個(gè)有效的目標(biāo)檢測(cè)分割算法，可以有效地用于對(duì)象定位和大小規(guī)范（圖1）。我們的方法是試圖識(shí)別它之前，先分割可能感興趣的對(duì)象，這種方法比以前的快很多，適用各種不同的超類別，如鳥(niǎo)類，

4、鮮花，和貓狗，并改善了識(shí)別細(xì)粒度的分類任務(wù)中的性能。我們的方法是在檢測(cè)的時(shí)候基于感興趣類的識(shí)別。在這里，為對(duì)象的超類，如鳥(niǎo)類，這個(gè)想法是建立基于特征的初步檢測(cè)。這些檢測(cè)器是對(duì)象的指示器，可以幫助指出對(duì)象可能的位置。我們進(jìn)一步應(yīng)用基于拉普拉斯操作數(shù)的傳播方法，這種方法可以在低級(jí)別的線索中分割完整的對(duì)象。這里的關(guān)鍵是，這個(gè)傳輸過(guò)程是由最初檢測(cè)到區(qū)域來(lái)引導(dǎo)，但在同一時(shí)間能夠保存對(duì)象的邊界，從而有效地分割完整對(duì)象。此外，所得到的分割是用來(lái)定位對(duì)象，折扣的背景的影響。我們的實(shí)驗(yàn)顯示，這對(duì)于最終的識(shí)別是相當(dāng)有益的。3過(guò)程論文第3節(jié)介紹如何在一個(gè)圖像中檢測(cè)和分割對(duì)象。第一步，3.1節(jié)中完成一系列基本的基于區(qū)

5、域的部分對(duì)象檢測(cè)。然后，在3.2節(jié)中提出，使用這些區(qū)域作為初始化條件，利用拉普拉斯傳播方法。最后，第4節(jié)中，將分割后的圖像（它包含檢測(cè)到的和分段對(duì)象，可能被裁剪或者大小已被調(diào)整）和輸入圖像，通過(guò)該功能特征提取和分類管道（第4節(jié)），最終得到分類的結(jié)果。3.1對(duì)象的特定區(qū)域檢測(cè)我們的方法是首先初始搜索可能屬于超類的對(duì)象區(qū)域。為簡(jiǎn)單，我們使用超像素分割方法把圖像分割成相干的小塊區(qū)域。每個(gè)超級(jí)像素區(qū)域利用文獻(xiàn)3中提到的一組特征描述符描述。利用上述特點(diǎn)，在脫機(jī)條件下訓(xùn)練一個(gè)分類模型去決定一個(gè)區(qū)域是屬于超類（如所有花）還是屬于背景。該模型的一個(gè)優(yōu)點(diǎn)就是其通用性，可以再不同類別的數(shù)據(jù)集上進(jìn)行訓(xùn)練，不是針對(duì)一

6、個(gè)超類別的特征。對(duì)于花鳥(niǎo)貓狗的檢測(cè)和模型的訓(xùn)練，使用的是同一樣的算法。3.2全對(duì)象分割3.2.1用表示圖像第j個(gè)像素，表示它的特征表示。分割任務(wù)的目標(biāo)是找到每個(gè)像素點(diǎn)的標(biāo)簽，當(dāng)像素屬于分割的對(duì)象時(shí)，否則。利用每個(gè)像素點(diǎn)的特征組成相似矩陣W。只有相鄰的像素點(diǎn)之間的關(guān)系矩陣是非零的，出于計(jì)算的速度或者其它的可能選擇，我們將設(shè)為0，為像素的顏色值。目標(biāo)是最小化成本函數(shù)C(X) （1），Y是對(duì)于一些或者全部像素點(diǎn)，期望的標(biāo)簽時(shí)這些卷標(biāo)約束對(duì)于強(qiáng)加什么是對(duì)象什么是背景這種先驗(yàn)知識(shí)是非常有用的。這是一種標(biāo)準(zhǔn)的拉普拉斯標(biāo)簽傳播的制定，上面的公式通常寫(xiě)成一種更方便的等價(jià)公式：其中，S定義：3.2.2優(yōu)化.方程

7、式1的優(yōu)化問(wèn)題是可以用文獻(xiàn) 28 的迭代來(lái)解決。另外，它可以作為一個(gè)線性的系統(tǒng)方程來(lái)解決，我們選擇這種方法，對(duì)方程1求導(dǎo)后，我們得到一個(gè)最優(yōu)解X。在我們的實(shí)現(xiàn)中，我們使用共軛梯度方法進(jìn)行預(yù)處理，實(shí)現(xiàn)了非?？焖俚氖諗啃浴Ｓ捎谇熬暗臄U(kuò)散特性和不同的圖像的背景（和數(shù)據(jù)）可能會(huì)有所不同，我們分別單獨(dú)考慮只有前景或者只有背景的檢測(cè)。這是由于對(duì)其中一個(gè)進(jìn)行的分割可能是好的但是相對(duì)于其它結(jié)合結(jié)果的前景和背景的分割產(chǎn)生更一致的分割和利用功能的互補(bǔ)性。表示釔鐵石榴石=Y的時(shí)候y 0和0，否則，YBG=Y初乳0和0，否則，我們解決了：定義Yfg=Y 當(dāng)Y0時(shí)，否則Yfg=-Y在實(shí)踐中，這兩個(gè)分割通過(guò)應(yīng)用下列規(guī)范標(biāo)

8、簽同時(shí)進(jìn)行因?yàn)樗苊饬藛为?dú)優(yōu)化，這使得算法更快。同時(shí)，對(duì)個(gè)人的前景背景分割方法也給出了相同的結(jié)果，這也更穩(wěn)定。為了獲得最終的分割，Xsegm的閾值為0。圖3顯示的卷標(biāo)傳播算法和最終的分割的結(jié)果。右上方的圖像顯示每個(gè)超級(jí)像素區(qū)域的得分（在這里我們用分類間隔）。右下方的圖像顯示拉普拉斯操作數(shù)的擴(kuò)展的解決方案，給出了初步的地區(qū)（即方程2的解）。注意不是所有的目標(biāo)區(qū)域的最初都能獲得高得分。這也是真實(shí)的背景區(qū)域。拉普拉斯擴(kuò)展后，前景和背景之間的分割通過(guò)強(qiáng)分離獲得。圖4顯示了示例分割圖像。請(qǐng)注意，并非所有的細(xì)分都是成功的，特別是鳥(niǎo)類。然而，在實(shí)驗(yàn)后見(jiàn)，即使是局部的分割是有用的，我們的方法提供了性能的改善。

9、3.3細(xì)粒度的識(shí)別與分割本節(jié)介紹了在最后的細(xì)粒度的識(shí)別任務(wù)中如何使用分割圖像。為簡(jiǎn)單起見(jiàn)，我們首先描述基線算法。我們應(yīng)用特征提取和分類管道，首先提取4個(gè)不同尺度的HOG特征，這些特征利用文獻(xiàn)25中提到的LLC方法進(jìn)行8K維的全局編碼。我們的分類管道使用線性SVM分類器的1-vs-all策略，使用線性SVM的變形。對(duì)于578類花這種非常大的數(shù)據(jù)集，我們使用一個(gè)隨機(jī)的梯度下降算法，因?yàn)榫€性的無(wú)法加載整個(gè)數(shù)據(jù)到內(nèi)存。分割后的圖像是通過(guò)相同的特征加工提取管道再作為原始圖像，然后我們通過(guò)連接來(lái)結(jié)合兩組提取的特征。這種方法分割時(shí)間較其他算法快很多。4結(jié)果實(shí)驗(yàn)過(guò)程中在不同的標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行，與其他的算法進(jìn)行

10、比較。除此之外，還在含有578類的花的大型數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。4.1牛津花卉102種數(shù)據(jù)集在這個(gè)數(shù)據(jù)集上，本文的方法對(duì)象檢測(cè)率為80.66%，比其他文獻(xiàn)中提到的算法優(yōu)越4%到8%，在我們的基線算法是約4%，兩者之間的唯一區(qū)別是增加了分割算法和從分割圖像進(jìn)行特征提取。4.2加州理工學(xué)院分校的200種鳥(niǎo)類的數(shù)據(jù)集在相同的設(shè)置下，我們的算法相對(duì)于文獻(xiàn)27實(shí)現(xiàn)了30.17%的分類性能提升。即使不適用基線算法，我們的算法也實(shí)現(xiàn)27.60%的性能提升。4.3牛津貓狗數(shù)據(jù)集我們的方法優(yōu)于一般或一些特定的算法。同時(shí)，我們?cè)诜指钪?，沒(méi)有像其他算法一樣使用某些特定的對(duì)象注釋貨特征。4.4包含578類花的大規(guī)模特殊數(shù)據(jù)集我們測(cè)試我們的基線算法與基于分割的算法進(jìn)行對(duì)比，我們的算法改進(jìn)了4.4%。這里自動(dòng)分割算法在提高性能上的優(yōu)勢(shì)是很重要的。如果針對(duì)不同的數(shù)據(jù)集，對(duì)分割算法進(jìn)行調(diào)整，就可以進(jìn)一步提升分割性能。本文件提出了一種結(jié)合基于感興趣對(duì)象區(qū)域檢測(cè)和傳播全局檢測(cè)的算法。在面對(duì)具有挑戰(zhàn)性的數(shù)據(jù)集時(shí)，此算法的分割時(shí)間得到改善，性能得到3-4%的改善。5啟發(fā)5.1