基于相關(guān)濾波的判別式目標(biāo)跟蹤算法分析目錄TOC\o"1-3"\h\u172431.1引言 1103441.2VGG-Net-19網(wǎng)絡(luò)的分層卷積特征 2164841.2.1VGG-Net-19網(wǎng)絡(luò)介紹 2177201.2.2不同分辨率的卷積特征 3107101.3相關(guān)濾波目標(biāo)跟蹤 8221121.1.1線性嶺回歸模型 9262431.1.2循環(huán)矩陣 9179231.1.3快速檢測 11174661.4結(jié)合不同分辨率卷積特征的相關(guān)濾波跟蹤算法 12200011.4.1卷積特征與相關(guān)濾波結(jié)合 12211791.4.2位置估計 1436341.4.3模型更新 14121411.4.4算法流程 141.1引言相關(guān)濾波判別式分類器是一種回歸判別模型。Hester等人[59]首次提出相關(guān)濾波器，將濾波器與提取的候選樣本進行卷積計算，得到響應(yīng)最大的位置即認定為目標(biāo)的位置，為相關(guān)濾波在目標(biāo)跟蹤中的應(yīng)用奠定了理論基礎(chǔ)。Bolme等人[60]首次將相關(guān)濾波器應(yīng)用到跟蹤算法中，提出了最小輸出平方誤差和濾波器，根據(jù)峰-旁瓣比率檢測目標(biāo)是否被遮擋，這使跟蹤器可以暫停并恢復(fù)到物體再次出現(xiàn)時停止的位置。Danelljan等人[61]研究了顏色特征在檢測跟蹤框架中的應(yīng)用，作者將視頻圖像的RGB空間擴展為十一維彩色空間，對每個通道的特征進行單獨處理后再融合，顏色屬性的添加使得跟蹤能夠應(yīng)對更多的復(fù)雜場景。相關(guān)濾波算法的優(yōu)勢是跟蹤速度快，而卷積特征表征能力強，CF2[63]算法就是提取深度特征，之后利用相關(guān)濾波器確定目標(biāo)位置，跟蹤精確度和成功率明顯提高。但是該算法的不足之處是目標(biāo)發(fā)生形變、超出視野范圍、快速運動和運動模糊等復(fù)雜情況是跟蹤算法不能很好的進行解決。因此，針對上述問題，本文采用VGG-Net-19卷積神經(jīng)網(wǎng)絡(luò)提取的多分辨率卷積特征結(jié)合相關(guān)濾波跟蹤框架來提高目標(biāo)跟蹤的魯棒性，首先介紹了VGG-Net-19網(wǎng)絡(luò)的結(jié)構(gòu)，然后用不同分辨率的卷積特征分別進行目標(biāo)跟蹤，比較并分析使用不同分辨率卷積特征時的跟蹤性能，根據(jù)分析結(jié)果提出融合不同分辨率卷積特征的目標(biāo)跟蹤算法。1.2VGG-Net-19網(wǎng)絡(luò)的分層卷積特征1.2.1VGG-Net-19網(wǎng)絡(luò)介紹本文使用的網(wǎng)絡(luò)模型是VGG-Net-19，19表示網(wǎng)絡(luò)中的16個卷積層以及3個全連接層。網(wǎng)絡(luò)結(jié)構(gòu)如圖3-1所示，16個卷積層主要由5組卷積層（Conv1~Conv5）組成。其中，從Conv1到Conv5的每組卷積層分別有2、2、4、4、4層卷積，每組卷積層都使用3*3的卷積核，每組卷積層后進行一個2*2的最大池化。這樣的設(shè)計，既可以保證感受視野，又能減少卷積層的參數(shù)。VGG網(wǎng)絡(luò)的特點是普遍使用多層疊加的小卷積核（3*3）替代大卷積核。多層疊加的小卷積核替代大卷積核的優(yōu)勢如下：（1）與大卷積核有著相同的感受野；（2）加深了網(wǎng)絡(luò)深度，增強了網(wǎng)絡(luò)容量和復(fù)雜度，學(xué)習(xí)到的特征更精細；（3）減少模型參數(shù)個數(shù)。VGG-Net-19網(wǎng)絡(luò)各層參數(shù)如圖3-2所示。圖3-1VGG-Net-19網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3-1IllustrationofNetwork圖3-2VGG-Net-19網(wǎng)絡(luò)的各層參數(shù)圖Fig.3-1Parameterofeachlayerofthenetwork1.2.2不同分辨率的卷積特征本文使用VGG-Net-19卷積神經(jīng)網(wǎng)絡(luò)的卷積特征來表示目標(biāo)的外觀信息。隨著卷積神經(jīng)網(wǎng)絡(luò)的加深，用于精準(zhǔn)定位的空間分辨率則不斷降低。VGG-Net-19網(wǎng)絡(luò)結(jié)構(gòu)中，包含5組卷積層，每組卷積層都會輸出一組輸入圖像的特征數(shù)據(jù)，這5組卷積層輸出的特征對圖像的特征描述情況不同，因此選擇合適的卷積層提取特征對提高目標(biāo)跟蹤算法性能十分重要。本節(jié)首先對VGG-Net-19的每一個卷積層提取的特征做了一個可視化，如圖3-3所示，(a)為輸入圖像，(b)~(f)分別為神經(jīng)網(wǎng)絡(luò)第一層至第五層提取的特征。對于視覺目標(biāo)跟蹤而言感興趣的是目標(biāo)對象的準(zhǔn)確位置而不是其語義類別，因此沒有使用全連接層，因為全連接層顯示的空間分辨率很小，只有1*1的像素，本文僅使用卷積層中的分層特征。a.原圖b.conv1層的輸出c.conv2層的輸出d.conv3層的輸出e.conv4層的輸出f.conv5層的輸出圖3-3分層深度特征的可視化Fig.3-3Visualizationofhierarchicaldepthfeatures通過圖3-3的實驗結(jié)果發(fā)現(xiàn)低卷積層（conv1和conv2）主要提取的是圖像表面紋路與色彩信息，分辨率高，容易分辨出目標(biāo)外觀大小和發(fā)生的變化。高卷積層（conv3、conv4、conv5）主要包含高層語義特征信息，對旋轉(zhuǎn)變形具有不變性，但分辨率低，無法準(zhǔn)確找到目標(biāo)所在位置，對平移和尺度具有不變性。第五個卷積層的特征在識別目標(biāo)時是有效的，即使有明顯的背景變化也可以區(qū)分目標(biāo)。因此接下來通過將各層特征用于相關(guān)濾波目標(biāo)跟蹤中對其進行驗證。為了深入了解卷積神經(jīng)網(wǎng)絡(luò)的各層特征的表征能力，分別將VGG-Net-19網(wǎng)絡(luò)的單層卷積特征應(yīng)用到相關(guān)濾波跟蹤算法中，對跟蹤結(jié)果進行對比分析。分別提取第一、第二、第三、第四、第五層卷積特征，通過使用每層的卷積特征單獨訓(xùn)練相關(guān)濾波器，并且使用單層訓(xùn)練的相關(guān)濾波器來跟蹤視頻序列。本實驗采用標(biāo)準(zhǔn)的KCF框架描述的方法，只是將人工提取的特征替換為VGG-Net-19網(wǎng)絡(luò)的各層卷積特征。評估是在OTB數(shù)據(jù)集中所有50個視頻序列上進行的，這50個視頻被分為11個不同挑戰(zhàn)屬性（關(guān)于這11種不同挑戰(zhàn)屬性的具體介紹在本文第二章），評價標(biāo)準(zhǔn)采用第二章中的VTB評價準(zhǔn)則中的精確度和成功率。實驗結(jié)果如圖3-4所示。a.光照變化（illuminationvariation）b.平面外旋轉(zhuǎn)（out-of-planerotation）c.運動模糊（motionblur）d.目標(biāo)尺度變化（scalevariation）e.目標(biāo)遮擋（occlusion）f.快速運動（fastmotion）g.非剛性形變（deformation）h.超出視野(outofview)i.平面內(nèi)旋轉(zhuǎn)（in-planerotation）j.低分辨率(lowresolution)k.背景雜波干擾（backgroundclutters）圖3-4不同卷積層基于11種屬性的精確度和成功率曲線圖Fig.3-4Plotsofaccuracyandsuccessrateofdifferentconvolutionallayersbasedon11attributes根據(jù)圖3-4得到的不同卷積層基于11種不同屬性下的精確度與成功率的曲線對比圖比較可以很明顯的發(fā)現(xiàn)發(fā)現(xiàn)存在以下幾個問題：(1)在具有低分辨率（lowresolution）屬性的序列中：表現(xiàn)最好的前三個層是conv5、conv4、conv2層,且conv4層跟蹤的結(jié)果比源程序中三個層融合后的性能表現(xiàn)更佳。(2)在具有超出視野（out-of-view）屬性的序列中：精度圖中表現(xiàn)最好的是conv4、conv5、conv2層，成功率圖中表現(xiàn)最好的三個是conv4、conv2、conv3。而且conv4層跟蹤的結(jié)果比源程序中三個層融合后的性能表現(xiàn)更佳。(3)在具有快速運動（fastmotion）和運動模糊（motionblur）屬性的序列中：conv4層跟蹤的結(jié)果比源程序中三個層融合后的性能表現(xiàn)更佳。綜上分析，本文采用Conv2-2、Conv4-4、Conv5-4層卷積特征用于相關(guān)濾波目標(biāo)跟蹤算法中，以此來進一步提高跟蹤算法在低分辨率、目標(biāo)超出視野、快速運動、運動模糊這幾個屬性下的跟蹤性能。1.3相關(guān)濾波目標(biāo)跟蹤相關(guān)濾波跟蹤算法的框架如圖3-5所示，第一幀初始化之后，在隨后的每一幀中，在先前估計位置的圖像塊被裁剪為當(dāng)前輸入,通過提取視覺特征作為目標(biāo)的外觀模型。采用余弦窗口來平滑窗口的邊界效果，然后利用卷積定理得到輸入信號與學(xué)習(xí)濾波器的相關(guān)關(guān)系。FFT（快速傅里葉變換）用于將信號轉(zhuǎn)換為頻域，圖中符號表示按元素計算。接著通過IFFT（快速傅里葉反變換）得到空間置信圖，其峰值可以作為目標(biāo)的新位置進行預(yù)測。最后，提取新的圖像塊估計位置特征，對相關(guān)濾波器進行訓(xùn)練和更新。圖3-5相關(guān)濾波跟蹤算法框架Fig3-5Correlationfiltertrackingalgorithmframework1.1.1線性嶺回歸模型核相關(guān)濾波算法利用嶺回歸訓(xùn)練目標(biāo)檢測器，訓(xùn)練的目的是找到一個函數(shù)使得誤差函數(shù)最小。(3-1)式（3-1）中為用于控制過擬合的一個正則化系數(shù)，將式（3-1）表示為矩陣的形式如下：(3-2)式（3-2）中的每行表示一個用于訓(xùn)練的樣本向量，代表對應(yīng)樣本預(yù)測輸出，為單位矩陣，對式（3-2）求導(dǎo)可得：(3-3)將式（3-3）轉(zhuǎn)換到復(fù)數(shù)域中，可以表示成如下形式：(3-4)式（3-4）中表示復(fù)共軛轉(zhuǎn)置矩陣。一般來說，上述問題的求解需要解高緯度的線性方程組，計算量過大，不能達到實時性要求。嶺回歸模型的訓(xùn)練需要用到大量樣本，而在目標(biāo)跟蹤中，提供大量樣本是一直以來的難題，核相關(guān)濾波就是利用循環(huán)矩陣來解決這一難題。1.1.2循環(huán)矩陣循環(huán)矩陣不僅涉及到目標(biāo)采樣，而且在傅里葉空間具有可對角化的性質(zhì)，該性質(zhì)將矩陣的運算轉(zhuǎn)化為元素的點乘，在計算量上減少了很多時間，為算法的運算效率提升做出了很大貢獻。用一個1*n維向量表示目標(biāo)的圖像塊，定義為目標(biāo)的基礎(chǔ)樣本。對目標(biāo)的基礎(chǔ)樣本進行平移操作可得到多個負樣本，對目標(biāo)基礎(chǔ)樣本和得到的負樣本進行訓(xùn)練，使得分類器逐漸具有對目標(biāo)和背景的區(qū)分能力。通過置換矩陣可以對目標(biāo)基礎(chǔ)樣本的平移操作進行模擬，置換矩陣為：對于二維圖像，可以通過對軸和軸的移動實現(xiàn)不同方向的循環(huán)移位，軸置換矩陣表示為：將基礎(chǔ)樣本多次乘上置換矩陣可得到n個循環(huán)移位的采樣樣本向量，也即的循環(huán)矩陣，表示成：中的每一行是對矩陣中上一行向右移一位得到的。二維圖像的循環(huán)移位效果如圖3-6所示。圖3-6循環(huán)矩陣示意圖Fig.3-6Schematicdiagramofcirculantmatrix圖中，每一行是一個一維向量圖像的循環(huán)平移。相同的性質(zhì)可以承接到二維圖像的循環(huán)移位。如圖3-7所示,（c）是基樣本，基樣本在水平或垂直方向的循環(huán)移位可以產(chǎn)生虛擬樣本，（b）和（d）分別是基樣本向下循環(huán)移位15像素和向上循環(huán)移位15像素得到的，（a）和（e）分別是基樣本向下循環(huán)移位30像素和向上循環(huán)移位30像素得到的。通過循環(huán)移位的方法就可以構(gòu)造出大量的訓(xùn)練樣本。圖3-7二維基樣本的縱向循環(huán)移位示例Fig.3-7Exampleoflongitudinalcyclicshiftoftwowikisamples循環(huán)矩陣具有在傅里葉空間可對角化的性質(zhì)，表示如式（3-5）：(3-5)將式（3-5）代入式（3-4）得到傅氏對角化簡化的脊回歸，如式（3-6）：(3-6)亦或是：（3-7）1.1.3快速檢測構(gòu)建所有訓(xùn)練樣本和所有候選圖像塊之間的核矩陣，的每一個元素表示為。容易證明此核矩陣滿足循環(huán)矩陣的條件，只需要第一行來定義核矩陣：（3-8）于是就可以得到所有候選圖像塊下的回歸函數(shù)：（3-9）其中是一個向量，包含所有的循環(huán)移位的輸出。轉(zhuǎn)化到頻域為：（3-10）核相關(guān)是計算兩個輸入向量所有位置的匹配相應(yīng)結(jié)果，特別地，當(dāng)核函數(shù)為高斯核時，可以得到高斯核相關(guān)：（3-11）轉(zhuǎn)換后，算法的計算量減少，由原先的減少到。1.4結(jié)合不同分辨率卷積特征的相關(guān)濾波跟蹤算法通過對1.2節(jié)內(nèi)容對各層卷積特征的分析，綜合考慮低層特征和高層特征的優(yōu)勢，本文采用不同分辨率特征融合的方式來作為跟蹤過程中的特征表示，綜合利用高低層特征的優(yōu)點，在相關(guān)濾波框架下實現(xiàn)基于不同卷積層融合的相關(guān)濾波目標(biāo)跟蹤算法，使目標(biāo)跟蹤算法更具準(zhǔn)確性和魯棒性。1.4.1卷積特征與相關(guān)濾波結(jié)合不同分辨率卷積特征的融合示意圖如圖3-8所示,本文使用第二，第四和第五個卷積層作為的目標(biāo)表示。將每個層與學(xué)習(xí)的濾波器進行卷積生成位置響應(yīng)圖，其最大值位置為估計的目標(biāo)位置。采用雙線性插值融合不同分辨率的多層卷積特征，由粗到細地推斷出目標(biāo)位置。conv5-4，conv4-4，conv2-2層的融合權(quán)值分別設(shè)置為0.5、1和0.25。圖3-8卷積特征的融合Fig3-8Thefusionofconvolutionalfeature用表示第層提取的特征，大小為M×N×D，M，N和D分別代表寬、高、通道數(shù)。將沿著M和N維度的的所有循環(huán)移位作為訓(xùn)練樣本，每個樣本具有高斯函數(shù)標(biāo)簽。然后通過求解式（3-12）中的最小化問題來學(xué)習(xí)具有和相同大小的相關(guān)濾波器：（3-12）其中正則化參數(shù)（）。可使用快速傅里葉變換在每個單獨的特征通道中對其進行求解，在第個卷積層的第（）個通道中的頻域中的學(xué)習(xí)濾波器可以寫為：（3-13）在公式3-13中，是的傅里葉變換形式（是高斯標(biāo)簽的頻域表示）以及表示的復(fù)合共軛。操作符是Hadamard（逐元素）點積。通過計算第個卷積層的相關(guān)響應(yīng)：（3-14）運算符表示逆FFT變換，可以搜索大小為M×N的相關(guān)響應(yīng)圖的最大值的位置，以此來估計第個卷積層上的目標(biāo)位置。由于網(wǎng)絡(luò)中的池化操作，會對提取的卷積特征進行逐層壓縮，以此來提出一些不重要的冗余信息，來簡化網(wǎng)絡(luò)的復(fù)雜性，但是隨著網(wǎng)絡(luò)層的加深，池化操作也會相應(yīng)的使得目標(biāo)的空間分辨率降低。低的空間分辨率不足以準(zhǔn)確定位目標(biāo)。因此本文通過使用雙線性插值對不同卷積層提取的特征在不同方向進行插值操作，將每個特征圖調(diào)整為相同的尺寸來解決不同分辨率特征的融合問題。表示池化操作后的特征映射圖，表示經(jīng)過上采樣以后的特征映射，第個位置的特征向量表示為公式（3-15）：（3-15）為插值權(quán)重，這個插值是發(fā)生在空間域的，可以看做是對目標(biāo)位置的插值。1.4.2位置估計給定一組相關(guān)響應(yīng)映射圖，推斷每一層的目標(biāo)位置，最后一個卷積層的最大響應(yīng)位置作為一個正則化參數(shù)幫助搜索前一層的最大響應(yīng)位置。設(shè)表示第層上最大值的位置，第（-1）層中目標(biāo)的最佳位置表示為：