基于深度學習的目標跟蹤算法研究

1基于深度學習的跟蹤算法隨著人工智能的發(fā)展，基于深度學習的目標跟蹤已成為計算機視覺領(lǐng)域最活躍的研究主題之一。由于深度學習具有優(yōu)秀的特征提取與表達能力，基于深度學習的跟蹤算法在跟蹤精度與速度上都有較好的表現(xiàn)，在目標跟蹤領(lǐng)域逐漸成為主流算法之一。Bertinetto孿生網(wǎng)絡的相似性學習方式和效率很大程度上會影響跟蹤性能，受此啟發(fā)，本文基于SiamRPN的網(wǎng)絡結(jié)構(gòu)提出一種多尺度相似性學習的端到端跟蹤網(wǎng)絡算法，對深度互相關(guān)這一相似性學習方式做多尺度改進，在不大幅增加算法復雜度的情況下以獲得較高的跟蹤精度，經(jīng)實驗對比證明該算法的跟蹤性能有較大的提升。2siamrpn網(wǎng)絡相似性學習多尺度優(yōu)化SiamRPN(SiameseRegionProposalNetwork）算法是SiamRPN引入了目標檢測中anchor的概念，通過訓練分類分支和回歸分支進行區(qū)域建議，避免了逐尺度逐位置判斷的費時步驟，而是將問題轉(zhuǎn)化為將預選框通過回歸參數(shù)進行調(diào)整，提升了算法的跟蹤精度和速度。為優(yōu)化SiamRPN的相關(guān)度計算，SiamRPN++提出了深度互相關(guān)，提升了其相似性學習效率，從而使得跟蹤性能進一步增強。但是在其網(wǎng)絡相似性學習的尺度改進方面上還有所欠缺。而為了進一步加強目標特征的相似性學習的尺度多樣性，本文基于SiamRPN的基本網(wǎng)絡框架提出了多尺度互相關(guān)（Multi-ScaleCrossCorrelation,MS-XCorr）模塊，主要在深度互相關(guān)操作基礎(chǔ)上進行多尺度的改進，進一步提升其跟蹤性能。3多尺度模仿研究網(wǎng)絡3.1x網(wǎng)絡特征圖在2015年，Szegedy其中，X為輸入特征圖，Y是網(wǎng)絡的最終輸出特征圖，f代指inception網(wǎng)絡層，X這些不同尺寸的卷積核可以提供不同大小的感受野從而提取到多種尺度的圖像特征，豐富了其特征多樣性。3.2輸出特征圖HuSqueeze操作得到各個通道的全局描述之后，再進行Excitation操作F其中，W那么其最終輸出特征圖U′是由學習到的通道權(quán)重s與U進行F3.3多特征圖自適應加權(quán)融合模塊結(jié)合inception多尺度卷積網(wǎng)絡的結(jié)構(gòu)，本文提出一種多尺度互相關(guān)（Multi-ScaleCrossCorrelation,MS-XCorr）模塊，在深度互相關(guān)計算的基礎(chǔ)上做多尺度的改進，其網(wǎng)絡結(jié)構(gòu)如圖3所示。該模塊主要分為上下兩個對稱的網(wǎng)絡分支，當特征圖輸入時，兩特征圖沿著上下的Inception網(wǎng)絡模塊（InceptionBlock）同時進行多尺度的卷積以及池化操作，分別得到多個尺寸的特征圖，其中卷積核尺寸分別為1×1、3×3，池化為5×5的最大池化。上下支路得到的特征圖一一對應進行深度相關(guān)，得到尺寸相同的響應圖，最后將這些響應圖通過SENet模塊（SENetblock）進行自適應加權(quán)融合，得到模塊的最終輸出響應圖。這里由于上下分支的特殊對稱結(jié)構(gòu)，不需要特殊的padding技巧就可以保證最后的響應圖尺寸相同，同時也避免了padding對算法的平移不變性的影響。模塊的具體計算過程見式（5）至式（7):在式（5）中，X3.4多尺度互相關(guān)改進本文基于SiamRPN的基本網(wǎng)絡框架，結(jié)合多尺度互相關(guān)模塊提出了一種多尺度相似性學習的目標跟蹤算法。算法整體網(wǎng)絡結(jié)構(gòu)如圖4所示。算法整體框架與SiamRPN大致相同，使用孿生網(wǎng)絡作為主干網(wǎng)絡提取特征，后接RPN網(wǎng)絡的分類分支與回歸分支。而不同之處主要是對分類分支和回歸分支中的相關(guān)操作進行多尺度的互相關(guān)改進，都替換成多尺度互相關(guān)模塊。這樣相對于原SiamRPN算法中直接進行相關(guān)，多尺度的相似性學習充分結(jié)合了多尺度，多通道的特征，優(yōu)化了跟蹤算法在對模板幀的相似性學習，使得跟蹤器會有更強的泛化能力與容錯率，從而具有更好的性能表現(xiàn)。4比較實驗4.1多尺度互相關(guān)網(wǎng)絡改進算法本文實驗的數(shù)據(jù)集和平臺環(huán)境如下：訓練數(shù)據(jù)集為ILSVRC本文在該環(huán)境下以深度互相關(guān)（DW-XCorr）為相關(guān)模塊的SiamRPN為基線，將多尺度互相關(guān)（MS-XCorr）的SiamRPN作為改進算法，其中分別選用了1×1卷積和3×3卷積兩支路的雙尺度互相關(guān)，三支路的三尺度互相關(guān)兩種尺度數(shù)的改進網(wǎng)絡版本，同時進行訓練。其中，上述基線、雙尺度、三尺度三個網(wǎng)絡模型只有相關(guān)模塊不同，其主干網(wǎng)絡選用的是VGGNet4.2多尺度改進網(wǎng)絡測試對比實驗目的是驗證改進算法相對未改進前的性能提升效果以及最佳尺度數(shù)的選取，即驗證MS-XCorr模塊相對于DW-XCorr模塊對SiamRPN跟蹤網(wǎng)絡算法的最佳改進效果。那么本文將基線與改進后雙尺度與三尺度的網(wǎng)絡在同一訓練集下使用相同的參數(shù)進行訓練，訓練完成后，分別測試出最佳權(quán)重并進行各跟蹤指標的測試。其中本文測試指標依賴交并比（IoU）以及中心像素點誤差（PixelError）兩個基本指標建立，具體計算如式（8）和式（9）。其中，式（8）中A測試對比結(jié)果如表1所示，其中MS-XCorr-2與MS-XCorr-3分別表示雙尺度與三尺度改進網(wǎng)絡。由表1可知，多尺度改進后的網(wǎng)絡相比改進前在成功率，精度，平均精度，穩(wěn)定性上均有提升。其中雙尺度的改進幅度優(yōu)于三尺度，其成功率提升了4.3%，精度提升了4.4%，平均精度提升了4.0%，但是由于網(wǎng)絡復雜度的增加，幀率有所下降。而三尺度改進網(wǎng)絡由于其5×5的池化分支尺度較大對精度產(chǎn)生了影響，最終導致其整體改進效果不如雙尺度。同時，本文針對光照變化，姿態(tài)變化，遮擋等具體跟蹤場景，以及針對多類目標，進行改進前算法與雙尺度改進后算法的對照實驗如圖5所示，左側(cè)是改進前網(wǎng)絡測試情況，右側(cè)是雙尺度改進后的測試情況。從圖5可以得知，由于改進后算法更強的相似性學習能力，對于相似目標，遮擋，光照變化，姿態(tài)變化等較復雜的情況下改進后的算法跟蹤的精度和穩(wěn)定性都有明顯的提升效果，其抗干擾，抗遮擋能力有明顯提升。5多尺度互相關(guān)模塊本文為實現(xiàn)更好的端到端網(wǎng)絡的跟蹤效果，分析了SiamRPN算法的原理與網(wǎng)絡結(jié)構(gòu)，以網(wǎng)絡中相似性學習尺度單一的問題為切入點，并結(jié)合inception網(wǎng)絡的多尺度思想以及借鑒了SENet網(wǎng)絡的通道自適應加權(quán)的機制，在深度互相關(guān)的基礎(chǔ)上對相似性學習進行了多尺度改進，提出了多尺度互相關(guān)模塊。而后設(shè)計了對比試驗，在同一訓練數(shù)據(jù)集下對多尺度改進前的網(wǎng)絡以及改進后的兩種不同尺度數(shù)的網(wǎng)絡分別進行訓練，