1、深度學習在目標跟蹤中的應用,經典目標跟蹤方法 基于深度學習的目標跟蹤方法 跟蹤方面的資料,經典目標跟蹤方法 基于深度學習的目標跟蹤方法 跟蹤方面的資料,構建目標描述模型時，模型可分為產生式模型和判別式模型。 產生式模型主要是通過計算目標和樣本的聯(lián)合概率，找到與目標模型最相近的樣本作為當前目標狀態(tài)的估計。 判別式模型則是計算條件概率，直接判斷樣本是否為目標。 根據構建模型的不同，跟蹤算法可以分為：產生式方法、判別式方法 產生式方法 通過建立描述目標外觀形狀的模型來實現跟蹤。即在下一幀圖像中尋找最接近目標模型的物體的位置。這種“最接近”通常用最大似然或最大后驗概率的形式來表示。 產生式方法著眼于對

2、目標本身的刻畫，忽略背景信息，在目標自身變化劇烈或者被遮擋時容易產生漂移。 產生式方法分為：點跟蹤、核跟蹤、輪廓跟蹤、基于稀疏表示的跟蹤。,判別式方法 把跟蹤看成目標和背景的分類問題，與傳統(tǒng)的跟蹤算法不同，它不需要建立復雜的觀測模型來描述目標，而是通過訓練分類器來將目標從背景中提取出來。 分類器常用于目標檢測中，在背景中檢測目標的位置。在背景中得到了目標的位置也就實現了目標跟蹤。因此，這種方法也被稱作基于檢測的跟蹤（Tracking-by-Detection） 判別式方法因為顯著區(qū)分背景和前景的信息，表現更為魯棒，在目標跟蹤領域占據主流地位。 值得一提的是，目前大部分深度學習目標跟蹤方法也歸屬

3、于判別式框架。,判別式方法的主要步驟： 已知目標初始位置，抽樣提取當前幀的正負樣本，在線訓練分類器； 讀入下一幀圖像，一般假設前后兩幀目標的位置不變，在目標位置周圍抽取圖像樣本； 將抽取的樣本送入之前訓練的分類器，根據分類器得分最高的樣本即可確定目標的新位置。 由于目標的各種外觀信息都包含在訓練分類器所需的正負樣本中，因而判別式方法具有很好的魯棒性，能夠有效地處理真實場景中遇到的目標尺度變化、光照變化、部分遮擋等問題。,判別式方法采用的分類器有很多種： 1）Boosting分類器 2）貝葉斯分類器 3）SVM（支持向量機）分類器 4）隨機森林分類器 5）RLS（正則化最小二乘法）分類器 6）神

4、經網絡分類器 7）,經典目標跟蹤方法 基于深度學習的目標跟蹤方法 跟蹤方面的資料,不同于檢測、識別等視覺領域深度學習一統(tǒng)天下的趨勢，深度學習在目標跟蹤領域的應用并非一帆風順，其主要問題在于訓練數據的缺失。 深度模型的魔力之一來自于對大量標注訓練數據的有效學習，而目標跟蹤僅僅提供第一幀的bounding-box作為訓練數據。這種情況下，在跟蹤開始針對當前目標從頭訓練一個深度模型困難重重。 目前基于深度學習的目標跟蹤算法采用了幾種思路來解決這個問題： 1、利用輔助圖片數據預訓練深度模型，在線跟蹤時微調 2、利用現有大規(guī)模分類數據集預訓練的CNN分類網絡提取特征 3、利用跟蹤序列預訓練，在線跟蹤時微

5、調 4、運用遞歸神經網絡進行目標跟蹤的新思路,1、利用輔助圖片數據預訓練深度模型，在線跟蹤時微調 在目標跟蹤的訓練數據非常有限的情況下，使用輔助的非跟蹤訓練數據進行預訓練，獲取對物體特征的通用表示(general representation )。在實際跟蹤時，通過利用當前跟蹤目標的有限樣本信息對預訓練模型微調(fine-tune)，使模型對當前跟蹤目標有更強的分類性能。 這種遷移學習的思路極大的減少了對跟蹤目標訓練樣本的需求，也提高了跟蹤算法的性能。 代表性文章：DLT、SO-DLT（都出自香港科技大學王乃巖博士） DLT(NIPS2013) Learning a Deep Compact

6、Image Representation for Visual Tracking SO-DLT(arXiv2015) Transferring Rich Feature Hierarchies for Robust Visual Tracking,2、利用現有大規(guī)模分類數據集預訓練的CNN分類網絡提取特征 直接使用ImageNet這樣的大規(guī)模分類數據庫上訓練出的CNN網絡如VGG-Net獲得目標的特征表示，之后再用觀測模型(observation model)進行分類獲得跟蹤結果。 這種做法既避開了跟蹤時直接訓練large-scale CNN樣本不足的困境，也充分利用了深度特征強大的表征能力。

7、 代表性文章：FCNT、HCF FCNT(ICCV15) Visual Tracking with Fully Convolutional Networks HCF(ICCV15) Hierarchical Convolutional Features for Visual Tracking,3、利用跟蹤序列預訓練，在線跟蹤時微調 前面介紹的兩種解決訓練數據不足的策略和目標跟蹤的任務本身存在一定偏離。有沒有更好的辦法呢？ VOT2015冠軍MDNet給出了一個示范。該方法在OTB50上也取得了OPE準確度繪圖0.942，OPE成功率繪圖0.702的驚人得分。 代表性文章：MDNet MDNet

8、(CVPR2016) Learning Multi-Domain Convolutional Neural Networks for Visual Tracking,4、運用遞歸神經網絡進行目標跟蹤的新思路 近年來RNN尤其是帶有門結構的LSTM，GRU等在時序任務上顯示出了突出的性能。不少研究者開始探索如何應用RNN來做解決現有跟蹤任務中存在的問題。 代表性文章：RTT、DeepTracking RTT(CVPR16) Recurrently Target-Attending Tracking DeepTracking: Seeing Beyond Seeing Using Recurrent Neural Networks(AAAI16),上面三種解決訓練數據缺失的思路各有千秋，但使用跟蹤序列預訓練的方法更貼合跟蹤任務的本質，因此更值得關注。同時，基于RNN的目標跟蹤算法還有很大提升空