PAGE59基于判別式分類器的視頻目標(biāo)跟蹤分析目錄TOC\o"1-3"\h\u21080基于判別式分類器的視頻目標(biāo)跟蹤分析 1116681.1目標(biāo)跟蹤流程 175101.2數(shù)據(jù)集 2246721.3評(píng)價(jià)準(zhǔn)則 4236231.3.1跟蹤精度 4260331.3.2跟蹤速度 5116491.3.3跟蹤魯棒性 5224181.4難點(diǎn)與挑戰(zhàn) 6目前，基于判別式分類器的視頻目標(biāo)跟蹤算法已成為目標(biāo)跟蹤領(lǐng)域的重要研究方向。本章首先介紹了基于判別式分類器的視頻目標(biāo)跟蹤算法的跟蹤流程，然后介紹了目標(biāo)跟蹤中用到了一些數(shù)據(jù)集以及對(duì)算法進(jìn)行性能分析的評(píng)價(jià)標(biāo)準(zhǔn)，最后分析了該類方法中的技術(shù)難點(diǎn)與挑戰(zhàn)。1.1目標(biāo)跟蹤流程一個(gè)完整的基于外觀模型的目標(biāo)跟蹤算法通常包含以下五個(gè)部分，如圖2-1所示。圖2-1基于判別式模型的目標(biāo)跟蹤流程Fig.2-1Objecttrackingprocessbasedondiscriminantmodel運(yùn)動(dòng)模型的目的主要是在目標(biāo)位置附近生成一些候選樣本框，從而在下一幀中利用跟蹤算法能夠預(yù)測(cè)出目標(biāo)的最大可能位置。基本原理為通過構(gòu)建運(yùn)動(dòng)模型并添加基本約束（基本約束一般為相鄰兩幀目標(biāo)之間的位置不能相距過遠(yuǎn)），得到一組目標(biāo)位置可能的候選區(qū)域，從而為特征提取做準(zhǔn)備。特征提取是采用某種編碼方式將輸入圖像從二維空間映射到某一特征空間，對(duì)物體外觀進(jìn)行抽象描述。在計(jì)算機(jī)視覺領(lǐng)域，特征的表達(dá)與提取是非常重要的內(nèi)容，一個(gè)好的特征表達(dá)有時(shí)會(huì)起到事半功倍的效果。在特征提取階段，所提取的特征不僅要能夠?qū)δ繕?biāo)和周圍背景有很強(qiáng)的區(qū)分度，還需要具備一定的計(jì)算效率。目標(biāo)跟蹤算法所采用的特征可以是單一的人工特征等，也可以是多種特征的組合，還可以是由機(jī)器自主學(xué)習(xí)到的學(xué)習(xí)特征。只要能滿足區(qū)分度強(qiáng)和實(shí)時(shí)性高，都是好的特征。外觀模型是跟蹤算法主要的設(shè)計(jì)模塊，目前的外觀模型主要分為生成式模型和判別式模型。生成式模型可以看作是一種模板匹配的方法，首先對(duì)目標(biāo)生成外觀數(shù)據(jù)的先驗(yàn)分布并提取目標(biāo)的相關(guān)特征，然后在根據(jù)生成的先驗(yàn)分布數(shù)據(jù)，通過逐步迭代搜尋與目標(biāo)模板匹配度最高的區(qū)域，作為最終的跟蹤定位結(jié)果。判別式模型可以看作是一種分類的方法，對(duì)比目標(biāo)模型與背景信息的不同對(duì)分類器進(jìn)行訓(xùn)練。模型的更新是對(duì)目標(biāo)外觀的更新，在跟蹤過程中，目標(biāo)外觀形狀會(huì)隨著環(huán)境的變化而變化，因此需要對(duì)目標(biāo)的外觀模型進(jìn)行實(shí)時(shí)的更新。目前研究中常用的更新策略有：對(duì)每幀都進(jìn)行更新、間隔一定的幀數(shù)更新一次、基于一定閾值的更新等。1.2數(shù)據(jù)集為了評(píng)價(jià)各種跟蹤算法的性能，需要采用相同的數(shù)據(jù)庫(kù)對(duì)不同的算法進(jìn)行測(cè)試。本節(jié)主要搜集整理了目標(biāo)跟蹤中常用來(lái)對(duì)算法的性能進(jìn)行不同場(chǎng)景測(cè)試的一些數(shù)據(jù)集，對(duì)其進(jìn)行總結(jié)歸納并對(duì)一些常用的數(shù)據(jù)集進(jìn)行了詳細(xì)介紹。表2-1整理了目標(biāo)跟蹤領(lǐng)域中一些可用的跟蹤數(shù)據(jù)集，包括數(shù)據(jù)集的發(fā)表年份，包含的視頻的個(gè)數(shù)，是長(zhǎng)期還是短期的跟蹤序列，以及數(shù)據(jù)集的特性。表2-1跟蹤數(shù)據(jù)集Tab.2-1Trackingdataset數(shù)據(jù)集發(fā)表時(shí)間視頻數(shù)量序列長(zhǎng)度特性VIVID[45]20059長(zhǎng)期高空拍攝的車輛視頻OTB50[46]201350短期室內(nèi)室外場(chǎng)景PTB[47]2013100短期RGBD視頻ALOV++[48]2013314短期相似物體的追蹤視頻VOT[49]2014-201820/60/60/60短期室內(nèi)室外場(chǎng)景OTB-100[50]2015100短期室內(nèi)室外場(chǎng)景VID[51]20154417長(zhǎng)期+短期視頻目標(biāo)檢測(cè)NUS-PRO[52]2015365短期相機(jī)運(yùn)動(dòng)UAV-123[53]2016143長(zhǎng)期+短期無(wú)人機(jī)采集+仿真Nfs[54]2017100短期高幀率視頻DTB-70[55]201770短期無(wú)人機(jī)采集YTBB[56]2017380000短期視頻目標(biāo)檢測(cè)VOT-LT[57]201835長(zhǎng)期室內(nèi)室外場(chǎng)景Tracking-Net[58]201830643長(zhǎng)期+短期大規(guī)模室外場(chǎng)景由于OTB數(shù)據(jù)集和VOT數(shù)據(jù)集分別都有一套相對(duì)完整的評(píng)價(jià)體系，因此目前目標(biāo)跟蹤算法中用的最多的主要是OTB數(shù)據(jù)集（包括OTB50和OTB100）和VOT數(shù)據(jù)集（VOT2013-VOT2018）來(lái)進(jìn)行訓(xùn)練與測(cè)試。下面對(duì)這兩個(gè)數(shù)據(jù)集進(jìn)行著重介紹：OTB（ObjectTracking:ABenchmark）：如圖2-2為OTB數(shù)據(jù)集中的一部分，每個(gè)視頻均包含了多種不同的挑戰(zhàn)屬性。這些屬性主要包括：目標(biāo)尺度變化（SV）、光照變化（IV）、非剛性形變（DEF）、快速運(yùn)動(dòng)（FM）、運(yùn)動(dòng)模糊（MB）、平面外旋轉(zhuǎn)（OPR）、目標(biāo)出視場(chǎng)（OV）、平面內(nèi)旋轉(zhuǎn)（IPR）、背景雜波干擾（BC）、低分辨率（LR）、目標(biāo)被遮擋（OCC）。圖2-2OTB數(shù)據(jù)集部分視頻展示Fig.2-2PartofthevideodisplayoftheOTBdatasetVOT（VisualObjectTracking）：與OTB數(shù)據(jù)集相比，VOT數(shù)據(jù)集中目標(biāo)的標(biāo)注框會(huì)隨著目標(biāo)運(yùn)動(dòng)過程中的姿態(tài)變化而變化。VOT數(shù)據(jù)集每年都會(huì)新加入一些不同場(chǎng)景和不同挑戰(zhàn)屬性的視頻序列來(lái)對(duì)數(shù)據(jù)集進(jìn)行更新，VOT2013-VOT2017主要針對(duì)的較短時(shí)長(zhǎng)的視頻序列，在VOT2018和VOT2019中新增加了一些長(zhǎng)時(shí)跟蹤視頻。雖然OTB數(shù)據(jù)集和VOT數(shù)據(jù)集是目前最常用的跟蹤數(shù)據(jù)集，但是對(duì)于目標(biāo)跟蹤任務(wù)，由于數(shù)據(jù)集標(biāo)注任務(wù)的艱難和跟蹤場(chǎng)景的復(fù)雜變化，僅僅依靠這兩個(gè)數(shù)據(jù)集來(lái)應(yīng)對(duì)復(fù)雜的跟蹤任務(wù)是遠(yuǎn)遠(yuǎn)不夠的。近幾年新增加的訓(xùn)練數(shù)據(jù)集主要有以下幾個(gè)：ALOV++數(shù)據(jù)集：該數(shù)據(jù)集主要著重于對(duì)跟蹤過程中的不同光照亮度、視頻的清晰度、背景混亂、出現(xiàn)相似目標(biāo)這幾個(gè)屬性下的目標(biāo)跟蹤，視頻主要來(lái)自Youtube網(wǎng)站上的視頻。（2）VID數(shù)據(jù)集：該數(shù)據(jù)集是視頻目標(biāo)檢測(cè)任務(wù)中常用的數(shù)據(jù)集，包含了30個(gè)不同類別的目標(biāo)。考慮到不同的任務(wù)需求，所有的類別在每個(gè)幀上也都進(jìn)行了標(biāo)簽標(biāo)注。（3）COCO數(shù)據(jù)集：該數(shù)據(jù)集是物體檢測(cè)與分割的數(shù)據(jù)集，數(shù)據(jù)集的主要用處在于對(duì)視頻場(chǎng)景信息的理解和表示，所選取的目標(biāo)通過精確的語(yǔ)義進(jìn)行位置的標(biāo)定。1.3評(píng)價(jià)準(zhǔn)則目標(biāo)跟蹤性能評(píng)價(jià)準(zhǔn)則用來(lái)評(píng)判跟蹤算法的性能好壞。VisualTrackerBenchmark（VTB）評(píng)價(jià)準(zhǔn)則是目前視頻目標(biāo)跟蹤算法中最常用的評(píng)價(jià)體系，該評(píng)價(jià)體系對(duì)跟蹤算法主要從跟蹤精度、跟蹤速度以及跟蹤魯棒性這三大類來(lái)進(jìn)行對(duì)比評(píng)價(jià)。1.3.1跟蹤精度中心位置誤差（CenterError，CE）中心位置誤差指的是跟蹤算法所預(yù)測(cè)的目標(biāo)框和標(biāo)注的目標(biāo)框中心點(diǎn)之間的誤差。（2-1）式（2-1）中，，分別代表標(biāo)注的目標(biāo)框的中心坐標(biāo)，，代表和跟蹤算法預(yù)測(cè)出的目標(biāo)框的坐標(biāo)。中心位置誤差越小，表明跟蹤精確度越高。在OTB評(píng)價(jià)準(zhǔn)則中精確度圖使用的標(biāo)準(zhǔn)就是中心位置誤差，通過計(jì)算視頻中所有幀的平均中心位置誤差來(lái)評(píng)判跟蹤算法性能的優(yōu)劣。精確度圖給出了跟蹤算法在給定閾值距離之內(nèi)跟蹤成功的幀數(shù)占視頻總幀數(shù)的比例。對(duì)于每個(gè)跟蹤器，通常取距離閾值等于20個(gè)像素點(diǎn)來(lái)作為代表性的精度比較。圖2-3為精度評(píng)價(jià)標(biāo)準(zhǔn)示意圖。圖2-3精度評(píng)價(jià)標(biāo)準(zhǔn)示意圖Fig.2-3Schematicdiagramofaccuracyevaluationstandards區(qū)域重疊率（RegionOverlap,RO）區(qū)域重疊率指的是跟蹤算法所預(yù)測(cè)的目標(biāo)框和標(biāo)注的目標(biāo)框之間的重疊面積的大小。（2-2）式（2-2）中，A代表標(biāo)注的目標(biāo)框的面積，B代表跟蹤算法所預(yù)測(cè)的目標(biāo)框的面積。重疊面積越大，表明跟蹤越準(zhǔn)確，跟蹤算法的精度越高。如果則認(rèn)為當(dāng)前幀中目標(biāo)跟蹤成功；否則，跟蹤失敗。在OTB評(píng)價(jià)準(zhǔn)則中成功率圖使用的標(biāo)準(zhǔn)就是邊界框的重疊率，成功率圖表示的是重疊率取從0到1不同值是跟蹤成功的幀數(shù)占視頻總幀數(shù)的比例，如圖2-4為成功率評(píng)價(jià)標(biāo)準(zhǔn)示意圖。圖2-4成功率評(píng)價(jià)標(biāo)準(zhǔn)示意圖Figure2-4Schematicdiagramofsuccessrateevaluation1.3.2跟蹤速度FPS（FramesPerSecond）：FPS指的是算法每秒可以跟蹤到的視頻幀數(shù)量，用來(lái)評(píng)價(jià)算法的跟蹤速度。1.3.3跟蹤魯棒性對(duì)跟蹤算法進(jìn)行評(píng)估的一般方法是，根據(jù)初始幀中給定的目標(biāo)位置首先對(duì)算法進(jìn)行初始化，然后在選定的測(cè)試視頻序列中運(yùn)行算法，最后根據(jù)采用的評(píng)價(jià)準(zhǔn)則給出算法的運(yùn)行結(jié)果。把這種只進(jìn)行一次評(píng)估的方法一般稱為一次通過的評(píng)估（One-PassEvaluation，OPE）。在跟蹤過程中，初始幀的目標(biāo)信息至關(guān)重要，因此有的跟蹤器會(huì)對(duì)初始化過程較為敏感，進(jìn)而影響到算法的整體評(píng)估性能。因此，另外兩種評(píng)估方式在跟蹤算法的評(píng)價(jià)中有時(shí)也會(huì)用到，這兩種測(cè)試分別稱為時(shí)間魯棒性評(píng)估（TemporalRobustnessEvaluation，TRE）和空間魯棒性評(píng)估（SpaceRobustnessEvaluation，SRE）。（1）一次通過評(píng)估：該評(píng)估方式是將算法在數(shù)據(jù)集上對(duì)所有視頻序列從第一幀運(yùn)行到最后一幀，這種方式簡(jiǎn)單快捷且更具直觀性。（2）時(shí)間魯棒性評(píng)估：該評(píng)估方式是將一個(gè)完整的視頻序列隨機(jī)以不同幀作為跟蹤開始幀（終點(diǎn)幀還是原來(lái)的視頻的最后一幀）劃分成20個(gè)長(zhǎng)短不一的視頻幀，對(duì)跟蹤算法進(jìn)行時(shí)間魯棒性的測(cè)試。（3）空間魯棒性評(píng)估：該評(píng)估方式將視頻序列第一幀中給定的目標(biāo)框在跟蹤開始前進(jìn)行一系列變換操作，對(duì)跟蹤算法進(jìn)行空間魯棒性的測(cè)試。這些操作主要是將目標(biāo)框在空間位置的八個(gè)方向進(jìn)行一定程度的移位以及對(duì)目標(biāo)框進(jìn)行四種不同的尺度縮放。雖然時(shí)間和空間上的魯棒性能夠從多個(gè)方面測(cè)試算法的性能，但是大量的實(shí)驗(yàn)結(jié)果表明，算法在時(shí)間和空間上的魯棒性評(píng)估結(jié)果與一次評(píng)估的結(jié)果基本表現(xiàn)出正相關(guān)趨勢(shì)。另外，對(duì)于TRE和SRE，跟蹤器在OTB數(shù)據(jù)集上運(yùn)行完所有的視頻序列需要測(cè)試三十多萬(wàn)幀的視頻圖像，而對(duì)于OPE，跟蹤器運(yùn)行完所有的視頻序列則大概需要測(cè)試三萬(wàn)多幀的視頻圖像。因此綜合考慮，目前大部分目標(biāo)跟蹤算法只進(jìn)行OPE測(cè)試。1.4難點(diǎn)與挑戰(zhàn)近年來(lái)，基于判別式分類器的視頻目標(biāo)跟蹤方法得到了廣泛的研究，新算法層出不窮。盡管這些方法是的跟蹤算法的準(zhǔn)確性和魯棒性都有所提高，解決了傳統(tǒng)方法難以解決的一些難題，但依然存在著許多的問題制約了跟蹤性能的進(jìn)一步提升。關(guān)于存在的這些問題總結(jié)如下：視頻場(chǎng)景中存在的各種挑戰(zhàn)屬性，使得各種目標(biāo)跟蹤算法在面對(duì)復(fù)雜環(huán)境時(shí)仍然具有嚴(yán)峻挑戰(zhàn)。（2）各個(gè)框架下的各種算法存在的問題，基于相關(guān)濾波的目標(biāo)跟蹤算法的優(yōu)勢(shì)計(jì)算速度快，但特征提取上采用的是人工特征，使得跟蹤的魯棒性較差