迭代策略下的行人多目標跟蹤研究摘要多目標跟蹤是計算機視覺領域被廣泛研究的重要方向，但在實際應用中，目標的快速移動、光照變化、遮擋等問題會導致跟蹤性能變差。在本文中提出了一種迭代策略的行人多目標跟蹤方法。采用迭代檢測方式，可以在兩次迭代分別檢測出高置信度和低置信度的行人目標，由于前一次迭代檢測到的行人預測框將在下一次迭代中以歷史特征的形式傳遞到網絡，從而可以避免模型重復檢測同一對象，同時提高行人檢測的精度。在數(shù)據(jù)關聯(lián)階段，優(yōu)先對第一次迭代檢測結果進行軌跡匹配即高置信度行人檢測框，然后是第二次迭代檢測結果，這種對檢測結果分批次處理可以有效的減少跟蹤過程中身份切換問題。在MOT16數(shù)據(jù)集的實驗表明本文方法對行人目標跟蹤的可行性和有效性。關鍵詞計算機視覺，多目標跟蹤，迭代檢測，數(shù)據(jù)關聯(lián)StudyonPedestrianMulti-ObjectTracking

BasedonIterativeStrategyQingquanMeng,YonghuiWangSchoolofComputerScienceandEngineering,ShenyangJianzhuUniversity,ShenyangLiaoningReceived:Dec.12,2022;accepted:Jan.12th,2023;published:Jan.20,2023AbstractMulti-objecttrackingisimportantresearchdirectioninthefieldofcomputervision,butin

practicalapplications,thefastmovementoftheobject,illuminationchange,occlusionandother

problemsleadtopoortrackingperformance.Inthispaper,weproposeapedestrianti-objecttrackingmethodbasedoniterativestrategy.adoptingtheiterativedetectionmethod,

pedestriantargetswithhighconfidenceandlowconfidencebedetectedrespectivelyintwo

iterations.Sincepedestrianpredictionboxdetectedinthepreviousiterationwilltransmit-tedtothenetworkintheformofhistoricalfeaturesinthenextiteration,themodelcanavoidre-

peateddetectionofthesameobjectandimproveaccuracyofpedestriandetection.Inthedata

associationstage,thetrajectorymatchingofthefirstiterationdetectionresults,namely,thehigh

confidencepedestriandetectionbox,isgivenpriority,followedbytheseconditerationdetection

results.Thisbatchprocessingofthedetectionresultscaneffectivelyreducetheproblemoftityswitchinginthetrackingprocess.ExperimentsMOT16datasetsshowthattheproposed

methodisfeasibleandeffectiveforpedestriantargettracking.KeywordsComputerVision,Multi-TargetTracking,IterativeDetection,DataAssociationCopyright?2023author(s)andHansPublishersInc.ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

/licenses/by/4.0/OpenAccess1.簡介多目標跟蹤是當前計算機視覺領域的研究熱點。它的主要任務是在給定視頻中同時對多個特定目標進行定位，同時保持目標的ID穩(wěn)定，最后記錄它們的軌跡[1]目前主流的行人多目標跟蹤遵循檢測跟蹤范式，它將MOT問題分成兩個獨立的步驟，即首先通過目標檢測算法檢測出視頻幀中目標對象可能出現(xiàn)的區(qū)域，然后通過關聯(lián)模型將屬于同一運動目標的檢測框關聯(lián)到一起，得到目標的關聯(lián)軌跡，完成目標對象的跟蹤。本文沿用檢測跟蹤范式進行行人多目標的研究。近年來，基于檢測的多目標跟蹤研究越來越多。Bewley等[2]提出Sort結合卡爾曼濾波[3](KalmanFilter)和匈牙利算法[4](HungarianAlgorithm)(IntersectionoverUnion,IOU)為相似性度量來匹配來完成數(shù)據(jù)Sort面對人流性差。Wojke等[5]針對存在的缺陷提出了DeepSortSort基礎上加入了級聯(lián)匹配和外觀模型，級聯(lián)匹配策略提高了目標匹配準確度，外觀模型使用行人重識別(PersonRe-identification,ReID)[6]提取目標的外觀特征作為數(shù)據(jù)關聯(lián)的輔助度量，有效的解決了身份切換的問題。但串聯(lián)兩個深度學習Wang等[7]JDEReID輸出目標的同時也輸出相應的表觀特征，然后結合運動信息進行數(shù)據(jù)關聯(lián)。雖然都是采用逐檢測跟蹤范式，但它們大多數(shù)檢測器的性能有待提高并且大多數(shù)MOT方法只保留了滿足閾值條件的檢測框，并未對檢測框進行充分利用。本文提出了一種迭代策略的多目標跟蹤方法，通過迭代檢測，分別檢測出高置信度和低置信度的目標框，充分考慮所有檢測框。并在數(shù)據(jù)關聯(lián)中對迭代結果分階段處理，緩解檢測框干擾造成的軌跡漂移而形成的身份切換問題。2.提出的方法本文將多目標跟蹤算法分為兩個步驟，即第一步是目標迭代檢測階段，通過兩次目標檢測分別得到高置信度和低置信度目標框；第二步是數(shù)據(jù)關聯(lián)階段，利用軌跡和檢測框之間的相似度進行匹配。迭代策略下對檢測框分批次處理有效的減少了跟蹤過程中身份切換問題同時提高了跟蹤精度。圖1是本文整體的網絡結構。Figure1.Overallframework

圖1.整體框架2.1.迭代檢測目標檢測是多目標跟蹤的基礎，檢測器的性能決定了數(shù)據(jù)關聯(lián)的上限。但基于深度學習的檢測器更傾向于對相同對象的進行重復檢測，然后通過非極大值抑制算法對檢測框進行過濾，最后只剩下一個邊界框，但這在擁擠環(huán)境中通常效果很差，常常出現(xiàn)漏檢的情況。針對這個問題提出了迭代策略如圖2所示，通過兩次迭代輸出最終的檢測結果。由于當前迭代中考慮所有先前迭代檢測到的目標框，所以不會兩次檢測到同一對象。Figure2.Networkstructureofiterativedetection

圖2.迭代檢測網絡結構圖I∈R×h×3得到一組邊界框B=(X,Y,W,H}nkkkkk1上角坐標(X,Y)WHH∈Rw×h1與輸入圖像大小相同。初始時所有像素值為0，當檢測器檢測出行人位置在灰度圖上對應位置像素值加1，同一位置存在不同檢測框時像素值進行累加，如公式(1)所示，nHXxXW,YyYH=∑≤≤+≤≤+(1)(x,y)kkkkkkk1其中n為先前迭代檢測的邊界框的數(shù)量。迭代策略下的檢測為：在給定圖像I的情況下，第一次迭代t=1，此時歷史H為空即灰度圖像像素1值為0，聯(lián)合圖像I和H并通過閾值δ設置可以得出第一組高置信度檢測框1D，其次，highD被映射到歷史H，然后第二次迭代結合圖像I和2H得出第二組低置信度檢測框2D。low2.2.數(shù)據(jù)關聯(lián)數(shù)據(jù)關聯(lián)是多目標跟蹤的核心，它首先計算機軌跡和檢測框之間的相似度并根據(jù)相似度利用不同的動相似性[8]是準確的，外觀相似性有助于長距離匹配，在獲得相似性度量后，可以通過匈牙利算法或者貪婪賦值算法[9]匹配。以往的多目標跟蹤方法中通常只保留高置信度檢測框。在本文迭代檢測中充分利用了每個檢測框。并按照迭代結果的先后順序處理不同檢測框。我們首先將高置信度檢測框與軌跡相關聯(lián)。有些軌跡無法匹配到高置信度檢測框，這通常發(fā)生在遮擋、運動模糊或大小變化時。然后，我們將低置信度檢測框與這些不匹配的軌跡相關聯(lián)，以恢復低置信度檢測框中的對象，同時可以過濾到檢測得到的假陽性目標框即背景。關聯(lián)的偽代碼如下算法所示。數(shù)據(jù)關聯(lián)中輸入的是視頻序列V，檢測器對象Det和檢測置信度閾值δ，實驗中δ設置為0.6。輸出是視頻的軌跡Γ，每個軌跡包含每個幀中目標的邊界框和標識。流程如下：1)Det第一次迭代檢測出高置信度的檢測框D即得分大于δ的檢測框。2)利用卡爾曼濾波器來預測Γ(包括丟失的軌跡)中每個軌跡在當前幀中的新位置。由于軌跡的丟失3)高置信度檢測框D和預測的軌跡框Γ之間的IoUhigh似度的匹配，此為第一次關聯(lián)。4)使用檢測器Det結合前一次迭代的結果第二次迭代檢測出低置信度的檢測框Dlow道Γ之間執(zhí)行第二次關聯(lián)。我們保留不匹配的軌跡Γre?remain，視為丟失的軌跡Γ，只刪除所有不匹配的低置信度檢測框，因為它們往往是迭代檢測出的假陽性框即背景。5)Γ中的每個軌道，當它存在超過一定數(shù)量的幀即30幀時，從軌道Γ中刪除它。6)對于第一次關聯(lián)之后從不匹配的高分檢測框D初始化新軌跡。remain3.實驗結果與分析3.1.數(shù)據(jù)集與實驗環(huán)境本文在公開的行人檢測數(shù)據(jù)集CrowdHuman訓練集[10]訓練迭代檢測器，用CrowdHuman的驗證集驗證檢測器性能，用MOT16訓練集[11]作為驗證集驗證跟蹤算法性能。實驗環(huán)境基于Ubuntu18.04操作系統(tǒng)，NvidiaGeForce309024GPytorch1.8.1Python3.7的服務器下實現(xiàn)。選擇多目標跟蹤公開數(shù)據(jù)MOT16測試集測試本文算法，并MOTChallenge官網上對結果進行評估，同時與其他算法進行對比，并分析模型性能。3.2.評價指標本文采用一些通用評估指標分別對行人檢測和多目標跟蹤進行客觀評價，以證明算法的準確性。對于行人檢測采用平均精度(mAP)，召回率(Recall)，平均丟失率(mMR)作為評估指標。部分評價指標公式如公式(2)(3)，(4)和(5)Recall(R)=TPrueositiveTP+FNrueositive(2)()PrecisionP=TPrueositiveTP+FPrueositiveositive(3)1=∫PRdR(4)0MR=FNTP+FNrueositive平均丟失率mMR，是在(FalsePositivePerImage)FPPI@0.01-1下漏檢數(shù)的平均值越低越好。對于多目標跟蹤采用多目標跟蹤領域通用的評估指標進行評估，評估指標如下：1)(Multi-objectTrackingAccuracy)代表多目標跟蹤的準確度，綜合考慮了誤檢、漏檢和身份切換3種因素，衡量模型在目標檢測和軌跡關聯(lián)的整體性能，如公式(6)所示。N+N+NMOTA=1?FNFPIDs(6)NGT其中N表示真實邊界框數(shù)量；GTN表示整個視頻的漏檢數(shù)；FNN表示整個視頻的誤檢數(shù)；N表示總的行人切換次數(shù)；2)MOTP(Multi-objectTrackingPrecision)間的平均度量距離。如公式(7)所示。MOTP=∑dii,tt∑Ctt(7)其中t表示當前幀為第tt∈N]，id表示第t幀中第i個預測框與真實框之間的重疊率，即t(Intersection-Over-Union)距離；c表示目標成功匹配數(shù)量。3)IDF1(IdentificationF1Score)代表多目標跟蹤器維持能力。4)IDs(IDSwitch)代表整個跟蹤過程行人身份(ID)切換的數(shù)目。5)MT(MostlyTracked)代表至少在80%匹配成功的跟蹤軌跡。6)ML(MostlyLost)代表在小于20%的時間成功匹配的跟蹤軌跡即大多數(shù)丟失目標百分比。3.3.結果分析本文使用FasterR-CNN[12]作為行人檢測框架，使用ResNet50[13]為骨干網絡，添加FPN模塊，并添加層改善模塊的特征融合效果，訓練使用Adam優(yōu)化器，epoch設置為24，學習率設置為0.0005，在第16個epoch和第22個epoch時學習率分別乘以0.1。在訓練過程中，在標注框隨機選取一部分標注框并生成歷史特征，同時該部分標注框將不參與訓練，將歷史特征添加到骨干網略中去訓練網絡使得網絡預測到的結果更加接近剩余的標注框，從而迫使網絡學習利用歷史特征。引進迭代策略改進后的模型與基準模型在CrowdHuman驗證集上的結果對比，如表1所示。Table1.ComparisonresultsofiterativedetectionandbenchmarkmodelonCrowdHumanverificationset

表1.迭代檢測與基準模型在CrowdHuman驗證集上的對比結果檢測模型Recall↑↑↓基準模型89.284.850.5迭代檢測94.588.149.1對于多目標跟蹤，本文選擇MOT16數(shù)據(jù)集進行實驗，與幾種先進多目標跟蹤算法進行對比，結果如表2示，本文在迭代策略下充分考慮到所有檢測框，并且對檢測框的分批次處理，因此在MOTA、MOTP等指標上都有所提升。跟蹤效果如圖3所示MOT16-03中61MOT16-06中71號行人在面對遮擋情況，依然可以準確追蹤。Table2.ComparisonresultsbetweentheproposedalgorithmandotheralgorithmsonMOT16datasets

表2.本文算法與其他算法在MOT16數(shù)據(jù)集上的對比結果方法MOTA↑MOTP↑IDF1↑MT/%↑ML/%↓IDs↓SORT[2]59.879.653.825.422.71423DeepSORT[4]61.479.162.232.818.2781JDE[5]64.4-55.835.420.01544TubeTK[14]64.959.459.433.519.41117CNNMTT[15]65.2-62.232.421.3946Ours65.480.865.835.317.8982Figure3.Multi-objecttrackingeffect.(a)MOT16-03;(b)MOT16-06

圖3.多目標跟蹤效果。(a)MOT16-03；(b)MOT16-064.結論本文針對行人多目標跟蹤過程中因為遮擋導致的行人的目標框，充分考慮所有檢測框。并在數(shù)據(jù)關聯(lián)中對迭代結果分階段處理。其準確的檢測性能和關聯(lián)低置信度檢測框的幫助，對遮擋非常魯棒。在未來，我們將繼續(xù)探索更加可靠的相似性度量和匹配策略，以提升多目標跟蹤任務的整體性能。參考文獻[1]Luo,W.H.,Xing,J.L.,Milan,A.,etal.(2021)MultipleObjectTracking:ALiteratureReview.ArtificialIntelligence,

293,ArticleID:103448./10.1016/j.artint.2020.103448[2]Bewley,A.,Ge,Z.Y.,Ott,L.,Ramos,.andUpcroft,.(2016)SimpleOnlineandRealtimeTracking.Proceedingsof

2016IEEEInternationalConferenceonImageProcessing(ICIP.Phoenix,25-28September2016,3464-3468.

/10.1109/ICIP.2016.7533003[3]Kalman,R.E.(1960)ANewApproachtoinearFilteringandPredictionProblems.JournalofFluidsEngineering,35-45./10.1115/1.3662552[4]Kuhn,H.W.(1955)TheHungarianMethodfortheAssignmentProblem.NavalResearchLogisticsQuarterly,,83-97./10.1002/nav.3800020109[5]Wojke,N.,Bewley,A.andPaulus,D.(2017)SimpleOnlineandRealtimeTrackingwithaDeepAssociationMetric.

Proceedingsof2017IEEEInternationalConferenceonImageProcessing(ICIP).Beijing,17-20September2017,

3645-3649./10.1109/ICIP.2017.8296962[6]羅浩,姜偉,,張思朋.基于深度學習的行人重識別研究進展.自動化學報,2019,45(11):2032-2049.[7]Wang,Z.D.,Zheng,L.,Liu,Y.X.,Li,.andWang,S.J.(2020)TowardsReal-TimeMulti-ObjectTrackingIn:Ve-

daldi,A.,Bischof,H.,Brox,.andFrahm,JM.,Eds.,ComputerVisionECCV2020.ECCV2020.LectureNotesin

ComputerScience,Vol.12356,Springer,Cham,107-122./10.1007/978-3-030-58621-8_7[8]花景培,陳昌紅,干宗良,劉峰.基于運動和外形度量的多目標行人跟蹤[J].南京郵電大學學報,2016,36(71):1673-5439.[9]Zhou,X.Y.,Koltun,V.andKr?henbühl,P.(2020)TrackingObjectsasPoints.Vedaldi,A.,Bischof,H.,Brox,T.

andFrahm,J.M.,Eds.,ComputerVision—ECCV2020.ECCV2020.LectureNotesinComputerScience,Vol.12349,

Springer,Cham,474-490./10.1007/978-3-030-58548-8_28[10]Shao,Zhao,Z.J.,Li,B.X.,etal.(2018)Crowdhuman:ABenchm