基于視頻的目標(biāo)跟蹤及人群密度估計方法研究 碩士研究生：學(xué)號：導(dǎo)師：申請學(xué)位：學(xué)科所在單位：答辯日期：授予學(xué)位單位：DissertationSubmittedtoShanghaiJiaoTongUniversityfortheDegreeofMasterRESEARCHONVIDEO-BASEDOBJECTTRACKINGANDCROWDDENSITYESTIMATIONCandidate:StudentID:Supervisor:AcademicDegreeAppliedfor:Speciality:Affiliation:DataofDefence:Degree-Conferring-Institution:

基于視頻的目標(biāo)跟蹤及人群密度估計方法研究摘要近幾十年隨著人口的急劇增長，加上經(jīng)濟的快速增長使得都市化現(xiàn)象日益嚴(yán)重，在給人民生活帶來便利的同時也帶來了安全隱患。隨著社會安全事件接連不斷地發(fā)生，人們對安全的需求越來越大。隨著圖像處理技術(shù)的飛速發(fā)展，智能視頻監(jiān)控技術(shù)作為一種安防的有效手段，正越來越受到人們的重視?；趫D像的目標(biāo)跟蹤、人群密度估計等技術(shù)是智能視頻監(jiān)控系統(tǒng)的基礎(chǔ)問題，是更高層次的行為分析技術(shù)與行為識別技術(shù)的基礎(chǔ)。本文針對基于圖像的目標(biāo)跟蹤技術(shù)、人群密度估計技術(shù)進行了比較深入的研究，對前人的工作做了系統(tǒng)性總結(jié)，并針對一些不足做了相應(yīng)改進。所做具體工作如下：分析了粒子濾波跟蹤算法在目標(biāo)后驗概率分布呈多模態(tài)時重要性重采樣的無力以及過分依賴單一運動模型這兩個不足，分別提出了自適應(yīng)重采樣算法和變結(jié)構(gòu)多運動模型算法來改進粒子濾波算法，提高粒子濾波算法的準(zhǔn)確性與穩(wěn)定性。針對日常應(yīng)用背景的多目標(biāo)跟蹤問題，引入了經(jīng)典的JPDA算法，指出了其量測缺乏圖像信息的不足，提出了基于量測擴展思想的改進JPDA多目標(biāo)算法，它是一種通用方法，可根據(jù)不同場景選擇合適圖像信息進行擴展。本文選取了顏色信息擴展到量測中，使其在計算關(guān)聯(lián)概率矩陣時充分考慮了顏色信息，提高了關(guān)聯(lián)概率的準(zhǔn)確度，有效實現(xiàn)了多目標(biāo)跟蹤。在人群密度估計方面，分析了像素統(tǒng)計特征與紋理特征兩大經(jīng)典算法各自的優(yōu)缺點，并闡述了兩大算法在各種密度場景下的互補性，提出了融合像素統(tǒng)計特征與紋理特征進行人群密度估計的算法。針對每個議題，都收集了相關(guān)領(lǐng)域的權(quán)威測試視頻庫，并進行了詳盡的仿真實驗與實驗結(jié)果分析。關(guān)鍵詞：智能視頻監(jiān)控、目標(biāo)跟蹤、人群密度估計、粒子濾波算法RESEARCHONVIDEO-BASEDOBJECTTRACKINGANDCROWDDENSITYESTIMATIONAbstractWiththerapidpopulationgrowthandeconomicgrowthinrecentdecades,whileurbanizationbringconveniencetopeople’slifebutalsobringsecurityproblems.Whilesocialsecurityincidentsoccurmoreandmorefrequently,thedemandforsecuritymonitoringisgrowing.Benefittotherapiddevelopmentofimageprocessingtechnology,intelligentvideosurveillancetechnology,asaneffectiveapproach,hasattractedmoreandmoreattention.Video-basedobjecttrackingandcrowddensityestimationarethefundamentaltechnologyofbehavioranalysis,recognitionandintelligentvideosurveillancesystem.Thispapersystematicallysummarizedonpreviousrelatedworks,andmadearesearchonvideo-basedobjecttrackingandcrowddensityestimationtechnology.Thedetailsareasfollows:1).Thispaperfirstpointsouttwodisadvantagesofparticlefilteringalgorithm:first,thetraditionalimportanceresamplingcan’thandlethesituationwhentheobjectposteriorprobabilitydensityismulti-model;second,mostalgorithmassumethattheobjectmotionissmooth,however,theassumptionisunrealistic.Thispaperproposedadaptiveresamplingschemeandintroducedvariablestructuremultiplemodelestimationmethodtosolvetheseproblems.2).Formulti-objecttrackingapplication,wepointoutsomedisadvantagesofapplyingJPDAalgorithmintomulti-objecttracking：theobservationjustcontainspositioninformationandit’snotsuitablewithoutapplyingimageinformationinvideo-basedtracking.Tosolvethisproblem,thispaperextendedtheobservationinformationbyintroducingimagefeatures,whichimprovedtheaccuracyoftheassociationprobabilitymatrix,andalsothetrackingresults.3).Forcrowddensityestimationproblem,thispaperfirstanalysisadvantagesanddisadvantagesofpixel-basedmethodandtextureanalysismethod.Afterelaboratedtheircomplementaryinvariousdensitylevelsituation,thispaperproposedfeaturefusionmethod,whichcombinedpixel-basedandtexturefeatureanddesignedcorrespondingfusionstrategy,toestimatecrowddensitymorerobustly.4).Foreveryeverytopicmentionedabove,variousauthoritativevideolibraryinrelatedfieldswerecollected.Plentifulsimulationsweremadeandfollowsdetailedanalysisandcomparison.KeyWords:Intelligentvideosurveillance,Multi-objecttracking,Crowddensityestimation,Particlefilteralgorithm目錄第一章緒論 11.1研究背景 11.2研究現(xiàn)狀 21.2.1視頻目標(biāo)跟蹤技術(shù) 21.2.2人群密度估計 41.3現(xiàn)有研究的不足 61.3本論文主要工作 71.4本論文結(jié)構(gòu)安排 7第二章粒子濾波跟蹤算法 102.1引言 102.2目標(biāo)跟蹤算法回顧 112.2.1表觀模型 112.2.2圖像特征 122.2.3跟蹤算法 132.3粒子濾波算法原理 152.3.1問題定義 152.3.2序列重要性采樣（SIS）算法 162.3.3序列重要性重采樣（SIR） 192.3.4算法框架 212.4粒子濾波目標(biāo)跟蹤算法 222.4.1運動模型 222.4.2表觀模型 222.4.3跟蹤算法 232.5小結(jié) 24第三章基于粒子濾波的單目標(biāo)跟蹤算法研究 253.1引言 253.1.1常用重采樣機制的不足 253.1.2常用運動模型的不足 263.2自適應(yīng)重采樣算法 263.2.1粒子群優(yōu)化算法 263.2.2粒子群優(yōu)化重采樣 303.2.3自適應(yīng)重采樣算法 313.3變結(jié)構(gòu)多模型運動估計 323.3.1LMS基本原理 333.3.2LMS-PF跟蹤算法 353.3.3模式集設(shè)計 353.4實驗結(jié)果與分析 373.4.1實驗素材 373.4.2評價指標(biāo) 373.4.2自適應(yīng)重采樣粒子濾波跟蹤算法 383.4.3變結(jié)構(gòu)多運動模型粒子濾波跟蹤算法 403.4.4AR-LMS-PF 433.5小結(jié) 44第四章基于量測擴展的JPDA多目標(biāo)跟蹤方法研究 454.1引言 454.2問題定義 474.3研究現(xiàn)狀的不足 484.4多目標(biāo)跟蹤算法架構(gòu) 484.5JPDA算法描述 494.5.1生成確認(rèn)矩陣 494.5.2計算所有可行聯(lián)合事件及其參數(shù) 504.5.3計算時刻所有量測的聯(lián)合事件的條件概率 504.5.4計算量測與目標(biāo)的關(guān)聯(lián)概率 504.5.5利用卡爾曼濾波器得到目標(biāo)狀態(tài)估計及協(xié)方差陣 514.6基于量測擴展的JPDA多目標(biāo)跟蹤算法 514.7實驗結(jié)果與分析 524.7.1實驗素材 524.7.2評價指標(biāo) 534.7.3結(jié)果分析 544.8小結(jié) 59第五章基于特征融合的人群密度估計研究 605.1引言 605.2問題定義 625.3研究現(xiàn)狀的不足 625.4基于特征融合的人群密度估計 635.4.1系統(tǒng)框架 635.4.2運動分割 645.4.3透視校正 655.4.4特征抽取 665.4.5手動標(biāo)注 685.4.6回歸模型 695.5實驗結(jié)果與分析 705.5.1實驗素材 705.5.2評價指標(biāo) 705.5.3結(jié)果分析 715.5.4整合應(yīng)用 775.6小結(jié) 78第六章總結(jié)與展望 796.1論文總結(jié) 796.2研究展望 80參考文獻 81致謝 90攻讀碩士學(xué)位期間已發(fā)表或錄用的論文 91第一章緒論1.1研究背景近年來，隨著智能化設(shè)備的快速發(fā)展，人們的生活與工作方式越發(fā)趨于智能化。計算機視覺技術(shù)作為智能化中重要的組成部分，發(fā)展也十分迅猛。計算機視覺技術(shù)的目標(biāo)是讓機器能夠像人一樣“讀懂”圖像，理解圖像。計算機視覺技術(shù)隨著其高速發(fā)展，現(xiàn)如今已經(jīng)深入滲透到了各個領(lǐng)域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷和軍事等領(lǐng)域中。隨著當(dāng)今社會人們夜生活越來越豐富，安全需求也越來越大。智能視頻監(jiān)控技術(shù)作為一種安防的有效手段，正越來越受到人們的重視，例如智能監(jiān)控系統(tǒng)現(xiàn)在已經(jīng)是各公共場所安全防范措施標(biāo)準(zhǔn)配置，對于預(yù)防惡性事件或犯罪事后調(diào)查都具有重要意義[1]。相較于傳統(tǒng)的靠人工判讀視頻內(nèi)容的視頻監(jiān)控系統(tǒng)而言，正在迅速崛起的智能視頻監(jiān)控系統(tǒng)能夠自動的對場景內(nèi)運動對象進行提取、跟蹤、識別和行為分析等方面的內(nèi)容，既能減少人力成本，又能提高監(jiān)控質(zhì)量。智能視頻監(jiān)控是一門多交叉學(xué)科，多涉及人工智能及模式識別等新興學(xué)科，是一個具有挑戰(zhàn)性的綜合性問題，而目標(biāo)跟蹤與人群密度估計就是其中極其重要的組成部分，它是更高層次的行為分析技術(shù)與行為識別技術(shù)的基礎(chǔ)，具有重要的研究價值。視頻目標(biāo)跟蹤技術(shù)除了應(yīng)用在智能監(jiān)控系統(tǒng)中，還廣泛應(yīng)用于民用和軍事等許多領(lǐng)域中[2]。在軍事領(lǐng)域，由于戰(zhàn)場環(huán)境遠(yuǎn)比普通民用環(huán)境更加復(fù)雜與苛刻，對視頻監(jiān)視系統(tǒng)的要求比民用領(lǐng)域更高。在惡劣的戰(zhàn)場環(huán)境下要對目標(biāo)進行實時穩(wěn)定可靠的跟蹤是目標(biāo)跟蹤系統(tǒng)在軍事上的一個重要應(yīng)用。如成立于1997年的VSAM視頻監(jiān)控項目，主要研究自動視頻理解技術(shù)。VSAM融合多種傳感器，具有先進的視頻分析處理技術(shù)及網(wǎng)絡(luò)傳輸系統(tǒng)，用三維建模技術(shù)提供圖形操作界面，可應(yīng)用在戰(zhàn)場等危險情況場合的監(jiān)控。視頻跟蹤相關(guān)技術(shù)還有許多其他的民用應(yīng)用領(lǐng)域，例如視覺人機接口的設(shè)計，涉及到對人的行為的識別，例如手勢與表情等[3]。在運動分析領(lǐng)域，可應(yīng)用于對運動員或運動團體的跟蹤與分析，如田徑中各運動員的運動姿勢與速度分析，羽毛球及網(wǎng)球比賽中對球運動軌跡及落點的判斷，足球籃球比賽中根據(jù)團隊中隊員的跟蹤結(jié)果進行戰(zhàn)術(shù)分析與預(yù)測等。多目標(biāo)跟蹤技術(shù)作為視頻目標(biāo)跟蹤的一個重要分支具有非常廣泛的應(yīng)用，包括交通流量控制、車輛異常行為檢測等。交通監(jiān)控對于預(yù)防交通事故及事后處理具有很大價值，著名的基于VIPS的交通監(jiān)控系統(tǒng)[4]能夠?qū)Φ缆返牧髁考败囆偷染唧w信息進行監(jiān)控和統(tǒng)計，除此之外還能發(fā)現(xiàn)簡單的異常行為，比如闖紅綠燈、轉(zhuǎn)向錯誤、超速行駛等。另一方面，隨著全球經(jīng)濟的持續(xù)復(fù)蘇，人們生活水平明顯提升，城市化進程不斷加速，特別是在像中國、印度、巴西等發(fā)展中國家尤為明顯。城市化的加速，不僅僅只是城市人口在總?cè)丝谥械谋壤哟?，同時也伴隨著一系列由于人口密集而產(chǎn)生的矛盾。尤其是我國近年來經(jīng)濟高速發(fā)展加速了城市化的進程，城市人口的密集，城市的交通、生活、娛樂等公共設(shè)施經(jīng)常會迎來短期的人流高峰，人群高度擁擠如果不能及時有效的得到合理的疏散容易造成重大的安全隱患。因此，在智能監(jiān)控系統(tǒng)中如何有效的對突發(fā)人群的密度進行監(jiān)控和預(yù)警，是一個很有研究價值的課題[5]。近年來因人群密度過高而造成的群體性傷亡事件屢見不鮮，得到了國內(nèi)外研究學(xué)者的廣泛關(guān)注。此外，人群密度估計和目標(biāo)跟蹤技術(shù)的結(jié)合可使得在跟蹤人群獲得運動信息的同時能獲得人數(shù)信息，這對于防范密集人群聚集、規(guī)劃人群流向具有重要的指導(dǎo)意義。1.2研究現(xiàn)狀1.2.1視頻目標(biāo)跟蹤技術(shù) 視頻目標(biāo)跟蹤作為智能視頻監(jiān)控系統(tǒng)中的基礎(chǔ)核心技術(shù)，是為上層其他高級處理如行為分析、行為識別等技術(shù)服務(wù)的，是智能監(jiān)控系統(tǒng)能夠?qū)崟r應(yīng)用的關(guān)鍵。由于從三維世界到二維圖像的投影本身存在大量信息的丟失，加上目標(biāo)外觀復(fù)雜的形變及繁復(fù)的運動模式，以及受到復(fù)雜背景及如天氣變化等環(huán)境變化的強烈影響，圖像攝取本身的圖像噪聲等因素印象，視頻目標(biāo)跟蹤技術(shù)一直是一個極具挑戰(zhàn)性問題。完整的視頻目標(biāo)跟蹤系統(tǒng)包含了從目標(biāo)檢測、表觀模型、運動模型、圖像特征到定位算法等幾個主要部分，各國學(xué)者從以上所述各個方面展開研究，近十年得出豐富成果。 Comaniciu將MeanShift算法應(yīng)用到目標(biāo)跟蹤領(lǐng)域具有里程碑式意義[6]，成為了目標(biāo)跟蹤領(lǐng)域內(nèi)經(jīng)典算法之一。緊接著，許多研究學(xué)者提出了許多改進，例如Collins通過引入歸一化因子來感知目標(biāo)尺度變化[7]，但是由于需要費時的搜索導(dǎo)致計算量過大；Xianwu提出用非勻質(zhì)meanshift算法來同時跟蹤位置、尺度以及運動方向[8]；另一方面，Parameswaran從特征角度，通過結(jié)合空間信息擴展了目標(biāo)直方圖[9]。粒子濾波方法是另一經(jīng)典算法，它不僅能夠有效地解決視覺目標(biāo)跟蹤中普遍存在目標(biāo)狀態(tài)非線性、噪聲分布非高斯性的問題，而且能夠同時跟蹤視覺目標(biāo)多種狀態(tài)變化，還對視覺平臺運動狀態(tài)不作要求，既適用于靜止視覺平臺，又適用于移動視覺平臺，使其成為視覺目標(biāo)跟蹤算法的一個較優(yōu)選擇，在視覺目標(biāo)跟蹤研究與應(yīng)用領(lǐng)域均受到廣泛關(guān)注。圍繞粒子濾波算法的研究主要集中在建議分布的選取以及重采樣機制的設(shè)計兩方面。例如輔助粒子濾波APF以序列重要性采樣算法為基礎(chǔ)[10]，但結(jié)合了當(dāng)前的觀測數(shù)據(jù)選擇了不同的重要性密度函數(shù)，使得重要性函數(shù)更加接近真實的狀態(tài)。正則粒子濾波[11]在重采樣過程中，使用核函數(shù)代替SIR中離散粒子的加權(quán)和，使得重采樣過程可以對連續(xù)函數(shù)進行采樣而避免了重要性重采樣中從離散粒子集中采樣所帶來的粒子貧化問題。近幾年來，通過在線學(xué)習(xí)算法來進行跟蹤的算法取得了極大進展，隨著機器學(xué)習(xí)算法的深入研究，將學(xué)習(xí)算法與圖像處理相結(jié)合來進行目標(biāo)識別，對于某些特定目標(biāo)（如人臉）已經(jīng)有了很高的識別率。在許多傳統(tǒng)經(jīng)典算法中，對目標(biāo)表觀模型的在線學(xué)習(xí)是作為跟蹤框架的重要組成部分，是用來處理目標(biāo)表觀變化的。傳統(tǒng)的基于模板匹配的跟蹤算法由于其固定模板而不能自適應(yīng)目標(biāo)模型變化，導(dǎo)致跟蹤精度受限?；谠诰€學(xué)習(xí)的動態(tài)模板可以更好的處理目標(biāo)的姿勢及光照方面的變化。Zhou將基于EM算法的自適應(yīng)表觀模型嵌入粒子濾波器[12]，達到了更好的跟蹤魯棒性。其中一種在線學(xué)習(xí)算法是所謂的“trackingbydetection”，即基于檢測的跟蹤。與經(jīng)典跟蹤算法不同的是，基于目標(biāo)檢測的跟蹤算法充分利用了目標(biāo)與背景的信息，訓(xùn)練出一個二分分類器將目標(biāo)與背景區(qū)分開，并實時在線的更新目標(biāo)表觀與背景環(huán)境變化。Babenko提出多示例學(xué)習(xí)算法[13]，數(shù)據(jù)以含有多個示例的標(biāo)記包形式呈現(xiàn)。多示例學(xué)習(xí)開辟了一種新的機器學(xué)習(xí)框架，和以往的學(xué)習(xí)框架不同的是，一個樣本包不止一個示例，樣本包和示例是一對多的對應(yīng)關(guān)系。其中示例可以理解為每個訓(xùn)練樣本的特征向量，而樣本包表示其包含的這些示例所屬的級別。多示例學(xué)習(xí)能處理類別樣本含有大量噪聲而又難以去除的分類問題，具有廣泛的應(yīng)用前景。對于長時間跟蹤而言，Kalal提出了tracking-learning-detection跟蹤框架[14]。長時間跟蹤的難點在于，目標(biāo)消失后又再次出現(xiàn)時如何捕獲，并繼續(xù)跟蹤。另一難點在于，長時跟蹤意味著目標(biāo)會出現(xiàn)不同程度的形變、尺度變化、還有環(huán)境的變化、與周圍目標(biāo)進行交互時引起的遮擋等不確定性情形。鑒于長時跟蹤的復(fù)雜性，單純跟蹤算法或者單純檢測算法均難以達到可靠穩(wěn)定的跟蹤效果，TLD方法基于在線學(xué)習(xí)機制，將跟蹤與檢測兩者能夠有效結(jié)合，形成閉環(huán)體系，有效提高了長時跟蹤的精準(zhǔn)度。除MIL和TLD外還有許多優(yōu)秀的在線學(xué)習(xí)算法應(yīng)用于目標(biāo)跟蹤領(lǐng)域，如在線隨機森林算法[15]等。從上述目標(biāo)跟蹤算法的發(fā)展可以看出，魯棒的圖像特征、完善的在線學(xué)習(xí)體系是當(dāng)前研究熱點，這也意味著視頻目標(biāo)跟蹤急需解決的問題依然是應(yīng)對復(fù)雜環(huán)境變化、目標(biāo)形變及運動突變等情況[3]。1.2.2人群密度估計1990年之前，人群密度估計主要依靠人工估計，安保人員圍在模擬監(jiān)控顯示設(shè)備前觀察特定區(qū)域的監(jiān)控畫面，并及時判斷人群密度情況。這種方法一直沿用了很多年，具有設(shè)備簡單的優(yōu)點，但存在精度差、主觀性強、實時性差等缺點。要實現(xiàn)全天二十四小時實時監(jiān)控，就必須有人一直守在顯示設(shè)備前，并確保不間斷的全神貫注盯著監(jiān)控畫面，其必將耗費巨大的人力資源，易出現(xiàn)紕漏，容易漏報。近二十年來，計算機視覺和數(shù)字圖像處理技術(shù)的快速發(fā)展，使得這一問題得到了逐步的解決，模擬監(jiān)控設(shè)備已被數(shù)字設(shè)備取代，應(yīng)用最新的智能視頻圖像處理理論將實現(xiàn)人群密度的估計，以實現(xiàn)二十四小時全天候自動預(yù)警。由于計算機視覺技術(shù)越來越介入人們的日常生活，給人們帶來了便利，基于視頻圖像的人群密度估計作為計算機視覺的一個重要方向，正處于快速發(fā)展階段。人群密度估計目前主要有兩種方向：密度估計與人數(shù)統(tǒng)計。密度估計主要針對視頻中人群整體，從一個宏觀角度提取相關(guān)特征參數(shù)進行研究，也稱為宏觀分析；而人數(shù)統(tǒng)計的目的是從個體角度得到精確的人數(shù)統(tǒng)計，也稱微觀分析。人群行為研究得到的有力結(jié)論是人群密度估計研究的起點。1985年，人群密度與人群行為的關(guān)系第一次被提出[16]：人群密度與引發(fā)群體事件的風(fēng)險呈正相關(guān)關(guān)系，論文中表示當(dāng)人群密度超過1.25m2/1990年在基于圖像的人群密度估計研究領(lǐng)域出了很多優(yōu)秀成果，其中具有代表性的有Davies提出的基于像素統(tǒng)計的人群特征提取方法[17]，而Marana提出了基于紋理特征提取的分析方法[18]。這兩種方法后來成為人群密度估計研究中兩大經(jīng)典方法。不過上述兩種方法還停留在特征水平上，也就是分析何種特征適用于人群密度估計。現(xiàn)在還缺少一個在特征獲取環(huán)節(jié)與最終估計結(jié)果之間的數(shù)學(xué)模型，該數(shù)學(xué)模型代表著輸入的特征與輸出的結(jié)果之間的關(guān)系。最簡單的模型是線性模型，例如認(rèn)為前景圖像像素數(shù)與人數(shù)呈線性關(guān)系，即可通過簡單的計算前景圖像在整個圖像中所占的像素比來估計人群的密度。在人數(shù)較少的場景下，此方法簡單易行，不過很明顯的是，前景像素個數(shù)與人數(shù)呈線性關(guān)系在人群密度較高遮擋較為嚴(yán)重的情況下是不成立的。一個大的飛躍是使用神經(jīng)網(wǎng)絡(luò)模型分析人群密度的提出[19]，結(jié)果顯示此方法對人群密度估計的準(zhǔn)確率有很大的提高，并且該方法已于2000年在香港地鐵系統(tǒng)中得到了應(yīng)用。近年來隨著機器學(xué)習(xí)算法的風(fēng)靡，各種學(xué)習(xí)算法被應(yīng)用到人群密度估計領(lǐng)域中，其中的佼佼者如訓(xùn)練支持向量機(SVM)回歸模型或者高斯過程回歸模型、或者ELM學(xué)習(xí)算法[20]來進行人群密度估計，均以其優(yōu)良的性能得到了廣泛的認(rèn)可。2001年，Lin提出利用個人特征來檢測行人[21]，進而實現(xiàn)人群人數(shù)的統(tǒng)計。此方法屬于對象級分析方法，試圖在復(fù)雜場景下定位個體，相對于上述回歸分析方法可以提供更精確的結(jié)果（能定位到具體目標(biāo)）。雖然在低密度情境下識別個體不是很難的事，在高密度情境下，嚴(yán)重的遮擋使得基于個體的識別統(tǒng)計并不理想。2008年，Shobit等提出了一種可以對特定人群情景中的事件進行建模的算法[22]，其為基于KLT跟蹤的多特征點檢測與跟蹤的算法。為了實現(xiàn)快速建模，他們又進一步提出了擴展場景識別引擎(SRE)的方法，同時也增加了人群事件檢測的可靠性。Chan等人[23]把視頻看成是不同紋理抽樣的結(jié)果，并借鑒高斯模型思想，用混合高斯模型的動態(tài)紋理系統(tǒng)取代傳統(tǒng)紋理分析方法。此方法可以實現(xiàn)對場景的粗略分類，比較適合于室外條件下大場景的粗略估計。蘇航等[24]系統(tǒng)全面的分析了近年來國內(nèi)外文獻中有關(guān)復(fù)雜場景下視頻監(jiān)控中的密度估計算法，并剖析了各算法的實現(xiàn)及優(yōu)缺點，以及未來的研究發(fā)展方向。2012年，Srivastava通過大量的實驗進一步驗證了特定區(qū)域內(nèi)的前景像素數(shù)與通過該區(qū)域的人群人數(shù)有關(guān)[25]，提出了利用圖像紋理特征來描述特定場景擁擠程度的比例因子，通過比例因子的大小來判斷場景是否存在危險。此方法要求場景環(huán)境穩(wěn)定（如光照不變）。相比國外學(xué)者，我國對于基于視頻圖像的人群密度估計的研究相對滯后。但是隨著公共場所監(jiān)控、交通場景監(jiān)控等對人群密度估計需求的加大，國內(nèi)高校不斷在加大基于視頻的人群密度估計研究的力度。北京航天航空大學(xué)很早就建立了模式識別與人工智能研究室；上海交大的圖像處理與模式識別研究所近年來申請了許多有關(guān)智能視頻監(jiān)控研究方面的國家自然科學(xué)基金項目；電子科技大學(xué)先知視聽覺實驗室開發(fā)的智能視頻監(jiān)控系統(tǒng)具備遺物提醒、行人流量統(tǒng)計、人群密度估計、單人和多人異常行為檢測等功能；上述國內(nèi)高校的研究小組和實驗室的視頻監(jiān)控研究中均涉及到了基于視頻圖像的人群密度估計研究，人群密度估計研究是其它人群行為研究的基礎(chǔ)。1.3現(xiàn)有研究的不足當(dāng)前視覺目標(biāo)跟蹤算法中，粒子濾波算法能夠有效處理目標(biāo)狀態(tài)非線性、噪聲分布非高斯的問題，相比較傳統(tǒng)確定性跟蹤方法具有一定優(yōu)勢；且粒子濾波本身的開放性決定了它可以吸收最新的在線學(xué)習(xí)算法，來獲得更加魯棒的跟蹤效果。因此粒子濾波跟蹤算法一直以來都是目標(biāo)跟蹤領(lǐng)域的研究熱點。粒子濾波算法的研究重點主要有兩個：一是重要性采樣函數(shù)的選取，二是重采樣機制的設(shè)計。一種機制很難適應(yīng)所有情況，一般都需要根據(jù)具體情境來選取合適的重要性采樣函數(shù)及設(shè)計重采樣機制。目標(biāo)遮擋與分離是目標(biāo)跟蹤中的常見問題，也是難點問題。傳統(tǒng)的重要性重采樣機制并不適合目標(biāo)出現(xiàn)遮擋的情形，在目標(biāo)出現(xiàn)遮擋或干擾時會出現(xiàn)跟蹤漂移；另一方面，良好的目標(biāo)運動模型是實現(xiàn)目標(biāo)持續(xù)跟蹤的前提，然而目標(biāo)的運動模型設(shè)計在粒子濾波跟蹤算法中一直不受重視，是粒子濾波跟蹤算法現(xiàn)有研究的另一大不足。在多目標(biāo)跟蹤方面，經(jīng)典數(shù)據(jù)關(guān)聯(lián)算法JPDA在雷達目標(biāo)跟蹤中獲得極大成功，它能有效處理雜波環(huán)境下的數(shù)據(jù)關(guān)聯(lián)問題。然而在視頻目標(biāo)跟蹤領(lǐng)域，由于將量測限制在位置信息上，基于視頻的JPDA多目標(biāo)跟蹤算法“有名無實”，它并沒有充分利用圖像中的信息。針對這個問題，本文提出將顏色信息融入量測中，使得量測同時包含位置與圖像信息，使得在計算關(guān)聯(lián)概率矩陣時充分考慮了顏色信息，因此提高了關(guān)聯(lián)概率的準(zhǔn)確度，從而提高了跟蹤效果。人群密度估計算法在國內(nèi)起步較晚，研究力度也不如視頻目標(biāo)跟蹤。人群密度估計當(dāng)前主要的研究重點在于圖像特征的選取。正如同對于不同類型的目標(biāo)，需要選用不同的圖像特征來表征，針對不同密度級別下的人群估計，也需要選擇相適宜的圖像特征?，F(xiàn)今研究的不足在于過于割裂不同特征的關(guān)系，沒有看到特征之間的相關(guān)性與互補性，就如同過于看重全局估計方法與局部估計方法的差異卻忽略了它們之間的共性。單一性特征對于復(fù)雜多變的場景很難做到長期穩(wěn)定，特征融合研究對于人群密度估計具有重大意義。1.3本論文主要工作本文針對粒子濾波算法中存在的上述問題展開研究，一是針對重要性重采樣機制對于后驗概率分布呈多模態(tài)時的處理無力，提出了結(jié)合粒子群優(yōu)化思想的自適應(yīng)重采樣機制來處理后驗概率分布多模態(tài)問題；二是將變結(jié)構(gòu)多運動模型代替常用的單一化運動模型，來提高先驗?zāi)Ｐ偷木_度與適用范圍，從而改善跟蹤性能。針對JPDA多目標(biāo)跟蹤算法中量測信息匱乏問題，本文將目標(biāo)的顏色信息融入到目標(biāo)量測中，從而豐富了目標(biāo)的量測信息，使得圖像信息在計算量測和目標(biāo)的關(guān)聯(lián)概率時作出了貢獻，從而提高了關(guān)聯(lián)概率的準(zhǔn)確度，能有效緩解因目標(biāo)遮擋引起的量測準(zhǔn)確性下降問題。改進后的JPDA算法能大幅度提高跟蹤效果。在人群密度估計方面，現(xiàn)今的主流主要是基于像素統(tǒng)計與紋理分析等特征的回歸分析方法。像素統(tǒng)計通過計算人群的總像素數(shù)來估計人群人數(shù)，簡單直接易于實現(xiàn)，在低密度人群中可以獲得較好的效果。而紋理分析有較好的通用性與容忍性，然而當(dāng)背景復(fù)雜并且人群密度不高而呈現(xiàn)粗糙的紋理時，估計的誤差會較大。因此，本文基于特征融合思想，結(jié)合像素統(tǒng)計與紋理分析特征以實現(xiàn)優(yōu)勢互補進行人群密度估計，相較于單一特征，在密度估計的精度和穩(wěn)定性上都有較大提高。1.4本論文結(jié)構(gòu)安排本論文研究的是基于視頻圖像的目標(biāo)跟蹤技術(shù)與人群密度估計技術(shù)，各個研究部分之間相互聯(lián)系形成統(tǒng)一整體，本文的研究部分及其之間的架構(gòu)關(guān)系如圖1-1所示。論文主要分為三個研究部分：單目標(biāo)跟蹤算法、多目標(biāo)跟蹤算法、人群密度估計算法。它們都是智能監(jiān)控系統(tǒng)中的關(guān)鍵基礎(chǔ)技術(shù)，各算法可單獨使用，亦可配合使用。例如日常生活中，人們通常結(jié)伴而行，在人群密度較大的場合下，目標(biāo)檢測的精度下降會導(dǎo)致目標(biāo)跟蹤失誤率高，然而恰恰在這種情況下更加需要知道移動人群的密度大小，以預(yù)防高密度人群的聚集導(dǎo)致的安全事故。本文將人群密度估計和目標(biāo)跟蹤互相結(jié)合互為補充，兩者的結(jié)合可以在人群跟蹤過程中獲得人群運動信息的同時獲得人數(shù)信息，這對預(yù)防人群聚集、規(guī)劃人群流向等安全防范措施具有重要意義。圖1-1全文組織結(jié)構(gòu)全文分為六章，每一章的主要內(nèi)容如下：緒論。重點描述了本課題的研究背景及意義，調(diào)研了國內(nèi)外的研究現(xiàn)狀，同時對本論文的研究內(nèi)容與實現(xiàn)方案也做了全面的闡述。粒子濾波跟蹤算法介紹。本章回顧了近年來主流的目標(biāo)跟蹤算法，分析了各算法的長處與不足，確立了以粒子濾波跟蹤方法作為本文的研究重點，并詳細(xì)介紹了粒子濾波算法的基本原理以及其在視頻跟蹤中的應(yīng)用?；诹Ｗ訛V波單目標(biāo)跟蹤算法。本章重點針對了傳統(tǒng)粒子濾波跟蹤算法對于目標(biāo)概率密度呈相近多峰情況下的重采樣導(dǎo)致跟蹤失敗的問題，以及依賴先驗運動模型的特點，提出了相應(yīng)的改進方案，并給出了相應(yīng)的仿真結(jié)果與結(jié)果分析。改進JPDA的多目標(biāo)跟蹤算法。本章回顧了主流的多目標(biāo)跟蹤算法，分析了JPDA多目標(biāo)跟蹤算法的不足，提出了融合顏色信息的量測擴展方式，提高了關(guān)聯(lián)概率準(zhǔn)確性，改善了跟蹤結(jié)果。其中詳細(xì)闡述了該跟蹤算法的框架與執(zhí)行流程，最后給出了相應(yīng)的仿真結(jié)果與結(jié)果分析。人群密度估計。本章回顧了主流的人群密度估計算法，并分析了像素統(tǒng)計特征與紋理相關(guān)特征各自的不足，重點提出了特征結(jié)合互補的思想，將像素統(tǒng)計特征與紋理相關(guān)特征進行有機結(jié)合用于人群密度估計，并詳細(xì)闡述了人群密度估計算法的原理與框架，最后給出了相應(yīng)的仿真結(jié)果與結(jié)果分析?？偨Y(jié)與展望。本章對本論文的研究內(nèi)容進行了總結(jié)，提出了論文的創(chuàng)新點，并指出了論文研究的不足點，最后對此課題研究未來的方向進行了展望。第二章粒子濾波跟蹤算法2.1引言視頻目標(biāo)跟蹤是計算機視覺中經(jīng)久不衰的研究方向，也是許多視覺應(yīng)用中必須用到的關(guān)鍵技術(shù)。視頻目標(biāo)跟蹤的根本目的是要從視頻中提取出運動目標(biāo)的軌跡、形狀、位置、速度等參數(shù)，以滿足其他高級分析的需求。一般來說，視頻目標(biāo)跟蹤技術(shù)包含了目標(biāo)檢測、分類、跟蹤等模塊，一個良好的視頻跟蹤系統(tǒng)需要各模塊的密切配合。由于從三維世界到二維圖像的投影本身存在大量信息的丟失，加上目標(biāo)外觀復(fù)雜的形變及繁復(fù)的運動模式，以及受到復(fù)雜背景及如天氣變化等環(huán)境變化的強烈影響，圖像攝取本身的圖像噪聲等因素影響，使得視頻目標(biāo)跟蹤依然是一個極具挑戰(zhàn)性問題。本文研究場景均為靜止單攝像機，該情境也是當(dāng)前最為廣泛使用的標(biāo)準(zhǔn)配置。在該場景下，背景是靜止的或者只有微小的擾動。視頻目標(biāo)跟蹤常見的應(yīng)用領(lǐng)域有[2]：基于運動的識別：基于步態(tài)的身份識別、運動目標(biāo)檢測等、智能監(jiān)控、視頻檢索、人機交互：手勢識別、眼動跟蹤等、交通監(jiān)控、汽車導(dǎo)航等。雖然現(xiàn)今已經(jīng)有許多成功的應(yīng)用，視頻目標(biāo)跟蹤到現(xiàn)今依然是個挑戰(zhàn)性難題，主要是因為以下幾個原因：從3D世界向2D平面圖像投影所造成的信息損失；圖像噪聲：圖像成像受許多因素影響，且圖像成像與這些因素之間關(guān)系往往非常復(fù)雜，呈強非線性。這些因素有與周圍環(huán)境相關(guān)的，如光源的角度及距離；有與攝像系統(tǒng)相關(guān)的，如攝像機角度及距離等；復(fù)雜運動模型：現(xiàn)實生活中的運動目標(biāo)一般不會呈單一模型特征，也就說具有一定程度的機動性。然而常用的跟蹤算法一般是在目標(biāo)可能出現(xiàn)的區(qū)域內(nèi)進行搜索，所以當(dāng)目標(biāo)機動過強，會造成跟蹤目標(biāo)丟失；遮擋：遮擋是目標(biāo)跟蹤面臨的大難點之一，主要是遮擋會引起目標(biāo)圖像信息的丟失，且這種信息丟失呈非線性，所以容易引起跟蹤失效；尺度伸縮及形變：目標(biāo)運動引起的尺度伸縮、目標(biāo)形變會使目標(biāo)在圖像中的表達產(chǎn)生非線性變化，合理處理尺度變化和形狀變化一直是視頻目標(biāo)跟蹤研究的重點；場景光照變化：目標(biāo)的圖像成像受目標(biāo)與光源的相對位置、光源本身的強弱等因素影響，然而室外天氣變幻莫測，因此在很多實際系統(tǒng)中對光照變化必須具有一定魯棒性；實時處理要求；下一小節(jié)將要對目標(biāo)跟蹤領(lǐng)域有代表性的算法進行回顧與分析，并分析經(jīng)典算法是如何處理上述難點的，為后面的研究內(nèi)容打下基礎(chǔ)。2.2目標(biāo)跟蹤算法回顧目標(biāo)跟蹤問題可以簡單的定位為：對一個目標(biāo)在一個場景內(nèi)的運動軌跡的估計。放在視頻目標(biāo)跟蹤領(lǐng)域，一個目標(biāo)跟蹤器需要在不同視頻幀中對目標(biāo)給出一致的標(biāo)記，且另外需提供目標(biāo)信息，如運動方向、所在區(qū)域、目標(biāo)形狀等。在目標(biāo)跟蹤算法中，目標(biāo)建模策略和目標(biāo)定位策略是不可能回避的問題，也是主要研究的問題。目標(biāo)建模策略是指該使用哪種目標(biāo)表觀模型以及該使用哪種圖像特征的問題，而目標(biāo)定位策略是指如何推理目標(biāo)位置等信息的過程。下面根據(jù)目標(biāo)建模所用的視覺特征和目標(biāo)定位所用的方法對跟蹤算法的研究現(xiàn)狀進行簡要介紹。2.2.1表觀模型目標(biāo)跟蹤的難點之一就是，要跟蹤的目標(biāo)種類繁多不一而足，如大海上的船、水族館的魚、道路上的車、天空中的飛機、路上的行人等等，都是在某一特定情境下的跟蹤目標(biāo)。對于不同的目標(biāo)與應(yīng)用場景，該如何進行外觀表示是個很關(guān)鍵的問題。下面介紹幾種常見用于目標(biāo)跟蹤的形狀模型：點：即用目標(biāo)中心點或者點集來表示目標(biāo)[26]。通常點表觀模型用來表示在圖像中區(qū)域較小的目標(biāo)。原始幾何形狀：可以用矩形、橢圓[6]、來表示目標(biāo)。針對該表觀模型的運動模型，通常被建模為仿射變換或者投影變換等。盡管原始幾何模型更適合表示簡單的剛體目標(biāo)，它們也經(jīng)常用來表示非剛體目標(biāo)。剪影與輪廓：輪廓表觀模型定義了目標(biāo)的邊緣。輪廓內(nèi)區(qū)域即稱為目標(biāo)的剪影。剪影與輪廓模型適合用來跟蹤復(fù)雜非剛體目標(biāo)[2]。關(guān)節(jié)模型：關(guān)節(jié)型目標(biāo)由多個部分經(jīng)關(guān)節(jié)點銜接組成。例如，人體就是一個關(guān)節(jié)型目標(biāo)，各部分為軀干、手、腳、頭等。骨架模型：目標(biāo)骨架可通過對目標(biāo)剪影進行中軸變換得到，該模型經(jīng)常被用來識別物體，且骨架模型可以對關(guān)節(jié)目標(biāo)及剛體目標(biāo)建模。形狀表示可以結(jié)合外觀表示來更好地跟蹤目標(biāo)，一些常用的外觀表示有：目標(biāo)外觀的概率密度：目標(biāo)外觀的概率密度估計可以是高斯或者是混合高斯形式，或者是非參數(shù)模型，或者是直方圖形式[6]。目標(biāo)外觀特征（顏色，紋理）的概率密度可通過目標(biāo)區(qū)域內(nèi)（橢圓或者輪廓）內(nèi)的信息計算得到。模板：模板由簡單的集合形狀或剪影推導(dǎo)得出。模板的優(yōu)點就是結(jié)合了空間信息與表觀信息。然而模板只能反映目標(biāo)在某一角度的外觀，因此目標(biāo)模板只適合跟蹤那些姿勢變化不大的目標(biāo)。主動外觀模型：主動外觀模型同時對目標(biāo)形狀和外觀建模。多視角外觀模型：這些模型從不同視角對目標(biāo)建模。要用這么多不同視角來表示目標(biāo)，需要從給定的視角空間中中選取一個子空間以減少干擾。常見子空間方法有主成分分析（PCA）、獨立成分分析（ICA）等都已經(jīng)成功應(yīng)用到目標(biāo)的外觀表示中。實際上，目標(biāo)表觀模型與跟蹤算法的聯(lián)系非常緊密，目標(biāo)表觀模型的選擇通常與應(yīng)用領(lǐng)域密切相關(guān)。跟蹤小面積目標(biāo)，點表觀模型比較合適，而對于目標(biāo)形狀近似于矩形或者橢圓形狀時，原始幾何模型則更適合。對于有復(fù)雜形狀的目標(biāo)，例如人類，則輪廓或者剪影表觀模型更合適。2.2.2圖像特征同樣，在視頻跟蹤中選擇正確的圖像特征也是重中之重。具有良好分辨性的圖像特征是分辨和分割真實目標(biāo)與環(huán)境背景的關(guān)鍵，是實現(xiàn)長期穩(wěn)定跟蹤的前提。針對不同場景，選擇合適的圖像特征異常重要。另一方面，特征選取與目標(biāo)表觀的關(guān)系是非常密切的，對于視頻跟蹤也是缺一不可的，如顏色作為常用特征結(jié)合直方圖表示形式就是目標(biāo)跟蹤算法最常使用的顏色直方圖表觀模型。在實際應(yīng)用中，現(xiàn)在許多跟蹤算法更傾向于多種特征的結(jié)合來彌補單一特征的不足。下面列舉幾個常用的圖像特征：顏色：顏色特征作為一種全局特征，對于目標(biāo)的旋轉(zhuǎn)、部分遮擋以及形變等具有一定的魯棒性，在非剛體目標(biāo)跟蹤中表現(xiàn)優(yōu)異，且因顏色特征提取簡單，易于理解和實現(xiàn)，被廣泛應(yīng)用于視頻目標(biāo)跟蹤中。目標(biāo)的顏色受兩個物理因素影響：一是光源的光譜功率分布，二是目標(biāo)表面反射特性。在圖像處理領(lǐng)域，RGB模型是顏色的常用模型，然而RGB有兩個不足：一是RGB模型并不十分符合人類的感知，二是RGB的三個維度之間有很高的相關(guān)性。相比之下，L*u*v和L*a*b模型都是感知上的均勻顏色空間，而HSV顏色空間是近似均勻顏色空間。然而它們的缺點也很明顯：對噪聲很敏感。總之，各個顏色空間各有所長，因此在視頻跟蹤領(lǐng)域，各種顏色空間都有所使用。邊緣：在圖像像素水平上，在目標(biāo)邊界處像素強度值通常會發(fā)生巨變，而邊緣檢測則是用來檢測像素巨變區(qū)域的。相比顏色特征，邊緣特征的一個重要特性就是對光照改變不那么敏感。利用目標(biāo)邊界進行跟蹤的算法通常會采用邊緣特征。最常用的邊緣檢測算法是Canny算子[27]。J.Deutscher選取邊緣作為目標(biāo)的圖像特征[28]，實現(xiàn)了可靠跟蹤。由于光照不敏感性，邊緣和光照敏感型的顏色特征天生互補，因此邊緣與顏色的融合策略研究曾是紅極一時。光流：光流是一種簡單實用的圖像運動的表達方式。它能夠提取圖像序列中圖像亮度的變化模式，將這個模式反推回到目標(biāo)成像之前，就表現(xiàn)為實物空間中目標(biāo)的運動模式。光流研究的是圖像中的像素強度隨時間的變化及相關(guān)性，并依據(jù)像素強度變化模式和實物空間物體運動之間的關(guān)系來研究實物空間中物體的運動。光流法需要對每個像素進行多次計算，計算量較大是其主要缺點，另外對光照及噪聲較為敏感等因素都限制了光流法的廣泛推廣。Denman改進了光流法并實現(xiàn)目標(biāo)跟蹤實例[29]，使得運算時間及準(zhǔn)確性都得到較大提高。紋理：紋理是人類視覺系統(tǒng)對自然界物體表面現(xiàn)象的一種感知，是人類描述和區(qū)分不同物體的重要特征之一。在圖像處理領(lǐng)域，紋理是作為一種物體表面強度變化的量化屬性，如平滑性和規(guī)律性的衡量指標(biāo)，對光照變化并不敏感。常用的紋理描述子有灰度共生矩陣（GLCM）和小波等。局部特征描述子：相比全局特征來說局部特征有其獨特優(yōu)點，即對光照、尺度、旋轉(zhuǎn)的不變性。HOG和SIFT特征是局部特征的代表。局部特征著眼于局部區(qū)域進行特征抽取，經(jīng)過組合形成相應(yīng)描述子，用于圖像匹配或跟蹤等。C.Wen-Yan利用SIFT特征點實現(xiàn)區(qū)域匹配進行目標(biāo)跟蹤[30]，HYPERLINKHuiyuZhou結(jié)合SIFT特征和meanshift直方圖特征實現(xiàn)了穩(wěn)健目標(biāo)跟蹤[31]。大多數(shù)特征選擇都是根據(jù)應(yīng)用情景具體分析得出的。近些年來，特征的融合策略及自動選擇在模式識別領(lǐng)域越來越受重視。特征融合與自動選擇有簡單易實現(xiàn)的特點，能切切實實的提高跟蹤性能，是視頻跟蹤領(lǐng)域特征選取的趨勢[32]。2.2.3跟蹤算法目標(biāo)定位策略是根據(jù)目標(biāo)的歷史信息，結(jié)合當(dāng)前觀測推斷出目標(biāo)在當(dāng)前圖像中的位置、形狀等參數(shù)。一方面，目標(biāo)表觀模型的選取與跟蹤算法的關(guān)系是極其密切的，表觀模型會影響到算法對目標(biāo)運動和形變的處理；另一方面，從目標(biāo)定位策略角度來說，最簡單的思路莫過于在場景中根據(jù)特征匹配算法進行全局搜索，尋找最優(yōu)位置點，然而其計算量之大難以滿足實時處理要求，且需要處理大量不相關(guān)信息。因此，如何合理縮小目標(biāo)的搜索范圍是極其關(guān)鍵的一步，這里大體來說有兩個研究方向：一是預(yù)測目標(biāo)下一幀可能出現(xiàn)的位置，然后在可能區(qū)域搜索最優(yōu)點，即為概率跟蹤方法；另一類是通過優(yōu)化搜索方向來減小搜索范圍，如通過梯度優(yōu)化算法找到最優(yōu)搜索方向以實現(xiàn)快速目標(biāo)定位。概率跟蹤方法中常用的有有卡爾曼濾波（KF）跟蹤方法及粒子濾波（PF）跟蹤方法，因其各自優(yōu)缺點可適用于不同的應(yīng)用場景。在系統(tǒng)模型呈線性，系統(tǒng)噪聲和觀測噪聲服從高斯分布時，KF是最優(yōu)的Bayesian濾波器，能給出最優(yōu)解[33]；而在視頻監(jiān)控領(lǐng)域，目標(biāo)的運動模型往往呈非線性，標(biāo)準(zhǔn)KF并不適合使用。將標(biāo)準(zhǔn)KF做適當(dāng)修正得到的EKF[34]和UKF[35]可以給出非線性狀態(tài)濾波的次優(yōu)解，因此在視頻監(jiān)控領(lǐng)域EKF和UKF有一定的應(yīng)用；對于系統(tǒng)模型為非線性且噪聲模型為非高斯，目標(biāo)狀態(tài)呈多模態(tài)的復(fù)雜情形，對目標(biāo)狀態(tài)的后驗概率分布采用基于蒙特卡羅思想的采樣方法來進行狀態(tài)估計，取得了很好的結(jié)果[36]。粒子濾波算法是其中的典型代表，它是基于貝葉斯濾波理論框架，并采用蒙特卡羅采樣思想的濾波算法，它用遞推的方式對量測數(shù)據(jù)進行處理，省去了對歷史量測的再處理，節(jié)省了大量的計算量和存儲空間。粒子濾波算法在視頻目標(biāo)跟蹤領(lǐng)域的魯棒性已經(jīng)得到廣泛的認(rèn)可[37]。確定性跟蹤方法的跟蹤過程是模板匹配的過程，它根據(jù)事先設(shè)定的相似性函數(shù)來度量目標(biāo)模板和當(dāng)前幀候選目標(biāo)之間的相似度，通過最優(yōu)化思想計算相似度的最大值，并認(rèn)為使相似度取最大值的候選目標(biāo)位置即為目標(biāo)在當(dāng)前幀的真實位置[38]。確定性跟蹤方法思路清晰，簡單明了，然而其不足之處正在于目標(biāo)模板與候選目標(biāo)之間的匹配過程。如果目標(biāo)在跟蹤過程中發(fā)生形變而模板并未更新，長此以往必然跟蹤失敗。目標(biāo)表觀模型的在線更新策略是近些年來的研究熱點，主要目標(biāo)是研究如何實時的將目標(biāo)表觀變化合理反映到目標(biāo)模板中，使之能處理因目標(biāo)的形變與遮擋等因素造成的信息缺失與畸變。以TLD為代表的基于在線學(xué)習(xí)的跟蹤方法在目標(biāo)表觀模型上也都融合了表觀在線更新的思想。綜上所述，相比確定性跟蹤方法，概率跟蹤方法將不確定性和不同的可能狀態(tài)相聯(lián)系，這與現(xiàn)實世界對未來事件只能進行概率預(yù)測有異曲同工之妙。也正因此，概率跟蹤方法更適用于貼近現(xiàn)實生活的視頻監(jiān)控系統(tǒng)應(yīng)用。粒子濾波方法是概率跟蹤方法中的主流算法，對非線性系統(tǒng)具有很強的魯棒性，在視頻跟蹤領(lǐng)域獲得了巨大的成功。本文后續(xù)章節(jié)均以研究粒子濾波算法為主，下一節(jié)將講述粒子濾波算法基本原理，為后續(xù)章節(jié)打下基礎(chǔ)。2.3粒子濾波算法原理2.3.1問題定義為了對目標(biāo)跟蹤這個問題進行定義[39]，考慮目標(biāo)的狀態(tài)序列x,k∈Ν：xk=fk(xk-1,其中，fk:Rnx×Rnv→Rnz是關(guān)于狀態(tài)xzk=hk(xk,ηk)其中hk:Rnx×Rnη→Rnz是關(guān)于狀態(tài)x從貝葉斯推理角度來看，跟蹤問題需要根據(jù)給出的歷史觀測值z1:k={zi,i=1,2,3…,k}，來遞歸計算狀態(tài)量xk取不同值時的可信度。因此就需要構(gòu)建后驗概率函數(shù)p(x假設(shè)k-1時刻的后驗概率函數(shù)p(xk-1|z1:k-1)是已知的。預(yù)測階段需要應(yīng)用公式（2-1）描述的系統(tǒng)模型，通過pxk-1z1:k-1公式（2-3）中，假設(shè)系統(tǒng)狀態(tài)符合一階馬爾科夫過程，則pxkx在k時刻，可獲得觀測值zkpxkz1:k=pzkxpzkz1:k-1=pz其中歸一化參數(shù)p(zk|z1:k-1)依賴相似度函數(shù)p(z（2-3）和（2-4）的循環(huán)迭代形成了最優(yōu)貝葉斯推理的基本形式。這種后驗概率密度的遞歸傳播是理論上的最優(yōu)，但實際上很多情況下得不到解析解[28]。在許多限制情況下可以得到最優(yōu)解，如卡爾曼濾波器和網(wǎng)格濾波器。卡爾曼濾波器的基礎(chǔ)假定是每一時刻的后驗概率密度都是高斯形式的。然而在許多情況下，上述假定并不成立，卡爾曼及基于網(wǎng)格的方法并不能用來估計該情況下的狀態(tài)量。2.3.2序列重要性采樣（SIS）算法序列重要性采樣（SIS）算法是一種蒙特卡羅（MC）方法，也是大多數(shù)MC濾波器的基礎(chǔ)。序列蒙特卡羅（SMC）方法有多種形式，如bootstrap濾波器，condensation濾波器，粒子濾波器等等。它利用MC方法用來實現(xiàn)遞推貝葉斯濾波器，其基本思想是利用帶權(quán)重的后驗概率分布隨機采樣得到的粒子集來表示后驗概率密度分布。當(dāng)采樣的粒子數(shù)很大時，粒子集表示的后驗概率分布就能逼近真實的后驗概率分布，而序列重要性采樣方法（SIS）能達到最優(yōu)貝葉斯估計。下面對該算法的具體細(xì)節(jié)進行推導(dǎo)。令{x0:ki,wki}i=1Ns表示后驗概率分布p(x0:kp(x0:k|z1:k)≈j=1于是我們有了對于真實后驗概率分布的一個離散加權(quán)估計p(x0:k|z1:k)。（2-6）中權(quán)重的計算則需要根據(jù)重要性采樣來定。假設(shè)p(x)是一個難以取樣的概率密度分布，但是π(x)可以更容易取樣，且p(x)∝π(x)，另外，令p(x)≈i=1Nswiδ(x-xi)wi∝π(xi)q(xi)其中wi是第i因此，如果樣本x0:ki是從一個重要性密度函數(shù)qxwi∝p(x0:ki|z1:k)上述的重要性采樣方法由于估計px0:k|z1:k需要用到所有歷史觀測zqx0:k|z1:k=q那么就可以從已有粒子集x0:k-1i~qx0:k-1|z1:k-1，結(jié)合新的狀態(tài)x0:kipx0:k|z1:k∝p將（2-10）、（2-11）代入（2-9）中，權(quán)重更新方程成為： （2-12）進一步，如果qxk|x0:k-1,z1:k=qxkxk-1wi∝wk-1ip(z并且后驗概率pxpxk|z1:k≈從（2-14）可看出當(dāng)Ns→∞時，該估計能夠逼近真實后驗概率分布pxk|發(fā)散：經(jīng)過幾代迭代之后，SIS濾波器常有發(fā)散現(xiàn)象，即只有一個粒子有大權(quán)重，其他粒子的權(quán)重微不足道。Doucet的研究表明SIS方法的重要性權(quán)重的方差只會隨著時間推移而增加，因此無法避免發(fā)散現(xiàn)象[40]。這種退化表明大量的計算都浪費在了對后驗概率估計貢獻很小的粒子上。Bergman引入一個評價退化程度的指標(biāo)Neff，其定義為[41]Neff=Ns1+Var(wk*i) 其中wk*i是“真實權(quán)重”，并不能準(zhǔn)確的計算出來，所以只能對NeffNeff=1i=1Ns(wk注意到Neff<Ns，且Neff越小表明粒子退化現(xiàn)象越嚴(yán)重。解決退化問題的一個強硬方法就是是Ns足夠大，然而這難以不符合實際情況。因此，我們需要兩種策略：一是選取好的重要性函數(shù)選取好的重要性函數(shù)來最小化的方差，就能最大化。Doucet提出能最小化的方差的最優(yōu)重要性密度函數(shù)為： （2-17）將（2-17）代入（2-13）得到：（2-18）不論從q(xk|xk-1i,zk第一種情況是，xk包含在一個有限集中。該情況下，（2-18）的積分運算可簡化為和運算。該情況的一個例子就是用來跟蹤機動目標(biāo)的跳躍馬爾科夫線性系統(tǒng)。第二種情況是后驗概率分布p(xk|xk-1i,實際上，最常采用的作為先驗的重要性密度函數(shù)是： （2-19）將（2-19）代入（2-13）得到： （2-20）將（2-19）作為重要性密度函數(shù)主要是因為其直觀性以及簡單易實現(xiàn)特性。在后續(xù)章節(jié)中會一直強調(diào)這樣一個事實，即重要性函數(shù)的選取是設(shè)計粒子濾波器的一個關(guān)鍵步驟。其選擇的好壞會直接決定濾波器的性能及其適用范圍。重采樣第二種減少粒子退化影響的方法就是當(dāng)檢測到粒子退化比較嚴(yán)重時（Neff小于某個閾值）采用重采樣算法。重采樣算法的基本思想是減少權(quán)值低的粒子而增加權(quán)值高的粒子。重采樣就是從真實后驗概率分布p(xk|z (2-21)所以就有Prxki*=xkj=wkj。重采樣之后每個粒子的權(quán)值重置到。盡管重采樣步驟可減少粒子退化帶來的副作用，但是它同樣也帶來了新問題。由于會重復(fù)采2.3.3序列重要性重采樣（SIR）上一節(jié)所述的序列重要性采樣SIS算法是目前大多數(shù)粒子濾波器的基礎(chǔ)。文獻中提出的各種版本的粒子濾波器都可看做是通用SIS算法的某種“特化”。這些特例通過選取合適的重要性采樣密度函數(shù)或者修改重采樣步驟，可以從SIS算法推導(dǎo)得出。下面我們將介紹的重要性重采樣濾波器SIR濾波器因其思想簡單計算簡便等優(yōu)點得到了廣泛的應(yīng)用，也以此為例簡要地介紹從SIS中導(dǎo)出“特化”濾波器的基本思想。Gordon提出的SIR濾波器采用的是可應(yīng)用到遞推貝葉斯濾波器的MC方法，它可以從SIS算法中導(dǎo)出[43]。使用SIR濾波器的前提條件很弱，只需要知道狀態(tài)方程和觀測函數(shù)，即式（2-1）和（2-2）中的和，且能從先驗信息及過程噪聲中采樣，似然函數(shù)能夠進行逐點計算。SIR算法通過以下兩步就能輕易的從SIS算法中導(dǎo)出：一是將先驗概率密度選取為；二是在每一時刻都進行重采樣。依上述選取的重要性密度函數(shù)所示，需要從中采樣。采樣集可根據(jù)從過程噪聲得到的采樣集，然后根據(jù)即可得到。針對上述重要性密度函數(shù)，權(quán)值更新方程為： (2-22)注意到在每一步都進行重采樣，即，所以有 （2-23） 圖2-1粒子濾波重要性重采樣算法示意圖（2-23）式給出的權(quán)值計算式在進入重采樣前需要進行歸一化。又由于SIR重要性采樣函數(shù)獨立于觀測，因此狀態(tài)空間轉(zhuǎn)移不需觀測值參與，SIR濾波器對于異常值并不敏感。進一步說，由于在每一步都進行重采樣，會導(dǎo)致粒子多樣性的快速丟失。但是，SIR濾波器因其重要性權(quán)值簡單易計算以及重要性密度函數(shù)易采樣等優(yōu)點，擁有廣泛的應(yīng)用背景。圖2-2粒子濾波算法示意圖2.3.4算法框架圖2-2顯示了粒子濾波算法的主要過程，表2-1描述了具體細(xì)節(jié)。表2-1粒子濾波算法步驟初始化：，從中采樣粒子集時，時刻目標(biāo)狀態(tài)的后驗概率分布粒子集表示為重要性采樣：Ⅰ.從建議分布及重要性分布中采樣粒子Ⅱ.根據(jù)觀測，按（2-13）計算每個粒子的權(quán)值Ⅲ.歸一化粒子權(quán)值狀態(tài)估計及輸出：依據(jù)最小均方誤差準(zhǔn)則(MMSE)，狀態(tài)估計為，算法的輸出是粒子集。重采樣粒子得到新粒子集置，返回步驟2）循環(huán)迭代2.4粒子濾波目標(biāo)跟蹤算法2.4.1運動模型目標(biāo)運動模型是目標(biāo)跟蹤理論的基礎(chǔ)，是對目標(biāo)真實運動情況的近似建模。由于視頻幀率一般在25-30幀之間，相鄰幀之間目標(biāo)運動機動性小，因此，大多數(shù)文獻中常采用一階常速模型或者一階常加速度模型作為目標(biāo)運動模型[44]。在粒子濾波跟蹤算法中，先驗的目標(biāo)運動模型的選取對應(yīng)著建議分布的選取，而粒子濾波又極依賴于建議分布的準(zhǔn)確性，也即依賴于先驗運動模型的準(zhǔn)確度。在傳統(tǒng)粒子濾波跟蹤算法中，目標(biāo)運動模型呈單一化特征，下一章中會針對粒子濾波跟蹤算法中目標(biāo)運動模型進行優(yōu)化，本章中采用一般情況下的一階常速模型來進行算法描述。視頻目標(biāo)跟蹤除目標(biāo)位置外，有時還需要提供其他參數(shù)，如形狀、大小、速度等。本文采用矩形框來標(biāo)識目標(biāo)，其中矩形中心為目標(biāo)質(zhì)心，矩形邊框為目標(biāo)輪廓的最小外接矩形。目標(biāo)狀態(tài)量x由目標(biāo)中心點(x,y)、目標(biāo)矩形框?qū)捀?w,h)、目標(biāo)在各方向的速度(x,y)共同構(gòu)成。設(shè)k時刻目標(biāo)狀態(tài)表示為xk=(x,x,y,y,w,h)，目標(biāo)觀測值表示為zk=(x,y,w,h)，則狀態(tài)轉(zhuǎn)移方程如（2-24 （2-24）2.4.2表觀模型顏色直方圖具有易于理解、計算簡便以及對遮擋具有較好的魯棒性等優(yōu)點，被廣泛用于視頻目標(biāo)跟蹤領(lǐng)域，是最為常用的表觀模型。本文采用的是Pérez提出的HSV顏色直方圖模型[45]，粒子的權(quán)重通過計算粒子所帶的顏色直方圖和目標(biāo)模板之間的巴氏距離可得。設(shè)目標(biāo)區(qū)域中心坐標(biāo)為，為目標(biāo)模型窗口中像素個數(shù)，為選定的核函數(shù)，是二維帶寬向量。目標(biāo)模型的核函數(shù)直方圖為,其分量表示如下式： （2-25）候選區(qū)域中心坐標(biāo)為，則候選模型分量表示為： （2-26）其中，是處像素量化值，是直方圖索引，是直方圖維數(shù)。目標(biāo)模型與候選目標(biāo)之間的相似度通常采用巴氏距離來表示[17]，設(shè)與分別為目標(biāo)模型與候選目標(biāo)的顏色直方圖，它們之間的相似度以及模型距離為： （2-27） （2-28）通過對目標(biāo)模型建模，我們選擇觀測似然函數(shù)： （2-29）2.4.3跟蹤算法假設(shè)建議分布，則粒子權(quán)值更新為： （2-30）由上式可以看出，粒子的權(quán)值與似然函數(shù)相關(guān)，這意味著處于目標(biāo)后驗概率分布的高似然區(qū)的粒子會有高的權(quán)值，反之依然；從另一方面將，候選目標(biāo)與目標(biāo)模型之間巴氏距離越小，表明二者相似度越高，則候選目標(biāo)的權(quán)值越大。為能長時間跟蹤目標(biāo)，需要對目標(biāo)模板進行實時更新。常用模型更新方法如下： (2-31)其中，表示目標(biāo)模型的更新速率。2.5小結(jié)本章首先介紹了視頻目標(biāo)算法的基本概念與經(jīng)典算法。緊接著介紹了粒子濾波算法的基本理論，詳細(xì)介紹了粒子濾波算法的基本思想及各個重要步驟，如蒙特卡羅方法、重要性采樣、重采樣等等，最后宏觀描述了粒子濾波算法的整個流程。最后介紹了將粒子濾波算法應(yīng)用到視頻目標(biāo)跟蹤領(lǐng)域的具體細(xì)節(jié)，包括目標(biāo)表觀模型以及目標(biāo)運動模型的建立等。本章內(nèi)容為后續(xù)研究打下了堅實的基礎(chǔ)。第三章基于粒子濾波的單目標(biāo)跟蹤算法研究3.1引言盡管近十年來粒子濾波算法在視頻跟蹤領(lǐng)域獲得了極大的成功，粒子濾波算法本身依然有許多不足，例如在保持粒子多樣性與粒子粒子退化之間的矛盾、實際情況下最優(yōu)建議分布難以實現(xiàn)而只能依靠人為先驗信息構(gòu)建的概率模型，這導(dǎo)致粒子濾波算法對先驗?zāi)Ｐ偷膹娨蕾囆?。將這些問題具體展開到視頻跟蹤領(lǐng)域，則是一些更為實際的問題，下面將進行詳述。關(guān)于視頻單目標(biāo)跟蹤的問題定義以及粒子濾波算法基礎(chǔ)可參見第二章，本章主要針對粒子濾波跟蹤算法中的不足進行詳細(xì)討論。3.1.1常用重采樣機制的不足 目標(biāo)之間的遮擋是目標(biāo)跟蹤中常出現(xiàn)的問題，也是跟蹤的大難點之一。目標(biāo)遮擋一是會引起目標(biāo)信息的損失，二是當(dāng)有相似目標(biāo)互相靠近形成遮擋、或者目標(biāo)與背景相似等情況時，此時采樣粒子加權(quán)和會呈現(xiàn)出多模態(tài)形式，導(dǎo)致目標(biāo)狀態(tài)估計出現(xiàn)較大偏差。粒子分布呈多模態(tài)形式是粒子退化的一種形式，因為有相當(dāng)一部分粒子不僅對真實狀態(tài)估計毫無貢獻，甚至還會降低精度。重采樣機制是解決粒子退化問題的有效手段。重采樣機制根據(jù)原有粒子集采樣出新的粒子集：{xti,wti}i=1不同重采樣機制有不同的采樣方法，常用的重要性重采樣SIR直接從原有粒子離散加權(quán)和中采樣，得到的新粒子集含有多個重復(fù)點，不適合對多模態(tài)情形進行處理。常規(guī)的從目標(biāo)后驗概率的近似分布中進行重采樣方法，如SIR、RPF等，都不能有效破除近似分布的多模態(tài)狀態(tài)。粒子群優(yōu)化算法從隨機解出發(fā)，通過迭代的方式進行尋優(yōu)。它可以將粒子集中處于干擾目標(biāo)處的粒子向真實目標(biāo)移動，從而減少多模態(tài)的影響，維持跟蹤的正常進行，這就是粒子群優(yōu)化重采樣（PSOR）方法。但單獨的PSOR會快速的消耗粒子多樣性，導(dǎo)致跟蹤不平穩(wěn)，因此本文提出自適應(yīng)重采樣（AdaptiveResampling）機制，即在單模態(tài)情況下，采用重要性重采樣方法，簡單有效實時性強，當(dāng)檢測到多模態(tài)狀態(tài)，則采用粒子群優(yōu)化重采樣方法，減少多模態(tài)對狀態(tài)估計的負(fù)面影響。3.1.2常用運動模型的不足除要解決好粒子貧化問題及設(shè)計良好的觀測模型外，準(zhǔn)確的運動模型是粒子濾波跟蹤算法所需的第三個必要因素。目標(biāo)的運動模型在系統(tǒng)模型中表現(xiàn)為狀態(tài)轉(zhuǎn)移方程，在粒子濾波跟蹤算法中表現(xiàn)為建議分布。粒子濾波算法中的最優(yōu)建議