非常規(guī)突發(fā)事件下恐慌人群視頻分析視頻分析子課題小組

ISITUESTC報(bào)告大綱簡單的問題綜述研究內(nèi)容研究現(xiàn)狀現(xiàn)有方法的不足研究思路現(xiàn)有的工作未來的工作計(jì)劃人類動(dòng)力學(xué)與計(jì)算機(jī)視覺總結(jié)與總體規(guī)劃課題面臨的簡單問題綜述所面臨的問題：

1.當(dāng)人群密度很大時(shí)，人與人之間的遮擋成為視頻分析巨大的挑戰(zhàn)。2.視頻監(jiān)控現(xiàn)場的環(huán)境造成的諸如光線，煙霧的問題是棘手的問題。3.檢測目標(biāo)（人）在移動(dòng)過程中造成的局部扭曲是魯棒性研究的難題。

研究內(nèi)容人群中單個(gè)目標(biāo)的跟蹤問題人群流的流運(yùn)動(dòng)分割問題惡劣天氣下的運(yùn)動(dòng)檢測問題人群恐慌行為識(shí)別理解問題

人群中單個(gè)目標(biāo)的跟蹤問題

國內(nèi)外研究現(xiàn)狀：

S.AliandM.Shah,“Floorfieldsfortrackinginhighdensitycrowdscenes,”inProc.EuropeanConfferenceonComputerVision,(ECCV)2008,pp.II:1–14.M.Rodriguez,S.Ali,andT.Kanade,“Trackinginunstructuredcrowdedscenes,”inProc.IEEEInternationalConfferenceonComputerVision(ICCV),Kyoto,Japan,2009,pp.1389–1396.Yang,M.(2008).Context-awareandattentionalvisualobjecttracking.Unpublisheddoctoraldissertation,NorthwesternUniversity,USA.Y.WuandJ.Fan,"ContextualFlow,"Proc.IEEEConf.ComputerVisionandPatternRecognition(CVPR),2009.

現(xiàn)有方法的不足：

1.在檢測開始時(shí)需要用手動(dòng)標(biāo)注初始跟蹤目標(biāo)，在實(shí)際應(yīng)用中適用。2.個(gè)體之間的的遮擋問題嚴(yán)重影響了追蹤的穩(wěn)定性與精確度。3.對惡劣天氣、場景環(huán)境敏感。4.計(jì)算復(fù)雜度大。人群中單個(gè)目標(biāo)的跟蹤問題

研究思路：

研究思路：常用算法：運(yùn)動(dòng)檢測：OpticalFlow、幀差發(fā)、ContextualFlow、目標(biāo)追蹤（即匹配問題）：MeanShift、ParticleFilter運(yùn)動(dòng)目標(biāo)檢測目標(biāo)追蹤人群中單個(gè)目標(biāo)的跟蹤問題利用幀差法獲得運(yùn)動(dòng)區(qū)域后可大大大大減少計(jì)算量。contextualflow在幀差法的基礎(chǔ)上可以匹配前后幀的運(yùn)動(dòng)目標(biāo)，克服遮擋、光照等因素的影響。幀差法檢測運(yùn)動(dòng)區(qū)域Contextualflow跟蹤運(yùn)動(dòng)目標(biāo)幀差法檢測出的運(yùn)動(dòng)區(qū)域?yàn)榘咨?，黑色區(qū)域則代表不運(yùn)動(dòng)的場景，在下一步contextualflow計(jì)算時(shí)可忽略。

此問題解決方案：

人群中單個(gè)目標(biāo)的跟蹤問題思想：任一個(gè)像素都不是孤立的，也就是說每個(gè)像素與他周圍的點(diǎn)（context）是相關(guān)。比如：要想匹配兩張人臉上鼻尖是非常困難的，但是要匹配整個(gè)鼻子或整張臉卻可以達(dá)到很少誤判的效果圓形區(qū)域Ω(x)表示像素點(diǎn)X的context域。不同的顏色代表不同的特征。Contextualflow限制方程：Contextualflow人群中單個(gè)目標(biāo)的跟蹤問題Contextualflow實(shí)驗(yàn)Contextualflow的優(yōu)勢：(1).相對傳統(tǒng)的運(yùn)動(dòng)匹配算法，它對圖像中的局部扭曲、光照變化和遮擋是不敏感的。DeformationLightingOcclusion人群中單個(gè)目標(biāo)的跟蹤問題(2).Contextualflow具有抗旋轉(zhuǎn)變換和抗尺度變化的表現(xiàn)(3).在人群密集的情況下，人與人之間的局部遮擋與扭曲加上尺度的變化頻繁給檢測帶來了巨大挑戰(zhàn)，以上contextualflow優(yōu)異特性是研究追蹤問題提供了新思路。

Rotation：Scaling：人群中單個(gè)目標(biāo)的跟蹤問題自己的實(shí)驗(yàn)：人群中單個(gè)目標(biāo)的跟蹤問題未來的工作計(jì)劃：(1).contextualflow的算法優(yōu)化。(2).采集包含不利因素的數(shù)據(jù)集，比如遮擋，尺度變化等視頻。(3).學(xué)期末完成論文一篇。人群中單個(gè)目標(biāo)的跟蹤問題

人群流的流運(yùn)動(dòng)分割問題

國內(nèi)外研究現(xiàn)狀:T.Zhao,B.Wu:“SegmentationandTrackingofMultipleHumansinCrowdedEnvironments”.IEEETransactonsonPatternAnalysisandMachineIntelligence(PAMI),VOL.30,NO.7,July2008S.AliandM.Shah:”ALagrangianParticleDynamicsApproachforCrowdFlowSimulationandStabilityAnalysis.”InProceedingsofComputerVisionandPatternRecognition,(CVPR)2007.

T.Zhao,R.Nevatia:“Bayesianhumansegmentationincroweded”situations,in:ComputerVisionandPatternRecognition(CVPR),Madison,Wisconsin,June16–22,2003.S.Wu,

Z.WYu,H.S.Wong:“AShapeDerivativeBasedApproachforCrowdFlowSegmentation”.

AsianConferenceonComputerVision(ACCV).(1)2009:93-102.F.Jiang,Y.Wu,

A.K.Katsaggelos:”Detectingcontextualanomaliesofcrowdmotioninsurveillancevideo”.

InternationalConferenceonImageProccessing(ICIP)1117-1120現(xiàn)有方法的問題：針對本課題要解決的問題——大規(guī)模人群流的運(yùn)動(dòng)分割?，F(xiàn)有的方法有以下問題尚未解決：基于目標(biāo)（人）的分割在人與人遮擋嚴(yán)重的時(shí)候幾乎失效。當(dāng)場景中其他物體流（車流）時(shí)，需要重新訓(xùn)練模型。（1）基于目標(biāo)（人）的分割：人群流的流運(yùn)動(dòng)分割問題基于流（人群流或交通流等）的全局分割：(1).計(jì)算量很大，運(yùn)動(dòng)檢測部分與流分割部分成兩部分計(jì)算，根本無法達(dá)到實(shí)時(shí)。(2).全局分割檢測人群穩(wěn)定性有一定的局限性，因?yàn)榫植咳巳簲_動(dòng)有時(shí)是事態(tài)發(fā)生的關(guān)鍵。(3).若攝像頭位置不在場景頂部（至上而下），檢測結(jié)果不穩(wěn)定。

攝像機(jī)正對人群不顯著的檢測結(jié)果人群流的流運(yùn)動(dòng)分割問題研究思路：視頻序列相鄰幀運(yùn)動(dòng)域ParticleGridFTLE+LCS運(yùn)動(dòng)域分割CUDA并行計(jì)算：最大可能的放大CPU與GPU的協(xié)同工作效率人群流的流運(yùn)動(dòng)分割問題CUDA：ComputeUnifiedDeviceArchitecture

現(xiàn)有的工作：

Opticalflow（運(yùn)動(dòng)檢測）光流法是運(yùn)動(dòng)檢測的經(jīng)典算法，在本課題中可以用在運(yùn)動(dòng)目標(biāo)識(shí)別與運(yùn)動(dòng)分割中，作為場景中運(yùn)動(dòng)域檢測算法。人群流的流運(yùn)動(dòng)分割問題未來的工作規(guī)劃：待解決的問題：(1)運(yùn)動(dòng)域檢測速度過慢(2)粒子流邊緣分割精確性問題(3)CUDA并行計(jì)算應(yīng)用于粒子流（流體）計(jì)算工作計(jì)劃：(1)在本學(xué)期結(jié)束前給出運(yùn)動(dòng)域檢測速度過慢的解決方案(2)經(jīng)典流體力學(xué)的研究(3)學(xué)期結(jié)束前

把CUDA并行計(jì)算移植本研究框架中

人群流的流運(yùn)動(dòng)分割問題國內(nèi)外研究現(xiàn)狀：

Jean-PhilippeTarel,NicolasHauti`ere,“FastVisibilityRestorationfromaSingleColororGrayLevelImage,”InternationalConferenceonComputerVision,2009.S.G.NarasimhanandS.K.Nayar,“VisionandtheAtmosphere,”InternationalJournalofComputerVision,48:233–254,2002.K.He,J.Sun,andX.Tang,“Singleimagehazeremovalusingdarkchannelprior,”IEEEConferenceonComputerVisionandPatternRecognition,pp.1957–1963,2009.

L.Schaul,C.Fredembach,andS.S¨usstrunk,“Colorimagedehazingusingthenear-infrared,”inProc.IEEEInt.Conf.onImageProc.,Cairo,Egypt,2009.N.Hautiere,J.Tarel,andD.Aubert,“Towardfog-freeinvechiclevisionsystemsthroughcontrastrestoration,”IEEEConferenceonComputerVisionandPatternRecognition,2007.

惡劣天氣下運(yùn)動(dòng)域檢測問題

檢測場景中出現(xiàn)大霧，大雨，塵土等情況時(shí)會(huì)嚴(yán)重影響到視頻檢測過程中相關(guān)信息的提取精度，因此對于提高后續(xù)算法的魯棒性意義重大。帶有少量沙層的場景帶有中等程度氣霧的場景問題的提出：

惡劣天氣下運(yùn)動(dòng)域檢測問題研究思路大霧、濃煙條件下的恐慌場景去霧算法及其優(yōu)化（邊緣噪音等）個(gè)體追蹤、人群流分割算法及場景理解算法

惡劣天氣下運(yùn)動(dòng)域檢測問題相關(guān)工作現(xiàn)狀：

“SingleImageHazeRemovalUsingDarkChannelPrior”KaimingHe,JianSun,XiaoouTang,

IEEETransactionsonPatternAnalysisandMachineIntelligence,PatternAnalysisandMachineIntelligence,31Aug.2010.

清晰化前清晰化后

惡劣天氣下運(yùn)動(dòng)域檢測問題本方法待解決的問題：1.天空顏色還原容易失真（人群檢測中不是重點(diǎn)）2.不適用于濃霧環(huán)境3.出現(xiàn)邊緣噪聲現(xiàn)象去霧前去霧后傍晚天空還原成藍(lán)色

惡劣天氣下運(yùn)動(dòng)域檢測問題1.天空顏色還原容易失真（人群檢測中不是重點(diǎn)）2.不適用于濃霧環(huán)境（濃霧環(huán)境色彩容易失真）3.出現(xiàn)邊緣噪聲現(xiàn)象去霧前去霧后色調(diào)失真邊緣噪聲嚴(yán)重

惡劣天氣下運(yùn)動(dòng)域檢測問題未來工作計(jì)劃：1.去邊緣噪聲優(yōu)化算法，降低時(shí)間復(fù)雜度，使其適應(yīng)實(shí)時(shí)系統(tǒng)2.研究使用煙霧濃度范圍，針對不同的介質(zhì)影響程度為模型適應(yīng)性設(shè)定不同參數(shù)3.研究天空大地等人群所處環(huán)境的色彩還原度的提高或者避免其對人群信息的干擾

惡劣天氣下運(yùn)動(dòng)域檢測問題目前通用的理論框架：

恐慌人群行為識(shí)別理解問題

1.基于像素2.基于目標(biāo)對象3.全局邏輯BayesNet.HMM.…SVM.NearestNeighbo