GaoLinSichuanUniversity,Spring2010智能視頻監(jiān)控及其相關(guān)技術(shù)主要內(nèi)容智能視頻監(jiān)視系統(tǒng)目標(biāo)檢測(cè)陰影去除目標(biāo)跟蹤 視頻監(jiān)控在銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域的安全防范和現(xiàn)場(chǎng)記錄報(bào)警等方面有著非常廣泛的應(yīng)用。監(jiān)控技術(shù)發(fā)展的三個(gè)階段統(tǒng)計(jì)數(shù)據(jù)顯示，英國(guó)目前有400多萬(wàn)個(gè)攝像機(jī)，而倫敦的居民平均每個(gè)人每天要被攝像機(jī)拍攝300次。公安部主導(dǎo)的“平安城市”計(jì)劃，促進(jìn)了視頻監(jiān)控市場(chǎng)的迅速增長(zhǎng)，全國(guó)約有200萬(wàn)個(gè)監(jiān)控?cái)z像機(jī)用于城市監(jiān)控與報(bào)警系統(tǒng)。青藏鐵路全線1300路通道采用視頻分析，對(duì)全線鐵路進(jìn)行入侵保護(hù)。1vs11vsN智能視頻監(jiān)控系統(tǒng)是利用計(jì)算機(jī)視覺(jué)技術(shù)，在不需要人為干預(yù)的情況下，對(duì)視頻信號(hào)進(jìn)行處理、分析和理解，并對(duì)視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)具有像人一樣的智能。應(yīng)用實(shí)例智能視頻的應(yīng)用大體上可以分為安全相關(guān)應(yīng)用和非安全相關(guān)應(yīng)用兩大類。安全類相關(guān)的應(yīng)用是目前市場(chǎng)上存在的主要智能視頻應(yīng)用，特別是在911恐怖襲擊、馬德里爆炸案以及倫敦爆炸案發(fā)生之后，市場(chǎng)上對(duì)于此類應(yīng)用的需求不斷增長(zhǎng)。這些應(yīng)用主要作用是協(xié)助政府或其他機(jī)構(gòu)的安全部門(mén)提高室外大地域公共環(huán)境的安全防護(hù)。此類應(yīng)用主要包括：高級(jí)視頻移動(dòng)偵測(cè)、物體追蹤、人物面部識(shí)別、車(chē)輛識(shí)別和非法滯留等。

除了安全相關(guān)類應(yīng)用之外，智能視頻還可以應(yīng)用到一些非安全相關(guān)類的應(yīng)用當(dāng)中。這些應(yīng)用主要面向零售、服務(wù)等行業(yè)，可以被看作管理和服務(wù)的輔助工具，用以提高服務(wù)水平和營(yíng)業(yè)額。此類應(yīng)用主要包括：人數(shù)統(tǒng)計(jì)、人群控制、注意力控制和交通流量控制等。安防1、絆線檢測(cè)

針對(duì)人、車(chē)通過(guò)特定運(yùn)動(dòng)方向絆線的監(jiān)控；其應(yīng)用如：警戒線、單向閘門(mén)流向、柵欄攀爬…等；2、警戒區(qū)域

針對(duì)人、車(chē)進(jìn)入或離開(kāi)特定管制區(qū)域的監(jiān)控；其應(yīng)用例：停機(jī)坪、碼頭車(chē)站的工作區(qū)域、營(yíng)業(yè)場(chǎng)所后臺(tái)…等。3、閑逛

針對(duì)不合理滯留過(guò)久的人、車(chē)發(fā)出警示訊息，以提醒安管保全人員加以盤(pán)察注意。4、偷竊

針對(duì)特定重要資產(chǎn)的保全；例如：貴重的掛畫(huà)或擺飾、裝備器材、場(chǎng)站內(nèi)的車(chē)輛或機(jī)具…等。5、遺留物

針對(duì)可能的爆裂物、易燃物、生化污染物…的惡意棄置。6、群體事件

針對(duì)人群聚集車(chē)牌識(shí)別車(chē)速測(cè)量流量統(tǒng)計(jì)逆行告警智能交通監(jiān)控對(duì)設(shè)定區(qū)域的移動(dòng)物體（通過(guò)預(yù)先設(shè)置的大小形狀來(lái)進(jìn)行過(guò)濾）進(jìn)行動(dòng)態(tài)跟蹤?？蓱?yīng)用于監(jiān)控物理周界和虛擬周界的區(qū)域，監(jiān)視是否有目標(biāo)進(jìn)入或預(yù)進(jìn)入，可用于監(jiān)控邊界、監(jiān)獄、機(jī)場(chǎng)、化學(xué)基地等周界移動(dòng)物體監(jiān)視智能交通監(jiān)控IVS研究現(xiàn)狀

1997年，美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了以卡內(nèi)基梅隆大學(xué)牽頭，麻省理工學(xué)院等高校參與的視覺(jué)監(jiān)控重大項(xiàng)目VSAM，主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景監(jiān)控的自動(dòng)視頻理解技術(shù)美國(guó)康奈爾大學(xué)計(jì)算機(jī)系設(shè)計(jì)了一套航拍視頻檢測(cè)與持續(xù)跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Χ噙\(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)長(zhǎng)時(shí)間的準(zhǔn)確跟蹤，即使發(fā)生短時(shí)間內(nèi)目標(biāo)被遮擋或目標(biāo)時(shí)靜時(shí)動(dòng)的情況2005年，美國(guó)中央佛羅里達(dá)大學(xué)計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室開(kāi)發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無(wú)人機(jī)低空航拍視頻圖像的目標(biāo)檢測(cè)與跟蹤處理2003年,由歐盟發(fā)起，法國(guó)的SILOGIC公司和英國(guó)的雷丁大學(xué)等十幾家機(jī)構(gòu)參與研究的AVITRACK項(xiàng)目，該系統(tǒng)主要針對(duì)機(jī)場(chǎng)停機(jī)坪周?chē)沫h(huán)境，檢測(cè)和跟蹤停機(jī)坪中出現(xiàn)的飛機(jī)、汽車(chē)以及行人等，其目的是為機(jī)場(chǎng)管理者所關(guān)心的機(jī)場(chǎng)流量及調(diào)度形成一個(gè)強(qiáng)有力的決策輔助工具，以便提高機(jī)場(chǎng)的利用率同時(shí)對(duì)機(jī)場(chǎng)的安全提供一個(gè)有力的保障。IEEEConferenceonComputerVisionandPatternRecognition智能視頻監(jiān)視系統(tǒng)的基本框架低層視覺(jué)處理中層視覺(jué)處理高層視覺(jué)處理

目標(biāo)檢測(cè)將輸入的視頻圖像中變化劇烈的圖像區(qū)域從圖像背景中分離出來(lái)，它處于視頻監(jiān)控技術(shù)的前端，是各種后續(xù)處理的基礎(chǔ)。目前，算法主要包括背景減法、相鄰幀差法和光流法等。

目標(biāo)跟蹤依據(jù)目標(biāo)及其所在的環(huán)境，選擇能唯一表示目標(biāo)的特征，并在后續(xù)幀中搜索與該特征最匹配的目標(biāo)位置。常用的跟蹤算法包括：基于特征的跟蹤算法，基于3D模型的跟蹤，基于主動(dòng)輪廓模型的跟蹤以及基于運(yùn)動(dòng)估計(jì)的跟蹤等。

目標(biāo)分類利用一些圖像特征值實(shí)現(xiàn)目標(biāo)類型（一般是人和車(chē)）的甄別。用于目標(biāo)分類的特征有空間特征和時(shí)間特征兩種，空間特征包括目標(biāo)輪廓、目標(biāo)尺寸、目標(biāo)紋理等，時(shí)間特征包括目標(biāo)大小的變化、運(yùn)動(dòng)的速度等。

行為理解指在對(duì)序列進(jìn)行低級(jí)處理的基礎(chǔ)上，對(duì)場(chǎng)景中的事件進(jìn)行分析和識(shí)別，用自然語(yǔ)言等加以描述。根據(jù)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行行為分析。

主要內(nèi)容智能視頻監(jiān)視系統(tǒng)目標(biāo)檢測(cè)陰影去除目標(biāo)跟蹤視頻運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)檢測(cè)的目的是從視頻圖像中將運(yùn)動(dòng)目標(biāo)與背景分割出來(lái)，由于光照變化、背景物運(yùn)動(dòng)干擾、運(yùn)動(dòng)目標(biāo)陰影以及攝像機(jī)運(yùn)動(dòng)等干擾因素的存在，為運(yùn)動(dòng)目標(biāo)的正確檢測(cè)帶來(lái)了巨大挑戰(zhàn)。

Goalsofmotiondetection

IdentifymovingobjectsDetectionofunusualactivitypatternsComputingtrajectoriesofmovingobjectsApplicationsofmotiondetection

Indoor/outdoorsecurityRealtimecrimedetectionTrafficmonitoringManyintelligentvideoanalysissystemsarebasedonmotiondetection.典型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有以下三種算法：幀間差分法光流法背景差分法幀間差分法將連續(xù)的兩幀或三幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值相減，當(dāng)環(huán)境亮度變化不大時(shí)，如果對(duì)應(yīng)像素值相差很小，則認(rèn)為此處是靜止的，標(biāo)記為背景；如果對(duì)應(yīng)像素值相差較大，則認(rèn)為這是由目標(biāo)運(yùn)動(dòng)引起的，該處像素標(biāo)記為運(yùn)動(dòng)目標(biāo)。

第n-1幀第n幀優(yōu)點(diǎn)：算法實(shí)現(xiàn)復(fù)雜度低；檢測(cè)速度快，易于實(shí)現(xiàn)實(shí)時(shí)監(jiān)視；由于相鄰幀的時(shí)間間隔較短，因此該方法抗干擾能力較強(qiáng)，對(duì)環(huán)境有較好的適應(yīng)性。缺點(diǎn)：該方法檢測(cè)出的運(yùn)動(dòng)區(qū)域包含了相鄰兩幀中所有存在變化的區(qū)域，因此提取出的運(yùn)動(dòng)目標(biāo)往往大于實(shí)際目標(biāo)，不能夠準(zhǔn)確反映運(yùn)動(dòng)目標(biāo)的真實(shí)形狀。當(dāng)運(yùn)動(dòng)目標(biāo)存在大范圍的灰度相似區(qū)域時(shí)，會(huì)產(chǎn)生明顯的“孔洞”現(xiàn)象，以至于運(yùn)動(dòng)目標(biāo)提取不完整。Itevidentlyworksonlyinparticularconditionsofobjects’speedandframerateVerysensitivetothethresholdTh光流法光流法是通過(guò)計(jì)算圖像的光流場(chǎng)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)的一種方法。所謂光流場(chǎng)是指空間運(yùn)動(dòng)物體被觀測(cè)表面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng),一個(gè)二維的速度場(chǎng)，包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息。

光流可以看作帶有灰度的像素點(diǎn)在圖像平面運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng)。假設(shè)E(x,y,t)為(x,y)點(diǎn)在時(shí)刻t的亮度，設(shè)t+dt時(shí)刻該點(diǎn)運(yùn)動(dòng)到(x+dx,y+dy)點(diǎn)，它的亮度為E(x+dx,y+dy,t+dt)。我們認(rèn)為，由于對(duì)應(yīng)同一個(gè)點(diǎn)在短時(shí)內(nèi)它的亮度值不變，所以E(x,y,t)=E(x+dx,y+dy,t+dt)

——光流約束方程將上式右邊做泰勒展開(kāi)，并令dt->0，則得到：Exu+Eyv+Et

=0其中：Ex=dE/dx

Ey=dE/dy

Et=dE/dt

u=dx/dt

v=dy/dt。上面的Ex,Ey,Et的計(jì)算都很簡(jiǎn)單，用離散的差分代替導(dǎo)數(shù)就可以了。光流法的主要任務(wù)就是通過(guò)求解光流約束方程求出u,v。

上述只有一個(gè)方程，有兩個(gè)未知參數(shù)，所以這是個(gè)病態(tài)問(wèn)題，要求解只有加入其他的約束方程以聯(lián)立求解。針對(duì)攝像機(jī)固定的這一特定情況，問(wèn)題可以大大簡(jiǎn)化。

在攝像機(jī)固定的情形下，運(yùn)動(dòng)物體的檢測(cè)其實(shí)就是分離前景和背景的問(wèn)題。我們知道對(duì)于背景，理想情況下，其光流應(yīng)當(dāng)為0，只有前景才有光流。所以我們并不要求通過(guò)求解光流約束方程求出u,v。我么只要求出亮度梯度方向的速率就可以了，即求出sqrt(u*u+v*v)而由光流約束方程可以很容易求到梯度方向的光流速率為

V=abs(Et/sqrt(Ex*Ex+Ey*Ey))這樣我們?cè)O(shè)定一個(gè)閾值TV(x,y)>T則(x,y)是前景，反之是背景背景差分法利用建立的背景模型來(lái)生成背景圖像的像素值，然后將當(dāng)前幀與背景圖像求差，差值較大的像素區(qū)域被認(rèn)為是運(yùn)動(dòng)目標(biāo)區(qū)域，而差值較小的像素區(qū)域被認(rèn)為是背景區(qū)域。

背景圖像第t幀差分后二值化Firstconsequentproblem:howtoautomaticallyobtaintheimageofthescene’sstaticbackground?requirements

Thebackgroundimageisnotfixedbutmustadaptto:Illuminationchanges ?gradual?sudden(suchasclouds)Motionchanges?cameraoscillations?high-frequenciesbackgroundobjects(suchastreebranches,seawaves,andsimilar)Changesinthebackgroundgeometry?parkedcars,...統(tǒng)計(jì)背景模型：?jiǎn)胃咚鼓Ｐ突旌细咚鼓Ｐ头菂?shù)模型單高斯模型：假定每個(gè)像素特征在時(shí)間域上的分 布可以由單個(gè)高斯分布來(lái)描述假定每個(gè)像素點(diǎn)的顏色特征在時(shí)間域上的分布可以由單個(gè)高斯分布來(lái)描述，其中

，，分別為時(shí)刻像素顏色值，高斯分布的均值和方差。其中a為學(xué)習(xí)率，a取值范圍是[0,1]，可以通過(guò)取不同的a值調(diào)整背景的更新速度。混合高斯模型(GMM)：為了描述分布形式更為復(fù) 雜的背景，有必要應(yīng)用到多模態(tài)的分布形式。

GMM模型定義GaussianComponentWeightsofeachcomponentUpdatingWeightsForthematchedcomponentk,UpdatingMeanandSigmaMatchingIndicator,within2.5SDGMM模型更新GMM模型估計(jì)OrderingGaussiancomponentsbythevalueofThefirstBdistributionsarechoseasthebackgroundmodelT:ameasureoftheminimumportionofthedatathatshouldbeaccountedforbythebackground.混合高斯模型由于對(duì)每個(gè)象素，都建立了多個(gè)高斯分布，因此對(duì)于象素的擾動(dòng)，具有較強(qiáng)的適應(yīng)性，能夠造成較好地排除噪聲的干擾，具有較好的魯棒性和普通的背景減除法相比，是自適應(yīng)前景檢測(cè)閾值。沒(méi)有普通背景減除法的拖尾現(xiàn)象。非參數(shù)模型：不需對(duì)背景模型做任何假設(shè)，直接利用 先前獲得的像素值估計(jì)當(dāng)前像素為背景 的概率.常用的非參數(shù)密度估計(jì)法有直方圖估計(jì)法，Parzen的核估計(jì)法，等等背景差分法存在的問(wèn)題不適應(yīng)光照突變環(huán)境可能檢測(cè)出虛假目標(biāo),即“鬼影”光照突變的類型和特點(diǎn)光照突變分為環(huán)境光照強(qiáng)度發(fā)生突然變化和攝像機(jī)增益系數(shù)發(fā)生改變兩種，如當(dāng)視場(chǎng)內(nèi)突然經(jīng)過(guò)面積過(guò)大的目標(biāo)時(shí)，攝像機(jī)會(huì)改變?cè)鲆妫m然環(huán)境光照可能沒(méi)變，但攝像機(jī)曝光強(qiáng)度改變，其效果和光照突變時(shí)一樣。光照突變通常是全局的，如室內(nèi)突然開(kāi)燈和攝像機(jī)的自動(dòng)增益調(diào)整。光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)的依據(jù)根據(jù)朗伯反射定律，圖象亮度和入射光照強(qiáng)度成正比，同時(shí)由于光照突變的全局性，因此當(dāng)前幀圖象中所有背景象素點(diǎn)亮度和對(duì)應(yīng)高斯背景亮度之比值為一個(gè)常數(shù)?？紤]到朗伯防射定律的近似性和光照突變?nèi)旨僭O(shè)的局限性，當(dāng)前幀所有背景象素點(diǎn)和對(duì)應(yīng)高斯背景亮度之比分布在一個(gè)較窄范圍之內(nèi)。光照突變時(shí)亮度比值的分布光照突變前光照突變后光照突變前后當(dāng)前幀背景象素點(diǎn)和高斯背景亮度比值的直方圖其中:式中，c為常數(shù)100光照突變判定統(tǒng)計(jì)當(dāng)前幀中象素點(diǎn)和對(duì)應(yīng)高斯背景亮度比值的直方圖，為了減少前景象素點(diǎn)的干擾，對(duì)于上一幀中檢測(cè)為前景目標(biāo)的區(qū)域不參與統(tǒng)計(jì)。計(jì)算ξ在區(qū)間[0,c)和區(qū)間(c,ξMax]上的概率差異，如果差異過(guò)大則判定光照發(fā)生了突變其中光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)1).尋找直方圖峰位ξn2).分別計(jì)算峰位左右兩邊的方差光照突變時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)3).前景象素判定準(zhǔn)則:4).根據(jù)檢測(cè)到的結(jié)果修正高斯模型光照突變算法效果(a)原始視頻(b)傳統(tǒng)混合高斯模型檢測(cè)的前景(c)本文方法檢測(cè)的前景鬼影消除鬼影是指檢測(cè)出的虛假目標(biāo)，通常是由于高斯背景模型建立需要一個(gè)學(xué)習(xí)過(guò)程，當(dāng)原來(lái)靜止不動(dòng)的物體突然離開(kāi)后，即會(huì)在原來(lái)所在區(qū)域留下“鬼影”。由于幀間差分最直觀地反映了物體的運(yùn)動(dòng)，雖然幀間差分檢測(cè)的目標(biāo)區(qū)域不夠準(zhǔn)確和完整，但可以作為一個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)的輔助依據(jù)。鬼影消除算法步驟1).計(jì)算幀間差，通過(guò)取閾值得到幀間差檢測(cè)的前景象圖象掩碼。2).提取混合高斯模型檢測(cè)結(jié)果中的連通體，對(duì)于每個(gè)連通體，統(tǒng)計(jì)連通區(qū)域內(nèi)對(duì)應(yīng)幀差檢測(cè)結(jié)果為前景象素的數(shù)目。3).把統(tǒng)計(jì)到的幀差前景象素?cái)?shù)目和連通體面積相除，如果比值小于一定閾值，則判定為鬼影。主要內(nèi)容智能視頻監(jiān)視系統(tǒng)目標(biāo)檢測(cè)陰影去除目標(biāo)跟蹤多特征聯(lián)合陰影檢測(cè)陰影物理模型多特征陰影檢測(cè)實(shí)驗(yàn)分析陰影物理模型

陰影是由于光源被遮擋所產(chǎn)生的，因此，它們的亮度和顏色將會(huì)隨著它們所投影的表面的改變而改變。采用信號(hào)處理理論的陰影處理系統(tǒng)，其陰影點(diǎn)的特征可以如下描述：

陰影物理模型陰影物理模型陰影檢測(cè)對(duì)環(huán)境提出了三個(gè)假定：假定3.1:強(qiáng)光源。假定3.2:靜態(tài)場(chǎng)景、攝像機(jī)固定。假定3.3:陰影場(chǎng)景是近似平面，如路面。多特征聯(lián)合陰影檢測(cè)方法

HSV顏色空間陰影特性陰影紋理特性鄰域光照比值不變性融合顏色和紋理陰影檢測(cè)HSV顏色空間陰影特性

(1)目標(biāo)投射陰影并不會(huì)很明顯地改變背景區(qū)域的色度。(2)實(shí)際的前景目標(biāo)點(diǎn)(不包含陰影點(diǎn))會(huì)導(dǎo)致相應(yīng)的像素點(diǎn)在飽和度上發(fā)生較大的變化，而陰影則不會(huì)使背景點(diǎn)的飽和度有明顯變化。(3)由于陰影覆蓋區(qū)域的亮度值比相應(yīng)的背景區(qū)域的亮度值要低。HSV顏色空間陰影特性

陰影LBP紋理特性

LocalBinaryPattern（LBP）是基于圖像空間域局部關(guān)系的圖像紋理描述算子，該算子通過(guò)對(duì)像素與相鄰?fù)乳g距上的鄰域像素的灰度變化二值化，形成對(duì)該像素所在位置的紋理變化模式的描述。陰影LBP紋理特性

LBP具如下的優(yōu)點(diǎn)：1）作為一個(gè)二值差分算子，ＬＢＰ能夠可靠地描述灰度變化；2）LBP能夠減弱陰影的影響，因?yàn)殛幱俺３Ｖ粫?huì)導(dǎo)致亮度變化，而紋理特征仍然不變；3）LBP計(jì)算簡(jiǎn)單，速度快。但是LBP算子受噪聲影響比較大，比較小的噪聲就可能導(dǎo)致模式判定錯(cuò)誤。為了克服噪聲的影響，我們對(duì)算子進(jìn)行改進(jìn)：陰影LBP紋理特性

對(duì)于淺陰影區(qū)域，像素及它的鄰域同等程度的變暗，因此對(duì)于陰影覆蓋前后它的LBP值是相同的；對(duì)于重陰影區(qū)域，像素及它的鄰域像素值可以看作是相等，因此它的LBP值為0。鄰域光照比值不變性圖像中的相鄰點(diǎn)所在的3D對(duì)應(yīng)位置的光照基本相同，運(yùn)動(dòng)陰影區(qū)域的像素點(diǎn)的反射率和沒(méi)有陰影時(shí)的反射率是相等的，這樣，背景中的鄰域亮度比值和當(dāng)前幀的鄰域亮度比值具有不變性的特點(diǎn)。融合顏色和紋理陰影檢測(cè)通過(guò)對(duì)比當(dāng)前幀和背景圖片中相應(yīng)像素點(diǎn)的LBP紋理值來(lái)檢測(cè)陰影點(diǎn)對(duì)①得到的候選陰影點(diǎn)根據(jù)陰影的HSV屬性排除非陰影點(diǎn)在亮度比值空間對(duì)②得到的陰影點(diǎn)進(jìn)行區(qū)域生長(zhǎng)實(shí)驗(yàn)分析

實(shí)驗(yàn)分析

主要內(nèi)容智能視頻監(jiān)視系統(tǒng)目標(biāo)檢測(cè)陰影去除目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤視頻目標(biāo)跟蹤視頻目標(biāo)跟蹤目的就是對(duì)圖像序列中的目標(biāo)進(jìn)行分析，計(jì)算出運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度以及運(yùn)動(dòng)軌跡等，從而進(jìn)行進(jìn)一步處理和分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的視覺(jué)任務(wù)視頻跟蹤的難點(diǎn)視頻目標(biāo)跟蹤問(wèn)題的解決思路視頻目標(biāo)跟蹤方法的分類魯棒性:1、被跟蹤運(yùn)動(dòng)目標(biāo)的姿態(tài)變化2、運(yùn)動(dòng)目標(biāo)所處環(huán)境的光照變化3、部分遮擋引起的運(yùn)動(dòng)目標(biāo)不規(guī)則變形和全部遮擋引起的目標(biāo)暫時(shí)消失準(zhǔn)確性：快速性：處理對(duì)象是包含了巨大數(shù)據(jù)量的圖像，算法往往需要大量的運(yùn)算時(shí)間。視頻跟蹤的難點(diǎn)視頻目標(biāo)跟蹤問(wèn)題的解決思路總體上講有兩種思路：1、自底向上(bottom-up)的處理方法;自底向上的處理方法又稱為數(shù)據(jù)驅(qū)動(dòng)(data-driven)的方法，這種方法不依賴于先驗(yàn)知識(shí)，直接從圖像序列中獲得目標(biāo)的運(yùn)動(dòng)信息并進(jìn)行跟蹤。2、自頂向下(top-down)的處理方法。這種方法一般依賴于所構(gòu)建的模型或先驗(yàn)知識(shí)，在圖像序列中進(jìn)行匹配運(yùn)算或求解后驗(yàn)概率。貝葉斯理論框架下，已知目標(biāo)狀態(tài)的先驗(yàn)概率，在獲得新的量測(cè)后不斷求解目標(biāo)狀態(tài)的最大后驗(yàn)概率的過(guò)程。按照不同的標(biāo)準(zhǔn)可以有不同的分類方式：按照攝像機(jī)的數(shù)目，可分為單攝像機(jī)跟蹤和多攝像機(jī)跟蹤；按照傳感器的不同，可分為可見(jiàn)光目標(biāo)和紅外目標(biāo)的跟蹤;按照目標(biāo)的表達(dá)方式，可分為基于區(qū)域的跟蹤，基于主動(dòng)輪廓的跟蹤，基于局部特征的跟蹤，基于模型的跟蹤。OneCameraTwoCameras視頻目標(biāo)跟蹤方法的分類基于區(qū)域的跟蹤利用圖像相關(guān)匹配技術(shù)對(duì)目標(biāo)進(jìn)行跟蹤，需要先獲得一個(gè)表示目標(biāo)的模板，模板可以是通過(guò)手工選定或是圖像分割得到，通常是略大于目標(biāo)的矩形區(qū)域或是任意形狀；然后運(yùn)用相關(guān)算法，計(jì)算目標(biāo)模板與當(dāng)前圖像候選區(qū)域的特征匹配度，匹配特征可以是顏色、紋理等，匹配度最大的候選區(qū)域即為目標(biāo)的當(dāng)前位置。(c)(b)(a)(d)基于主動(dòng)輪廓的跟蹤基于主動(dòng)輪廓的方法將目標(biāo)描述為可變形的邊界輪廓來(lái)進(jìn)行跟蹤。最常用的主動(dòng)輪廓模型是由Kass等提出的Snake模型。通過(guò)跟蹤目標(biāo)的某個(gè)或某些局部特征，如邊緣特征、點(diǎn)特征等，從而實(shí)現(xiàn)對(duì)整個(gè)目標(biāo)的跟蹤?；谔卣鞯母櫪孟闰?yàn)知識(shí)建立跟蹤目標(biāo)的目標(biāo)模型（2D、3D模型），然后將目標(biāo)模型的圖像投影與圖像序列進(jìn)行匹配，從而確定出目標(biāo)的運(yùn)動(dòng)參數(shù)。在通常的跟蹤對(duì)象中，非剛體的代表性目標(biāo)是人，剛體的代表性目標(biāo)是車(chē)輛?；谀Ｐ偷母橮ersonModel2DPersonModel3D標(biāo)定后的攝像機(jī)VehicleModel2D主要內(nèi)容智能視頻監(jiān)視系統(tǒng)目標(biāo)檢測(cè)陰影去除目標(biāo)跟蹤基于粒子濾波的目標(biāo)跟蹤粒子濾波粒子濾波通過(guò)非參數(shù)化的蒙特卡洛(MonteCarlo)模擬方法來(lái)實(shí)現(xiàn)遞推貝葉斯濾波，適用于任何能用狀態(tài)空間模型描述的非線性系統(tǒng)，精度可以逼近最優(yōu)估計(jì)。