靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的關(guān)鍵技術(shù)研究主講人：崔雪梅2014.1.3靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的關(guān)鍵技術(shù)研究主講人：崔雪梅Contents選題目的和意義1國(guó)內(nèi)外研究現(xiàn)狀2主要研究?jī)?nèi)容和研究方法34課題工作計(jì)劃與方案Contents選題目的和意義1國(guó)內(nèi)外研究現(xiàn)狀2主要研究?jī)?nèi)容一.選題目的和意義運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)研究的主要問(wèn)題之一，融合了圖像處理、模式識(shí)別、自動(dòng)控制、人工智能以及計(jì)算機(jī)等許多領(lǐng)域的先進(jìn)技術(shù)，

機(jī)器人視頻壓縮

醫(yī)療診斷人機(jī)交互智能視頻監(jiān)控一.選題目的和意義運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)研究的主要問(wèn)統(tǒng)計(jì)數(shù)據(jù)顯示，英國(guó)目前有400多萬(wàn)個(gè)攝像機(jī)，而倫敦的居民平均每個(gè)人每天要被攝像機(jī)拍攝300次。公安部主導(dǎo)的“平安城市”計(jì)劃，促進(jìn)了視頻監(jiān)控市場(chǎng)的迅速增長(zhǎng)，全國(guó)約有200萬(wàn)個(gè)監(jiān)控?cái)z像機(jī)用于城市監(jiān)控與報(bào)警系統(tǒng)。青藏鐵路全線1300路通道采用視頻分析，對(duì)全線鐵路進(jìn)行入侵保護(hù)。統(tǒng)計(jì)數(shù)據(jù)顯示，英國(guó)目前有400多萬(wàn)個(gè)攝像機(jī)，而倫敦的居民平均二國(guó)內(nèi)外研究現(xiàn)狀視覺(jué)跟蹤是在20世紀(jì)50年代從統(tǒng)計(jì)模式識(shí)別開(kāi)始的，當(dāng)時(shí)的工作主要集中在二維圖像的分析和識(shí)別上;60年代Roberts(1965)通過(guò)計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體楔形體棱柱體等多面體的三維結(jié)構(gòu)，并對(duì)物體形狀及物體的空間關(guān)系進(jìn)行描述;70年代，已經(jīng)出現(xiàn)了一些視覺(jué)應(yīng)用系統(tǒng);

80年代至今運(yùn)動(dòng)目標(biāo)的視覺(jué)跟蹤已經(jīng)成為計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)十分重要的理論框架如今，視覺(jué)跟蹤技術(shù)已經(jīng)成為機(jī)器人技術(shù)計(jì)算機(jī)視覺(jué)等領(lǐng)域研究的熱點(diǎn)之一二國(guó)內(nèi)外研究現(xiàn)狀視覺(jué)跟蹤是在20世紀(jì)50年代從統(tǒng)計(jì)模式識(shí)研究難點(diǎn)經(jīng)歷了幾十年的發(fā)展，盡管人們對(duì)視覺(jué)跟蹤的研究有了突飛猛進(jìn)的進(jìn)展，但是由于圖像映射成圖像信息的丟失圖像的噪聲干擾目標(biāo)運(yùn)動(dòng)的復(fù)雜性(尤其是對(duì)人的跟蹤中，關(guān)于行為事件狀態(tài)有著不同的概念)，目標(biāo)的非剛體或鏈接特性目標(biāo)的部分或全部遮擋目標(biāo)形狀的復(fù)雜性場(chǎng)景光照的變化實(shí)時(shí)處理的要求等，都使得對(duì)目標(biāo)進(jìn)行有效跟蹤變得異常困難其中運(yùn)動(dòng)的分割遮擋的處理建模與跟蹤多攝像機(jī)的使用性能的評(píng)估(魯棒性準(zhǔn)確性和快速性)依然是今后研究的熱點(diǎn)和難點(diǎn)問(wèn)題。研究難點(diǎn)經(jīng)歷了幾十年的發(fā)展，盡管人們對(duì)視覺(jué)跟蹤的研究有了突飛光照亮度的漸變和輕微噪聲干擾問(wèn)題沒(méi)有很好的解決方法，適應(yīng)周?chē)h(huán)境中的性能比較差。自然界光線和燈光的亮度是在不斷變化的，但是人眼一般感覺(jué)不到這種光線亮度的微笑變化，但是在運(yùn)用機(jī)器對(duì)場(chǎng)景中運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)的過(guò)程中對(duì)這種情況非常敏感，會(huì)嚴(yán)重的影響檢測(cè)結(jié)果需要有運(yùn)動(dòng)目標(biāo)的有效分類(lèi)。從背景中有效的識(shí)別出運(yùn)動(dòng)物體是運(yùn)動(dòng)目標(biāo)檢測(cè)的關(guān)鍵。如果沒(méi)有應(yīng)用正確的目標(biāo)識(shí)別的方法，則就會(huì)導(dǎo)致檢測(cè)與跟蹤過(guò)程中目標(biāo)丟失或出現(xiàn)虛假跟蹤目標(biāo)現(xiàn)象。所以，運(yùn)動(dòng)目標(biāo)的有效分類(lèi)問(wèn)題必須得到有效的解決，這是提高跟蹤算法的有效性的關(guān)鍵技術(shù)。光照亮度的漸變和輕微噪聲干擾問(wèn)題沒(méi)有很好的解決方法，適應(yīng)周?chē)\(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤中存在的遮擋與重疊問(wèn)題。對(duì)單個(gè)目標(biāo)跟蹤，目前己經(jīng)有了許多有效的跟蹤算法，但當(dāng)場(chǎng)景中出現(xiàn)多個(gè)運(yùn)動(dòng)目標(biāo)時(shí)，尤其是這些運(yùn)動(dòng)目標(biāo)之間存在著相互遮擋和重疊時(shí)，有效分離運(yùn)動(dòng)目標(biāo)并正確跟蹤將是很困難的。初始運(yùn)動(dòng)參量的確定在檢測(cè)與跟蹤系統(tǒng)中有效確定，如果跟蹤目標(biāo)的初始運(yùn)動(dòng)狀態(tài)參數(shù)的確定方法不當(dāng)，跟蹤速度會(huì)非常慢，正確率也會(huì)隨之急劇下降。對(duì)于不同的應(yīng)用環(huán)境、圖像類(lèi)型和性能要求，都有各自不同的跟蹤方法，而不同的跟蹤算法往往是針對(duì)不同的目標(biāo)特征描述來(lái)設(shè)計(jì)的。目前，絕大多數(shù)算法都是針對(duì)某類(lèi)問(wèn)題提出的，適合于任何環(huán)境或任何跟蹤條件的通用的算法不存在。運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤中存在的遮擋與重疊問(wèn)題。對(duì)單個(gè)目標(biāo)跟蹤，目靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)跟蹤就是攝像機(jī)在整個(gè)監(jiān)視過(guò)程中不發(fā)生移動(dòng)，只有被監(jiān)視目標(biāo)在場(chǎng)景中移動(dòng)；針對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤關(guān)鍵技術(shù)問(wèn)題展開(kāi)了研究，在認(rèn)真總結(jié)前人研究成果的基礎(chǔ)上，深入分析與探討了目前運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究領(lǐng)域所面臨的主要問(wèn)題。論文主要針對(duì)兩個(gè)關(guān)鍵技術(shù)展開(kāi)研究，一是運(yùn)動(dòng)圖像分割，二是基于粒子濾波的運(yùn)動(dòng)目標(biāo)跟蹤。在實(shí)際環(huán)境中，由于視覺(jué)信息非常豐富，并且存在著背景光線變化、觀測(cè)視角變化、運(yùn)動(dòng)目標(biāo)移入移出、目標(biāo)物相互遮擋等問(wèn)題，使得視頻跟蹤算法面臨著多種挑戰(zhàn)。視頻跟蹤算法必須要能夠適應(yīng)這些復(fù)雜場(chǎng)景變化，并且能從這些外在變化導(dǎo)致的跟蹤失誤中恢復(fù)過(guò)來(lái)，這就對(duì)跟蹤算法的魯棒性及準(zhǔn)確性提出了很高要求，除此之外，跟蹤算法也應(yīng)該具備良好的實(shí)時(shí)性，這樣才能實(shí)時(shí)處理連續(xù)的視頻流信息，跟蹤的實(shí)時(shí)性也是現(xiàn)階段一個(gè)研究熱點(diǎn)。努力研究一種具有良好魯棒性、準(zhǔn)確性、實(shí)時(shí)性并具有良好可移植性的視頻跟蹤算法成為了人們共同努力的方向。靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)跟蹤就是攝像機(jī)在整個(gè)監(jiān)視過(guò)程中不發(fā)生移動(dòng)，現(xiàn)狀運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是在基于動(dòng)態(tài)圖像分析的基礎(chǔ)上結(jié)合圖像模式識(shí)別和圖像跟蹤方法對(duì)圖像序列中的目標(biāo)進(jìn)行檢測(cè)—識(shí)別—跟蹤的過(guò)程，它是圖像處理與計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)非?；钴S的分支，在最近二十幾年間，隨著計(jì)算機(jī)技術(shù)、CLSI技術(shù)與高分辨率傳感技術(shù)，圖像處理技術(shù)的迅速更新，它在國(guó)名經(jīng)濟(jì)和軍事領(lǐng)域的許多方面有著廣泛的應(yīng)用。人們對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)的穩(wěn)定性、魯棒性提出了很高的要求?，F(xiàn)狀運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是在基于動(dòng)態(tài)圖像分析的基礎(chǔ)上結(jié)合圖像模軍事公安方面的應(yīng)用：在軍事方面主要用于導(dǎo)彈的精確制導(dǎo)，可疑目標(biāo)的檢測(cè)與跟蹤公安業(yè)務(wù)圖片的判讀分析，指紋識(shí)別，人臉識(shí)別，不完整圖片的復(fù)原，以及智能交通監(jiān)控、事故分析等。工業(yè)方面的應(yīng)用：具備視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)功能的智能機(jī)器人的成功應(yīng)用。生物醫(yī)學(xué)工程方面的應(yīng)用：各種細(xì)胞的運(yùn)動(dòng)分析檢測(cè)和判別123應(yīng)用智能交通方面：通過(guò)對(duì)道路交通情況的實(shí)時(shí)監(jiān)控，利用圖像處理技術(shù)對(duì)各種情況作出準(zhǔn)確的判斷。4體育方面的應(yīng)用：對(duì)運(yùn)動(dòng)員在比賽或者是訓(xùn)練中的技術(shù)動(dòng)作的視頻進(jìn)行分析，得出精確的運(yùn)動(dòng)參數(shù)進(jìn)行分析。5軍事公安方面的應(yīng)用：在軍事方面主要用于導(dǎo)彈的精確制導(dǎo)，可疑目選題目的和意義1選題目的和意義1選題目的和意義1選題目的和意義1選題目的和意義1選題目的和意義1選題目的和意義1選題目的和意目前國(guó)內(nèi)外有很多機(jī)構(gòu)和學(xué)者對(duì)基于計(jì)算機(jī)視覺(jué)的運(yùn)動(dòng)物體檢測(cè)和跟蹤方法進(jìn)行研究。近些年來(lái)出現(xiàn)了基于卡爾曼濾波和基于粒子濾波的跟蹤算法。這些跟蹤算法是通過(guò)計(jì)算機(jī)，在比較復(fù)雜的場(chǎng)景中自動(dòng)檢測(cè)出運(yùn)動(dòng)物體，同時(shí)對(duì)其進(jìn)行跟蹤，這種技術(shù)有著非常廣泛的應(yīng)用前景和極其重要的實(shí)踐意義。雖然在該領(lǐng)域己經(jīng)取得了一定的成績(jī)，但同時(shí)在該領(lǐng)域也存在研究對(duì)象場(chǎng)景復(fù)雜且研究?jī)?nèi)容需要涉及多種學(xué)科的現(xiàn)象，所以目前還存在很多的研究難點(diǎn)，例如:目前國(guó)內(nèi)外有很多機(jī)構(gòu)和學(xué)者對(duì)基于計(jì)算機(jī)視覺(jué)的運(yùn)動(dòng)物體檢測(cè)和跟對(duì)于不同的應(yīng)用環(huán)境、圖像類(lèi)型和性能要求，都有各自不同的跟蹤方法，而不同的跟蹤算法往往是針對(duì)不同的目標(biāo)特征描述來(lái)設(shè)計(jì)的。目前，絕大多數(shù)算法都是針對(duì)某類(lèi)問(wèn)題提出的，適合于任何環(huán)境或任何跟蹤條件的通用的算法不存在。對(duì)于不同的應(yīng)用環(huán)境、圖像類(lèi)型和性能要求，都有各自不同的跟蹤運(yùn)動(dòng)目標(biāo)檢測(cè)

利用序列圖像在時(shí)間和空間上的冗余信息，將場(chǎng)景中的運(yùn)動(dòng)目標(biāo)從背景中分離出來(lái)。主要困難在于光照變化、背景物運(yùn)動(dòng)干擾、運(yùn)動(dòng)目標(biāo)陰影以及攝像機(jī)運(yùn)動(dòng)等干擾因素。運(yùn)動(dòng)目標(biāo)檢測(cè)利用序列圖像在時(shí)間和空間上的冗余信息，將場(chǎng)景中本文主要研究?jī)?nèi)容課題主要針對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤關(guān)鍵技術(shù)問(wèn)題展開(kāi)研究。將會(huì)在在認(rèn)真總結(jié)前人研究成果的基礎(chǔ)上，深入分析與探討目前運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究領(lǐng)域所面臨的主要問(wèn)題。課題主要針對(duì)兩個(gè)關(guān)鍵技術(shù)展開(kāi)研究，一是運(yùn)動(dòng)圖像分割，二是基于卡爾曼濾波的運(yùn)動(dòng)目標(biāo)跟蹤。1)對(duì)于運(yùn)動(dòng)圖像分割技術(shù)方面，考慮傳統(tǒng)混合高斯模型及HSV向量空間特點(diǎn)，提出一種基于HSV彩色空間的分塊混合高斯模型建模方法，減少了傳統(tǒng)模型的運(yùn)算量，很好的抑制運(yùn)動(dòng)目標(biāo)陰影，增加了算法的魯棒性。2)對(duì)于粒子濾波運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)方面，在對(duì)建議分布的選擇機(jī)制及自適應(yīng)選擇機(jī)制研究基礎(chǔ)上，提出了兩種基于建議分布的粒子濾波運(yùn)動(dòng)目標(biāo)跟蹤算法:一種是基于混合建議分布改進(jìn)和自適應(yīng)重采樣結(jié)合的粒子濾波運(yùn)動(dòng)目標(biāo)跟蹤算法;另一種是基于樣本多樣性測(cè)度的建議分布自適應(yīng)改進(jìn)粒子濾波運(yùn)動(dòng)目標(biāo)跟蹤算法，通過(guò)試驗(yàn)，均能實(shí)現(xiàn)有效的目標(biāo)跟蹤。本文主要研究?jī)?nèi)容課題主要針對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤關(guān)鍵技術(shù)問(wèn)題展歸納起來(lái)，運(yùn)動(dòng)場(chǎng)景中目標(biāo)檢測(cè)與跟蹤技術(shù)主要包括以下三個(gè)關(guān)鍵技術(shù)：背景補(bǔ)償與圖像預(yù)處理：消除背景運(yùn)動(dòng)、隨機(jī)噪聲對(duì)目標(biāo)檢測(cè)與跟蹤的影響。圖像分割與目標(biāo)檢測(cè)：利用圖像分割技術(shù)從圖像中檢測(cè)出可能的運(yùn)動(dòng)目標(biāo)。特征提取和目標(biāo)跟蹤：對(duì)檢測(cè)出的目標(biāo)提取可識(shí)別的特征，依據(jù)這些特征在后續(xù)的視頻圖像序列中對(duì)目標(biāo)進(jìn)行跟蹤。歸納起來(lái)，運(yùn)動(dòng)場(chǎng)景中目標(biāo)檢測(cè)與跟蹤技術(shù)主要包括以下三個(gè)關(guān)鍵技運(yùn)動(dòng)目標(biāo)檢測(cè)是把目標(biāo)從圖像序列中將變化區(qū)域從背景圖象中提取出來(lái)的一種方法。本文要分析各種算法的優(yōu)缺點(diǎn)，然后結(jié)合算法的優(yōu)點(diǎn)進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測(cè)，取得良好的檢測(cè)效果，運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題研究1運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題研究1三.研究的主要內(nèi)容目標(biāo)跟蹤是針對(duì)圖像序列中運(yùn)動(dòng)對(duì)象的時(shí)空變化進(jìn)行監(jiān)

控，包括運(yùn)動(dòng)對(duì)象的存在的位置、大小和形狀等。本文運(yùn)用了粒子濾波進(jìn)行跟蹤，由于粒子濾波存在樣本退化和樣本枯竭的現(xiàn)象，為了改進(jìn)其跟蹤的性能，本文采用了改進(jìn)的粒子濾波跟蹤算法，通過(guò)改進(jìn)建議分布來(lái)提高跟蹤的效率，對(duì)其進(jìn)行研究，增加跟蹤的可靠性。目標(biāo)跟蹤研究2三.研究的主要內(nèi)容目標(biāo)跟蹤研究2運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤ppt課件運(yùn)動(dòng)目標(biāo)檢測(cè)的相關(guān)技術(shù)光流法幀間差方法背景差方法123運(yùn)動(dòng)目標(biāo)檢測(cè)的相關(guān)技術(shù)光流法幀間差方法背景差運(yùn)動(dòng)目標(biāo)檢測(cè)

利用序列圖像在時(shí)間和空間上的冗余信息，將場(chǎng)景中的運(yùn)動(dòng)目標(biāo)從背景中分離出來(lái)。主要困難在于光照變化、背景物運(yùn)動(dòng)干擾、運(yùn)動(dòng)目標(biāo)陰影以及攝像機(jī)運(yùn)動(dòng)等干擾因素。主要方法：

幀間差法光流法背景減除法

運(yùn)動(dòng)目標(biāo)檢測(cè)光流法其基本原理是:給圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，這就形成了一個(gè)圖像運(yùn)動(dòng)場(chǎng)，在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上的點(diǎn)與三維物體上的點(diǎn)一一對(duì)應(yīng)，根據(jù)各個(gè)像素點(diǎn)的速度矢量特征對(duì)圖像進(jìn)行動(dòng)態(tài)分析，如果圖像中沒(méi)有運(yùn)動(dòng)目標(biāo)，則光流矢量在整個(gè)圖像區(qū)域是連續(xù)變化的，當(dāng)物體和圖像背景存在相對(duì)運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)物體所形成的速度矢量必然和鄰域背景速度矢量不同，從而檢測(cè)出運(yùn)動(dòng)物體的位置。光流法是通過(guò)計(jì)算圖像的光流場(chǎng)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)的一種方法。所謂光流場(chǎng)是指空間運(yùn)動(dòng)物體被觀測(cè)表面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng),一個(gè)二維的速度場(chǎng)，包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息。光流法的核心是求解出運(yùn)動(dòng)目標(biāo)的光流，即速度。光流法其基本原理是:給圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，幀間差分法幀間差分法是將連續(xù)兩幀或者幾幀圖像進(jìn)行比較，采用基于像素的時(shí)間差分并且閾值化來(lái)提取運(yùn)動(dòng)目標(biāo)信息進(jìn)而實(shí)現(xiàn)目標(biāo)檢測(cè)第k-1幀連通處理第k幀二值化差分運(yùn)算檢測(cè)判斷幀間差分法幀間差分法是將連續(xù)兩幀或者幾幀圖像進(jìn)行比較，采用基背景差分法背景差分法的原理是:用檢測(cè)之前獲取的背景圖像幀對(duì)每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，構(gòu)建背景模型，再將當(dāng)前圖像幀與背景模型進(jìn)行差分運(yùn)算，并對(duì)得到的差分圖像進(jìn)行二值化，根據(jù)確定的閡值計(jì)算出當(dāng)前圖像幀中與背景模型值相差較大的像素點(diǎn)，并判斷此像素是否為目標(biāo)上的點(diǎn)，從而可得到較完整的目標(biāo)信息。第k-1幀連通處理第k幀二值化差分運(yùn)算檢測(cè)判斷背景差分法背景差分法的原理是:用檢測(cè)之前獲取的背景圖像幀對(duì)每運(yùn)動(dòng)圖像分割

運(yùn)動(dòng)圖像分割就是把運(yùn)動(dòng)目標(biāo)從復(fù)雜的背景提取出來(lái)，是運(yùn)動(dòng)圖像處理過(guò)程的前期階段，當(dāng)然分割算法的好壞不僅取決于算法自身，還應(yīng)該根據(jù)不同的場(chǎng)景選擇適合的算法，也是非常重要的。主要方法：

均值法中值法單高斯模型

運(yùn)動(dòng)圖像分割運(yùn)動(dòng)圖像分割就是把運(yùn)動(dòng)目標(biāo)從復(fù)雜的背景提取出來(lái)混合高斯模型是背景建模中研究最廣泛的方法之一。傳統(tǒng)的混合高斯模型是建立在RGB色彩空間基礎(chǔ)上的，本文采用的是SHV色彩空間模型，并為每個(gè)像素點(diǎn)建立x個(gè)(一般3-5)高斯模型，根據(jù)每個(gè)高斯模型權(quán)重的不同，進(jìn)行自適

應(yīng)更新?；旌细咚鼓Ｐ褪潜尘敖Ｖ醒芯孔顝V泛的方法之一。傳統(tǒng)的混合高斯基于分塊混合高斯背景建模的運(yùn)動(dòng)目標(biāo)分割算法主要步驟：背景模型建立（用k=3個(gè)高斯模型來(lái)表征各個(gè)像素點(diǎn)的特征）背景更新（場(chǎng)景不斷變化）分塊高斯建模(加快高斯模型的更新速率)運(yùn)動(dòng)陰影去除（用HSV色彩空間模型）運(yùn)動(dòng)圖像分割的好壞直接影響到圖像后期處理效果，準(zhǔn)確檢測(cè)和追蹤運(yùn)動(dòng)目標(biāo)的關(guān)鍵不僅要把圖像中運(yùn)動(dòng)的目標(biāo)檢測(cè)出來(lái)，目標(biāo)的陰影檢測(cè)和消除也是非常重要的基于分塊混合高斯背景建模的運(yùn)動(dòng)目標(biāo)分割算法主要步驟：運(yùn)動(dòng)圖像傳統(tǒng)的運(yùn)動(dòng)檢測(cè)方法傳統(tǒng)的運(yùn)動(dòng)檢測(cè)方法為了得到好的檢測(cè)結(jié)果，找到有效的背景估計(jì)方法來(lái)生成背景圖像便成為背景差分法的核心。在實(shí)際應(yīng)用中，當(dāng)背景光照變化比較明顯時(shí)，仍有新的問(wèn)題需要解決，主要的兩個(gè)問(wèn)題是:背景圖像的獲取和背景圖像的更新a)背景圖像的獲取:背景圖像的獲取的理想情況是在沒(méi)有運(yùn)動(dòng)目標(biāo)的情況下直接獲取，但是現(xiàn)實(shí)中由于外界光線的變化、攝像機(jī)的扭動(dòng)偏轉(zhuǎn)等，很難使背景中沒(méi)有運(yùn)動(dòng)目標(biāo)，因此增加了獲得背景圖像的難度。b)背景模型的更新:一般情況下，場(chǎng)景中的背景圖像不會(huì)沒(méi)有任何變化，因此為了使檢測(cè)與跟蹤目標(biāo)更準(zhǔn)確，需要經(jīng)常更新背景圖像，以適應(yīng)場(chǎng)景的變化。背景差分法中，構(gòu)建的背景模型與真實(shí)場(chǎng)景的符合度會(huì)影響檢測(cè)的準(zhǔn)確性。最簡(jiǎn)單的獲取背景方法是采集一幅場(chǎng)景中沒(méi)有運(yùn)動(dòng)目標(biāo)的圖像作為背景，但該方法只適用于場(chǎng)景比較簡(jiǎn)單或者變化較小的場(chǎng)合，所以人們就對(duì)如何動(dòng)態(tài)的構(gòu)建背景模型以及實(shí)時(shí)的更新背景模型進(jìn)行了大量的研究。常用的方法有:統(tǒng)計(jì)平均法、Surendra背景更新算法、混合高斯模型法等。為了得到好的檢測(cè)結(jié)果，找到有效的背景估計(jì)方法來(lái)生成背景圖像便光流法連續(xù)光流法特征光流法優(yōu)點(diǎn)：對(duì)目標(biāo)在幀間的運(yùn)動(dòng)限制較小，可以檢測(cè)幀間移動(dòng)較大的運(yùn)動(dòng)目標(biāo)；對(duì)噪聲敏感性降低；只處理圖像中很少的特征點(diǎn)，計(jì)算量較小。

缺點(diǎn)：得到的是稀疏光流場(chǎng)，導(dǎo)致難以提取運(yùn)動(dòng)目標(biāo)的精確形狀，且特征匹配問(wèn)題尚未得到較好的解決。

優(yōu)點(diǎn)：能得到連續(xù)的光流場(chǎng)缺點(diǎn)：計(jì)算量大光流法通過(guò)計(jì)算三維運(yùn)動(dòng)場(chǎng)投影到二維圖像平面內(nèi)的速度場(chǎng)來(lái)區(qū)分運(yùn)動(dòng)目標(biāo)和背景，一般包括連續(xù)光流法和特征光流法。

采用基于幀間圖像強(qiáng)度守衡的梯度算法來(lái)計(jì)算光流通過(guò)特征匹配求得特征點(diǎn)處的光流光流法連續(xù)光流法特征光流法優(yōu)點(diǎn)：對(duì)目標(biāo)在幀間的運(yùn)動(dòng)限缺點(diǎn)：幀間差法如圖可見(jiàn)，由目標(biāo)運(yùn)動(dòng)引起的運(yùn)動(dòng)變化區(qū)域包括運(yùn)動(dòng)目標(biāo)在前后兩幀中的共同位置(圖中黑色區(qū)域)、在當(dāng)前幀中新顯露出的背景區(qū)域和新覆蓋的背景區(qū)域三部分。幀間差法如圖可見(jiàn)，由目標(biāo)運(yùn)動(dòng)引起的運(yùn)動(dòng)變化區(qū)域包括運(yùn)動(dòng)目標(biāo)在背景差方法背景差分法假定背景是靜止不變的,因此背景不隨幀數(shù)而變。相減二值化后處理結(jié)果背景差方法背景差分法假定背景是靜止不變的,因此背景不隨幀數(shù)而背景估計(jì)法背景估計(jì)法適用于背景靜止情況下的視頻分割，其主要基于以下兩個(gè)假設(shè)：

假設(shè)1：在背景靜止的情況下，若外界光照條件不變，且在不考慮噪聲的情況下，視頻序列圖像中的背景保持不變。假設(shè)2：在目標(biāo)可視的情況下，目標(biāo)與背景的灰度之間存在著一定的對(duì)比度。根據(jù)假設(shè)1，在靜態(tài)場(chǎng)景的條件下視頻序列圖像中不包含目標(biāo)的完整背景在每一幀都相同，由于運(yùn)動(dòng)目標(biāo)會(huì)遮擋住一部分背景，所以每一幀中的背景并不等于完整背景，關(guān)鍵技術(shù)就是根據(jù)一定的準(zhǔn)則從連續(xù)k幀圖像中估計(jì)出該視頻序列圖像的完整背景。根據(jù)假設(shè)2，運(yùn)動(dòng)目標(biāo)與背景之間的灰度存在著一定的對(duì)比度，因此在不考慮噪聲的情況下，在差分圖像中屬于背景區(qū)域的像素的灰度值為零，從而檢測(cè)出了運(yùn)動(dòng)目標(biāo)。背景估計(jì)法背景估計(jì)法適用于背景靜止情況下的視頻分割，其主要基1運(yùn)動(dòng)陰影的干擾3場(chǎng)景光照的變化2動(dòng)態(tài)背景的影響運(yùn)動(dòng)目標(biāo)檢測(cè)方法存在的實(shí)際應(yīng)用上的困難1運(yùn)動(dòng)陰影的干擾3場(chǎng)景光照的變化2動(dòng)態(tài)背景的影響運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)陰影的干擾原因：由于陰影和目標(biāo)都與背景的差別很大，并且二者常有著相同的運(yùn)動(dòng)，陰影常被錯(cuò)劃為運(yùn)動(dòng)目標(biāo)。陰影對(duì)運(yùn)動(dòng)目標(biāo)的分割和提取過(guò)程的干擾：1.目標(biāo)的合并，即兩個(gè)或多個(gè)目標(biāo)由于陰影而連成一個(gè)連通域，被后續(xù)目標(biāo)提取算法判為一個(gè)目標(biāo)；2.目標(biāo)外形改變，這種影響對(duì)需要精確提取目標(biāo)形狀信息的應(yīng)用相當(dāng)不利；3.目標(biāo)的消失，往往發(fā)生在一個(gè)目標(biāo)的陰影投射在另一個(gè)目標(biāo)上。運(yùn)動(dòng)陰影的干擾原因：由于陰影和目標(biāo)都與背景的差別很大，并且二消除運(yùn)動(dòng)陰影干擾的陰影檢測(cè)方法基于紋理模型的檢測(cè)方法基于顏色特征的算法基于幾何模型的方法消除運(yùn)動(dòng)陰影干擾的陰影檢測(cè)方法基于紋理模型的檢測(cè)方法基于顏色1.基于幾何模型的方法：它利用攝像機(jī)位置、場(chǎng)景表面的幾何特征以及目標(biāo)間的幾何約束來(lái)檢測(cè)陰影，需要很多假設(shè)和先驗(yàn)知識(shí)，如要求地面平直、目標(biāo)垂直于地面、明確攝像機(jī)和光源位置等；2.基于顏色特征的算法：它在RGB、HSV、YUV等顏色空間上使用多種閾值分割前景、背景、陰影，或者利用統(tǒng)計(jì)模型對(duì)陰影像素的顏色值進(jìn)行描述，如顯著性檢驗(yàn)、貝葉斯推斷、最大后驗(yàn)概率、混合高斯模型等。這類(lèi)方法中，大多通過(guò)經(jīng)驗(yàn)選取分割閾值，分割效果常會(huì)隨圖像內(nèi)容的不同而不同。3.基于紋理模型的檢測(cè)方法：它利用投射陰影降低相應(yīng)背景像素灰度值，但不改變像素領(lǐng)域紋理的特征進(jìn)行陰影檢測(cè)，典型的用于陰影檢測(cè)的紋理特征有Gabor特征，小波變換特征，比率邊緣等。1.基于幾何模型的方法：它利用攝像機(jī)位置、場(chǎng)景表面的幾何特征動(dòng)態(tài)背景影響場(chǎng)景中如果除了運(yùn)動(dòng)目標(biāo)外還存在一些運(yùn)動(dòng)的背景物體，如果不抑制背景中的運(yùn)動(dòng)物體，這些虛假目標(biāo)會(huì)表現(xiàn)出大量的虛警，直接影響感興趣運(yùn)動(dòng)目標(biāo)的提取。在視頻監(jiān)控中，較高的虛警率是導(dǎo)致檢測(cè)系統(tǒng)失效的主要原因。動(dòng)態(tài)背景影響場(chǎng)景中如果除了運(yùn)動(dòng)目標(biāo)外還存在一些運(yùn)動(dòng)的背景物體場(chǎng)景光照的變化天氣變化、燈光開(kāi)啟或關(guān)閉以及攝像機(jī)光圈自動(dòng)調(diào)節(jié)均會(huì)導(dǎo)致光照發(fā)生較大變化，致使圖像發(fā)生顯著變化，提取的運(yùn)動(dòng)區(qū)域就不對(duì)應(yīng)于任何運(yùn)動(dòng)目標(biāo)，形成大面積虛警。場(chǎng)景光照的變化天氣變化、燈光開(kāi)啟或關(guān)閉以及攝像機(jī)光圈自動(dòng)調(diào)節(jié)運(yùn)動(dòng)目標(biāo)跟蹤運(yùn)動(dòng)目標(biāo)跟蹤簡(jiǎn)單的說(shuō)，就是尋找當(dāng)前幀圖像中的運(yùn)動(dòng)目標(biāo)在下一幀圖像中的位置。目前的方法基本上都是先預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在下一幀中可能處于的區(qū)域，以此來(lái)縮小目標(biāo)搜索的范圍，然后在搜索區(qū)域內(nèi)進(jìn)行模板匹配，進(jìn)而獲得準(zhǔn)確的目標(biāo)位置信息。

跟蹤結(jié)果目標(biāo)檢測(cè)特征提取運(yùn)動(dòng)區(qū)域預(yù)測(cè)估計(jì)匹配搜索運(yùn)動(dòng)目標(biāo)跟蹤運(yùn)動(dòng)目標(biāo)跟蹤簡(jiǎn)單的說(shuō)，就是尋找當(dāng)前幀圖像中的運(yùn)動(dòng)主要的運(yùn)動(dòng)目標(biāo)算法可以分為四類(lèi)主要方法：基于模型的跟蹤方法，基于活動(dòng)輪廓的跟蹤方法，基于特征匹配跟蹤方法基于區(qū)域匹配的跟蹤方法（比較常用的，基本思想是把圖像中運(yùn)動(dòng)目標(biāo)的連通區(qū)域的共有特征信息作為跟蹤檢測(cè)值的一種方法。在連續(xù)的圖像中有多種區(qū)域信息，例如顏色、紋理特征，目標(biāo)的位置、外接距大小等等）主要的運(yùn)動(dòng)目標(biāo)算法可以分為四類(lèi)卡爾曼濾波器的基本原理卡爾曼濾波器一種遞歸的方法，用來(lái)解決帶有離散數(shù)據(jù)線性濾波器問(wèn)題?？柭鼮V波器的工作過(guò)程就是先利用預(yù)測(cè)方程組根據(jù)上一次估計(jì)結(jié)果的狀態(tài)值毫一和預(yù)測(cè)誤差最一。來(lái)預(yù)測(cè)得到本次的預(yù)測(cè)狀態(tài)值和預(yù)測(cè)誤差，但是這樣預(yù)測(cè)得到的結(jié)果與狀態(tài)的真實(shí)值一般都會(huì)有或多或少的誤差，因此在獲得新的觀測(cè)值時(shí)就需要根據(jù)新的觀測(cè)值來(lái)修正預(yù)測(cè)的結(jié)果。從而就需要修正方程組根據(jù)當(dāng)fj{『的觀測(cè)值Zk來(lái)修正當(dāng)前的預(yù)測(cè)值，得到修正后的狀態(tài)估計(jì)值和噪聲方差估計(jì)值。整個(gè)是一個(gè)遞歸的過(guò)程，預(yù)測(cè)和修正過(guò)程迭代執(zhí)行下去就構(gòu)成了卡爾曼濾波過(guò)程?？柭鼮V波器的基本原理卡爾曼濾波器一種遞歸的方法，用來(lái)解決帶基于卡爾曼濾波器的跟蹤方法第一步提取并記錄運(yùn)動(dòng)目標(biāo)的特征，為了對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，首先必須用外接矩形對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行標(biāo)定，然后提取并記錄目標(biāo)的質(zhì)心和外接矩的特征信息。第二步用提取出的特征信息初始化卡爾曼濾波器。由于初始化時(shí)對(duì)目標(biāo)的速度，以及目標(biāo)外接矩形的變化速率未知，所以對(duì)于這幾個(gè)量可以初始化為零。第三步用卡爾曼濾波器對(duì)下一幀中對(duì)應(yīng)的目標(biāo)區(qū)域進(jìn)行預(yù)測(cè)，當(dāng)下一幀到來(lái)后，在預(yù)測(cè)區(qū)域內(nèi)進(jìn)行目標(biāo)匹配。第四步如果匹配則當(dāng)前幀中的目標(biāo)信息更新卡爾曼濾波器，并記錄下當(dāng)前幀中的目標(biāo)信息?；诳柭鼮V波器的跟蹤方法第一步提取并記錄運(yùn)動(dòng)目標(biāo)的特征，為運(yùn)動(dòng)圖像序列運(yùn)動(dòng)目標(biāo)特征設(shè)定運(yùn)動(dòng)模型估計(jì)特征匹配模型更新運(yùn)動(dòng)圖像序列運(yùn)動(dòng)目標(biāo)特征設(shè)定基于卡爾曼濾波器的跟蹤方法兩種典型的跟蹤方法基于特征光流法的跟蹤方法基于卡爾曼濾波器的跟蹤方法兩種典型的基于特征光流法的跟蹤方法1.基于卡爾曼濾波器的跟蹤方法卡爾曼濾波器參數(shù)的修正第一步第二步第三步第四步線性卡爾曼濾波是美國(guó)工程師Kalman在線性最小方差估計(jì)的基礎(chǔ)上,提出的在數(shù)學(xué)結(jié)構(gòu)上比較簡(jiǎn)單的最優(yōu)線性遞推濾波方法。預(yù)測(cè)下一時(shí)刻目標(biāo)的位置目標(biāo)匹配搜索設(shè)置初始值1.基于卡爾曼濾波器的跟蹤方法卡爾曼濾波器參數(shù)的修正第一步第第一步：設(shè)置初始值設(shè)置初始狀態(tài)x0,P0,Q0和R1的初始值第一步：設(shè)置初始值設(shè)置初始狀態(tài)x0,P0,Q0和R1的初始這里運(yùn)用式(5)和式(6),根據(jù)擴(kuò)展的卡爾曼濾波器,預(yù)測(cè)目標(biāo)在下一時(shí)刻可能出現(xiàn)的位置:式中:Δpk+1表示預(yù)測(cè)的不準(zhǔn)確程度,即提供了目標(biāo)匹配的搜索范圍;p⌒k+1表示預(yù)測(cè)位置的坐標(biāo)及搜索范的中心坐標(biāo)。在實(shí)際應(yīng)用中,往往擴(kuò)大目標(biāo)匹配的搜索范圍為Δpk+1+ε,其中ε為預(yù)設(shè)正常數(shù)。第二步：預(yù)測(cè)下一時(shí)刻目標(biāo)的位置這里運(yùn)用式(5)和式(6),根據(jù)擴(kuò)展的卡爾曼濾波器,預(yù)測(cè)目標(biāo)第三步：目標(biāo)匹配搜索使用基于像素點(diǎn)的亮度差的和作為匹配距離準(zhǔn)則：將找到的使匹配距離最小的目標(biāo)區(qū)域作為被跟蹤到的目標(biāo)，將該區(qū)域的復(fù)制記為T(mén)k+1,并把它的中心坐標(biāo)復(fù)制給pk+1,則:目標(biāo)的測(cè)量速度為:目標(biāo)的測(cè)量加速度為:第三步：目標(biāo)匹配搜索使用基于像素點(diǎn)的亮度差的和作為匹配距離準(zhǔn)

第四步：卡爾曼濾波器參數(shù)的修正

主要根據(jù)每幀得到的測(cè)量值修正目標(biāo)的參數(shù),使用IRR(無(wú)限沖擊響應(yīng))濾波器完成對(duì)v⌒k,a⌒k和Δvk,Δak的修正,其公式為:式中:a,γ為一常數(shù),0≤a,γ≤1。

第四步：卡爾曼濾波器參數(shù)的修正

主要根據(jù)每幀得到的測(cè)量值修2.基于特征光流法的跟蹤方法

2.基于特征光流法的跟蹤方法

兩種跟蹤方法的比較由于卡爾曼濾波是基于高斯分布的狀態(tài)預(yù)測(cè)方法,不能有效地處理