1、河北工業(yè)大學城市學院本科畢業(yè)設(shè)計(論文)中期報告 河北工業(yè)大學城市學院本科畢業(yè)設(shè)計（論文）中期報告畢業(yè)設(shè)計（論文）題目：基于Mean-Shift的視頻目標跟蹤算法的設(shè)計與實現(xiàn)專業(yè)（方向）：網(wǎng)絡(luò)工程學生信息：學號：088302姓名：坎啟嬌班級：網(wǎng)絡(luò)C081班指導教師信息：教師號：02019姓名：侯向丹職稱：副教授報告提交日期：2012年4月30號1前言1.1選題的背景運動目標的檢測與跟蹤是應(yīng)用視覺領(lǐng)域1的一個重要的課題。目標跟蹤涉及到圖像處理、模式識別、人工智能以及自適應(yīng)控制多領(lǐng)域問題的綜合解決，其中對于復雜背景（或環(huán)境）下的圖像處理一直是視覺信息處理和理解的難點。在實際應(yīng)用中，復雜的現(xiàn)場環(huán)境以

2、及跟蹤應(yīng)用的實時性要求，對算法都提出了更高的要求。因此，研究復雜背景下運動目標的檢測和跟蹤的課題有重要意義。本文的研究目的是建立一個視頻圖像監(jiān)控系統(tǒng)，根據(jù)目標的運動方向，系統(tǒng)將目標鎖定在視野中。目標跟蹤是在一段視頻序列中尋找與指定目標最相似的部分，是計算機視覺的一個重要研究內(nèi)容。它在視頻監(jiān)控、人機界面、增強現(xiàn)實、基于目標的視頻壓縮等眾多領(lǐng)域中有著廣泛的應(yīng)用。1.2運動目標跟蹤算法1.2.1常見的運動目標跟蹤算法目前視頻目標跟蹤方法大體上可以分為基于區(qū)域匹配的目標跟蹤、基于輪廓的匹配跟蹤、基于特征的匹配跟蹤、基于模型的跟蹤，以及基于運動特性的跟蹤。下面詳細介紹這五類算法。（1）基于區(qū)域匹配跟蹤區(qū)

3、域匹配跟蹤的基本思想是:預先通過人為的方法或圖像分割的方法得到包含目標的模板，然后在后續(xù)的視頻序列中運用相關(guān)匹配準則進行目標的匹配跟蹤。決定區(qū)域匹配跟蹤效果好壞最主要的因素就是匹配度量和搜索算法的選取。最常用的相關(guān)準則是平方和準則法（SSD）,顏色法、形狀法等。優(yōu)點:提取了較完整的目標模板，因此相對其它跟蹤算法能得到更多的圖像信息，當目標未被遮擋時跟蹤精度咼且穩(wěn)定，因而廣泛應(yīng)用于小目標的跟蹤或?qū)Ρ榷缺容^差的目標跟缺點:需要進行全圖搜索，因此計算量較大。另外，如果目標由于旋轉(zhuǎn)、光線及運動等原因發(fā)生變化，尤其是出現(xiàn)了大面積的遮擋現(xiàn)象時可能找不到匹配點而產(chǎn)生錯誤匹配，這是需要克服的問題之一?；谳喞?/p>

4、匹配跟蹤輪廓匹配跟蹤基本思想是:提取運動目標的邊緣輪廓作為模板，對后續(xù)的視頻序列每幀圖像都進行二值化并且根據(jù)圖像信息自動連續(xù)地更新邊緣輪廓并跟蹤。常見的基于輪廓匹配的跟蹤算法有:Kass在1987年提出的主動輪廓模型,又稱為Snake模型;基于Hausdorff距離的輪廓跟蹤算法3Snake模型是一種采用主動輪廓目標提取的動態(tài)算法，它基于二維樣條函數(shù)的動態(tài)生長來實現(xiàn)邊緣檢測與連接。Snake模型在構(gòu)造能量函數(shù)時考慮了主動輪廓線的內(nèi)部能量、圖像作用力產(chǎn)生的能量和外部限制力產(chǎn)生的能量，使初始輪廓在外力和內(nèi)力的作用下向目標邊緣輪廓逼近。Snake模型非常適合可變形目標的跟蹤，如對運動細胞的跟蹤。Os

5、her等人提出的基于水平集方法的主動輪廓模型，克服了Snake模型對初始輪廓選取的敏感問題，非常適合多目標跟蹤?；贖ausdorff距離的輪廓跟蹤算法通過計算Hausdorff距離來反映初始模板和當前目標各象素的匹配程度，它能夠根據(jù)模板來對目標進行平移、縮放變換，提高了匹配的準確性?；谔卣髌ヅ涓櫉o論是剛體運動目標還是非剛體運動目標，它們都存在各自的個體特征。視頻序列相鄰幀在較短的采樣時間間隔內(nèi)，這些個體特征在運動形式上具有平滑性和連貫性，因此可以用紋理、顏色、形狀、灰度等個體特征來對運動目標進行跟蹤。基于特征匹配跟蹤采用運動目標的某些局部特征作為跟蹤對象。優(yōu)點：在目標被部分遮擋的情況下只

6、要被選取的特征未消失，仍可以實現(xiàn)跟蹤。缺點：當目標運動狀態(tài)比較復雜時，如非勻加速運動或曲線運動，此時目標的特征提取就比較困難；目標在運動過程中不可避免會存在遮擋或暫時消失的情況，此時簡單的基于部分特征的方法就很難繼續(xù)跟蹤;如何選取運動目標最有效的特征也是難點之一。基于模型跟蹤基于模型的跟蹤就是通過先驗知識來獲得目標模型從而實現(xiàn)跟蹤，通常目標模型有線圖型、2D模型、3D模型?？刹捎瞄L方體對車輛進行三維建模來獲得車輛的運動速度。也可采用多攝像頭來跟蹤人體運動目標，對人體的3D模型進行運動估計，該方法基于時空域聯(lián)合來分析人體的輪廓特征，在遇到大面積遮擋時仍能保持較好的跟蹤效果。優(yōu)點：既適合剛體目標跟

7、蹤也適合非剛體目標跟蹤，而且跟蹤效果不受觀測角度的影響。即使在復雜環(huán)境中，目標發(fā)生遮擋的情況下，利用模型的先驗知識也可以較好地得到跟蹤結(jié)果。缺點：由于運動分析的精度取決于幾何模型的精度，而獲得運動目標的精確幾何模型非常困難；而且計算量大，實時性差，不太適合實時應(yīng)用場合?；谶\動特性的目標匹配跟蹤基于運動特性的目標匹配跟蹤實質(zhì)上是一種運動預測的跟蹤方法，根據(jù)目標的運動規(guī)律進行建模。把運動目標在較短時間間隔內(nèi)運動描述為勻速直線運動或勻加速直線運動。通過建立的運動模型預測目標在下一幀中的位置，然后以這個位置為中心在附近的領(lǐng)域內(nèi)搜索目標最佳位置。經(jīng)典的運動估計算法有基于光流場、卡爾曼濾波、擴展卡爾曼濾

8、波、粒子濾波等。通過對目標的運動估計可以縮小目標的搜索范圍，提高目標的跟蹤速度，非常適合于實際應(yīng)用。1.2.2基于Mean-Shift的目標跟蹤算法本文重點介紹了特征匹配跟蹤算法中的Mean-Shift跟蹤算法。在眾多的跟蹤算法中,Mean-Shift算法由于其理論嚴格、實現(xiàn)簡單和較好的跟蹤性能，近年來受到廣泛的關(guān)注。本文的主要研究對象就是基于Mean-Shift的目標跟蹤算法。Mean-Shift算法是一種基于特征概率密度統(tǒng)計的建模方法。Mean-Shift算法用于視頻目標跟蹤時，采用目標的顏色直方圖作為搜索特征，通過不斷迭代Mean-Shift向量使得算法收斂于目標的真實位置，從而達到跟蹤

9、的目的。在跟蹤過程中，目標區(qū)域通常由用戶在視頻序列的第一幀中選定，并建立相應(yīng)的目標直方圖。根據(jù)Bhattacharyya相似度,Mean-Shift算法在后續(xù)幀中迭代地搜索目標模型的最佳候選區(qū)域。優(yōu)點：（1）算法計算量不大，在目標區(qū)域已知的情況下完全可以做到實時跟蹤；（2）采用核函數(shù)直方圖模型，對邊緣遮擋、目標旋轉(zhuǎn)、變形和背景運動不敏感。缺點：（1）缺乏必要的模板更新；（2）跟蹤過程中由于窗口寬度大小保持不變，當目標尺度有所變化時，跟蹤就會失??；（3）當目標速度較快時，跟蹤效果不好；（4）直方圖特征在目標顏色特征描述方面略顯匱乏，缺少空間信息；Mean-Shift算法主要是用在單張影像上。而C

10、am-shift算法利用Mean-Shift算法的方河北工業(yè)大學城市學院本科畢業(yè)設(shè)計（論文）中期報告河北工業(yè)大學城市學院本科畢業(yè)設(shè)計（論文）中期報告 法，對影像串聯(lián)進行分析，是Mean-Shift算法的改進，稱連續(xù)自適應(yīng)的Mean-Shift算法4編程語言及編程環(huán)境編程語言：VC+、OpenCV編程環(huán)境：VisualStudio2008Mean-Shift算法Mean-Shift算法的基本思想Mean-Shift跟蹤算法通常是基于目標區(qū)域的顏色概率分布直方圖的。將顏色空間分成m個索引子空間，計算目標初始模板和候選區(qū)域的顏色概率分布直方圖q=quu-1,2,，m初始模板與候選目標區(qū)域的相似度用u

11、-1_0（y）-Bhattacharyya系數(shù)來衡量，即其幾何含義是m維單位矢量q和p（y）夾角的余弦值，顯然當（y）越大時匹配程度就越高，即當前幀目標與初始幀目標最相似。因此對（y）求極值，即得到Mean-Shift向量：(公式1)m(xh,Gy-x20i-hxwgiii-1因此連y-x20i-hwgii-1-yo續(xù)的迭代y1-y0,將會收斂于局部極大值，即滿足y1=y0的固定點，也就是說Mean-Shift是一個連續(xù)迭代過程，使達到當前幀目標最優(yōu)位置。3.2Mean-Shift算法迭代步驟Mean-Shift算法是一種尋找局部極值的方法。作為一種直觀上的理解是它一步一步爬向最高點即爬山算法

12、而怎么個爬法，用計算出的重心作為下一步窗口的中心，直到窗口的位置不再變化。下面從Mean-Shift向量的定義出發(fā)來討論Mean-Shift算法具體計算步驟。首先對Mean-Shift向量（公式1）右邊的第一項記為Mh,g（x），即y-x20ih9xwgiii=1M(x)二h,Gy-x20ihWgii=1（公式2）Mean-Shift算法就是按以下三個步驟連續(xù)迭代計算。（1）計算Mean-Shift向量Mh,g.（2）把Mh,g（x）的值賦給x.（3）判斷是否滿足Mh,g（X）一J，若是則結(jié)束循環(huán)，否則繼續(xù)執(zhí)行（1）。因此上面的步驟就是使Mean-Shift向量不斷地沿著概率密度的梯度方向移動

13、，移動的步長不僅與梯度的大小有關(guān)也與該點的概率密度有關(guān)。在密度大的地方移動的步長小些，密度小的地方移動的步長就大些。Cam-Shift算法Cam-Shift算法，即“ContinuouslyAdaptiveMean-Shift”算法5是一種運動跟蹤算法。它是一個基于Mean-Sift的改進算法。將Mean-Shift算法擴展到連續(xù)圖像序列（一般都是指視頻圖像序列），這樣就形成了Cam-Shift算法。它首次由GaryR.Bradski等人提出和應(yīng)用在人臉的跟蹤上，并取得了不錯的效果。由于它是利用顏色的概率信息進行的跟蹤，使得它的運行效率比較高。Cam-Shift算法原理Cam-Shift利用目

14、標的顏色直方圖模型將圖像轉(zhuǎn)換為顏色概率分布圖，初始化一個搜索窗的大小和位置，并根據(jù)上一幀得到的結(jié)果自適應(yīng)調(diào)整搜索窗口的位置和大小，從而定位出當前圖像中目標的中心位置。它主要通過視頻圖像中運動物體的顏色信息來達到跟蹤的目的。我把這個算法分解成三個部分，便于理解：（1）BackProjection計算（2）Mean-Shift算法（3）Cam-Shift算法BackProjection計算計算BackProjection的步驟：（1）計算被跟蹤目標的色彩直方圖。在各種色彩空間中，只有HSV空間（或與HSV類似的色彩空間）中的H分量可以表示顏色信息。所以在具體的計算過程中，首先將其他的色彩空間河北工

15、業(yè)大學城市學院本科畢業(yè)設(shè)計（論文）中期報告河北工業(yè)大學城市學院本科畢業(yè)設(shè)計（論文）中期報告河北工業(yè)大學城市學院本科畢業(yè)設(shè)計(論文)中期報告 的值轉(zhuǎn)化到HSV空間，然后對其中的H分量做直方圖計算。根據(jù)獲得的色彩直方圖將原始圖像轉(zhuǎn)化成色彩概率分布圖像，這個過程就被稱作BackProjection。算法分析：直方圖可以看作是一種概率分布圖。在處理前，目標圖像中的每一個象素的值描述的在這一點的顏色信息，而處理后，圖像中每一個象素的值就變成了這個顏色信息出現(xiàn)在此處的可能性的一種離散化的度量，出現(xiàn)的可能性大，象素的值就大，反之則小。這樣就為后面的匹配和跟蹤提供了線索。Mean-Shift算法在討論Mean

16、-Shift算法之前，首先討論在概率分布圖像中6如何計算某個區(qū)域的質(zhì)心(MassCenter)的問題，質(zhì)心可以通過以下公式來計算：計算區(qū)域內(nèi)0階矩for(inti=0;iheight;i+)for(intj=0;jwidth;j+)M00+=I(i,j);/I(i,j)為像素點值區(qū)域內(nèi)1階矩for(inti=0;iheight;i+)for(intj=0;jwidth;j+)M10+=i*I(i,j);M01+=j*I(i,j);則MassCenter為：X=M10/M00;Y=M01/M00(用1階距除以0階距)。Mean-Shift算法可以分為以下4步：選擇窗的大小和初始位置.（2）計算此

17、時窗口內(nèi)的MassCenter.（3）調(diào)整窗口的中心到MassCenter.（4）重復（2）和（3）,直到窗口中心“會聚”，即每次窗口移動的距離小于一定的閾值。Cam-Shift算法在了解了Mean-Sh辻t算法以后，我們將Mean-Sh辻t算法擴展到連續(xù)圖像序列（一般都是指視頻圖像序列），這樣就形成了Cam-Shift算法。Cam-Shift算法的基本思想是視頻圖像的所有幀作Mean-Shift運算，并將上一幀的結(jié)果（即SearchWindow的中心和大?。┳鳛橄乱粠琈ean-Shift算法的SearchWindow的初始值，如此迭代下去，就可以實現(xiàn)對目標的跟蹤。整個算法的具體步驟分5步：（

18、1）確定初始目標及其區(qū)域；（2）計算出目標的色度（Hue）分量的直方圖；（3）利用直方圖計算輸入圖像的反向投影圖；（4）利用Mean-Shift算法在反向投影圖中迭代搜索7,直到其收斂或達到最大迭代次數(shù)。（5）從第（4）步中獲得收索窗口的中心位置和計算出新的窗口大小，以此為參數(shù)，進入到下一帪的目標跟蹤。（即跳轉(zhuǎn)到第（2）步）；幾點說明：（1）在輸入圖像進行反向投影圖之前在HSV空間內(nèi)做了一個閥值處理，用以濾掉一些噪聲。（2）反向投影圖則是概率分布圖，在反向投影圖中某一像素點的值指的是這個點符合目標的概率分布的概率是多少，或者直接說其為目標圖像像素點的像素點是多少。計算方法為：根據(jù)像素點的像素值查詢目標的直方圖，其對應(yīng)像素值的概率是多少就作為該點在反向投影圖中的值。（3）在設(shè)定計算區(qū)域時，區(qū)域要略大于初始化的窗口/上一幀的跟蹤窗口。目的是當目標變大或移動時，不會丟失目標顏色特征，提高算法有效性。下一步計劃2012-05-05-2012-05-26完成算法，完成并提交論文初稿。2012-05-27-2012-06-02進一步完善算法，并修改整理論文，