專業(yè)碩士研究生實踐訓(xùn)練環(huán)節(jié)視頻運動目標(biāo)檢測與跟蹤學(xué)院：信息科學(xué)與工程學(xué)院專業(yè)：姓名:學(xué)號：授課老師:日期：2017目錄TOC\o"1-5"\h\z\o"CurrentDocument"1課程設(shè)計的目的和意義11.1課程設(shè)計的目的11.2課程設(shè)計的意義1\o"CurrentDocument"2系統(tǒng)簡介及說明2\o"CurrentDocument"3設(shè)計內(nèi)容和理論依據(jù)2基于MeanShift的跟蹤算法3RGB顏色直方圖33.1.2基于顏色和紋理特征的MeanShift跟蹤算法3\o"CurrentDocument"3.2基于顏色特征的粒子濾波跟蹤算法43.2.1貝葉斯重要性采樣43.2.2序列重要性采樣53.2.3粒子退化現(xiàn)象和重采樣63.2.4基本粒子濾波算法6\o"CurrentDocument"4流程圖7MeanShift跟蹤算法流程圖74.2粒子濾波跟蹤算法流程圖7\o"CurrentDocument"5實驗結(jié)果及分析討論85.1基于MeanShift的跟蹤算法仿真結(jié)果8\o"CurrentDocument"5.2基于顏色特征的粒子濾波算法仿真結(jié)果9\o"CurrentDocument"6思考題10\o"CurrentDocument"7課程設(shè)計總結(jié)10\o"CurrentDocument"8參考文獻(xiàn)101課程設(shè)計的目的和意義1.1課程設(shè)計的目的隨著計算機技術(shù)的飛速發(fā)展、信息智能化時代的到來，安防、交通、軍事等領(lǐng)域?qū)τ谥悄芤曨l監(jiān)控系統(tǒng)的需求量逐漸增大。視頻運動目標(biāo)跟蹤是計算機視覺領(lǐng)域的一個研究熱點，它融合了人工智能、圖像處理、模式識別以及計算機領(lǐng)域的其他先進(jìn)知識和技術(shù)。在軍事視覺制導(dǎo)、安全監(jiān)測、交通管理、醫(yī)療診斷以及氣象分析等許多方面都有廣泛應(yīng)用。同時，隨著視頻攝像機的普及化，視頻跟蹤有著廣泛的應(yīng)用前景，對城市安全起到了防范作用，并且和我們的生活息息相關(guān)。從目前國內(nèi)外研究的成果來看，對于運動目標(biāo)的跟蹤算法和技術(shù)主要是針對于特定環(huán)境提出的特定方案，大多數(shù)的跟蹤系統(tǒng)不能適應(yīng)于場景比較復(fù)雜且運動目標(biāo)多變的場景。并且在視頻圖像中目標(biāo)的遮擋、光照對顏色的影響、柔性剛體的輪廓變化等將嚴(yán)重影響目標(biāo)的檢測與跟蹤。因此如何實現(xiàn)一個具有魯棒性、實時性的視覺跟蹤系統(tǒng)仍然是視覺跟蹤技術(shù)的主要研究方向。MeanShift算法的主要優(yōu)點體現(xiàn)在：計算簡單、便于實現(xiàn)；對目標(biāo)跟蹤中出現(xiàn)的變形和旋轉(zhuǎn)、部分遮擋等外界影響，具有較強的魯棒性。缺點在于：算法不能適應(yīng)光線變化等外界環(huán)境的影響；當(dāng)目標(biāo)尺度發(fā)生變化時，算法性能受到較大的影響。粒子濾波適用于非線性、非高斯系統(tǒng)，在諸如機動目標(biāo)跟蹤、狀態(tài)監(jiān)視、故障檢測及計算機視覺等領(lǐng)域有其獨到優(yōu)勢，并得到了廣泛研究。但粒子濾波算法本身還不夠成熟，存在粒子匱乏、收斂性等問題。因為跟蹤機動目標(biāo)需要對目標(biāo)的運動特性有一定了解，因此，目標(biāo)跟蹤的難點之一在于目標(biāo)模型的建立及其與跟蹤方法的匹配上，這是提高跟蹤性能的關(guān)鍵。1.2課程設(shè)計的意義圖像處理(imageprocessing)，用計算機對圖像進(jìn)行分析，以達(dá)到所需結(jié)果的技術(shù)。又稱影像處理。圖像處理一般指數(shù)字圖像處理。數(shù)字圖像是指用數(shù)字?jǐn)z像機、掃描儀等設(shè)備經(jīng)過采樣和數(shù)字化得到的一個大的二維數(shù)組，該數(shù)組的元素稱為像素，其值為一整數(shù)，稱為灰度值。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強和復(fù)原，匹配、描述和識別3個部分。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強、圖像復(fù)原、圖像分割和圖像分析等。圖像處理一般指數(shù)字圖像處理。雖然某些處理也可以用光學(xué)方法或模擬技術(shù)實現(xiàn)，但它們遠(yuǎn)不及數(shù)字圖像處理那樣靈活和方便，因而數(shù)字圖像處理成為圖像處理的主要方面。隨著計算機的發(fā)展，數(shù)字圖像處理已成為電子信息、通信、計算機、自動化、信號處理等專業(yè)的重要課程。數(shù)字圖像處理課程設(shè)計是在學(xué)習(xí)完數(shù)字圖像處理的相關(guān)理論后，進(jìn)行的綜合性訓(xùn)練課程。其目的是進(jìn)一步鞏固數(shù)字圖像的基本概念、理論、分析方法和實現(xiàn)方法。通過本次課程設(shè)計增強應(yīng)用matlab編寫熟悉圖像處理的應(yīng)用程序及分析問題解決實際問題的能力，同時對綜合運用專業(yè)基礎(chǔ)知識及軟件設(shè)計能力也會有較大提高。2系統(tǒng)簡介及說明視頻跟蹤的目的就是從復(fù)雜的背景中檢測出跟蹤目標(biāo)，通過對圖像序列進(jìn)行處理和分析研究，從而實現(xiàn)對目標(biāo)的準(zhǔn)確跟蹤。目標(biāo)跟蹤的原理就是在每一幀的圖像序列中找出目標(biāo)的確切位置。一般的跟蹤方法是首先提取被跟蹤目標(biāo)的圖像，建立一個模板，然后在下一幀圖像中進(jìn)行全圖匹配，搜索目標(biāo)圖像，直到找到匹配的位置。盡管不同的應(yīng)用場合和需求對應(yīng)了不同的跟蹤系統(tǒng)，但是它們的基本原理、關(guān)鍵技術(shù)和核心算法大同小異。實現(xiàn)目標(biāo)跟蹤的關(guān)鍵在于如何有效的分割目標(biāo)、合理的提取目標(biāo)特征和準(zhǔn)確、穩(wěn)定地識別目標(biāo)，同時還要考慮目標(biāo)跟蹤算法實現(xiàn)的時間，保證跟蹤的實時性和魯棒性。一般的，視頻目標(biāo)跟蹤系統(tǒng)通常包括以下幾個部分：視頻圖像采集，運動目標(biāo)檢測，目標(biāo)跟蹤以及行為理解與分析。如圖3.1所示。圖2-1視頻目標(biāo)跟蹤系統(tǒng)通過視頻采集設(shè)備進(jìn)行圖像采集，并通過A/D轉(zhuǎn)換將視頻信號轉(zhuǎn)換成數(shù)字圖像序列。運動目標(biāo)檢測是把跟蹤場景中發(fā)生變化的區(qū)域檢測出來，并將運動目標(biāo)從背景圖像中提取出來，正確的檢測對目標(biāo)跟蹤的后期處理非常重要。目標(biāo)跟蹤是指在一段序列圖像中找出感興趣的運動目標(biāo)在連續(xù)幀圖像中的位置序列，它是目標(biāo)行為理解與分析的前提；目標(biāo)行為理解與分析是指對目標(biāo)模式進(jìn)行分析識別，并且可以用自然語言等對其進(jìn)行描述，它屬于高級處理部分。3設(shè)計內(nèi)容和理論依據(jù)運動目標(biāo)跟蹤領(lǐng)域的兩個熱點算法是MeanShift算法和粒子濾波算法，本次設(shè)計是對這兩種算法進(jìn)行探討。針對基于單一顏色模型的MeanShift跟蹤算法易受復(fù)雜環(huán)境以及相似背景干擾的影響，采用一種基于顏色和紋理特征的MeanShift跟蹤算法，提高跟蹤效率。將改進(jìn)的MeanShift算法與粒子濾波算法進(jìn)行比較。

3.1基于MeanShift的跟蹤算法RGB顏色直方圖RGB顏色直方圖：在運動目標(biāo)跟蹤領(lǐng)域里，顏色直方圖是一種典型的描述目標(biāo)特征的手段，它應(yīng)用計算和統(tǒng)計學(xué)規(guī)律，能夠反映視頻序列幀中顏色的組合結(jié)構(gòu)和比例分布情況，任何一副圖像都有與之唯一對應(yīng)的顏色直方圖。RGB彩色模型三維坐標(biāo)系的每個坐標(biāo)軸分別由R、G、B三基色組成，其中坐標(biāo)軸最小值為0，最大值為255。任何一種顏色都能夠在這個三維坐標(biāo)系中找到自己的位置，坐標(biāo)的原點(0，0，0)表示黑色，而坐標(biāo)(255，255，255)表示白色。計算圖像顏色直方圖的目的是為了獲取顏色概率分布圖像，因此需要顏色量化過程即將顏色空間劃分為若干個小的顏色區(qū)間，每個區(qū)間稱為直方圖的一個直方格bin，然后計算圖片顏色落在每個顏色區(qū)間內(nèi)的像素數(shù)量就可以得到顏色直方圖。計算直方圖的方法可以簡單的描述為：給定一個圖像的m區(qū)間的直方圖，定義圖像的像素位置為*.}和直方圖{q}，同時給定一個表示像素x*的ii=1,...,nu=1,...,mi直方圖索引為cG*九勺函數(shù)c:R2r{1,...,m}，因此直方圖可以用下式計算：iq=況5i=1其中將直方圖區(qū)間的值量化到二維概率分布圖像的離散像素范圍內(nèi)可以用下式計算：(3q=況5i=1其中將直方圖區(qū)間的值量化到二維概率分布圖像的離散像素范圍內(nèi)可以用下式計算：(3-1)(3-2)q,255"max(q)uu=1,...,m即直方圖區(qū)間的值從［0,max(q)］量化到新的范圍［0,255］內(nèi)。3.1.2基于顏色和紋理特征的MeanShift跟蹤算法顏色是一種有效的視覺特征，它對目標(biāo)的旋轉(zhuǎn)、物體的遮擋及非剛體變換都比較魯棒，但是它容易受到光照變化及相似背景顏色的干擾。因此基于單一特征的跟蹤算法很難適應(yīng)環(huán)境的變化，而多特征聯(lián)合起來可以有效的互補克服單一線索的缺陷。本文采用基于顏色和紋理特征的MeanShift跟蹤算法，在對運動目標(biāo)進(jìn)行顏色特征匹配之后，進(jìn)一步進(jìn)行LBP紋理統(tǒng)計特征匹配，有效的提高了匹配效率，避免基于單一顏色特征的MeanShift跟蹤算法易受到光照變化及相似背景顏色干擾的缺點。用于跟蹤的MeanShift算法是一種半自動跟蹤算法.在跟蹤序列的初始幀，通過人工或其他識別算法確定目標(biāo)窗并構(gòu)建目標(biāo)模型；然后，在序列第N幀對應(yīng)位置計算候選目標(biāo)模型；比較兩個模型的相似度，以相似度最大化為原則移動跟蹤窗，從而定位目標(biāo)的真實位置。p(丫p(丫)二2^eu=1+12u=1\PuY目標(biāo)定位問題轉(zhuǎn)化為最大化相似度函數(shù)p(Y)的問題，以前一幀的搜索窗中心Y為起始點，將p(Y)在Y附近Taylor展開，取前兩項。即：00因此要使得p(Y)向最大值迭代，只要Y的搜索方向與梯度方向一致即可，通過求導(dǎo)可得到Y(jié)的梯度方向。從而可以推導(dǎo)出MeanShift向量：YXwgiikiYXwgiiki=1X-Y—i0Hh-匕(3-4)m(Y)=Y-Y="hg010其中，Y1是目標(biāo)的新中心坐標(biāo)；g3)=-k'(X)，是函數(shù)k(x)的影子核。通過反復(fù)迭代，當(dāng)Mean-Shift向量m〃，g(Y)的模值小于給定常量^時，則認(rèn)為完成了目標(biāo)定位。3.2基于顏色特征的粒子濾波跟蹤算法-匕(3-4)粒子濾波是蒙特卡羅方法和貝葉斯估計理論結(jié)合的產(chǎn)物，它通過非參數(shù)化的蒙特卡羅模擬方法從時域?qū)崿F(xiàn)遞推貝葉斯估計。粒子濾波算法其思想是利用一系列隨機抽取的樣本以及樣本的權(quán)重來計算狀態(tài)的后驗概率密度。從而實現(xiàn)目標(biāo)的跟蹤。粒子濾波算法通過狀態(tài)-空間模型中不斷演化的具有權(quán)值的粒子來估計目標(biāo)狀態(tài)，不用滿足系統(tǒng)為線性、噪聲高斯分布，適用于任何能用狀態(tài)空間模型表示的非線性系統(tǒng)，但是基本的粒子濾波算法會出現(xiàn)粒子退化現(xiàn)象，使跟蹤的精確性大大降低。3.2.1貝葉斯重要性采樣在粒子濾波算法中，重要性采樣是一個重要環(huán)節(jié)。它解決的問題是在隨機變量難以采樣的情況下，求取隨機變量X的數(shù)學(xué)期望值。由前面討論可知，后驗概率密度可由一組采樣加權(quán)的粒子來近似，但是在實際情況中，后驗概率密度是未知的，所以不能直接對后驗概率密度采樣獲得粒子。要解決這個問題的常見做法是對一個容易獲得的建議分布q(x?！钩?進(jìn)行采樣，于是期望的計算可以轉(zhuǎn)化為：E[g(x)]=jg(x)氣1q(xz)dx0：t0：tq(xz)0：t1：t0：t「P(zx)p(x),Iw(3-5)=Jg(x)1t0t—0：t—q(xz)dx0:tp(z)q(x|z)心1:t0:t=Jg(x)改(％)q(x|z)dx0:tp(z)0:t1:t0:t其中W(tx)為重要性權(quán)值，計算公式如下：0:tw(x)=「(U%”("

t0:tq(x0|z1)將w(x)代入式(3-5)中可得：t0：t珥g(x.)：=占1:tE,、=q^x,k.t)q(xotzi：t』g(x)w(x^q(xz)dx(w(x)g(x))t(w(x)^0)t0:ti：t0：t(3-7)其中，E表示根據(jù)建議分布獲得的期望，因此期望E「g(x0t)]可以近似表示為:E「g(x)]=Wg(xi)wJ)0:t0：：tt0：：ti=i式中，x0t表示從qG0(3-8)zi：t)中獲得的獨立隨機樣本，w(xi)表示標(biāo)準(zhǔn)化權(quán)值，t0:tw(,.)=wt"t0:tE()乙w\xi/~t0:ti=i(3-9)3.2.2序列重要性采樣為了序貫估計后驗分布，建議分布的表達(dá)式重新寫為:q(x0：tx0：t-i,zi：t-i)假設(shè)狀態(tài)變量與觀測變量相互獨立，且遵循一階馬爾科夫過程，則:p(x)=p(x)rfp(xx)kt)=q°°：t-J(3-10)0jj=ij-i(3-11)p(zx)=口p(zx)0：tjj=i重要性權(quán)值的遞推公式可以表示為：(3-12)wt(x0：t)=wt-i(x0：t)Pqvxt(小)p(x|x「t1—x0：t-i,Zit(3-13)上式表明，只要選擇合適的建議分布獲取采樣粒子，就可以遞推計算粒子重要性權(quán)值。理想的建議分布選擇應(yīng)該使得重要性權(quán)值的方差最小，在實際情況中，通常建議取建議分布為狀態(tài)先驗分布，即:(3-14)(3-15))=p(x|x)(3-14)(3-15)(x)=w(x)pQX(x)=w(x)pQX)上式表明，采用狀態(tài)先驗先驗分布作為建議分布，重要性權(quán)值正比于似然函數(shù)。3.2.3粒子退化現(xiàn)象和重采樣序貫重要性采樣最大的問題就是粒子退化現(xiàn)象，退化現(xiàn)象是指經(jīng)過若干次的遞推之后，少數(shù)粒子會具有較大的權(quán)值，而其它的粒子的權(quán)值都變得很小，以此類推，大量的計算量就會浪費在這些權(quán)值較小的粒子上，相應(yīng)的粒子權(quán)值方差會隨著時間的推移不斷增大，那么此時的粒子集就無法準(zhǔn)確地對后驗概率分布進(jìn)行描述。為了避免這個問題，最常用的做法是重采樣。重采樣的核心思想是在重要性采樣的基礎(chǔ)之上，加入重采樣，以淘汰權(quán)值較小的粒子，而集中于權(quán)值較大的粒子。粒子的退化程度可以用有效粒子數(shù)N盼來度量，有效粒子數(shù)可以用下式近似估計得到：6eff(xeff(x)]20:t(3-16)i=1........■■一一一人目前比較常用的判斷準(zhǔn)則是給定閾值Nh，一般Nh設(shè)為2N/3,若NfNh,1:t則進(jìn)行粒子重采樣，否則不進(jìn)行重采樣。重采樣的算法一般可以描述為從近似描述p(xz)分布的粒子集，(，)}中重新抽樣N次，以產(chǎn)生新的粒子集{(i)}，并且把粒子的權(quán)重全部重新設(shè)為1/N。i=1,...,n1:t{(i)}，并且把粒子的權(quán)重全部重新設(shè)為1/N。通過對以上基礎(chǔ)知識的了解，基本粒子濾波算法一般包含初始化、狀態(tài)轉(zhuǎn)移、系統(tǒng)觀測、狀態(tài)估計及重采樣五個步驟，具體步驟如下：初始化：t=0，根據(jù)先驗分布p(X)，采樣初始粒子集(X(i)}~p(x)；tr.,ti=1,...,N重要性采樣：t>1時，進(jìn)行重要性采樣，從建議分布采樣，XG)~qIlf,七)；

重要性加權(quán):1)更新粒子權(quán)值w(D=w(x)p(zX)；2)對權(quán)值進(jìn)行歸一化處理W(D=w(D丈w(Dttt1-i=13)狀態(tài)估計:X=研WGXG)；ttti=1(4)重米樣：如果N<N(4)重米樣：如果N<N,

effth則進(jìn)行重采樣產(chǎn)生新的粒子集Ko,n-1t}~{x(i),W(i)}；ttt=t+1,返回步驟(2)。4流程圖4.1MeanShift跟蹤算法流程圖圖4.1MeanShift跟蹤算法系統(tǒng)框圖4.2粒子濾波跟蹤算法流程圖開始結(jié)束初始化條件：粒子數(shù)，各參數(shù)值是-■_否讀取圖像幀::.是否最后一幀:，1r初始化粒子，計算目標(biāo)模版更新目標(biāo)模版1r狀態(tài)轉(zhuǎn)移輸出目標(biāo)估計r計算粒子區(qū)域模版粒子重采樣1r計算似燃性—>粒子權(quán)值更新圖4.2粒子濾波跟蹤算法系統(tǒng)框圖5實驗結(jié)果及分析討論5.1基于MeanShift的跟蹤算法仿真結(jié)果本節(jié)分別給出基于顏色特征的MeanShift跟蹤算法以及基于顏色和紋理特征的MeanShift跟蹤算法的實驗結(jié)果。通過自拍室外視頻對不同算法在相似背景干擾的情況下進(jìn)行測試，視頻的大小為1280720，視頻長度為223幀，幀速率為25fps，以頻中運動的人為跟蹤目標(biāo)，實驗結(jié)果如圖5-1、圖5-2所示。

圖5-2基于顏色和紋理特征的MeanShift跟蹤算法的實驗結(jié)果由實驗結(jié)果可以看出，在背景顏色與人物顏色相似的情況下，基于顏色特征的MeanShift跟蹤算法發(fā)生了較大偏差，無法準(zhǔn)確地跟蹤目標(biāo)；而基于顏色和紋理特征的MeanShift跟蹤算法，由于加入了紋理特征，跟蹤性能較為穩(wěn)定，出現(xiàn)的偏差