1運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割全局運(yùn)動估計車輛檢測與跟蹤5圖像超分辨率重建第1頁/共85頁2動態(tài)場景的運(yùn)動檢測視頻圖像中的目標(biāo)檢測與跟蹤，是計算機(jī)視覺的基礎(chǔ)課題，同時具有廣泛的應(yīng)用價值。依照目標(biāo)與攝像頭之間的關(guān)系：靜態(tài)場景目標(biāo)檢測相對簡單，研究漸趨成熟動態(tài)場景相對復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)靜態(tài)場景幀差的一個例子第2頁/共85頁3視頻序列運(yùn)動檢測對于動態(tài)場景，由于目標(biāo)與攝像頭之間存在復(fù)雜的相對運(yùn)動，運(yùn)動檢測富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對全局的運(yùn)動進(jìn)行估計和補(bǔ)償，成為問題的關(guān)鍵。第一幀幀差圖像第3頁/共85頁4解決思路要檢測動態(tài)場景中的運(yùn)動目標(biāo)，關(guān)鍵在于對場景的運(yùn)動進(jìn)行估計，通過估計出的運(yùn)動參數(shù)補(bǔ)償其運(yùn)動，最后使用幀差法得到運(yùn)動目標(biāo)。提取特征點(diǎn)特征點(diǎn)匹配最小二乘求運(yùn)動參數(shù)提取特征點(diǎn)前一幀圖像后一幀圖像運(yùn)動補(bǔ)償幀差法運(yùn)動目標(biāo)第4頁/共85頁5求解全局運(yùn)動參數(shù)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動補(bǔ)償補(bǔ)償后的幀差圖像第5頁/共85頁6實(shí)驗(yàn)結(jié)果與普通幀差法的比較

第50幀第80幀第5幀幀差法特征匹配的方法原序列第6頁/共85頁7基于圖像金字塔分解的全局運(yùn)動估計

采用了3層金字塔進(jìn)行多分辨率計算,而且在每層迭代計算中,將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取算法相結(jié)合,這樣既加快了算法的速度,又提高了計算結(jié)果的準(zhǔn)確性。第7頁/共85頁8基本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對金字塔頂層圖像進(jìn)行全局運(yùn)動估計，求得運(yùn)動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進(jìn)行全局運(yùn)動估計，求得相應(yīng)的運(yùn)動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對該層進(jìn)行全局運(yùn)動估計，求得該層的運(yùn)動參數(shù)集,即最終求得的參數(shù)集。利用求得的最終參數(shù)集，對圖像進(jìn)行運(yùn)動補(bǔ)償，將運(yùn)動補(bǔ)償后的圖像與前一幀圖像進(jìn)行差值。第8頁/共85頁9下圖給出了運(yùn)動補(bǔ)償與直接幀差的結(jié)果比較圖1

Coastguard序列圖像圖2直接幀差和運(yùn)動補(bǔ)償后的差值圖比較第9頁/共85頁10運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割全局運(yùn)動估計車輛檢測與跟蹤5圖像超分辨率重建第10頁/共85頁11目標(biāo)分割的意義與現(xiàn)狀運(yùn)動目標(biāo)的準(zhǔn)確分割，對于獲取目標(biāo)的特征信息非常重要，直接影響到進(jìn)一步的運(yùn)動目標(biāo)跟蹤的處理，傳統(tǒng)的運(yùn)動目標(biāo)分割的算法主要有背景差分，相鄰幀間差分，光流場的方法，這些方法都有各自的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動目標(biāo)的要求。第11頁/共85頁12Ohlander等提出了一種多維直方圖閾值化分割方法，該方法直方圖閾值法不需要先驗(yàn)信息，計算量較小,但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能是不完整的，而且沒有利用局部空間信息，分割不準(zhǔn)確。第12頁/共85頁13馬爾可夫隨機(jī)場分割目前基于馬爾可夫隨機(jī)場隨機(jī)場（MRF）運(yùn)動目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于MRF的運(yùn)動目標(biāo)分割方法同時考慮了圖像顏色信息和空間關(guān)聯(lián)信息，因此分割效果較好。第13頁/共85頁14另外，MRF參數(shù)選取的好壞會直接影響到分割結(jié)果，Smits等研究雷達(dá)圖像分割時表明，馬爾可夫參數(shù)如果較大容易形成較長的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪廓模糊，對分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。第14頁/共85頁15因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場的分割方法，結(jié)合分水嶺預(yù)分割算法，并利用形態(tài)濾波對分割結(jié)果進(jìn)行修正，較好地解決了分割不準(zhǔn)確，目標(biāo)信息丟失的問題。第15頁/共85頁16基于MRF的運(yùn)動目標(biāo)分割

馬爾可夫隨機(jī)場是把一維因果馬爾可夫鏈擴(kuò)展成二維的結(jié)果，Hammersley-Clifford定理指出了MRF和Gibbs分布之間的等價性，每個MRF都可以用一個Gibbs分布來描述，這樣就解決了MRF概率難求的問題。第16頁/共85頁17

Gibbs分布可定義成如下公式：圖像上每一點(diǎn)的概率分布第17頁/共85頁18對于一幀CIF圖像，存在一系列的像素點(diǎn)，對于這些點(diǎn)存在一標(biāo)記場和事先觀察場，這樣馬爾可夫隨機(jī)場的運(yùn)動目標(biāo)分割的問題可以歸結(jié)為在事先觀察場和其它一系列約束條件下，確定運(yùn)動目標(biāo)區(qū)域和背景區(qū)域的二值標(biāo)記問題。第18頁/共85頁19MRF運(yùn)動目標(biāo)分割結(jié)果一

（a）實(shí)驗(yàn)序列1（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割第19頁/共85頁20MRF運(yùn)動目標(biāo)分割結(jié)果二

（a）實(shí)驗(yàn)序列2（b）固定閾值二值化（c）高斯模型分割（d）自適應(yīng)值MRF分割第20頁/共85頁21運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割全局運(yùn)動估計車輛檢測與跟蹤5圖像超分辨率重建第21頁/共85頁22分片跟蹤為什么引入分片跟蹤：在目標(biāo)跟蹤領(lǐng)域，一個重要的難題就是目標(biāo)的遮擋問題，因?yàn)檎趽醢l(fā)生時目標(biāo)可能部分或全部不可見。模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時，人眼會關(guān)注目標(biāo)的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個小片，目標(biāo)被遮擋時，利用“可見片”來跟蹤。

第22頁/共85頁23分片跟蹤主要思想：

將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。

當(dāng)前幀上一幀目標(biāo)位置候選目標(biāo)位置搜索窗口目標(biāo)分片第23頁/共85頁24分片跟蹤其中相似度的度量是通過各片的空間直方圖匹配來實(shí)現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用有效片進(jìn)行下一幀的跟蹤。被遮擋的區(qū)域片基本丟失第24頁/共85頁25模板更新由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。但是在跟蹤過程中，目標(biāo)的外觀模型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。

第25頁/共85頁26目標(biāo)外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少第26頁/共85頁27利用有效片的概念，我們?yōu)槊總€目標(biāo)建立兩種模板，臨時模板和參考模板。

臨時模板—實(shí)時更新的模板，在無遮擋情況下跟蹤，可以解決目標(biāo)外觀緩慢變化的問題。參考模板—能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。第27頁/共85頁28分片跟蹤多組實(shí)驗(yàn)結(jié)果：

1.可以有效的解決目標(biāo)遮擋

2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時更新模板

3.在背景較為簡單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新第28頁/共85頁29分片跟蹤遮擋下的跟蹤第29頁/共85頁30分片跟蹤目標(biāo)表現(xiàn)模型的變化時的跟蹤第30頁/共85頁31目標(biāo)尺度發(fā)生變化第31頁/共85頁32運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割全局運(yùn)動估計車輛檢測與跟蹤5圖像超分辨率重建第32頁/共85頁33車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法第33頁/共85頁34車輛檢測與跟蹤概述智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)第34頁/共85頁35車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：（1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（1）、（2）兩種情況開展研究第35頁/共85頁36車輛檢測與跟蹤概述車輛檢測：改進(jìn)的碼本算法解決車輛檢測中的陰影問題;車輛跟蹤:Kalman預(yù)測的方法解決車輛跟蹤中的遮擋問題;第36頁/共85頁37基于改進(jìn)碼本的車輛檢測方法運(yùn)動檢測方法：

幀間差分方法光流場方法背景減法

構(gòu)建較為理想的背景模型

第37頁/共85頁38常用背景建模和更新算法

混合高斯模型(MixtureofGaussians,MOG)：

能處理復(fù)雜、非靜止的多模態(tài)背景，但它不能適應(yīng)快速的背景變化,對噪聲變化比較敏感；基于內(nèi)核密度估計(kerneldensityestimation,KDE)的非參數(shù)背景模型：需要大量內(nèi)存來存儲先前的數(shù)據(jù)，需要很高的計算開銷；基于Bayes決策的方法：在場景比較復(fù)雜或前景與背景顏色比較接近時，提取的前景目標(biāo)很不完整第38頁/共85頁39基于碼本模型的運(yùn)動目標(biāo)檢測方法

KimK，ProceedingsofIEEEInternationalConferenceonImageProcessing；2004

算法是利用量化和聚類技術(shù)來構(gòu)建背景模型；針對彩色監(jiān)控視頻,對背景中的每一個像素點(diǎn)進(jìn)行一段時間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。運(yùn)動檢測時，對新輸入的像素值與其對應(yīng)碼本做比較,如果能找到與其匹配的碼字，則認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。第39頁/共85頁40基于碼本模型的運(yùn)動目標(biāo)檢測方法

碼本方法：計算聚類均值和樣本與它的距離,不涉及概率運(yùn)算,運(yùn)算速度較快；碼本方法能處理高亮和陰影問題，而且訓(xùn)練時允許有前景運(yùn)動目標(biāo)。該算法具有較強(qiáng)的魯棒性，能實(shí)現(xiàn)對運(yùn)動目標(biāo)較好的檢測。第40頁/共85頁41基于碼本模型的運(yùn)動目標(biāo)檢測方法

原碼本算法對RGB空間的視頻序列，已具有較好的檢測效果，有一些不足之處：視頻采集設(shè)備，如網(wǎng)絡(luò)攝像機(jī)、DV和圖像采集卡等采集的視頻序列大多是YUV格式的，如果要在RGB空間做運(yùn)動檢測，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，而該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大；原算法在RGB空間進(jìn)行陰影處理時，需要做浮點(diǎn)型運(yùn)算，進(jìn)一步加大了運(yùn)算量。第41頁/共85頁42基于改進(jìn)碼本的車輛檢測實(shí)現(xiàn)

對原算法進(jìn)行改進(jìn)，直接在YUV空間做運(yùn)動檢測及陰影處理，省去了大量的浮點(diǎn)型運(yùn)算，提高了算法的效率。檢測步驟：（1）初始碼本的建立（2）前景運(yùn)動目標(biāo)檢測（3）陰影和高亮問題的解決（4）目標(biāo)檢測過程的碼本實(shí)時更新第42頁/共85頁43車輛跟蹤方法的實(shí)現(xiàn)

基于Kalman濾波的車輛跟蹤通過運(yùn)動估計和目標(biāo)匹配兩個模塊實(shí)現(xiàn)對車輛的跟蹤。利用前一幀獲得的參數(shù)作為Kalman濾波的狀態(tài)變量，當(dāng)前幀獲得的參數(shù)作為觀測值，通過Kalman濾波推導(dǎo)獲得估計值。以估計值為中心進(jìn)行目標(biāo)匹配，如果能匹配上則認(rèn)為是當(dāng)前運(yùn)動目標(biāo)，如果匹配不上則認(rèn)為出現(xiàn)了遮擋，使用Kalman對其位置進(jìn)行預(yù)測。

第43頁/共85頁44算法步驟

Step1背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2輸入像素點(diǎn)和碼本做比較判斷，得到可能的前景像素點(diǎn)，同時更新碼本。Step3去除可能前景像素點(diǎn)中陰影和高亮區(qū)域，得到真實(shí)的前景點(diǎn)，同時更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測出的運(yùn)動目標(biāo)的長寬消除非車輛目標(biāo)，將運(yùn)動車輛分割出來。

Step5使用卡爾曼濾波器預(yù)測車輛在下一幀中的可能位置。Step6在預(yù)測區(qū)域周圍對各個車輛進(jìn)行匹配跟蹤。轉(zhuǎn)Step2，進(jìn)行下一輪跟蹤。第44頁/共85頁45夜晚車輛檢測結(jié)果

第45頁/共85頁46普通路面檢測結(jié)果

（a）序列某一幀

（b）混合高斯模型檢測結(jié)果（c）Bayes決策檢測結(jié)果（d）本方法檢測結(jié)果第46頁/共85頁47高速公路檢測結(jié)果

（a）序列某一幀（b）混合高斯模型檢測結(jié)果

（c）Bayes決策檢測結(jié)果（d）本方法檢測結(jié)果第47頁/共85頁48跟蹤結(jié)果

（a）序列第168幀跟蹤結(jié)果（b）序列第182幀跟蹤結(jié)果

（c）目標(biāo)質(zhì)心在x方向的坐標(biāo)（d）目標(biāo)質(zhì)心在y方向的坐標(biāo)

第48頁/共85頁49跟蹤結(jié)果與粒子濾波方法比較

（a）粒子濾波第40幀（b）粒子濾波第60幀

（c）粒子濾波第88幀（d）粒子濾波第100幀第49頁/共85頁50跟蹤結(jié)果與經(jīng)典CamShift方法比較

（a）CamShift第40幀（b）CamShift第60幀（c）CamShift第88幀（d）CamShift第100幀

第50頁/共85頁51跟蹤結(jié)果比較

（a）本文方法第40幀（b）本文方法第60幀（c）本文方法第88幀（d）本文方法第100幀第51頁/共85頁52車輛檢測與跟蹤包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法第52頁/共85頁53背景傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測和跟蹤技術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響，本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運(yùn)動目標(biāo)與車輛遮擋模型進(jìn)行輪廓匹配識別出遮擋車輛。為了提取運(yùn)動目標(biāo)完整外部輪廓，提出一種基于連通域的兩輪掃描法來標(biāo)記各個運(yùn)動車輛，并利用YUV彩色空間對陰影進(jìn)行檢測和抑制，提高車流量統(tǒng)計精度。第53頁/共85頁54一、基于連通域的兩輪掃描法

通過背景減法得到運(yùn)動區(qū)域后，各個運(yùn)動目標(biāo)可以認(rèn)為是一個獨(dú)立的連通域，本文采用基于連通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)分割。

第54頁/共85頁55基于連通域的兩輪掃描法一、第一輪掃描初步標(biāo)記各個連通域。針對背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前掃描點(diǎn)像素值是否為255,如果像素值為255，說明該點(diǎn)是運(yùn)動像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決定當(dāng)前像素點(diǎn)標(biāo)記值，當(dāng)遇到第一個已被標(biāo)記的鄰近像素點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，若鄰近像素點(diǎn)都未標(biāo)記，說明該像素點(diǎn)可能屬于一個新的目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。第55頁/共85頁56基于連通域的兩輪掃描法二、第二輪掃描第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值的目標(biāo)合并為一個目標(biāo)。判斷每個像素點(diǎn)標(biāo)記值是否為0，如果為0，說明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反之進(jìn)一步查詢當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記，按照從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇到第一個已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰近像素點(diǎn)時，將進(jìn)行合并。第56頁/共85頁57基于連通域的兩輪掃描法

(a)一輪掃描后(b)二輪掃描后第57頁/共85頁58對比情況（a）原始圖像

（b）分割后（c）逐行掃描法（d）本文掃描方法上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（a）為原始圖像，圖（b）為運(yùn)動檢測結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動目標(biāo)分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功將該運(yùn)動目標(biāo)分割成一個獨(dú)立的區(qū)域，如圖（d）所示。第58頁/共85頁59二、通過輪廓匹配來解決遮擋問題處于遮擋狀態(tài)的運(yùn)動目標(biāo)與未處于遮擋狀態(tài)的運(yùn)動目標(biāo)分割得到的輪廓有很大的差異，本文分析目標(biāo)的外部輪廓來判斷該運(yùn)動目標(biāo)是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見的車輛遮擋情況，再提取運(yùn)動目標(biāo)的輪廓分別與各個車輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷該運(yùn)動目標(biāo)是否處于遮擋狀態(tài)。第59頁/共85頁60遮擋模型下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。

m1m2第60頁/共85頁61分層輪廓匹配方法本文采用一種分層輪廓匹配方法來比較運(yùn)動目標(biāo)與車輛遮擋模型的外部輪廓，該方法在匹配過程中利用輪廓的整體和局部信息進(jìn)行計算。首先提取運(yùn)動目標(biāo)輪廓，并進(jìn)行采樣并以二叉樹形式存儲，如右圖。第61頁/共85頁62分層輪廓匹配方法我們主要依靠該二叉樹的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹配比較，最終計算出匹配值。具體的匹配計算可以利用下面這個遞歸等式來表示：

第62頁/共85頁63試驗(yàn)結(jié)果（a）遮擋模型（b）原始遮擋圖像（c）分割處理后（d）遮擋模型與運(yùn)動目標(biāo)匹配第63頁/共85頁64試驗(yàn)結(jié)果

（a）（b）（c）（d）（e）（f）（g）

表1上圖各個車輛與車輛遮擋模型輪廓匹配結(jié)果第64頁/共85頁65三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動目標(biāo)，并對運(yùn)動目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪聲點(diǎn)。（2）基于YUV彩色空間檢測并去除出運(yùn)動目標(biāo)的陰影像素。由于YUV的色差分量U、V和HSV空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認(rèn)為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測并去除出陰影像素。第65頁/共85頁66主要算法步驟（3）通過本文提出的兩輪掃描法，分割各個運(yùn)動目標(biāo)，采集各個運(yùn)動目標(biāo)的大小，位置，矩特征，以及輪廓信息等，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對每一個運(yùn)動目標(biāo)，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運(yùn)動目標(biāo)與某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配的，判定該目標(biāo)處于對應(yīng)遮擋狀態(tài)。第66頁/共85頁67主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的方法進(jìn)行判斷，首先設(shè)置一條檢測線，橫貫馬路，分析位于檢測線上的各個運(yùn)動車輛，對于每一幀圖像中位于檢測線上的所有運(yùn)動車輛，我們都要查詢對應(yīng)位置在上一幀附近是否存在運(yùn)動車輛，如果存在，則它們可能是同一輛車，進(jìn)一步查詢這兩個運(yùn)動車輛的大小、方差與均值（矩特征）差值是否保持在一個范圍內(nèi)，若小于某一閾值，則認(rèn)為它們是同一輛車，反之認(rèn)為當(dāng)前車輛是剛進(jìn)入檢測線的新車輛，進(jìn)一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計數(shù)值，達(dá)到統(tǒng)計出車流量的目的。第67頁/共85頁68運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割全局運(yùn)動估計車輛檢測與跟蹤5圖像超分辨率重建第68頁/共85頁69超分辨率重建的概念

超分辨率重建(super-resolutionreconstruction)是指：從單幀或一序列低分辨率圖像(LR)復(fù)原出一幅或一序列高分辨率圖像(HR)，HR圖像有著更高的細(xì)節(jié)信息和更好的主觀質(zhì)量。LR序列HR圖像第69頁/共85頁70

圖像超分辨率重建的必要性攝像機(jī)在空間上的分辨率能力是有限的。圖像分辨率受攝像機(jī)感光陣列的空間密度及其本身引入的模糊誤差、運(yùn)動模糊、下采樣、噪聲等因素，導(dǎo)致實(shí)際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列

物體成像過程：第70頁/共85頁71圖像超分辨率重建的理論基礎(chǔ)

傅立葉光學(xué)理論中把成像系統(tǒng)看成是一個低通濾波器，在成像過程中會丟失高頻細(xì)節(jié)：對于一個線性空間不變成像系統(tǒng)，成像過程可表示為：

g(x)表示像，f(x)表示物，h(x)表示點(diǎn)擴(kuò)展函數(shù)。

在截止頻率之外H(u)=0，因此就把成像系統(tǒng)看成了一個傅立葉濾波器，對F(u)的解進(jìn)行了限制。SR技術(shù)的目的就在于恢復(fù)截至頻率之外的高頻信息，以使圖像獲得更多的細(xì)節(jié)和信息。它的理論基礎(chǔ)是：解析延拓理論，信息疊加理論和非線性操作。y(x)=h(x)*f(x)Y(u)=H(u)F(u)F(u)=Y(u)/H(u)第71頁/共85頁72超分辨率重建的觀察模型

給出超分辨率問題的完整的數(shù)學(xué)描述：給定p幀LR觀測圖像k=1,……p；每幀大小為L1×L2，它們是來自同一場景，也可以看成是來自HR圖像f的不同位置，f的大小為H1×H2。每個是x經(jīng)任意的偏移、模糊以及下采樣而形成。

建立觀察模型如下：Warp1M1WarpkMkWarppMpPSFBlur1B1PSFBlurkBkPSFBlurpBpSamplc1DSamplckDSamplcpD+++n1nknpy1ykypx第72頁/共85頁73配準(zhǔn)

在序列圖像超分辨率重建過程中，必須從欲重建圖像的前后幀圖像中提取相關(guān)的信息作為本幀圖像信息的補(bǔ)充，因此必須找到當(dāng)前幀圖像中各象素點(diǎn)在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個關(guān)鍵性要素就是對序列圖像中每個象素點(diǎn)進(jìn)行圖像間精確的亞象素級運(yùn)動估計。為什么要進(jìn)行圖像配準(zhǔn)？1stframe2ndframenotcorrect第73頁/共85頁741stframe2ndframecorrectresultregistrated2ndframe+第74頁/共85頁75為什么需要子像素的配準(zhǔn)精度？(mx,my)(mx/2,my/2)DownsamplingDownsamplingxH(x)y第75頁/共85頁76超分辨率重建中圖像配準(zhǔn)常用算法

塊匹配算法、光流場算法、基于互信息和互相關(guān)函數(shù)的算法、基于泰勒級數(shù)展開的算法。我們需要的算法：

對圖像全局運(yùn)動和局部變形均有效，并且對噪聲魯棒的精確亞像素精度的配準(zhǔn)算法。第7