差分運(yùn)動分析及基于核函數(shù)的視覺跟蹤工業(yè)和信息化部“十二五”規(guī)劃教材計算機(jī)視覺第五章01基于差分方法的光流計算HS模型最早由Horn和Schunck提出，這種模型以灰度圖像序列為研究對象，其前提是基于亮度常值和平滑性假設(shè)，最終計算出圖像序列所對應(yīng)的光流場，該模型是用變分方法進(jìn)行光流計算的經(jīng)典模型。光流通用模型基于差分方法的光流計算為了使模型能夠通過使用泰勒公式展開求解，就必須滿足一個前提，這個前提就是在處理過程中假定相鄰兩幀之間的位移小于或者等于一個像素，否則會出現(xiàn)較大的誤差，故不能得到理想的光流場，這一點也正是小位移光流計算與大位移光流計算的差別所在?；诓罘址椒ǖ墓饬饔嬎隳Ｐ蛿?shù)據(jù)項一般來說，先驗知識的內(nèi)容中包括圖像獲取時的環(huán)境狀況，如光照變化的發(fā)生，受噪聲的影響程度及旋轉(zhuǎn)和平移運(yùn)動等各種運(yùn)動類型的信息。光流計算模型中數(shù)據(jù)項的選擇是由先驗知識來確定的，要想獲得理想的光流場，需要具體問題具體分析。當(dāng)獲得目標(biāo)圖像時，根據(jù)不同的情況，從常見的6種不同的光照條件和運(yùn)動類型假設(shè)中選擇合適的數(shù)據(jù)項?；诓罘址椒ǖ墓饬饔嬎惚?.1中列出了6種模型的先驗條件假設(shè)，包括光照變化和運(yùn)動類型兩個方面，針對不同的情況總結(jié)了數(shù)據(jù)項的模型表達(dá)。基于差分方法的光流計算若以圖像的灰度值來表示亮度，則圖像序列的灰度值是常值。亮度常值所謂梯度常值是指物體表面的照明情況是變化的，而且物體的亮度是均勻變化的情況。梯度常值Hessian矩陣表示梯度對變量的導(dǎo)數(shù)，其為常值即假設(shè)梯度的導(dǎo)數(shù)為常值。Hessian矩陣常值基于差分方法的光流計算梯度范數(shù)常值為了解決物體在運(yùn)動過程中的方向性制約問題，提出梯度范數(shù)常值假設(shè)。拉普拉斯算子常值假定圖像灰度的拉普拉斯算子不隨時間變化，即圖像灰度的拉普拉斯算子為常值。Hessian矩陣行列式常值Hessian矩陣行列式常值假設(shè)是表示圖像序列的Hessian矩陣行列式為常值，即不隨時間的變化而變化，故這種假設(shè)可以克服方向性的制約?！啊被诓罘址椒ǖ墓饬饔嬎鉎S模型的計算方法以亮度不隨時間變化（即圖像亮度為常值）為例，采用以下計算方法求解光流計算模型。從前期的準(zhǔn)備工作開始，先定義差分。基于差分方法的光流計算02視覺跟蹤概述自從20世紀(jì)80年代以來，Horn和Schunck等人首次提出了一個新的概念光流算法，從此，學(xué)者便展開了對于視頻序列的研究。而其中的視覺目標(biāo)跟蹤由于其具有普遍的實用價值而受到廣泛關(guān)注。視覺跟蹤概述視覺跟蹤的本質(zhì)是在視頻序列（或圖像序列）中動態(tài)確定感興趣的視覺目標(biāo)的位置。從廣義上講，視覺跟蹤就是在視頻序列中遞推搜索并確定感興趣的具有某種顯著視覺特征（如顏色、形狀、紋理、運(yùn)動等）目標(biāo)的位置。視覺跟蹤概述單攝像機(jī)與多攝像機(jī)。攝像機(jī)的數(shù)目攝像機(jī)靜止與攝像機(jī)運(yùn)動。攝像機(jī)是否運(yùn)動單運(yùn)動目標(biāo)與多運(yùn)動目標(biāo)。根據(jù)視頻場景中運(yùn)動目標(biāo)數(shù)目的多少，視覺跟蹤問題可以被分為單目標(biāo)跟蹤和多目標(biāo)跟蹤兩類。場景中運(yùn)動目標(biāo)的數(shù)目視覺跟蹤概述視覺跟蹤的分類場景中運(yùn)動目標(biāo)的類型剛體與非剛體。根據(jù)視頻場景中運(yùn)動目標(biāo)類型的不同，可將視覺跟蹤問題分為對剛體（Rigid）的跟蹤和對非剛體（Non-Rigid）的跟蹤。傳感器的種類可見光圖像與紅外圖像。視覺跟蹤概述視頻目標(biāo)跟蹤算法的組成典型的視頻目標(biāo)跟蹤算法可以劃分為兩個部分：一是濾波和數(shù)據(jù)關(guān)聯(lián)；二是目標(biāo)表達(dá)和定位。當(dāng)這兩部分在面向跟蹤中遇到的問題不同時，它們可以相互獨(dú)立也可以互相配合。濾波和數(shù)據(jù)關(guān)聯(lián)是一個自頂向下的過程，用于處理跟蹤目標(biāo)的動態(tài)特性和學(xué)習(xí)先驗知識等。視覺跟蹤概述實現(xiàn)該過程的一個常用方法來自控制理論，可簡潔地描述為：利用狀態(tài)空間來表示離散時間下的動態(tài)系統(tǒng)，然后通過當(dāng)前時刻及其以前的觀察值來估計當(dāng)前系統(tǒng)的狀態(tài)。具體到跟蹤過程，在離散時間下的動態(tài)系統(tǒng)就是指包含跟蹤目標(biāo)的每幀圖像，而系統(tǒng)的狀態(tài)指的就是目標(biāo)的幾何狀態(tài)。視覺跟蹤概述典型的算法包括卡爾曼濾波和粒子濾波等，前者適合處理帶高斯噪聲的線性函數(shù)的理想濾波器；后者更適合于非線性過程。與濾波和數(shù)據(jù)關(guān)聯(lián)不同，目標(biāo)表達(dá)和定位是一個自底向上的過程，主要解決根據(jù)目標(biāo)外觀來定位目標(biāo)的問題，它與圖像處理與模式識別有著非常密切的關(guān)系。視覺跟蹤概述該過程通常假設(shè)相鄰兩幀間目標(biāo)的外觀或某些特征變化不大，然后通過求預(yù)先定義的相似度函數(shù)的最大值來定位目標(biāo)。典型的算法包括將物體描述為概率密度分布的核函數(shù)跟蹤（KernelBasedtracking）、檢測物體邊緣的輪廓跟蹤（Eontour-BasedTracking）及光流算法等。對某個特定的跟蹤系統(tǒng)而言，上述兩部分（即濾波和數(shù)據(jù)關(guān)聯(lián)及目標(biāo)表達(dá)和定位）可以同時出現(xiàn)也可以只出現(xiàn)其中一個。視覺跟蹤概述這兩部分以怎樣的形式和重要程度組合在一起是由算法本身要面對的問題決定的，而是否選擇恰當(dāng)?shù)牟糠只蛘哌@兩部分是否恰當(dāng)?shù)亟Y(jié)合在一起也會反過來影響算法的效率和魯棒性。例如，對于復(fù)雜環(huán)境下的人臉跟蹤，目標(biāo)表達(dá)就更為重要；而對于航拍視頻中的目標(biāo)，對運(yùn)動本身的濾波則起著更關(guān)鍵的作用。視覺跟蹤概述03核函數(shù)跟蹤算法在眾多目標(biāo)表達(dá)和定位算法中，核函數(shù)跟蹤算法以其較低的運(yùn)算量和出色的性能吸引了大家的注意。核函數(shù)方法最早是一種非參數(shù)的概率密度估計方法，并被應(yīng)用到視頻目標(biāo)跟蹤領(lǐng)域中。該方法的核心是將待跟蹤的物體描述為一個概率密度函數(shù)（pdf）。核函數(shù)跟蹤算法核函數(shù)跟蹤算法的問題及發(fā)展D.Comaniciu等人較完整地闡述了如何將核函數(shù)方法運(yùn)用于視頻跟蹤領(lǐng)域，他們使用并推薦使用Epanechnikov函數(shù)作為核函數(shù)，構(gòu)造了以Bhattacharyya測度為基礎(chǔ)的相似度函數(shù)來定義p（y）和q之間的差異，采用均值漂移的算法得到該差異的最小值，最終得到目標(biāo)的位置y.D.Comaniciu等人提出的核函數(shù)跟蹤方法有著出色的性能。核函數(shù)跟蹤算法核函數(shù)跟蹤算法的基本假設(shè)是描述目標(biāo)的概率分布直方圖足夠用來確定目標(biāo)的當(dāng)前運(yùn)動狀態(tài)，并且不容易受到其他無關(guān)運(yùn)動的影響而導(dǎo)致跟蹤不正確。然而，這樣的假設(shè)引出了兩個問題，即概率分布直方圖需要滿足什么要求使得運(yùn)動能夠被檢測，以及如何跟蹤不同種類的運(yùn)動。核函數(shù)跟蹤算法關(guān)于概率分布需要滿足什么要求的問題，實際上就是“奇點”問題。所謂奇點問題是指通過觀察值（即概率分布）無法唯一確定目標(biāo)的位置或者說關(guān)于目標(biāo)位置的解有無窮多個。GeorgeHager通過引入誤差平方和測度（SSD）及牛頓迭代詳細(xì)闡明了核函數(shù)算法的這個缺陷。他將這個缺陷的原因歸結(jié)為在牛頓迭代過程中方程系數(shù)矩陣的秩不足（RankDeficiency），并且提出了使用多核的方法來解決這個問題。核函數(shù)跟蹤算法以往的各種算法大多采用較為精確的表達(dá)方式來描述物體，如用不變的特征點、用輪廓甚至直接比較像素點等，它們的一個基本假設(shè)就是在相鄰兩幀中，這些對物體的描述結(jié)果保持不變。目標(biāo)及候選圖像區(qū)域表達(dá)核函數(shù)跟蹤算法然而，由于這些描述方法原本就比較精確，且“相鄰兩幀的描述結(jié)果保持不變”也是一個相當(dāng)嚴(yán)格的限定條件，因此在現(xiàn)實世界中，物體的實際運(yùn)動變化情況很難滿足這樣嚴(yán)格的雙重要求，最終導(dǎo)致跟蹤效果不盡人意。核函數(shù)跟蹤算法相似性測度Bhattacharyya系數(shù)在統(tǒng)計學(xué)中，距離測度的應(yīng)用有著悠久的歷史。兩個被廣泛使用的距離測度是Mahalanobis距離和Fisher線性判定函數(shù)。核函數(shù)跟蹤算法Bhattacharyya系數(shù)具有如下性質(zhì)：（1）具有測度性質(zhì)；（2）具有明顯的幾何意義；（3）對目標(biāo)的尺度變化不敏感（由量化程度決定）；（4）對各種概率分布都有效，因此優(yōu)于Fisher線性準(zhǔn)則。核函數(shù)跟蹤算法為了在當(dāng)前幀找到與目標(biāo)模型最相似圖像區(qū)域的位置，式應(yīng)當(dāng)被最小化。匹配的初始位置就是上一幀目標(biāo)的中心位置。由于相似度函數(shù)是較為光滑的，因此可以用基于梯度的方法進(jìn)行尋優(yōu)處理。基于Bhattacharyya系數(shù)的測度及均值漂移算法核函數(shù)跟蹤算法概率密度估計在模式識別算法中的分類算法中，都需要知道某個事件的概率密度函數(shù)值。但是在實際工作中，概率密度函數(shù)是未知的，因此我們需要根據(jù)已知的樣本，利用統(tǒng)計推斷中的估計理論做出估計，然后將估計值作為真實值來用。核函數(shù)跟蹤算法主要有兩種概率密度估計的方法：參數(shù)概率密度估計和非參數(shù)概率密度估計。參數(shù)估計法是在概率密度函數(shù)形式已知且參數(shù)未知的情況下，根據(jù)樣本值的概率估計概率密度函數(shù)的參數(shù)得到概率密度函數(shù)的方法；非參數(shù)概率密度估計的方法是在概率密度函數(shù)形式和參數(shù)均未知的情況下，根據(jù)樣本的概率值估計出概率密度函數(shù)的方法。核函數(shù)跟蹤算法圖5.1形象地給出了MeanShift算法的直觀理解。核函數(shù)跟蹤算法均值漂移算法5.2中的箭頭表示樣本點與中心點的偏移向量，箭頭的長度是偏移向量的大小。核函數(shù)跟蹤算法為了提高核函數(shù)跟蹤算法的收斂速度并揭示其存在的問題，GregoryHager提出了用誤差平方和測度（SSD）代替基于Bhattacharyya系數(shù)的測度，并相應(yīng)地用牛頓迭代代替均值漂移的算法SSD算法，這種方法取得了良好的效果。誤差平方和測度及牛頓迭代核函數(shù)跟蹤算法多極值點問題所謂多極值點是指物體模板與候選圖像區(qū)域間的差異，如誤差平方與SSD存在不止一個局部極小值點，由此導(dǎo)致牛頓迭代或其他收斂算法的結(jié)果不準(zhǔn)確或者不唯一。其中，對應(yīng)目標(biāo)實際位置的極值點我們稱為真實極值點，其他極值點稱為虛假極值點。核函數(shù)跟蹤算法若把跟蹤算法的迭代過程看成一個動態(tài)系統(tǒng)，迭代的次數(shù)看成系統(tǒng)歷經(jīng)的時間，每次的迭代結(jié)果看成系統(tǒng)每個時刻的狀態(tài)，則我們可以引入吸引子和吸引盆的概念來解釋多極值點問題。核函數(shù)跟蹤算法所謂吸引子是指在只考慮點的情況下，當(dāng)系統(tǒng)時間趨于無窮大時，狀態(tài)空間上的某個集合內(nèi)的點都將趨于某個特定點，該特定點就是吸引子；而吸引到該吸引子的點集就稱為該吸引子的吸引盆。對于跟蹤迭代系統(tǒng)而言，吸引子就是迭代算法最后的收斂值，而吸引盆就是使得迭代能夠收斂的初始搜索區(qū)域構(gòu)成的點集。核函數(shù)跟蹤算法當(dāng)系統(tǒng)（即當(dāng)前幀進(jìn)行的迭代）只存在一個該吸引子為目標(biāo)實際位置時，通過在吸引盆開始迭代時，我們能夠最終對目標(biāo)進(jìn)行定位。而若系統(tǒng)當(dāng)前存在多個吸引子，且對應(yīng)目標(biāo)實際位置的真實吸引子只有一個，則有可能出現(xiàn)迭代收斂到其他虛假吸引子的情況，進(jìn)而導(dǎo)致多極值點問題的發(fā)生。多極值點問題是一個較為常見的問題。核函數(shù)跟蹤算法由于核函數(shù)跟蹤過程以一種較為寬松的方式描述目標(biāo)，信息量相對較少，對目標(biāo)的限定較少，因此當(dāng)多個物體間比較相似或者物體有一部分與背景類似時，非常有可能出現(xiàn)圖像平面內(nèi)存在多個SSD測度極小值點的情況，導(dǎo)致目標(biāo)丟失或者誤判。核函數(shù)跟蹤算法04本章小結(jié)視覺跟蹤是目前計算機(jī)視覺領(lǐng)域研究的熱點問題，同時也是難點問題。目標(biāo)跟蹤算法在各領(lǐng)域有著廣