1、非線性信號分析課程報告,基于EIS的運動估計技術,內容安排,EIS的介紹 運動估計的基本原理 基于圖像塊的運動估計技術 基于像素灰度信息的運動估計技術 結論,EIS的發(fā)展歷程,EIS（即電子穩(wěn)像）技術的研究已三十多年歷史，美國、法國、俄羅斯等國家對電子穩(wěn)像技術應用于軍事方面已經進行了較深入的研究；日本和韓國對家用攝錄機的穩(wěn)定技術也進行了研究和開發(fā)。,國內發(fā)展現狀,國內對電子穩(wěn)像技術的研究依然處于初級階段，目前為止，只有中國科學院長春光機所和北京理工大學等單位在這個領域有一定的研究，總體來說，電子穩(wěn)像技術解決復雜抖動依然不夠成熟。,EIS技術的基本原理,單純的電子穩(wěn)像技術是指：從視頻圖像序列的幀

2、間差別中，利用運動估計算法檢測代表攝像機運動的參數，并判斷該參數是屬于隨機抖動還是人為掃描運動，且將其區(qū)分獲得抖動參數，然后通過運動補償算法來消除或者減輕攝像機的隨機抖動對視頻圖像的干擾，實現視頻序列的穩(wěn)定。,電子穩(wěn)像系統(tǒng)一般包括三個主要的功能模塊，即運動估計模塊、運動決定模塊和運動補償模塊，對應的，其關鍵技術為：全局運動估計、運動矢量濾波和圖像補償校正。,系統(tǒng)框圖如下：,運動估計技術研究,在視頻序列中，幀與幀之間總是存在差異，引起這種差異的原因很多。由攝像機位置或參數的變化引起的整個圖像的變化，稱之為全局運動；由場景中物體運動引起的局部圖像變化，稱為局部運動。 電子穩(wěn)像的運動估計是指全局運動

3、的估計。,運動估計技術研究,運動估計由運動模型選取和模型參數估計兩部分組成。,模型選取,在運動估計的初始階段，首先要根據系統(tǒng)應用環(huán)境、模型的性質、適用范圍和參數的敏感性等因素正確選取攝像機運動模型。一般說來，運動模型使用的參數越多，運動估計越準確，但計算復雜性也越大。,常用模型,1、剛性變換模型 2、相似變換模型,常用模型,3、仿射變換模型 4、透視變換模型,常用運動估計技術分類,基于圖像塊的方法 基于模板匹配的方法 基于圖像二值位平面信息的方法 基于像素灰度投影的方法 基于圖像特征的方法 基于變換域的方法,基于圖像塊的方法,塊匹配運動估計法是基于塊內所有像素運動一致性這樣的假設。 其基本匹配

4、原理如圖：,匹配原理如圖,塊匹配運動估計準則,塊匹配運動估計算法中常用的匹配準則有三種，即最小平均絕對差(MAD)、最小均方誤差(MSE)和歸一化互相關函數(NCCF)，分別定義如下： 1、最小平均絕對差,塊匹配運動估計準則,2、最小均方誤差 3、歸一化互相關函數,在運動估計中，匹配準則對匹配精度的影響不是很大，由于MAD準則不需作乘法運算，實現簡單、方便，所以使用最多。在實際應用中，通常使用SAD(SumofAbsolute Difference)來代替MAD，即求絕對誤差和，其定義式如下：,塊匹配運動估計搜索路徑,1、全搜索法（FS） 2、三步法（TSS） 3、菱形法（DS）,全搜索法,全

5、搜索法(Full Search Method，FS)，也稱為窮盡搜索法，是對搜索范圍內 所有可能的候選位置計算SAD(i,j)的值，從中找出最小SAD，其對應偏移量即為所求運動矢量。,全搜索法圖示,FS算法是最簡單、最原始的搜索算法，由于可靠，且能夠得到全局最優(yōu)的結果，通常是其它算法性能比較的標準，但它的計算量的確很大，這就限制了在需要實時應用的場合，所以有必要進一步研究其它快速算法。,三步搜索法,TSS算法的基本思想是采用一種由粗到細的搜索模式，從原點開始，按一定步長取周圍8個點構成每次搜索的點群，然后進行匹配計算，跟蹤最小塊誤差（MBD）點。,三步搜索法圖示,TSS算法搜索時，整個過程采用

6、了統(tǒng)一的搜索模板，使得第一步的步長過大，容易引起誤導，從而對小運動效率較低。當搜索范圍大于7時，僅用3步是不夠的。總體說來，三步法是一種較典型的快速搜索算法，所以被研究的較多，后來又相繼有許多改進的新三步法出現，改進了它對小運動的估計性能。,菱形搜索法,DS算法采用了兩種控制模扳，分別是有9個檢測點的大模板 (LargeDiamond Search Pattern) LDSP和有5個檢測點的小模板 (Small Diamond SearchPattern) SDSP，如圖所示。,搜索時先用大模板計算，當最小塊誤差MBD點出現在中心點處時，將大模板LDSP換為SDSP，再進行匹配計算，這時5個點

7、中的MBD即為最優(yōu)匹配點。,DS算法搜索圖示,DS算法的特點在于它分析了視頻圖像中運動矢量的基本規(guī)律，選用了大小兩種形狀的搜索模板LDSP和SDSP。先用LDSP搜索，由于步長大，搜索范圍廣，可以進行粗定位，使搜索過程不會陷于局部最?。划敶侄ㄎ唤Y束后，可以認為最優(yōu)點就在LDSP周圍8個點所圍的菱形區(qū)域中，這時再用SDSP來準確定位，使搜索不致于有大的起伏，所以它的性能優(yōu)于其它算法。另外，DS搜索時各步驟之間有很強的相關性，模板移動時只需在幾個新的檢測點處進行匹配計算，所以也提高了搜索速度。,塊匹配運動估計算法分析,塊匹配運動估計算法已經發(fā)展比較成熟，并且具有實際應用價值，在穩(wěn)像處理應用時需要考

8、慮如下幾個主要問題。 1、塊大小和位置的選擇 2、匹配準則 3、搜索策略 4、估計精度 5、塊內運動的不一致性,基于像素灰度投影的方法,灰度投影算法的原理是基于行列灰度曲線的變化規(guī)律進行的運動估計。,基于像素灰度投影的方法,1、將灰度圖像的二維圖像信息映射成兩個獨立的一維波形，即獲取圖像的行列灰度投影曲線圖像，它反映了圖像灰度變化的特點。 其投影方法用公式可以表示如下：,基于像素灰度投影的方法,2、投影曲線的互相關計算 利用上式獲取圖像的行列灰度投影曲線，進行相關運算，找到相關值曲線中的單峰值即為當前圖像相對于參考圖像的位移值。,示意圖,算法分析,由于灰度投影算法利用了圖像的整體灰度信息，且只對兩個1維向量作相關運算，故對圖像的整體灰度變化、像面曝光度及噪聲均較不敏感，運動矢量估計精度高、運算量較小，適合實時運動矢量檢測。,算法分析,灰度投影算法的應用需要一定的條件： 首先是圖像的灰度變化應較豐富，圖像有一定的對比度，否則，灰度投影曲線變化不明顯，難以精確地求出運動矢量。 其次，成像環(huán)境復雜，存在小運動物體，這些因素都會影響投影法的精度。