1、教師：沈秋 Email： TEL航天學(xué)院 航天信息與應(yīng)用系,視頻信息與應(yīng)用,第四章 運動估計, ,運動估計的應(yīng)用,計算機視覺 機器人導(dǎo)航，無人駕駛飛機 目標跟蹤 軍事偵察、地面和空中的交通管制 工業(yè)監(jiān)視 工業(yè)自動化控制 視頻壓縮,特征對應(yīng),運動物體上的特征與其在二維圖像平面上的投影坐標的對應(yīng)關(guān)系,特征點 特征直線 特征曲線,二維運動估計,估計運動前后相鄰時刻兩幅圖像上對應(yīng)點的坐標 二維運動矢量 亮度守恒假設(shè) 物體點的亮度（或色度）在其運動軌跡上保持不變,二維運動估計,存在的問題 遮擋問題 由于物體的運動，被物體遮擋或新露出來的部分,二維運動估計,存在的問題 孔徑問題

2、通常只能確定于圖像梯度方向一致的運動分量，成為法向流,二維運動估計,存在的問題 噪聲問題 噪聲不可避免 運動估計對噪聲非常敏感,二維運動估計,模型及方法 參數(shù)模型：物體運動被建模為某種映射形式。 全局 - 攝像機移動、單個運動物體 區(qū)域 - 多個運動物體 （運動區(qū)域分割） 非參數(shù)模型：對運動場施加平滑約束條件。 光流、像素、隨機場 - 估計每個像素運動矢量 塊匹配 - 分割成小的規(guī)則塊，估計每個塊的運 動矢量 網(wǎng)格 - 分割成不重疊的多邊形單元，可克服塊失真,二維運動估計,模型及方法 4種運動模型,基于像素,全局,基于區(qū)域,基于塊,二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素

3、的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多分辨率運動估計,基于光流的運動估計,光流 觀察動態(tài)物體時在視網(wǎng)膜上產(chǎn)生連續(xù)的光強變化，如同光的“流動”。 在視頻序列運動估計中，觀察到的二維運動。 視頻序列空間坐標關(guān)于時間的變化率 - 像素的瞬時速度矢量。,基于光流的運動估計,光流方程 亮度守恒假設(shè)：運動物體點的亮度（或色度）在其運動軌跡上保持不變，變化的是物體的位置,或,其中 為空間梯度向量， 為光流場。,基于光流的運動估計,光流方程 建立在亮度恒定假設(shè)的基礎(chǔ)上 若存在噪聲，方程不能為零 通常采用最小化光流方程的誤差來施加光流約束,基于光流的運動估計,光流v的分解 將光流v分

4、解為兩個正交的分量：,其中： 為圖像空間梯度方向上的單位矢量 為切線方向上的單位矢量,只能確定圖像空間梯度方向上的分量（法向流）即：孔徑問題,基于光流的運動估計,圖像梯度的計算 光流方程的要求：亮度函數(shù)可微分 數(shù)字視頻：用有限差分法近似計算圖像梯度,基于光流的運動估計,光流方程一個方程，兩個未知數(shù) 多點鄰域約束 假設(shè) 的鄰域 內(nèi)所有像素具有相同的光流矢量 運動平滑約束 對整個運動場或局部窗施加全局平滑約束 有向平滑約束 引入有向平滑，減少圖像空間梯度方向上的平滑約束,二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多

5、分辨率運動估計,基于像素的運動估計,位移幀差 像素法原理 與光流法一樣，估計每個像素的運動矢量 光流法：最小化光流方程的誤差函數(shù) 像素法：最小化位移幀差 位移幀差 像素x從t1時刻到t1+dt時刻的位移幀差為： 為x處的位移矢量 在亮度守恒假設(shè)下，位移幀差應(yīng)為0 通過最小化進行約束,基于像素的運動估計,位移幀差 與光流方程的關(guān)系,由亮度守恒假設(shè) ，即：,兩邊同時除以dt，可得：,（光流方程）,基于像素的運動估計,多點鄰域約束 假設(shè) 的鄰域 內(nèi)所有像素具有相同的運動矢量，鄰域 上的誤差函數(shù)為：,其中，w(x)為分配給x的權(quán)重。誤差函數(shù)關(guān)于運動矢量di的梯度為：,使用基于一階梯度下降的方法求解運動

6、矢量di 也可以使用窮盡搜索法尋找di,基于像素的運動估計,像素遞歸法 沿圖像掃描方向逐個估計像素的運動矢量 新像素的運動矢量由已估計像素的運動矢量進行預(yù)測 使用基于位移幀差函數(shù)最小化的方法更新運動矢量 像素的位移矢量無需編碼 解碼器端使用同樣的預(yù)測更新機制 估計精度較低，預(yù)測誤差較大,預(yù)測項： 局部平滑約束,更新項： 光流約束,基于像素的運動估計,基于貝葉斯準則的方法 基于運動估計問題的概率公式 隨機場 視頻圖像函數(shù) 觀察模型 運動場 運動場模型 運動場估計-最大后驗概率(MAP)問題,用概率密度函數(shù)建模,運動場,給定兩幀圖像下運動場的后驗概率密度函數(shù),基于像素的運動估計,基于貝葉斯準則的方

7、法 根據(jù)貝葉斯公式,似然性測度,運動場的先驗概率模型,不包含運動矢量，視為常數(shù),二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多分辨率運動估計,基于塊的運動估計,概述 將圖像分成一個個規(guī)則的圖像塊，對每個塊進行運動估計。 廣泛應(yīng)用于各種視頻壓縮編碼標準中,基于塊的運動估計,塊運動模型 塊平移模型 假定每個塊只做二維的平移運動 中的一個塊B可由 中一個同樣大小的塊重建,非重疊塊,重疊塊,基于塊的運動估計,塊運動模型 塊平移模型 缺點： 不能表征旋轉(zhuǎn)、縮放和局部變形 物體邊界和塊邊界通常不一致，導(dǎo)致塊失真 同一塊可能包

8、含多個運動物體。,基于塊的運動估計,塊運動模型 可變形塊運動模型 可以對物體的旋轉(zhuǎn)、縮放、變形建模 投影運動 仿射運動 雙線性運動,基于塊的運動估計,相位相關(guān)法 用于兩幅圖像自發(fā)生全局平移的情況 互相關(guān)函數(shù) 利用傅里葉變換 兩個純平移關(guān)系的圖像的相位相關(guān)函數(shù)為一個沖激函數(shù)，沖激所在位置就是兩圖像的全局平移矢量,基于塊的運動估計,相位相關(guān)法,全局運動,基于塊的運動估計,相位相關(guān)法,多目標運動,基于塊的運動估計,相位相關(guān)法 N1xN2的塊，可估計位移范圍為dx-N1/2+1, N1/2, dy-N2/2+1, N2/2 優(yōu)點： 不受照明變化等因素影響 可以為塊內(nèi)多個物體估計運動矢量,基于塊的運動估

9、計,塊匹配法 在搜索窗內(nèi)尋找最佳匹配位置 塊尺寸的選擇,基于塊的運動估計,塊匹配法 匹配函數(shù) 歸一化互相關(guān)函數(shù) 均方誤差 絕對值誤差 匹配像素數(shù),基于塊的運動估計,塊匹配法 全搜索塊匹配算法 逐一計算當前塊和搜索窗內(nèi)所有候選塊的匹配函數(shù) 復(fù)雜度：一個塊需計算減法、絕對值、加法各N1N2(2s+1)2次,基于塊的運動估計,快匹配法 降低計算復(fù)雜度的方法,減少每個候選塊的運算量: 部分失真搜索法 （提前退出法） 三角不等式法,犧牲估計精度,不降低估計精度,減少候選塊的數(shù)目: 三步搜索法 新三步搜索法 二維對數(shù)搜索法 交叉搜索法 菱形搜索法 其他方法：四步搜索法、遺傳搜索法、鉆石搜索法等,基于塊的運

10、動估計,塊匹配法 分數(shù)精度 真實運動未必是整數(shù)值 分數(shù)精度搜索可提高運動估計的精度,基于塊的運動估計,可變形塊匹配法 可對物體的旋轉(zhuǎn)、縮放、變形等建模 對節(jié)點進行運動估計，塊內(nèi)像素的運動矢量使用節(jié)點運動矢量內(nèi)插得到 比多項式表示的可變形運動模型更加直觀 估計塊節(jié)點的運動比估計多項式參數(shù)容易,基于塊的運動估計,可變形塊匹配法 內(nèi)插公式 K=1，退化為平移模型 K=3，對應(yīng)于仿射運動模型 K=4，對應(yīng)于雙線性運動模型,基于塊的運動估計,可變形塊匹配法 節(jié)點的運動估計 匹配函數(shù) 其中， 最小化匹配函數(shù)方法 全搜索法：需較大的計算量 基于梯度的迭代法（Newton-Raphson）,二維運動估計,基于

11、區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多分辨率運動估計,基于網(wǎng)格的運動估計,概述,基于網(wǎng)格的運動估計,概述 每個網(wǎng)格節(jié)點只有一個運動矢量，與其相鄰的所有多邊形單元共享此運動矢量,單元內(nèi)像素的運動由節(jié)點的運動矢量內(nèi)插得到,基于網(wǎng)格的運動估計,基于網(wǎng)格的運動估計方法 建立網(wǎng)格 規(guī)則網(wǎng)格 自適應(yīng)網(wǎng)格 節(jié)點運動估計 最小化位移幀差函數(shù) 先后順序 光柵掃描 根據(jù)節(jié)點處圖像梯度值 分組,基于網(wǎng)格的運動估計,示例,二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,

12、多分辨率運動估計,基于區(qū)域的運動估計,基本思想： 將視頻圖像分割為多個區(qū)域 每個區(qū)域?qū)?yīng)一個特定的運動 為每個區(qū)域估計運動參數(shù) 方法： 區(qū)域優(yōu)先 運動優(yōu)先 聯(lián)合區(qū)域分割和運動估計,基于區(qū)域的運動估計,區(qū)域優(yōu)先法 基于圖像的邊緣信息進行區(qū)域分割 局部區(qū)域的直方圖 區(qū)域連接增長 為每個區(qū)域估計運動參數(shù),基于區(qū)域的運動估計,運動優(yōu)先法 首先估計整個運動場 光流、像素、塊、網(wǎng)格等方法 運動場分割 聚類： 將具有相似運動矢量的像素進行聚合，形成區(qū)域。 分層：分成主導(dǎo)運動和次主導(dǎo)運動，從占主導(dǎo)的區(qū)域開始，剔除誤差較大的區(qū)域，等到第一層；然后進一步剔除區(qū)域，直到?jīng)]有剔除區(qū)域。,基于區(qū)域的運動估計,聯(lián)合分割與

13、運動估計的方法 區(qū)域分割和運動估計相互依賴，相輔相成。 可交替進行區(qū)域分割和運動估計,二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多分辨率運動估計,全局運動估計,概述 整幅圖像的運動可以用單一的運動模型表示 攝像機運動-全局運動 物體運動-局部運動 方法 直接估計法 間接估計法,全局運動估計,直接估計法 誤差函數(shù),表示全局運動參數(shù)矢量 可以是仿射、雙線性、投影運動模型中的任意一種,為權(quán)值系數(shù)，調(diào)節(jié) 可減小與全局運動不匹配的像素對誤差函數(shù)的影響。,全局運動估計,間接估計法 假設(shè)已經(jīng)得到一些特征點 的運動矢量 匹配誤

14、差函數(shù)：,二維運動估計,基于區(qū)域的運動估計,基于網(wǎng)格的運動估計,基于像素的運動估計,基于光流的運動估計,基于塊的運動估計,全局運動估計,多分辨率運動估計,多分辨率運動估計,概述 已介紹方法存在的問題 最小化誤差函數(shù)可能收斂到局部最小值 最小化誤差函數(shù)過程的計算量很大 解決方法 多分辨率運動估計,多分辨率運動估計,基本思想 在最小分辨率層進行運動估計 由空間低通濾波和欠取樣獲得 每層依次進行運動估計 對上一層運動矢量進行內(nèi)插，作為當前層的初始解 通過最小化誤差函數(shù)更新運動矢量 最后得到最高分辯率層的運動場 每層的運動估計可使用前面介紹的方法 基于光流、像素、塊、網(wǎng)格等運動估計方法,多分辨率運動估

15、計,優(yōu)點 運動場接近最優(yōu)解的概率更大 較小分辨率層上，誤差函數(shù)可以接近全局最小值，通過插值，獲得高分辨率上的初始解，最后到達最大分辨率時，誤差函數(shù)很可能接近全局最小值 計算量比直接在最大分辨率上進行運動估計時要小 較小分辨率層上，搜索范圍限制在較小的范圍,多分辨率運動估計,分層塊匹配法,當前幀,參考幀,多分辨率運動估計,分層塊匹配法,目錄,三維運動估計,基本任務(wù) 分析和估計三維場景中物體的運動情況 應(yīng)用 機器人視覺，自主導(dǎo)航，目標跟蹤，圖象監(jiān)控,智能車輛高速公路系統(tǒng)，基于物體的圖象壓縮等,三維運動估計,簡化模型 假設(shè)：剛體運動、物體表面由分段平面組成 方法分類 間接估計法 根據(jù)已經(jīng)給出的二維運

16、動矢量來估計三維運動和結(jié)構(gòu)參數(shù) 直接估計法 根據(jù)視頻圖像的空時亮度信息來估計三維運動和結(jié)構(gòu),三維運動估計,基于光流的運動估計,基于特征對應(yīng)的運動估計,直接運動估計,基于特征對應(yīng)的運動估計,概述 物體的特征 反應(yīng)物體物理特性的點、線、面 通常被限制在圖像空間梯度較大的區(qū)域內(nèi),基于特征對應(yīng)的運動估計,基于特征對應(yīng)的運動估計,最小二乘法 特點 不需要任何估計參數(shù)的概率統(tǒng)計特性 僅根據(jù)一組觀測數(shù)據(jù)直接求解模型的參數(shù) 對于線性模型 取N次觀察，可得,觀測數(shù)據(jù),模型參數(shù),觀察噪聲,已知的觀測系數(shù),基于特征對應(yīng)的運動估計,最小二乘法 當NM, ，估計偏差程度為 求導(dǎo)為0，則,基于特征對應(yīng)的運動估計,正交投影

17、下的運動估計 或 其中，Z為深度參數(shù),基于特征對應(yīng)的運動估計,正交投影下的運動估計 兩步迭代法 每對特征點包含5個運動參數(shù) 和一個結(jié)構(gòu)參數(shù)Z 給定N對特征點對應(yīng) 交替估計運動參數(shù)和結(jié)構(gòu)參數(shù),基于特征對應(yīng)的運動估計,正交投影下的運動估計 兩步迭代法 1）根據(jù)給定的結(jié)構(gòu)參數(shù)Z估計運動參數(shù) N對特征點可形成2N個方程 使用最小二乘法可以求得運動參數(shù) 2）得到運動參數(shù)后，將運動參數(shù)帶入公式，更新結(jié)構(gòu)參數(shù),基于特征對應(yīng)的運動估計,正交投影下的運動估計 兩步迭代法 重復(fù)1）2），直到迭代不再改變估計值 理論上需要3對特征點，實際用68對 需要良好的初始深度參數(shù)估計，深度估計的誤差會反饋到運動估計，反之亦然

18、,基于特征對應(yīng)的運動估計,透視投影下的運動估計 令F=1，,基于特征對應(yīng)的運動估計,透視投影下的運動估計 消去Z得， E為一個斜對稱矩陣和一個旋轉(zhuǎn)矩陣相乘,基于特征對應(yīng)的運動估計,透視投影下的運動估計 若三維向量 共平面，則矢量積 和該平面垂直，則有,基于特征對應(yīng)的運動估計,透視投影下的運動估計 極線約束,基于特征對應(yīng)的運動估計,透視投影下的運動估計 矩陣E的估計 另 ，作為比例因子，需要8對或以上的特征點使用最小二乘法求解矩陣E,基于特征對應(yīng)的運動估計,基于特征對應(yīng)的運動估計,透視投影下的運動估計 旋轉(zhuǎn)和平移估計 特征點對應(yīng)沒有噪聲影響 解得,基于特征對應(yīng)的運動估計,透視投影下的運動估計 旋轉(zhuǎn)和平移估計 特征點對應(yīng)有噪聲影響 由最小化問題求解,