1、經(jīng)典光流法綜述,葉思 2010.4.21,1.光流簡(jiǎn)介,三維場(chǎng)中P點(diǎn)的運(yùn)動(dòng)投影到二維平面后形成的M點(diǎn)的二維運(yùn)動(dòng)場(chǎng),1.光流簡(jiǎn)介,光流場(chǎng)則是指圖像灰度模式的表面運(yùn)動(dòng)，它是一種像素級(jí)的運(yùn)動(dòng)，理想情況下，光流場(chǎng)和二維運(yùn)動(dòng)場(chǎng)互相吻合，但實(shí)際上并不經(jīng)常如此。,1.光流簡(jiǎn)介,這里我們可以認(rèn)為光流場(chǎng)實(shí)際就是在時(shí)間序列上幀與幀之間圖像的像素級(jí)運(yùn)動(dòng)，后面的部分，我們將討論如何求出視頻中運(yùn)動(dòng)物體的光流場(chǎng)，而運(yùn)動(dòng)場(chǎng)和光流場(chǎng)的不一致問(wèn)題，則不在我們此次討論范圍內(nèi) 。,2.經(jīng)典光流法,Lucas-Kanade(LK) pyramidal LK（PRLK）,LK算法的原型最初是一篇講述配準(zhǔn)問(wèn)題的論文，該文主要論述了如何對(duì)

2、兩幅圖像中的感興趣區(qū)域進(jìn)行配準(zhǔn)，這實(shí)際也是一種求光流的方法，但這里配準(zhǔn)過(guò)程中使用的是牛頓迭代的方法，而經(jīng)典LK光流法中使用的是解線性方程組的方法。 An Iterative Image Registration Technique with an Application to Stereo Vision發(fā)表在1981年的Proceedings of Imaging Understanding Workshop上。該文通過(guò)空間的灰度梯度信息，求解兩幅圖像之間相應(yīng)區(qū)域的匹配問(wèn)題，它可以用在各種線性變換下，甚至是旋轉(zhuǎn)變換。它被引用的次數(shù)達(dá)到了2330多次。,2.1 Lucas-Kanade(LK)算

3、法,2.1 Lucas-Kanade(LK)算法,上圖表示兩幅圖像某區(qū)域 R的匹配， F(x) 和 G(x)分別表示兩幅圖像在相應(yīng)坐標(biāo)下的像素灰度值，我們的目標(biāo)是找到相應(yīng)的向量h，使得在感興趣的區(qū)域 R中，F(xiàn)(x+h) 和 G(x)的差別最小，這里的差別也就是：,2.1 Lucas-Kanade(LK)算法,一維坐標(biāo)下兩條曲線的匹配 我們的算法是基于 F(x) 上在 x 鄰域上具有線性性質(zhì)的假設(shè),當(dāng) h 較小時(shí)，我們可以得出：,2.1備注：牛頓迭代法,牛頓迭代法是一種求方程根的方法，如圖所示藍(lán)色曲線是我們要求的方程，所求目標(biāo)便是圖中所示的曲線與x軸的交點(diǎn)，是經(jīng)過(guò)n次迭代后的結(jié)果，在收斂的情況下

4、，它是不斷向正確的值逼近的。,由 可以得到：,于是我們令：,2.1 Lucas-Kanade(LK)算法,根據(jù)我們的線性假設(shè)，曲線線性較好的地方求出的h必然更為準(zhǔn)確，而線性性能的度量可以用曲線的二階導(dǎo)來(lái)表示，二階導(dǎo)較小的地方如拐點(diǎn)，即二階導(dǎo)為零處則線性最好，所以我們給每個(gè)x處得出的h一個(gè)權(quán)值：,2.1 Lucas-Kanade(LK)算法,這里有個(gè)問(wèn)題就是在曲線為平的時(shí)候， 為零時(shí)，作為分母，h的求取會(huì)出現(xiàn)無(wú)意義的情況。 于是我們做一個(gè)小變換， ，將它代入使兩曲線的E最小，這里我們使用差的平方來(lái)判斷兩者差異大小，有：,為了使誤差E最小，我們對(duì)E求h的導(dǎo)數(shù)：,2.1 Lucas-Kanade(L

5、K)算法,由一維擴(kuò)展到多維：,前面我們提到過(guò)算法是基于h很小的假設(shè)，所以當(dāng)h很大的時(shí)候計(jì)算出來(lái)的 結(jié)果誤差很大甚至是錯(cuò)誤的，文中在一維的情況下對(duì)正弦曲線的匹配進(jìn)行了上述算法的計(jì)算實(shí)驗(yàn)，設(shè)： 實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng) 時(shí)，上述算法的結(jié)果能收斂到正確的h值上去，這表明最初的偏差值可以最多取到波長(zhǎng)的一半。我們從中可以獲得啟發(fā)：抑制圖像高頻的部分，可以擴(kuò)大h的收斂域。我們將圖像進(jìn)行平滑便可以達(dá)到這個(gè)效果，但這同時(shí)損失了圖像的細(xì)節(jié)部分，會(huì)反過(guò)來(lái)造成匹配的不夠準(zhǔn)確，尤其當(dāng)平滑窗口大于我們匹配的區(qū)域時(shí)，我們將得不到匹配結(jié)果。,2.1 Lucas-Kanade(LK)算法,從前面一維和二維的推導(dǎo)過(guò)程來(lái)看，我們都是使用了F

6、和G的兩幅圖像的F(x+h)和G(x)的相等與否關(guān)系來(lái)得到h的求解，我們假設(shè)了F(x+h)=G(x)。 而在視頻中，對(duì)于t和t+dt幀的光流計(jì)算，也相當(dāng)于兩幅幀圖像的像素匹配過(guò)程，這里我們假設(shè)在視頻幀中，物體的對(duì)應(yīng)像素的灰度值不因運(yùn)動(dòng)而變化，也得到光流的基本公式：,2.2 LK光流,2.2 LK光流,LK算法基于以下三個(gè)假設(shè)： 1）亮度恒定 2）時(shí)間連續(xù)或者是運(yùn)動(dòng)是“小運(yùn)動(dòng)” 3）空間一致，臨近點(diǎn)有相似運(yùn)動(dòng)，保持相鄰,類似的，對(duì)于 也進(jìn)行一階泰勒展開：,之前的匹配中我們對(duì)F(x+h）進(jìn)行一階展開： 使得F(x+h)=F(x)+hF(x)，然后代入相關(guān)公式中計(jì)算。,2.2 LK光流,對(duì)t求導(dǎo)，令 分別表示水平方向、垂直方向的光流速度， 表示某方向的梯度，用一階差分代替一階微分，于是光流基本計(jì)算公式有一般形式：,2.2 LK光流,假設(shè)在一個(gè)小窗口內(nèi)的像素光流是一致的：,2.2 LK光流,使用最小二乘法解 里的向量u:,圖三情況下，在紋理密集的地方可以求得u。,考慮矩陣的可逆性：,2.2 LK光流,2.2 PRLK光流,1）在LK算法中，有些情況會(huì)導(dǎo)致矩陣不可逆，這些情況下無(wú)法計(jì)算光流，于是我們可以考慮尋找一些好的特征點(diǎn)來(lái)計(jì)算光流，也就是角點(diǎn)。 2）在光流計(jì)算中，當(dāng)光流較大，也就是物體運(yùn)動(dòng)范圍較大時(shí)，計(jì)算誤差很大，這時(shí)，我們引入金字塔的思想，對(duì)原始圖像進(jìn)行采樣，進(jìn)行類似co