運動目標檢測的光流法概述光流(opticalflow)概念由Gibson在1950年提出。光流是指在三維空間中運動的物體在二維平面的投影所對應的瞬時速度，其利用投影目標的像素(特征點)在時間上的變化以及在幀與幀之間的相關性，得到像素點在相鄰兩幀之間所對應的位置關系，從而計算出運動目標在相鄰兩幀圖像的時間間隔內的運動速度。通常來說，光流是因為相機或者是場景當中的前景目標發(fā)生運動，也可能是它們都發(fā)生運動而導致的。該概念可以描述圖像像素點所發(fā)生的具體變化，因為其中涵蓋了大量的關于目標運動方面的信息，所以可采用它來進行目標運動的分析。在進行光流的研究過程中，重點就是進行光流場的研究分析，從而可從圖片序列當中近似獲得那些無法通過直接的手段來獲得的相關運動場。所謂的運動場是指在三維世界當中物體的所進行的運動；而光流場則是指在二維的圖像平面之上運動場的投影，作為矢量場，其中涵蓋了全部像素點所對應的瞬時運動的相關信息，它將全部像素點所對應的灰度變化清晰地展示出來。研究指出，光流ADDINEN.CITE<EndNote><Cite><Author>Shafie</Author><Year>2009</Year><RecNum>84</RecNum><DisplayText><styleface="superscript">[36]</style></DisplayText><record><rec-number>84</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615394015">84</key><keyapp="ENWeb"db-id="">0</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>A.A.Shafie</author><author>FadhlanHafiz</author><author>M.H.Ali</author></authors></contributors><titles><title>MotionDetectionTechniquesUsingOpticalFlow</title><secondary-title>WorldAcademyofScience,EngineeringandTechnology</secondary-title></titles><periodical><full-title>WorldAcademyofScience,EngineeringandTechnology</full-title></periodical><pages>559-561</pages><volume>56</volume><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[\o"Shafie,2009#84"36]基于空間及時間上序列圖像所對應的梯度來進行光流場的估算，而后對光流場中所發(fā)生的變化進行分析，從而檢測出運動目標或對要提取的運動區(qū)域進行分割。在使用光流法的時候，無需提前獲取場景中的各種信息，因此其適用性比較高，可在背景動態(tài)變化和背景靜態(tài)的場景來進行試驗，然而當前此類方法的計算過程仍十分的復雜，此外需要比較長的迭代過程，而且還有很高的硬件方面的要求，并且噪聲會顯著地影響檢測的結果。然而因為它具有良好的準確度，而且可使遮擋問題得到合理的解決，為此，有必要針對該問題展開深入全面的探討。而且，因為圖像序列當中相關運動目標邊緣往往為模糊狀態(tài)，不同圖像的像素點灰度不易有效地對應，因此無法準確得到處于邊緣位置的光流場。Horn等人ADDINEN.CITE<EndNote><Cite><Author>Horn</Author><Year>1981</Year><RecNum>231</RecNum><DisplayText><styleface="superscript">[37]</style></DisplayText><record><rec-number>231</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615545078">231</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Horn,Berthold</author><author>Schunck,Brian</author></authors></contributors><titles><title>DeterminingOpticalFlow</title><secondary-title>ArtificialIntelligence</secondary-title></titles><periodical><full-title>ArtificialIntelligence</full-title></periodical><pages>185-203</pages><volume>17</volume><dates><year>1981</year><pub-dates><date>08/01</date></pub-dates></dates><urls></urls><electronic-resource-num>10.1016/0004-3702(81)90024-2</electronic-resource-num></record></Cite></EndNote>[\o"Horn,1981#231"37]最早對光流場的計算方法（HS光流法，稠密光流）進行了研究，之后由Lueas等人ADDINEN.CITE<EndNote><Cite><Author>Lucas</Author><Year>1997</Year><RecNum>232</RecNum><DisplayText><styleface="superscript">[38]</style></DisplayText><record><rec-number>232</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615545225">232</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lucas,B.D.</author><author>Kanade,Takeo</author></authors></contributors><titles><title>AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision</title><secondary-title>ProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering</secondary-title><alt-title>ProceedingsoftheSeventhInternationalJointConferenceonArtificialIntelligence,Vancouver</alt-title></titles><periodical><full-title>ProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering</full-title></periodical><pages>674-679</pages><volume>2</volume><dates><year>1997</year></dates><urls></urls></record></Cite></EndNote>[\o"Lucas,1997#232"38]進行了改進（LK光流法，稀疏光流）。采用改進的方法來進行光流場的計算時，需考慮下述條件：（1）：灰度不變性（亮度恒定）。即同一物體的每一個像素點在連續(xù)的圖像之間，像素灰度值都不發(fā)生變化。該也是光流法計算過程中最基本的假設，在使用光流法的時候均需要滿足該條件。（2）：緩慢運動（小運動）。在圖像的時間序列中，運動目標在相鄰圖像幀之間所對應的像素點，在位置上不存在大位移的情況。（3）：空間一致性。也就是說，在某個像素點領域中，全部像素的運動是相同的，或者是說，在圖像序列中，前一幀圖像上相鄰的像素點在后一幀圖像上也是相鄰的。該假設條件是LK光流法特有的。而空間一致的假設，可以通過存在于像素點鄰域內的多個像素來建立方程進行求解，以此來對該像素點在水平方向和垂直方向的速度進行計算。光流法的目的是為了獲得運動目標上像素點的運動信息。此處我們可假設在時刻的時候，在圖像位置的像素點的灰度值為。在經過的時間間隔后，位置對應的像素點發(fā)生移動，移動到了新的位置，該點此時所對應的灰度值為。我們可根據灰度不變性假設，得到該像素點在發(fā)生了運動之后對應的像素灰度值和發(fā)生運動之前所對應的灰度值是相等的，則有如下公式REF_Ref66470586\h(1.8)表示。 (1.8)對公式(1.8)的右側進行泰勒級數展開，由此得到式REF_Ref66470745\h(1.9)： (1.9)此處為一個二階無窮小項，如果趨近于0值，則是可以忽略的，由此得到式REF_Ref66470970\h(1.10)： (1.10)即：，令，。由此，式REF_Ref66470970\h(1.10)可改寫為如下公式REF_Ref66471334\h(1.11)。 (1.11)公式REF_Ref66471334\h(1.11)為光流法的基本約束方程，只有一個約束方程，卻有兩個變量、，這時、二者的值無法精確求出。這種存在不確定性的情況被稱為孔徑問題(apertureproblem)。此時，若針對不同的場景，引入相應的約束條件，就會產生不同的光流算法，其大致可劃分為下述幾種類型：基于區(qū)域信息、基于梯度信息、基于頻域信息、基于貝葉斯等的光流算法。采用之前所述的LK光流算法時，則需要遵循空間一致性假設，LK光流法對像素點3x3領域內的9個像素點建立相應的方程，其方程的建立過程可簡寫為下面的式REF_Ref66472145\h(1.12)： (1.12)對其改寫為矩陣的表達形式則如REF_Ref66472304\h(1.13)所示。根據式REF_Ref66472304\h(1.13)對鄰域像素點在三個維度的偏導數進行累加，并做矩陣運算，即可算出該點的光流為。 (1.13)對于實際的應用來說，如果采用該方法對運動物體進行跟蹤，則效果并不理想。主要是因為：如果是進行大運動的跟蹤，則所需的跟蹤窗口也要較大，大的跟蹤窗口才能跟蹤到大運動，而大窗口卻與緩慢運動（也就是小運動）的假設條件存在矛盾。并且當場景中的運動目標運動過快時，采用該方法會很容易將跟蹤目標跟丟，所以在對實際的場景進行運動目標的檢測和跟蹤時，使用圖像金字塔對圖像進行縮小處理是很有必要的。當LK光流法在圖像金字塔中自上而下的對運動目標進行跟蹤時，使得運動目標的速度從一開始的就滿足緩慢運動的假設要求。金字塔上一層的光流信息為下一層的像素運動估計提供一個大致的方向，即上一層的運動估計結果作為下一層光流的起始點，下一層只需要計算光流的增量，由此使得LK光流法能夠適用于存在大位移的場景，這樣就更容易找到像素點在下一幀圖像中所對應的位置，也能夠得到較為準確的光流估計。文ADDINEN.CITE<EndNote><Cite><Author>張麗平</Author><Year>2020</Year><RecNum>235</RecNum><DisplayText><styleface="superscript">[39]</style></DisplayText><record><rec-number>235</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615555885">235</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>張麗平</author><author>范紅</author><author>王璐瑤</author><author>張宇涵</author></authors></contributors><auth-address>東華大學信息科學與技術學院;東華大學數字化紡織中心;</auth-address><titles><title>利用光流法實現(xiàn)運動目標提取的研究</title><secondary-title>計算機與數字工程</secondary-title></titles><periodical><full-title>計算機與數字工程</full-title></periodical><pages>83-87</pages><volume>48</volume><number>01</number><keywords><keyword>運動目標提取</keyword><keyword>光流法</keyword><keyword>實用性</keyword></keywords><dates><year>2020</year></dates><isbn>1672-9722</isbn><call-num>42-1372/TP</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"張麗平,2020#235"39]將LK高斯金字塔光流法與幀間差分法相結合，進行運動目標的提取，該方法不易受光線因素的影響，與傳統(tǒng)的光流法相比在計算量、實時性方面有較為明顯的優(yōu)勢，并且不把光線的變化作為光流來處理。該方法首先對序列圖像進行幀間差分運算得到差分圖像，然后從視頻中提取光流數據，并把光流數據二值化，從而得到前景圖像，最后對前景圖像進行形態(tài)學操作和連通域分析，將運動目標提取出來并進行數量統(tǒng)計。也有學者ADDINEN.CITE<EndNote><Cite><Author>謝紅</Author><Year>2016</Year><RecNum>257</RecNum><DisplayText><styleface="superscript">[40]</style></DisplayText><record><rec-number>257</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615557541">257</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>謝紅</author><author>原博</author><author>解武</author></authors></contributors><auth-address>哈爾濱工程大學信息與通信工程學院;</auth-address><titles><title>LK光流法和三幀差分法的運動目標檢測算法</title><secondary-title>應用科技</secondary-title></titles><periodical><full-title>應用科技</full-title></periodical><pages>23-33</pages><volume>43</volume><number>03</number><keywords><keyword>目標檢測</keyword><keyword>檢測算法</keyword><keyword>三幀差分法</keyword><keyword>LK光流法</keyword><keyword>抗噪性</keyword><keyword>閾值分割</keyword><keyword>區(qū)域分割</keyword></keywords><dates><year>2016</year></dates><isbn>1009-671X</isbn><call-num>23-1191/U</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"謝紅,2016#257"40]將三幀差分法與LK光流法進行結合，首先通過后者對圖像序列中的運動目標進行運動估計，從而獲得大致的與運動目標相對應的矩形區(qū)域，接著對所得矩形區(qū)域進行不同閾值的選取，再通過三幀差分方法來提取運動目標，和常規(guī)三幀差分法所不同的是，該方法在對差分圖像進行二值化處理過程中，所用的閾值并非固定的，主要通過分級閾值方法來對閾值進行設置。由此可使算法具有更好的通用性，而且能夠有效地抵抗噪聲所帶來的干擾。同時該算法也通過LK光流法計算角點，以使運動目標的輪廓得以進一步完善，從而使之前的三幀差分法的檢測結果中存在空洞的問題得到有效的解決。文ADDINEN.CITE<EndNote><Cite><Author>于雯越</Author><Year>2018</Year><RecNum>268</RecNum><DisplayText><styleface="superscript">[41]</style></DisplayText><record><rec-number>268</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615558815">268</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>于雯越</author><author>安博文</author><author>趙明</author></authors></contributors><auth-address>上海海事大學信息工程學院;</auth-address><titles><title>基于光流法與RPCA的紅外運動目標檢測</title><secondary-title>現(xiàn)代計算機(專業(yè)版)</secondary-title></titles><periodical><full-title>現(xiàn)代計算機(專業(yè)版)</full-title></periodical><pages>66-71</pages><number>23</number><keywords><keyword>魯棒主成分分析(RPCA)</keyword><keyword>紅外圖像</keyword><keyword>運動目標</keyword><keyword>LK光流法</keyword><keyword>角點檢測</keyword></keywords><dates><year>2018</year></dates><isbn>1007-1423</isbn><call-num>44-1415/TP</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"于雯越,2018#268"41]將LK高斯高斯金字塔光流法與RPCA方法相結合，用于紅外圖像中運動物體的檢測。首先使用RPCA算法對序列圖像中的運動目標進行檢測，使得運動目標與背景相分離，繼而得到稀疏的前景候選區(qū)域，再利用微分運算和自相關矩陣對檢測出的稀疏前景候選區(qū)域進行運算，得到Harris角點，然后使用LK高斯金字塔光流法對稀疏的前景候選區(qū)域中的Harris角點進行跟蹤，并得到目標的運動估計，由此即可獲得目標運動所對應的區(qū)域。進而可通過形態(tài)學操作來獲得相關的前景運動目標，并同時對其進行跟蹤。采用該算法使得復雜背景以及光照對檢測結果的影響得以消除，根據實驗結果來看，該算法具有良好的魯棒性。學者ADDINEN.CITE<EndNote><Cite><Author>黃鋒</Author><Year>2020</Year><RecNum>283</RecNum><DisplayText><styleface="superscript">[42]</style></DisplayText><record><rec-number>283</rec-number><foreign-keys><keyapp="EN"db-id="t2s5w5ra0zxethevwf4pp0wjxa5rsr055dv0"timestamp="1615560743">283</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>黃鋒</author><author>易嘉聞</author><author>吳健輝</author><author>何偉</author><author>李武勁</author><author>歐先鋒</author></authors></contributors><auth-address>湖南理工學院信息科學與工程學院;三維重建及智能應用技術湖南省工程研究中心;</auth-address><titles><title>光流法和顯著性相結合的動態(tài)背景下運動目標檢測方法</title><secondary-title>成都工業(yè)學院學報</secondary-title></titles><periodical><full-title>成都工業(yè)學院學報</full-title></periodical><pages>13-18</pages><volume>23</volume><number>01</number><keywords><keyword>光流法</keyword><keyword>顯著性特征</keyword><keyword>動態(tài)背景</keyword><keyword>目標檢測</keyword></keywords><dates><year>2020</year></dates><isbn>2095-5383</isbn><call-num>51-1747/TN</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"黃鋒,2020#283"42]主要考慮了在存在運動背景的場景下難以檢測運動目標的難題，并結合了顯著性檢測和光流法檢測兩種檢測算法的優(yōu)勢，提出一種新的運動目標檢測算法，從而利用上述兩種方法的優(yōu)點來更好地處理運動目標檢測問題。最初，是通過對人類視覺注意力相關機制進行模擬的顯著性檢測方法來高效率地提取目標顯著性區(qū)域，此外還排除掉那些不感興趣的各類信息；接著使用光流法對目標運動進行估計，得到在在水平方向和垂直方向的光流矢量，并通過均方根計算出光流場；由此，可通過加權融合方法來融合光流場和目標顯著性區(qū)域，這樣就可以使存在于圖像當中的背景噪聲信息得以有效的減少，并且將運動目標完整地提取出來。采用這一算法之后，可有效地從動態(tài)背景當中提取運動目標，一方面可以使目標區(qū)域自身的完整性得以有效保留，另一方面還使檢測結果所受到的動態(tài)背景影響得以降低，因此同時提升了算法的魯棒性與穩(wěn)定性。文ADDINEN.CITE<EndNote><Cite><Author>周楊</Author><Year>2016</Year><RecNum>500</RecNum><DisplayText><styleface="superscript">[43]</style></DisplayText><r