四旋翼無人機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)算法分析案例目錄TOC\o"1-3"\h\u16498四旋翼無人機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)算法分析案例 1164451.1運(yùn)動(dòng)目標(biāo)檢測(cè)算法分析 1138521.2無人機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)算法流程 5278841.4運(yùn)動(dòng)物體的中心計(jì)算 8由于GPS讀取的位置信息誤差比較大，四旋翼無人機(jī)自主著陸過程對(duì)無人機(jī)位置控制要求較高，因此我們考慮在無人機(jī)降落（著陸）環(huán)節(jié)引入基于視頻的運(yùn)動(dòng)目標(biāo)檢測(cè)控制算法來降落精度和安全性。運(yùn)動(dòng)目標(biāo)檢測(cè)是車載自動(dòng)起降控制模塊的關(guān)鍵部分，是整個(gè)控制系統(tǒng)能夠準(zhǔn)確、實(shí)時(shí)控制四旋翼無人自動(dòng)降落的基礎(chǔ)。運(yùn)動(dòng)目標(biāo)檢測(cè)使用計(jì)算機(jī)視覺、數(shù)字圖像處理、模式識(shí)別等技術(shù)，通過對(duì)視頻序列圖像進(jìn)行處理，將運(yùn)動(dòng)物體區(qū)域從背景區(qū)域中提取出來，得到運(yùn)動(dòng)目標(biāo)的位置、大小等數(shù)據(jù)，為后續(xù)處理提供支持。運(yùn)動(dòng)目標(biāo)檢測(cè)算法根據(jù)背景區(qū)域運(yùn)動(dòng)與否可分為靜態(tài)背景檢測(cè)與動(dòng)態(tài)背景檢測(cè)，靜態(tài)背景是指攝像機(jī)鏡頭位置固定，動(dòng)態(tài)背景是指攝像機(jī)鏡頭位置隨運(yùn)動(dòng)物體變化。動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)由于存在背景區(qū)域的相對(duì)移動(dòng)，模型建立與檢測(cè)算法相當(dāng)復(fù)雜。本章主要研究了靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，經(jīng)實(shí)驗(yàn)該算法能實(shí)時(shí)有效地檢測(cè)出運(yùn)動(dòng)物體。1.1運(yùn)動(dòng)目標(biāo)檢測(cè)算法分析目前，運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有幀間差分法、背景減除法、光流法等，幀間差分法、背景減除法一般用于靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，而光流法既可用于靜態(tài)背景也可用于動(dòng)態(tài)背景，各種算法具有各自的優(yōu)缺點(diǎn)和適用范圍。（1）幀間差分法幀間差分法是對(duì)連續(xù)視頻序列幀圖像，進(jìn)行像素的幀間差分運(yùn)算來提取相鄰幀的變化區(qū)域，從而得到運(yùn)動(dòng)物體的方法[23]。通常選取相鄰的兩幀或三幀圖像進(jìn)行差分運(yùn)算，設(shè)時(shí)刻當(dāng)前幀圖像為，時(shí)刻的前一幀圖像為，對(duì)當(dāng)前幀圖像與前一幀圖像進(jìn)行差分運(yùn)算如下：（1.1）其中與分別為當(dāng)前幀和前一幀圖像坐標(biāo)為處的灰度值，為差分后的絕對(duì)值，由判斷出運(yùn)動(dòng)目標(biāo)區(qū)域：（1.2）其中為判決閥值，若相鄰兩幀圖像同一像素間灰度值相差大于，則二值圖像相應(yīng)像素為1，表示運(yùn)動(dòng)目標(biāo)區(qū)域，否則為0表示背景區(qū)域。幀間差分法的流程圖如圖1.1所示。圖1.1幀間差分法流程圖將得到的二值圖像進(jìn)行形態(tài)學(xué)濾波后，輸出檢測(cè)出的運(yùn)動(dòng)目標(biāo)，仿真結(jié)果如圖1.2所示。（a）第fk-1幀圖像（b）第fk幀圖像（c）第fk+1幀圖像.（d）fk-fk-1幀結(jié)果（e）fk+1-fk幀結(jié)果圖1.2幀間差分法檢測(cè)結(jié)果從實(shí)驗(yàn)結(jié)果可以看出，幀間差分法能迅速檢測(cè)出場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，計(jì)算量小便于實(shí)現(xiàn)，但如圖1.2（d）、（e）所示幀間差分法提取物體邊界不完整，且物體內(nèi)部有較大空洞，如果目標(biāo)運(yùn)動(dòng)速度太快，會(huì)使物體形狀拉伸如圖1.2（d），如果目標(biāo)運(yùn)動(dòng)速度太慢，又會(huì)使物體部分邊界重疊如圖1.2（e），目標(biāo)的運(yùn)動(dòng)速度直接影響幀間差分法的檢測(cè)性能。目前，提出了三幀雙差分法、五幀三差分法等改進(jìn)算法，使幀間差分法的性能得到了改善。（2）背景減除法背景減除法是將視頻序列當(dāng)前幀與背景模型進(jìn)行差分，來提取當(dāng)前幀相對(duì)于背景模型的變化區(qū)域，從而得到運(yùn)動(dòng)目標(biāo)的方法[24]。背景減除法的核心是建立并維護(hù)一個(gè)背景模型，假設(shè)獲取的視頻序列第1幀為背景模型，當(dāng)前視頻幀為，將當(dāng)前幀與背景模型進(jìn)行差分運(yùn)算如下：（1.3）其中為當(dāng)前幀圖像坐標(biāo)像素灰度值，為背景模型對(duì)應(yīng)像素灰度值，為差分后絕對(duì)值，由判決閥值對(duì)差分后圖像進(jìn)行二值化：（1.4）二值圖像中，像素為1的區(qū)域即檢測(cè)出的運(yùn)動(dòng)目標(biāo)區(qū)域，背景減除法的流程圖如圖1.3所示。圖1.3背景減除法流程圖將得到的二值圖像進(jìn)行形態(tài)學(xué)濾波后，輸出檢測(cè)出的運(yùn)動(dòng)目標(biāo)，對(duì)背景減除法進(jìn)行仿真，結(jié)果如圖1.4所示。從實(shí)驗(yàn)結(jié)果可以看出，背景減除法可以快速獲得較完整的運(yùn)動(dòng)目標(biāo)像素，克服了幀間差分法只能獲取目標(biāo)輪廓、輪廓形狀發(fā)生變化等的不足，且計(jì)算量小適用于實(shí)時(shí)性要求較高的系統(tǒng)。但背景減除法對(duì)場(chǎng)景的變化特別敏感，當(dāng)場(chǎng)景中的背景像素發(fā)生變化，如光照產(chǎn)生陰影、樹葉被風(fēng)吹動(dòng)等情況，而運(yùn)動(dòng)目標(biāo)尺寸較小，就會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生較大的影響。背景減除法的性能嚴(yán)重依賴于背景模型的獲取與更新，如圖1.4（c）當(dāng)無人機(jī)未進(jìn)入場(chǎng)景時(shí)有鳥經(jīng)過，而背景模型由第1幀替換為鳥經(jīng)過時(shí)序列幀，檢測(cè)結(jié)果如圖1.4（e）就會(huì)出現(xiàn)差錯(cuò)。因此，背景模型的建立與更新是背景減除法性能的關(guān)鍵，也是該方法研究的重點(diǎn)。（a）當(dāng)前幀fk（b）背景模型bk（c）更新后背景模型b’k.（d）fk-bk結(jié)果（e）fk-b’k結(jié)果圖1.4背景減除法檢測(cè)結(jié)果（3）光流法光流法是利用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，通過對(duì)視頻序列幀圖像的光流場(chǎng)進(jìn)行計(jì)算，從而得到運(yùn)動(dòng)目標(biāo)的方法[25]。光流場(chǎng)是一幅圖像中所有像素的速度矢量構(gòu)成的矢量場(chǎng)，速度矢量由像素位移矢量除以幀間時(shí)間間隔得到。在視頻序列的連續(xù)幀中，光流場(chǎng)在整幅圖像中是連續(xù)變化的，當(dāng)圖像中出現(xiàn)運(yùn)動(dòng)目標(biāo)，運(yùn)動(dòng)目標(biāo)即前景區(qū)域速度場(chǎng)與靜止或運(yùn)動(dòng)的背景區(qū)域的速度場(chǎng)不同，則可區(qū)分出目標(biāo)區(qū)域與背景區(qū)域。光流攜帶了運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)和結(jié)構(gòu)信息，在預(yù)先沒有任何場(chǎng)景信息的條件下，能夠檢測(cè)出獨(dú)立運(yùn)動(dòng)的目標(biāo)，適用于靜止背景和動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，但光流計(jì)算模型復(fù)雜，運(yùn)算量大，在實(shí)時(shí)性要求較高的系統(tǒng)中很難實(shí)現(xiàn)。光流(Opticalflow)反映了在某段時(shí)間間隔內(nèi)由于運(yùn)動(dòng)而引起圖像的變化，其中該段時(shí)間間隔必須足夠的短來保證小的幀間運(yùn)動(dòng)變化。光流場(chǎng)是一個(gè)速度矢量場(chǎng)，它代表三維運(yùn)動(dòng)的物體點(diǎn)在二維圖像上的表現(xiàn)。其計(jì)算基于以下假設(shè)：1)所觀察到的任意物體點(diǎn)亮度隨時(shí)間是保持不變的；2)圖像區(qū)域內(nèi)的鄰近像素點(diǎn)的移動(dòng)方式類似（速度平滑性約束）。假設(shè)有一圖像序列：表示在時(shí)刻上坐標(biāo)的灰度值。將該圖像描述成有關(guān)位置與時(shí)間的函數(shù)，然后將其展開成泰勒序列（Taylorseries）：fx+dx,y+dy,t+dt=f其中fx，fy，ft分別表示f的偏導(dǎo)數(shù)，可以假設(shè)，在時(shí)間間隔dfx+dx,y+dy,t+dt=fx若dx，dy，dt非常小，那么可以忽略不計(jì)（3,6）中的高階項(xiàng)，且有?ft=f算法的目標(biāo)是計(jì)算速度c=dxdtfx，fy，ft?ft=f其中?f二維圖像梯度。式（1.光流法在提前不知道有關(guān)任何場(chǎng)景信息的情形下，能檢測(cè)到獨(dú)立的運(yùn)動(dòng)對(duì)象，與攝像機(jī)狀態(tài)無關(guān)。雖然基于光流法對(duì)目標(biāo)進(jìn)行檢測(cè)可以精確計(jì)算出目標(biāo)的速度，但是大多數(shù)都要遍歷幀中所有像素來評(píng)估光流，計(jì)算復(fù)雜耗時(shí)，對(duì)噪聲敏感,若無特殊的硬件支撐,很難用在實(shí)時(shí)的視頻圖像處理系統(tǒng)中。1.2無人機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)算法流程本文四旋翼無人機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)算法要求從采集的視頻序列幀中檢測(cè)出場(chǎng)景中出現(xiàn)的運(yùn)動(dòng)目標(biāo)，場(chǎng)景為攝像機(jī)固定的靜態(tài)背景，能檢測(cè)出單個(gè)或多個(gè)運(yùn)動(dòng)目標(biāo)。整個(gè)檢測(cè)算法分為序列圖像預(yù)處理、基于累積差分更新背景減除法、檢測(cè)后處理三個(gè)階段。圖像預(yù)處理包括：灰度圖像轉(zhuǎn)換，圖像濾波；基于累積差分更新背景減除法包括：背景模型建立與更新，運(yùn)動(dòng)目標(biāo)提取；檢測(cè)后處理包括：形態(tài)學(xué)濾波，連通分量分析。檢測(cè)算法流程圖如圖1.5所示。圖像數(shù)據(jù)輸入圖像數(shù)據(jù)輸入圖像灰度轉(zhuǎn)換圖像濾波首幀圖像初始背景圖像背景圖像更新當(dāng)前背景圖像與當(dāng)前幀圖像相減并二值化形態(tài)學(xué)濾波連通分量分析獲得運(yùn)動(dòng)目標(biāo)圖1.5檢測(cè)算法流程圖首先，將采集到的視頻序列圖像去掉色彩信息，保留亮度信息，即將彩色圖像轉(zhuǎn)換為灰度圖像，對(duì)于RGB格式的圖像序列使用公式（2.3）進(jìn)行轉(zhuǎn)換。變換為灰度圖像后，使用均值濾波模板對(duì)灰度圖像進(jìn)行濾波，減小了圖像中的高斯噪聲，同時(shí)也去除了部分非目標(biāo)物體的不相干細(xì)節(jié)。若當(dāng)前圖像為第1幀圖像，將其作為初始背景，若為后續(xù)幀圖像，則按公式（1.4）更新算法對(duì)背景模型進(jìn)行更新，更新參數(shù)取，本文設(shè)定更新60幀后開始檢測(cè)目標(biāo)，將當(dāng)前幀與背景模型相減，由判決閥值將差分結(jié)果二值化，得到的二值圖像，使用開運(yùn)算進(jìn)行形態(tài)學(xué)濾波，結(jié)構(gòu)元素，消除其中存在的噪聲，獲得較好的目標(biāo)形態(tài)。然后通過連通分量分析，將像素點(diǎn)按8鄰域搜索依次標(biāo)上標(biāo)記，將相同標(biāo)記像素集合作為一個(gè)整體，像素?cái)?shù)目大于一定值即為檢測(cè)出的運(yùn)動(dòng)目標(biāo)，輸出檢測(cè)結(jié)果。1.3基于投影的運(yùn)動(dòng)目標(biāo)定位視頻圖像運(yùn)動(dòng)目標(biāo)定位實(shí)質(zhì)上就是給出視頻中運(yùn)動(dòng)目標(biāo)的位置參數(shù)，能夠?qū)\(yùn)動(dòng)目標(biāo)進(jìn)行精確的位置描述并且為后續(xù)的處理做鋪摯。本章對(duì)于視頻圖像運(yùn)動(dòng)目標(biāo)的定位研究是在上一章對(duì)于運(yùn)動(dòng)目標(biāo)精確檢測(cè)的基礎(chǔ)上對(duì)于視頻每一幀的運(yùn)動(dòng)目標(biāo)進(jìn)行定位，根據(jù)具體的位置參數(shù)將運(yùn)動(dòng)目標(biāo)在具體的每一幀中標(biāo)記出來并給出運(yùn)動(dòng)目標(biāo)的中心位置和重心位置的坐標(biāo)。對(duì)視頻圖像運(yùn)動(dòng)目標(biāo)進(jìn)行定位主要有基于區(qū)域生長(zhǎng)的定位、基于投影的定位和基于聚類的定位三種方法?；趨^(qū)域生長(zhǎng)的定位方法不僅對(duì)于要處理的對(duì)象要求具有良好的空域連通性而且非常容易出現(xiàn)過度分割的現(xiàn)象，此外基于區(qū)域生長(zhǎng)的定位一般來說運(yùn)算量相對(duì)較大?；诰垲惖亩ㄎ环椒ㄔ谔幚硪曨l圖像運(yùn)動(dòng)目標(biāo)的定位時(shí)一般針對(duì)視頻中存在著多個(gè)運(yùn)動(dòng)目標(biāo)的情況進(jìn)行處理，并且基于聚類的方法有著較高的算法復(fù)雜度。本文主要研究的是固定視頻錄入設(shè)備的單運(yùn)動(dòng)目標(biāo)的定位，結(jié)合上面提到的各種定位方法我們選擇基于投影的運(yùn)動(dòng)目標(biāo)定位方法。對(duì)于利用上一節(jié)的的改進(jìn)算法對(duì)視頻圖像進(jìn)行處理后我們可以得到效果較理想的檢測(cè)效果，我們將運(yùn)動(dòng)目標(biāo)的像素點(diǎn)像素值設(shè)為255，其余所有點(diǎn)的像素值設(shè)為0得到運(yùn)動(dòng)目標(biāo)檢測(cè)效果的二值圖像。確定具體運(yùn)動(dòng)目標(biāo)區(qū)域時(shí)我們通過對(duì)含有運(yùn)動(dòng)目標(biāo)的二值圖像進(jìn)行逐行掃描，可以得到運(yùn)動(dòng)前景對(duì)應(yīng)的像素點(diǎn)在水平方向的具體分布情況，同理當(dāng)我們對(duì)此二值圖像進(jìn)行逐列掃描時(shí)能夠得到運(yùn)動(dòng)前景對(duì)應(yīng)的像素點(diǎn)在垂直方向具體的分布情況。得到運(yùn)動(dòng)目標(biāo)對(duì)應(yīng)的像素點(diǎn)具體的分布情況我們就可以將此運(yùn)動(dòng)目標(biāo)在具體的視頻幀中標(biāo)記出來。具體的標(biāo)記情況如圖1.6所示：圖1.6而當(dāng)我們將標(biāo)記的情況反映到具體的視頻幀中并用紅色的矩形將運(yùn)動(dòng)目標(biāo)在具體的視頻幀中進(jìn)行標(biāo)記，具體的效果如圖1.7所示：圖1.7從上面的兩幅圖中我們可以看出我們已經(jīng)利用矩形框?qū)\(yùn)動(dòng)目標(biāo)進(jìn)行了較好的定位標(biāo)記，然而在實(shí)際應(yīng)用過程中定位不僅要求我們將運(yùn)動(dòng)目標(biāo)標(biāo)記出來，還要給出運(yùn)動(dòng)目標(biāo)的中心和重心位置。1.4運(yùn)動(dòng)物體的中心計(jì)算在對(duì)視頻中的運(yùn)動(dòng)物體利用投影法進(jìn)行定位后我們往往更需要精確的定位信息，其中比較重要的一點(diǎn)就是求出運(yùn)動(dòng)物體的中心位置，給出此中心位置的具體坐標(biāo)并且在具體的視頻幀中將中心位置坐標(biāo)標(biāo)記出來。若要得到準(zhǔn)確的坐標(biāo)值，我們首先應(yīng)該明確圖像對(duì)應(yīng)的坐標(biāo)系和坐標(biāo)原點(diǎn)。對(duì)于視頻圖像具體的坐標(biāo)系而言，原點(diǎn)在左上角，水平向右指向的為x軸，垂直向下指向的為y軸，在視頻幀中具體的坐標(biāo)值是基于此坐標(biāo)系的。具體坐標(biāo)系如圖1.8所示：xxy圖1.8對(duì)于具體分辨率的視頻所對(duì)應(yīng)的視頻幀的具體大小也是已知的。通過掃描檢測(cè)到的運(yùn)動(dòng)目標(biāo)所對(duì)應(yīng)的像素我們可以得到運(yùn)動(dòng)目標(biāo)的每個(gè)點(diǎn)在具體分辨率的視頻幀圖像中的坐標(biāo)。使用投影定位分析法可以得到檢測(cè)到的運(yùn)動(dòng)目標(biāo)所對(duì)應(yīng)的像素具體的分布情況及坐標(biāo)值。通過逐行的掃描可以得到運(yùn)動(dòng)對(duì)象所有的像素點(diǎn)所對(duì)應(yīng)的最小行號(hào)rmin和最大行號(hào)rmax，同理在逐列進(jìn)行掃描時(shí)可以得到運(yùn)動(dòng)對(duì)象所有的像素點(diǎn)所對(duì)應(yīng)的最小列號(hào)cmin和最大列號(hào)cmax。然后利用得到的行號(hào)rmin和rmax以及列號(hào)cmin和cmax?？梢缘玫骄匦慰蜃钚枰膬蓚€(gè)對(duì)角點(diǎn)。由于視頻幀圖像的最小行號(hào)rmin面對(duì)應(yīng)著y軸方向的最小值ymin,最大行號(hào)rmax對(duì)應(yīng)著y軸方向的最大值ymax，同理最小列號(hào)cmin對(duì)應(yīng)著x軸方向的最小值xmin，最大列號(hào)cmax對(duì)應(yīng)著X軸方向的最大值xmax。通過上述分析我們可以得到矩形框的兩個(gè)對(duì)角點(diǎn)(xmin，ymin)和(xmax，ymax)，其中(xmin，ymin)對(duì)應(yīng)著左上角的點(diǎn)，(xmax，ymax)對(duì)應(yīng)著右下角的點(diǎn)。通過這兩個(gè)點(diǎn)就可以畫出具體的矩形，這也是上面小節(jié)中如何得到矩形框的具體過程。具體形式如圖1.9所示：xxy圖1.9在矩形框?qū)\(yùn)動(dòng)物體進(jìn)行標(biāo)記的基礎(chǔ)上我們還要求出運(yùn)動(dòng)物體的中心坐標(biāo)并且在具體的幀