某目標(biāo)跟蹤系統(tǒng)整體算法的FPGA實(shí)現(xiàn)案例目錄TOC\o"1-3"\h\u19856某目標(biāo)跟蹤系統(tǒng)整體算法的FPGA實(shí)現(xiàn)案例 1319431.1目標(biāo)識別的算法流程 1104611.2圖像采集模塊 1244141.3圖像處理部分設(shè)計流程 250541.3.1RGB與HSV色彩空間及轉(zhuǎn)換 357331.3.2色彩提取與坐標(biāo)變換模塊 3309251.3.3膨脹與腐蝕模塊（erodeip&dilateip） 4300641.4形態(tài)學(xué)處理 5110431.4.1腐蝕的硬件實(shí)現(xiàn)與仿真 54231.4.2膨脹的硬件實(shí)現(xiàn)與仿真 7266121.5顏色提取與識別 9177751.5.1目標(biāo)顏色提取 9210051.5.2動態(tài)閾值與自適應(yīng)匹配模板 101.1目標(biāo)識別的算法流程系統(tǒng)采用的目標(biāo)識別算法流程如圖所示，首先通過攝像頭從色彩灰度空間中采集圖像數(shù)據(jù)，經(jīng)過濾波預(yù)處理后作二值化色彩空間轉(zhuǎn)換后，轉(zhuǎn)換為標(biāo)準(zhǔn)灰度。然后進(jìn)行顏色識別與提取，將顏色識別結(jié)果一部分送入VGA驗(yàn)證，另外一部分先經(jīng)過形態(tài)學(xué)濾波處理濾除一部分噪聲，然后進(jìn)行中心點(diǎn)計算后輸出到最終的跟蹤模塊，通過處理的結(jié)果確定是否為目標(biāo)像素點(diǎn)，最后跟蹤模塊對識別出的目標(biāo)像素點(diǎn)進(jìn)行追蹤。圖1.1系統(tǒng)算法實(shí)現(xiàn)流程1.2圖像采集模塊該模塊分為兩部分設(shè)計，配置攝像頭通訊的寄存器和相機(jī)CMOS查詢表，該模塊IP封裝及連接如圖：圖1.2：圖像采集模塊IP核封裝觀察I2C模塊IP封裝可看出，該模塊由8位設(shè)備地址，16位寄存器地址，8位寄存器數(shù)據(jù)組成，輸出包括SCL和SDA（數(shù)據(jù)線和控制線，在I2C總線傳輸數(shù)據(jù)）和10位的查找表地址lut_index。首先看攝像頭寄存器配置。實(shí)現(xiàn)過程：預(yù)先設(shè)置四個狀態(tài)：S_IDLE，S_WR_I2C_CHECK，S_WR_I2C，S_WR_I2C_DONE。①S_IDLE為空閑狀態(tài)，輸出lut_index為0；②S_WR_I2C_CHECK：此時若寫入設(shè)備地址為1，狀態(tài)跳轉(zhuǎn)為S_WR_I2C_DONE，否則狀態(tài)為S_WR_I2C，并且寫入請求賦值為1；③S_WR_I2C：由變量i2c_write_req_ack（寫入請求反饋）決定，若反饋值為1，輸出值lut_index加1，同時將寫入請求值置0，狀態(tài)跳轉(zhuǎn)為check狀態(tài)；④S_WR_I2C_DONE：表面計算結(jié)束，返回空閑狀態(tài)S_IDLE。攝像頭ov5640模塊功能為根據(jù)輸入的查找表地址，輸出對應(yīng)的查找表數(shù)據(jù)。其中數(shù)據(jù)由8位I2C地址，16位寄存器地址和8位寄存器數(shù)據(jù)組成，根據(jù)輸入的值，輸出共有302種情況，包括系統(tǒng)時鐘，復(fù)位，網(wǎng)絡(luò)控制、定時偏移等。1.3圖像處理部分設(shè)計流程圖像處理模塊算法流程如圖：圖1.3圖像處理模塊框圖1.3.1RGB與HSV色彩空間及轉(zhuǎn)換攝像頭采集到的圖像數(shù)據(jù)為RGB格式。在實(shí)際環(huán)境中，光照強(qiáng)度變化時RGB三種顏色分量的值變化較大。但HSV受光照環(huán)境變化的影響相對較小。系統(tǒng)由于攝像頭位置一直在隨小球運(yùn)動而變化，采集到的圖像清晰度和亮度也會隨之發(fā)生變化，為保證能夠準(zhǔn)確識別追蹤單色小球，本系統(tǒng)選取HSV色彩空間，減低外部光照環(huán)境對目標(biāo)檢測的干擾。R、G、B分別表示一種顏色的紅、綠、藍(lán)分量值，其取值范圍為0-1，設(shè)max為R、G、B中的最大值，min為R、G、B中的最小值，根據(jù)HSV到RGB的轉(zhuǎn)換公式，由攝像頭采取的圖像HSV值計算得到對應(yīng)的RGB值，并對RGB值進(jìn)行后續(xù)處理。RGB到HSV的轉(zhuǎn)換公式如下：H=0S=0V=max（3-3）Vivado中色彩空間轉(zhuǎn)換模塊的IP核如圖。模塊輸入包括系統(tǒng)時鐘和輸入的RGB數(shù)據(jù)，輸出為轉(zhuǎn)換后的HSV圖像數(shù)據(jù)。圖1.4色彩空間轉(zhuǎn)換模塊IP封裝1.3.2色彩提取與坐標(biāo)變換模塊小球追蹤系統(tǒng)的原理主要應(yīng)用了色彩方面的理論，尋找與單色小球顏色相近的區(qū)域，然后計算這個區(qū)域的中心點(diǎn)。首先需要人為提取一個小球的三種顏色分量H、S、V，掃描圖像每一幀中的各個像素，對其中與目標(biāo)物體顏色相近的像素點(diǎn)進(jìn)行標(biāo)注，去噪處理后再對此區(qū)域中心點(diǎn)進(jìn)行計算，重復(fù)上述步驟直到所有像素點(diǎn)均被識別，最終將處理后圖像的中心點(diǎn)坐標(biāo)發(fā)送給跟蹤模塊，對標(biāo)注的目標(biāo)區(qū)域進(jìn)行追蹤。顏色檢測模塊IP的封裝如下：圖1.5顏色識別模塊IP封裝其中輸入包括系統(tǒng)時鐘（與VGA時鐘同步），按鍵（控制顏色模板提取，為1時開始提?。?，滑動開關(guān)（用于清除之前提取的顏色），行計數(shù)值、列計數(shù)值等，模塊輸出為經(jīng)過處理去噪所得的標(biāo)注像素。該顏色檢測模塊內(nèi)部并沒有包含形態(tài)學(xué)處理相關(guān)部分，而是將輸入圖像數(shù)據(jù)傳輸?shù)狡渌麨V波模塊——膨脹和腐蝕模塊，進(jìn)行形態(tài)學(xué)濾波處理。而權(quán)值降噪方面，在該顏色檢測模塊中有專門計算權(quán)值的模塊，得到的權(quán)值與后續(xù)的中心點(diǎn)計算有關(guān)。在整個標(biāo)注運(yùn)算過程中，每一個標(biāo)注像素都要計算其與上一幀中心點(diǎn)間的距離，根據(jù)該距離設(shè)置對應(yīng)大小的權(quán)值，像素里兩中心點(diǎn)距離越近，所得的權(quán)值越大，否則權(quán)值越小。通過此操作減少與目標(biāo)物體距離較遠(yuǎn)噪點(diǎn)對檢測的影響。1.3.3膨脹與腐蝕模塊（erodeip&dilateip）本系統(tǒng)中形態(tài)學(xué)處理部分主要分為腐蝕和膨脹算法模塊，具體設(shè)計思路如下：選取一定大小窗口對圖像的各像素進(jìn)行掃描，并設(shè)置緩存存儲各像素以便后續(xù)使用，并對采集到的像素點(diǎn)做濾波處理。本次設(shè)計采用3*3大小的窗口，在FPGA中，可以設(shè)計3個獨(dú)立的數(shù)據(jù)單口窗作緩存，借助狀態(tài)機(jī)和列計數(shù)值實(shí)現(xiàn)這種窗口，采用流水線數(shù)據(jù)處理的方法，實(shí)現(xiàn)加速計算。得到窗口之后，就可以對其中的各個單元進(jìn)行并行運(yùn)算。窗口中輸入的圖像均為單像素1bit的二值化圖像，腐蝕算法是窗口中所有元素值都為1時，輸出為1，否則輸出為0。膨脹算法與之相反，只有當(dāng)窗口中所有元素值都為0時輸出才為0，否則輸出為1。本系統(tǒng)形態(tài)學(xué)處理部分設(shè)計了膨脹和腐蝕兩個模塊，先通過腐蝕模塊去掉圖像中較小的噪點(diǎn)，同時非噪聲區(qū)域的邊緣部分也被切除了一些；然后再通過膨脹模塊，恢復(fù)之前腐蝕模塊所切除的非噪聲區(qū)域的邊緣。腐蝕模塊的IP封裝如下：圖1.6膨脹模塊IP封裝DilateIP封裝如下：圖1.7腐蝕模塊IP封裝兩模塊的輸入輸出代表含義大體相同，輸入包括時鐘，行計數(shù)值與列計數(shù)值，以及單比特的輸入像素，輸出為經(jīng)過處理后的單比特像素。輸出根據(jù)模塊功能，膨脹模塊輸出標(biāo)注區(qū)域?yàn)?，未標(biāo)注區(qū)域?yàn)?，腐蝕模塊輸出值相反。1.4形態(tài)學(xué)處理1.4.1腐蝕的硬件實(shí)現(xiàn)與仿真腐蝕的作用，通俗來講，是將圖像變“瘦”處理，即圖像的邊界向內(nèi)部收縮，可有效抑制邊界噪聲的影響。系統(tǒng)需要對每個像素點(diǎn)都作處理，所以采用完全腐蝕。硬件實(shí)現(xiàn)過程大體如下：通過預(yù)先設(shè)定的3*3窗口掃描圖像后采集到9個二值化像素點(diǎn)，如果全部都是有效像素，則認(rèn)為當(dāng)前像素為有效，將其標(biāo)定為1；若窗口空間中存在一個無效像素（二值化的值為0），則認(rèn)為該像素?zé)o效。簡單來說，腐蝕就是將提取到的兩個二值化像素值進(jìn)行相與運(yùn)算，以計算的結(jié)果作為當(dāng)前的二值化像素值p，計算公式如下：P=p11&p12&p13&p21&p22&p23&p31&p32&p33(3-4)將每一行數(shù)據(jù)先做乘積，然后將三個結(jié)果p1，p2，p3再做乘法運(yùn)算，從而提高系統(tǒng)的運(yùn)行頻率。運(yùn)算公式如下：（3-5（3-5）腐蝕模塊算法的驗(yàn)證平臺如圖，通過and模塊實(shí)驗(yàn)位與運(yùn)算：圖1.9完全腐蝕算法模塊為驗(yàn)證腐蝕算法，借助vivado中自帶的仿真平臺，讀取計算機(jī)中的一張以經(jīng)過二值化處理后的圖片，對該圖片進(jìn)行多次腐蝕處理，觀察圖片隨腐蝕處理次數(shù)增加發(fā)生的變化，腐蝕一次、二次、三次后圖片效果如圖：圖1.10SystemGenerator中腐蝕仿真平臺圖1.11多次腐蝕的顯示結(jié)果圖分析：腐蝕的對象為值為1的像素點(diǎn)，也就是對白色區(qū)域，觀察腐蝕處理的圖片效果可以看出，黑色部分變黑變肥，因?yàn)樵景咨牟糠肿兗?xì)變瘦。由此得出，腐蝕會使像素值為1的區(qū)域向內(nèi)收縮。1.4.2膨脹的硬件實(shí)現(xiàn)與仿真膨脹處理就是將與目標(biāo)物體接觸的全部像素點(diǎn)都合并到該目標(biāo)中，是一種向目標(biāo)物體周圍擴(kuò)張的操作，可以有效填補(bǔ)留在目標(biāo)周圍物體上的一些空洞。本系統(tǒng)中膨脹模塊的設(shè)計思路如下：通過預(yù)先設(shè)定的3*3窗口采取9個像素點(diǎn)，其中如果有一個是有效像素，則認(rèn)定當(dāng)前像素值為有效；如果其中9個像素值均為為0，則認(rèn)定改像素?zé)o效，標(biāo)定為0。膨脹運(yùn)算實(shí)際上就是相或運(yùn)算，與腐蝕模塊相同，因?yàn)橐邢袼攸c(diǎn)均要作運(yùn)算，所以采用完全膨脹。完全膨脹的公式如下：P=p11|p12|p13|p21|p22|p23|p31|p32|p33（3-3）運(yùn)算流程采用流水線操作，將每一行先做或運(yùn)算，然后將p1，p2，p3再做或運(yùn)算。運(yùn)算公式如下：QUOTEp1=p11p12p13p膨脹模塊的算法驗(yàn)證平臺如圖，通過or模塊實(shí)現(xiàn)位或運(yùn)算：圖1.12部分膨脹算法模塊讀取計算機(jī)中的一張已經(jīng)過二值化處理后的圖片，經(jīng)過搭建的算法模型對其進(jìn)行膨脹處理，觀察圖片經(jīng)多次膨脹處理后的效果，經(jīng)過一次、二次、三次膨脹處理后的效果如圖：圖1.13SystemGenerator中膨脹仿真平臺圖1.14多次膨脹處理結(jié)果1.5顏色提取與識別該目標(biāo)追蹤系統(tǒng)的主要難點(diǎn)集中在顏色提取與識別部分，整體設(shè)計流程如下，首先提取目標(biāo)顏色，將提取顏色值與HSV值做差，所得差值再與閾值作比較，若小于閾值，則認(rèn)定該點(diǎn)為目標(biāo)物體像素點(diǎn)，經(jīng)過膨脹腐蝕等形態(tài)學(xué)濾波處理后，最終認(rèn)定為目標(biāo)物體的像素。顏色提取與識別的算法如圖：圖1.15顏色提取與識別的算法1.5.1目標(biāo)顏色提取作為顏色識別的關(guān)鍵一步，首先需要提取目標(biāo)顏色作為顏色模板，本系統(tǒng)通過按鍵控制獲取目標(biāo)顏色，過程如下：首先通過行場同步信號構(gòu)建一個32*32的矩形框，利用矩形框?qū)Υ龣z測物體進(jìn)行逐幀掃描，將像素點(diǎn)的HSV值分別累加，到下一幀時，將累加和清零并重新作累加，重復(fù)這兩個步驟直到目標(biāo)區(qū)域中的最后一個像素點(diǎn)，對三種顏色分量的累加和分別求取平均值并分別保存為H、S、V，之后通過按鍵來獲取目標(biāo)顏色，作為目標(biāo)識別的顏色模板。當(dāng)外部環(huán)境發(fā)生變化需重新提取模板時，可通過滑動開關(guān)來清除已提取的顏色，確定新的顏色模板，顏色提取的流程如下：圖1.16顏色提取流程圖1.5.2動態(tài)閾值與自適應(yīng)匹配模板顏色特征是一個物體最鮮明的特征，可以作為目標(biāo)識別的主要依據(jù)，與其他跟蹤算法相比，基于顏色識別的目標(biāo)追蹤算法實(shí)現(xiàn)相對簡單，運(yùn)行效率比較高。本系統(tǒng)采用的顏色識別模塊針對單色物體，即使在外部環(huán)境中出現(xiàn)些許干擾的情況下，也能保證識別的準(zhǔn)確性。現(xiàn)實(shí)情況中，經(jīng)常會存在光照環(huán)境發(fā)生巨大變化的情況，從而直接導(dǎo)致目標(biāo)顏色分量值變化過大，使得跟蹤系統(tǒng)中目標(biāo)像素與顏色模板匹配功能失效，并且在一些現(xiàn)實(shí)場景中可能存在與目標(biāo)顏色相近的物體同時出現(xiàn)，使跟蹤系統(tǒng)很難區(qū)分，導(dǎo)致跟蹤精度的下降，甚至導(dǎo)致目標(biāo)檢測失效。針對光照環(huán)境發(fā)生變化的情況，本系統(tǒng)設(shè)計了動態(tài)閾值與自適應(yīng)的顏色匹配模板，使得設(shè)定的顏色模板和閾值能夠隨光照變化而實(shí)時更新，從而有效保證了識別精度和系統(tǒng)對光照的魯棒性。在目標(biāo)周圍存在顏色相近的微小干擾物體或目標(biāo)受到微波干擾時，可將所有該顏色的物體都進(jìn)行識別與標(biāo)記，隨后通過形態(tài)學(xué)濾波對誤標(biāo)記的像素點(diǎn)進(jìn)行過濾與剔除，并且使系統(tǒng)可以根據(jù)不同程度的干擾自主選擇濾波程度與次數(shù)。本系統(tǒng)通過設(shè)定動態(tài)閾值和自適應(yīng)顏色模板來適應(yīng)外部光照環(huán)境的變化，優(yōu)先選擇目標(biāo)物體，并采用改進(jìn)的形態(tài)學(xué)濾波來濾除干擾噪聲，其實(shí)現(xiàn)原理如下：（1）在第k-1幀圖像時，按下按鍵進(jìn)行圖像提取，將提取到的三種目標(biāo)顏色分量分別求取平均值QUOTEHk-1,Sk-1,V（2）在第k幀時，將QUOTEHk，Sk，VkHk，Sk，Vk值與上一幀提取到的QUOTEHk-1，Sk-1，Vk-1Hk-1，Sk-1，Vk-1分別求絕對差值，比較差值與預(yù)先設(shè)定好的閾值QUOTEHT，ST和VTHT，ST和VT，將三個差值加權(quán)后相加（本系統(tǒng)在這里對H分量加大權(quán)重，其余兩個分量權(quán)重小一些），得到a|QUOTE-QUOTEHkHk|+b|QUOTE-QUOTESkSk|+c|QUOTE-QUOTEVkVk|的和，將權(quán)重和與預(yù)先設(shè)定的閾值QUOTEHSVTHSVT作比較，如果四者都小于設(shè)定閾值，初步認(rèn)定該像素為目標(biāo)像素，將其灰度值標(biāo)定為1（白）；如果其中有一項的值大于目標(biāo)閾值，則認(rèn)定其為非目標(biāo)像素，將其灰度值標(biāo)定為0（黑），經(jīng)過比較之后即可將圖像分為目標(biāo)物體部分和背景部分。再對該二值圖像作形態(tài)學(xué)濾波處理：先經(jīng)過腐蝕模塊濾除一部分噪聲，然后進(jìn)行膨脹處理，將之前被部分切割邊緣部分進(jìn)行還原，計算中心點(diǎn)距離，對二次濾波后的圖像中標(biāo)定為1的像素進(jìn)行計數(shù)并對其中的顏色分量作累加，求得標(biāo)定為1的數(shù)（3）在第k+1幀時，將前一幀求得的三種顏色分量均值QUOTEHk，Sk和VkHk，Sk和Vk分別替換之前幀的均值QUOTEHk-1，Sk-1（4）在第k+2幀時，將第k幀識別到的目標(biāo)像素數(shù)QUOTECntkCntk減去第k+1幀識別到的目