正文基于經(jīng)典目標(biāo)檢測算法的無人機(jī)檢測系統(tǒng)搭建及改進(jìn)分析案例目錄TOC\o"1-3"\h\u28590基于經(jīng)典目標(biāo)檢測算法的無人機(jī)檢測系統(tǒng)搭建及改進(jìn)分析案例 ]。由于飛鳥干擾具有出現(xiàn)時間短、移動速度快的特點，故加入時序信息是解決該問題的核心思路，該問題可使用1.3節(jié)介紹的FGFA算法進(jìn)行優(yōu)化。由于每一幀圖像中，相似顏色背景噪聲干擾問題產(chǎn)生的根源均為顏色本身，由此得到的核心思路為對色彩進(jìn)行處理。針對該問題，本畢設(shè)選題進(jìn)行了圖像灰度化處理和圖像邊緣銳化處理的嘗試，前者對于解決問題無正向幫助，而后者使模型的檢測性能的產(chǎn)生了微小的提升，詳見1.1.1節(jié)。1.3基于FGFA算法的無人機(jī)檢測系統(tǒng)本節(jié)介紹在FGFA算法的基礎(chǔ)上進(jìn)行系統(tǒng)搭建和算法優(yōu)化與改進(jìn)，完成對視頻中時序信息的利用及飛鳥誤檢問題優(yōu)化的具體工作展開。1.3.1系統(tǒng)搭建在python2.7的環(huán)境下，搭建基于mxnet框架的FGFA算法模型。在實驗室提供的服務(wù)器上下載開源項目，建立Cython模型，從官網(wǎng)下載并配置與顯卡匹配的mxnet環(huán)境，下載對應(yīng)的flownet和ResNet-v1-101權(quán)重文件進(jìn)行環(huán)境測試和預(yù)訓(xùn)練，完成前期的準(zhǔn)備工作。該系統(tǒng)環(huán)境的核心配置信息如表4-3所示。1.3.2模型架構(gòu)基于FGFA算法的模型由FlowNetwork、FeatureNetwork、EmbeddingNetwork和DetectionNetwork四個核心部分組成。其中，F(xiàn)lowNetwork部分使用預(yù)訓(xùn)練得到的flownet進(jìn)行輸出，通過flowfield進(jìn)行下采樣來將特征圖的尺寸縮小一半，完成適應(yīng)；FeatureNetwork部分使用ResNet-50、ResNet-10和Aligned-Inception-ResNet完成圖像識別，使用連續(xù)的卷積層增加特征的分辨率，并在最后一個block擴(kuò)張卷積層的尺寸以保持接收域的尺寸，再使用一個隨機(jī)初始化的卷積層完成特征降維；EmbeddingNetwork部分包含了3個進(jìn)行了隨機(jī)初始化的不同尺寸的卷積層；DetectionNetwork部分使用RPN子網(wǎng)絡(luò)連接前512維特征，使用R-FCN連接后512維特征，分別對特征圖進(jìn)行處理。以FGFA算法為基礎(chǔ)搭建的模型結(jié)構(gòu)如圖4-2所示。模型中涉及到的詳細(xì)參數(shù)設(shè)置如表4-4所示。表4-3FGFA算法模型核心配置信息表4-4FGFA模型核心參數(shù)核心環(huán)境Python2.7IoU閾值0.3mxnet-cu101R-CNNbatchsize128主要依賴CythonRPNbatchsize256opencv-python3.2.0R-CNNnms0.3easydict1.6RPNnms0.7Pillowoptimizersgd圖4-2FGFA模型結(jié)構(gòu)圖1.3.3優(yōu)化與改進(jìn)在使用基于FGFA算法搭建的模型和ILSVRC格式的自建數(shù)據(jù)集完成訓(xùn)練及調(diào)優(yōu)后，通過分析模型的初步測試結(jié)果及輸出結(jié)果，發(fā)現(xiàn)在該模型中，由于光流模塊加入了對視頻中時序特征的提取與處理，飛鳥誤檢問題得到了一定的改善（詳見1.4節(jié)）。但與此同時，模型整體的性能指標(biāo)相比YOLOv3算法有所下降，而相似顏色背景的噪聲干擾的問題仍待解決。 考慮到FGFA模型的是針對增強(qiáng)特征和識別準(zhǔn)確率而設(shè)計的，該部分的提升犧牲了整體的訓(xùn)練及檢測速度，因此，相似顏色背景噪聲干擾的問題將以1.2.3節(jié)中的思路在YOLOv3算法模型的基礎(chǔ)上進(jìn)行改進(jìn)。1.4結(jié)果輸出與性能分析在目標(biāo)檢測任務(wù)中，為了同時從正確檢測的數(shù)量和檢測精度的角度出發(fā)衡量模型的性能，當(dāng)前的目標(biāo)檢測領(lǐng)域使用AP（AveragePrecision，平均精度）作為主流的模型評價指標(biāo)，可通過對PR曲線中不同召回率上的Precision求均值，對某個類別的目標(biāo)檢測性能進(jìn)行計算。AP越高，說明檢測準(zhǔn)確度越高。在AP定義的基礎(chǔ)上，多類別的檢測任務(wù)中對所有類別的AP求平均，就得到了用于衡量模型整體性能的mAP（meanAveragePrecision，均平均精度），這也是目標(biāo)檢測中最常見的評價指標(biāo)之一。本選題使用mAP作為YOLOv3模型、FGFA模型性能的評價指標(biāo)。1.1.1性能指標(biāo)對比與分析經(jīng)過改變模型結(jié)構(gòu)、圖像邊緣銳化等策略進(jìn)行優(yōu)化后，基于YOLOv3算法的模型經(jīng)100輪訓(xùn)練，其loss和val_loss分別降至2.6686和2.7567，如圖4-3所示，符合對應(yīng)指標(biāo)的預(yù)期。圖4-3YOLOv3模型在無人機(jī)數(shù)據(jù)集上訓(xùn)練的loss（左）和val_loss（右）模型在測試集上的召回率達(dá)0.9845，精度為0.9995，其mAP達(dá)到0.9844。對基于FGFA算法搭建的模型進(jìn)行調(diào)試、訓(xùn)練及優(yōu)化后，用于提取候選框的RPN網(wǎng)絡(luò)訓(xùn)練情況能基本滿足使用需求，準(zhǔn)確度達(dá)0.9936，loss降至0.0201，如圖4-4所示。用于進(jìn)行目標(biāo)檢測的RCNN網(wǎng)絡(luò)的acc達(dá)0.9078，loss為0.2349，如圖4-5所示。圖4-4RPN網(wǎng)絡(luò)的acc（左）及l(fā)oss（右）圖4-5RCNN網(wǎng)絡(luò)的acc（左）及l(fā)oss（右）模型在測試集上的mAP輸出結(jié)果為0.8172。兩者的mAP及訓(xùn)練用時對比如表4-5所示。表4-5基于YOLOv3算法和基于FGFA算法的模型在測試集上的mAP性能指標(biāo)對比模型訓(xùn)練用時mAPYOLOv38h20min0.9844FGFA51h38min0.8172 從對比結(jié)果可知，在自建無人機(jī)小目標(biāo)數(shù)據(jù)集上，兩種模型都能較好地完成目標(biāo)檢測任務(wù)，其中，YOLOv3模型訓(xùn)練用時短且直觀上的性能指標(biāo)更好，而由于FGFA模型是針對增強(qiáng)特征設(shè)計的，對硬件設(shè)備的要求更高，所以速度較慢，所需的訓(xùn)練時間更長，性能指標(biāo)略低于YOLOv3模型，但也能較好地完成無人機(jī)的小目標(biāo)檢測，且對飛鳥誤檢問題有所改善，詳見1.1.2節(jié)。 除mAP指標(biāo)外，本選題通過量化回歸框的檢測結(jié)果及其置信度分布再次對系統(tǒng)的檢測性能進(jìn)行評估。以僅包含單無人機(jī)的6段典型視頻的檢測結(jié)果作為樣本進(jìn)行觀察，對模型在測試集上的box檢測情況和置信度分布情況進(jìn)行了可視化。圖4-6回歸框（box）檢測統(tǒng)計結(jié)果圖4-6為回歸框檢測的統(tǒng)計結(jié)果，其中橫軸是預(yù)測的box數(shù)量，分別0、1、2；縱軸為該視頻中檢測到對應(yīng)box數(shù)量的圖像幀數(shù)。box=0說明該幀畫面中未預(yù)測到檢測框，包含了目標(biāo)本身不存在或漏檢的情況。在上述條件下，box=1說明該幀畫面中預(yù)測到了1個檢測框，即正確預(yù)測；box=2說明該幀畫面中預(yù)測到了2個檢測框，即存在飛鳥或其他干擾誤檢現(xiàn)象。此外，灰色圖例代表了box=0的情況中本身不存在待檢測目標(biāo)的幀。由圖4-6可見，檢測的情況總體較為理想，對于項目提供的大多數(shù)源視頻，檢測效果均與視頻1、視頻2、視頻3的情況相近，模型出現(xiàn)誤檢的情況較少。而當(dāng)畫面中存在無人機(jī)距離過遠(yuǎn)導(dǎo)致目標(biāo)所占像素過少、背景為相似顏色等干擾較為嚴(yán)重的情況時，輸出的結(jié)果中會出現(xiàn)漏檢現(xiàn)象（如視頻5、視頻6的結(jié)果所示）。圖4-7置信度分布情況統(tǒng)計結(jié)果圖4-7為置信度分布的統(tǒng)計結(jié)果，以IoU=0.5為界評估測試輸出結(jié)果的置信度分布。其中，橫軸為IoU的分界，分別代表IoU＜0.5和IoU≥0.5的兩種情況；縱軸為該視頻中預(yù)測到的對應(yīng)IoU范圍內(nèi)的圖像幀數(shù)。由圖可見，置信度的分布情況與回歸框的預(yù)測結(jié)果相符，在box預(yù)測失誤較多的情況下，置信度較低的幀數(shù)也同樣較多（如視頻5、視頻6的結(jié)果所示），二者的結(jié)果能對應(yīng)匹配、互相驗證。 在1.2.3節(jié)中提到，為了改善由于相似顏色背景噪聲干擾導(dǎo)致的漏檢問題，本選題采用對圖像進(jìn)行邊緣銳化的方式對數(shù)據(jù)集進(jìn)行了整體處理，使檢測結(jié)果中的召回率產(chǎn)生了一定的提升。以視頻4為例，對比回歸框檢測的統(tǒng)計結(jié)果。如圖4-8所示，可以看到在使用opencv提供的USM銳化增強(qiáng)算法對存在背景干擾的視頻圖像幀進(jìn)行批量銳化，重新訓(xùn)練并測試后，雖然在視頻中直觀體現(xiàn)出的整體效果無大幅度的改善，但漏檢的幀數(shù)的確比原先有所減少，該優(yōu)化思路是有效的。圖4-8圖像邊緣銳化處理前后回歸框檢測統(tǒng)計結(jié)果對比1.1.2視頻輸出結(jié)果的展示與分析使用訓(xùn)練好的模型處理原始數(shù)據(jù)，進(jìn)行視頻格式的結(jié)果輸出。符合基本檢測功能需求的模型視頻輸出效果分別如圖4-6、圖4-7、圖4-8所示，分別展示了正常的檢測結(jié)果及存在干擾時出現(xiàn)誤檢或漏檢的結(jié)果。加入時序信息對飛鳥誤檢問題進(jìn)行優(yōu)化后的模型視頻輸出效果如圖4-9所示。左側(cè)為輸入的原始視頻截圖，右側(cè)為對應(yīng)幀的檢測視頻截圖。圖4-6干凈背景下的無人機(jī)檢測效果圖4-7有飛鳥干擾時的無人機(jī)檢測效果（飛鳥誤檢）圖4-8建筑物背景干擾時的無人機(jī)檢測效果（檢測率較低）圖4-9未優(yōu)化的輸出中誤檢飛鳥（左）、優(yōu)化后的輸出中檢測正常（右）如圖4-6所示，在相對干凈的背景下，搭建的無人機(jī)小目標(biāo)檢測系統(tǒng)能較好地完成無人機(jī)檢測，模型輸出的判斷概率基本穩(wěn)定在0.9以上，識別準(zhǔn)確率較高。然而，在飛鳥距離較遠(yuǎn)、所占據(jù)的像素點很小時，如圖4-7所示，未經(jīng)優(yōu)化的模型會偶爾