基于FasterRCNN的車(chē)輛目標(biāo)檢測(cè)算法設(shè)計(jì)案例目錄TOC\o"1-3"\h\u16182基于FasterRCNN的車(chē)輛目標(biāo)檢測(cè)算法設(shè)計(jì)案例 1277251.2FasterRCNN算法原理 1131421.2.1特征提取網(wǎng)絡(luò) 23841.2.2區(qū)域產(chǎn)生網(wǎng)絡(luò) 2170541.2.3目標(biāo)檢測(cè)網(wǎng)絡(luò) 41.1兩級(jí)目標(biāo)檢測(cè)算法原理基于兩級(jí)目標(biāo)檢測(cè)的車(chē)輛檢測(cè)方法分兩步，第一步通過(guò)專(zhuān)用模塊去生成候選框，尋找物體以及調(diào)整候選框。第二步再基于滑動(dòng)窗口思想將多個(gè)候選區(qū)域圖像按照相同尺寸輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)以及回歸操作。其特點(diǎn)是檢測(cè)剛準(zhǔn)確，但也相對(duì)耗時(shí)間。1.2FasterRCNN算法原理FasterRCNN網(wǎng)絡(luò)架構(gòu)由3個(gè)網(wǎng)絡(luò)組成，分別是特征提取（FeatureExtraction）網(wǎng)絡(luò)、區(qū)域產(chǎn)生（RegionProducedNetwork，RPN）網(wǎng)絡(luò)和目標(biāo)檢測(cè)分類(lèi)和識(shí)別（ROIHead）網(wǎng)絡(luò)，如圖3-1所示。特征提取模塊也就是我們深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)，用來(lái)提取圖像特征。區(qū)域產(chǎn)生網(wǎng)絡(luò)是該算法的創(chuàng)新部分，與前兩代網(wǎng)絡(luò)采用SelectiveSearch算法滑動(dòng)窗口不同，這里采用了對(duì)特征圖中的每個(gè)點(diǎn)作為中心點(diǎn)生成多個(gè)大小比例不同的錨框的方式。RoiHead模塊和FastRCNN一致是用來(lái)對(duì)所生成的候選區(qū)進(jìn)行目標(biāo)分類(lèi)以及位置的修正回歸?？偟腇asterR-CNN算法流程可分為3個(gè)步驟：（1）將圖像輸入網(wǎng)絡(luò)得到相應(yīng)的特征圖（2）使用RPN結(jié)構(gòu)生成候選框，將RPN生成的候選框投影到特征圖上獲得相應(yīng)的特征矩陣（3）將每個(gè)特征矩陣通過(guò)ROIpooling層縮放到7x7大小的特征圖,接著將特征圖展平通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果。圖3-1FasterRCNN網(wǎng)絡(luò)1.2.1特征提取網(wǎng)絡(luò)特征提取網(wǎng)絡(luò)即卷積神經(jīng)網(wǎng)絡(luò)，一般選擇被廣泛使用的網(wǎng)絡(luò)架構(gòu)來(lái)實(shí)現(xiàn)圖像特征的提取，在目標(biāo)檢測(cè)中特征提取網(wǎng)絡(luò)又稱(chēng)為backbone。在FasterRCNN中采用了VGG16網(wǎng)絡(luò)。VGG16網(wǎng)絡(luò)具有良好的適配性，可以針對(duì)許多數(shù)據(jù)集。這一網(wǎng)絡(luò)含有13個(gè)卷基層，13個(gè)激活函數(shù)層和4個(gè)池化層。ADDINEN.CITE<EndNote><Cite><Author>Simonyan</Author><Year>2014</Year><RecNum>29</RecNum><DisplayText><styleface="superscript">[13]</style></DisplayText><record><rec-number>29</rec-number><foreign-keys><keyapp="EN"db-id="5t9pfd9xkppsfyep0zsx9etkdzzrtvvx2vtt"timestamp="1621258674">29</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Simonyan,K.</author><author>Zisserman,A.%JComputerScience</author></authors></contributors><titles><title>VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition</title><secondary-title>ComputerScience</secondary-title></titles><periodical><full-title>ComputerScience</full-title></periodical><dates><year>2014</year></dates><urls></urls></record></Cite></EndNote>[13]如圖3-2所示。特征提取網(wǎng)絡(luò)提取出的特征可以說(shuō)是整個(gè)網(wǎng)絡(luò)最基礎(chǔ)的一步，由于特征將被傳輸?shù)絉PN生成目標(biāo)候選區(qū)與ROIHead網(wǎng)絡(luò)進(jìn)行圖像中的目標(biāo)分類(lèi)與位置回歸，可以說(shuō)特征質(zhì)量的好壞決定了一個(gè)算法實(shí)際落地時(shí)能否達(dá)到我們要求的標(biāo)準(zhǔn)。當(dāng)然，與VGG16特征提取網(wǎng)絡(luò)不同，當(dāng)下的學(xué)界也提出了眾多種類(lèi)的特征提取網(wǎng)絡(luò)，相比VGG16有了更大的進(jìn)步。這將在第五章進(jìn)行講解。圖3-2VGG16結(jié)構(gòu)圖1.2.2區(qū)域產(chǎn)生網(wǎng)絡(luò)區(qū)域生成網(wǎng)絡(luò)分為兩部分。首先是錨框生成部分，通過(guò)將特征圖像的每個(gè)像素點(diǎn)作為中心點(diǎn)，生成若干個(gè)大小比例不同的邊界框（anchor）。在該算法中，特征圖每個(gè)位置生成若干個(gè)個(gè)錨框，一般為9個(gè)。見(jiàn)圖3-3所示。圖中紅色、藍(lán)色和綠色代表三種anchor，它們的大小不同。每種anchor又分成了長(zhǎng)寬比為1:2、1:1.2:1的三個(gè)Anchor。原文的anchor對(duì)于車(chē)輛目標(biāo)檢測(cè)不具備針對(duì)性，將在第五章對(duì)anchor進(jìn)行重新聚類(lèi)，改進(jìn)。圖3-3錨框生成示意圖上述得到的錨框?qū)⑴c真實(shí)框進(jìn)行對(duì)比，通過(guò)取定IoU的閾值來(lái)標(biāo)定這些anchorbox的正負(fù)。這里的正負(fù)樣本表示anchor是否含有物體。一般來(lái)說(shuō)，正樣本為與某一真實(shí)框IoU最大的anchor（避免anchor與真實(shí)框的IoU都小于0.7情況）或是與任意真實(shí)框IoU〉0.7的anchor。而負(fù)樣本是與所有真實(shí)框的IoU〈0.3的anchor。于是，傳入RPN網(wǎng)絡(luò)的樣本數(shù)據(jù)被整理為anchorbox（坐標(biāo)）給回歸分支和每個(gè)anchorbox是否有物體（二分類(lèi)標(biāo)簽，這里將正樣本幅值為1，表示為物體，負(fù)樣本賦值為0，表示為背景）給分類(lèi)分支。在回歸分支中，得到的是anchor到真實(shí)框的偏移量。具體為：RPN網(wǎng)絡(luò)將每個(gè)樣本映射為一個(gè)概率值和四個(gè)坐標(biāo)值，概率值反應(yīng)這個(gè)anchorbox有物體的概率，四個(gè)坐標(biāo)值定義物體的位置用于回歸分支。最后將二分類(lèi)和坐標(biāo)回歸的損失統(tǒng)一起來(lái)，作為RPN網(wǎng)絡(luò)的目標(biāo)訓(xùn)練。通過(guò)RPN得到的損失函數(shù)來(lái)調(diào)整建議框，獲取最后的預(yù)測(cè)框。損失函數(shù)為：其中：表示第i個(gè)anchor預(yù)測(cè)為真實(shí)標(biāo)簽的概率當(dāng)為正樣本時(shí)為1,當(dāng)為負(fù)樣本時(shí)為0表示預(yù)測(cè)第i個(gè)anchor的邊界框回歸參數(shù)表示第i個(gè)anchor對(duì)應(yīng)的GTBox的邊界框回歸參數(shù)表示一個(gè)mini-batch中的所有樣本數(shù)量256表示anchor位置的個(gè)數(shù)（不是anchor個(gè)數(shù)）約2400為平衡參數(shù)，具體為10（這里的256與2400是以ZF網(wǎng)絡(luò)生成的固定大小為256d的特征圖）由RPN得到預(yù)測(cè)框在根據(jù)概率值篩選后經(jīng)過(guò)類(lèi)似的標(biāo)記過(guò)程，將被傳入目標(biāo)檢測(cè)網(wǎng)絡(luò)?？偟膮^(qū)域生成網(wǎng)絡(luò)見(jiàn)圖3-4圖3-4區(qū)域產(chǎn)生網(wǎng)絡(luò)結(jié)構(gòu)1.2.3目標(biāo)檢測(cè)網(wǎng)絡(luò)目標(biāo)檢測(cè)網(wǎng)絡(luò)主要實(shí)現(xiàn)對(duì)RPN網(wǎng)絡(luò)產(chǎn)生的區(qū)域進(jìn)行目標(biāo)分類(lèi)以及位置修正。主要分為感興趣區(qū)域（RolPooling）與檢測(cè)頭（BBoxHead,含有Denselayer以及上面兩個(gè)分支）。其中，感興趣區(qū)域核心思想便是候選框共享特征圖特征，并保持輸出大小一致。具體為候選框分為若干子區(qū)域，將每個(gè)區(qū)域?qū)?yīng)到輸入特征圖上，取每個(gè)區(qū)域內(nèi)的最大值作為該區(qū)域地輸出。在訓(xùn)練階段，檢測(cè)頭通