PAGEPAGE20基于ResNext50-SSD的車輛行人檢測(cè)方法案例目錄TOC\o"1-3"\h\u819基于ResNext50-SSD的車輛行人檢測(cè)方法案例 134201.1ResNext原理概述 1298921.2融合雙注意力模塊的ResNext50-SSD網(wǎng)絡(luò)結(jié)構(gòu) 3195451.2.1改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu) 3322271.2.2算法模型訓(xùn)練 5233821.3實(shí)驗(yàn)結(jié)果與分析 6235431.3.1實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置 64061.3.2實(shí)驗(yàn)結(jié)果和分析 7SSD算法以VGG作為基礎(chǔ)網(wǎng)絡(luò)來(lái)提取目標(biāo)的特征信息，存在網(wǎng)絡(luò)深度不夠、特征提取不夠充分全面的問題。本章針對(duì)SSD算法特征提取能力有限，淺層特征不利于小目標(biāo)檢測(cè)的問題，提出了一種改進(jìn)SSD的方法，基于ResNext50-SSD的車輛行人檢測(cè)算法，用更強(qiáng)大的主干特征提取網(wǎng)絡(luò)提高檢測(cè)精度。本章方法的基本框架采用SSD，主要由3個(gè)部分組成，分別是ResNext50特征提取網(wǎng)絡(luò)，第三章提出的特征融合方法，雙注意力模塊的雙向特征金字塔融合模塊，檢測(cè)模塊。同時(shí)利用第三章改進(jìn)的損失函數(shù)，通過實(shí)驗(yàn)驗(yàn)證方法的有效性，提升小目標(biāo)車輛行人的檢測(cè)性能。1.1ResNext原理概述卷積神經(jīng)網(wǎng)絡(luò)通過卷積操作和池化操作的堆疊，網(wǎng)絡(luò)的深度加深，就會(huì)出現(xiàn)梯度消失的問題，導(dǎo)致網(wǎng)絡(luò)的性能退化。為了提高網(wǎng)絡(luò)的精度，一般通過加深網(wǎng)絡(luò)層數(shù)，或者加大網(wǎng)絡(luò)的寬度，增加模型的參數(shù)。因此深度殘差網(wǎng)絡(luò)結(jié)構(gòu)被提出，ResNet的快捷連接結(jié)構(gòu)使得網(wǎng)絡(luò)參數(shù)減少，沒有增加計(jì)算量，加快訓(xùn)練速度，同時(shí)也提高了性能，緩解了網(wǎng)絡(luò)退化問題。ResNext是在ResNet殘差結(jié)構(gòu)的基礎(chǔ)上改進(jìn)，綜合了VGG和Inception的優(yōu)點(diǎn)，將VGG的單元重復(fù)策略應(yīng)用到Inception的拆分-轉(zhuǎn)換-合并策略中。ResNext仍然是快捷方式連接，引入基數(shù)來(lái)控制分組的路徑的數(shù)量，來(lái)提升網(wǎng)絡(luò)性能。如圖4-1所示，ResNext結(jié)構(gòu)比較簡(jiǎn)單，使用相同的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，重復(fù)堆疊的形式，模塊內(nèi)部結(jié)構(gòu)相同，進(jìn)行拆分、轉(zhuǎn)換和合并。網(wǎng)絡(luò)中的每個(gè)模塊均采用分組卷積，它輸出的時(shí)候通過對(duì)應(yīng)元素值求和進(jìn)行合并。ResNext可以保證參數(shù)復(fù)雜度不會(huì)增加，可以提高模型的性能，同時(shí)還減少網(wǎng)絡(luò)的超參數(shù)的數(shù)量。圖4-1ResNext網(wǎng)絡(luò)結(jié)構(gòu)Fig.4-1ResNextNetworkStructure如表4-1所示，為ResNext50和ResNet50網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)表，由表可知，ResNext50網(wǎng)絡(luò)結(jié)構(gòu)和ResNet50一樣，由不同數(shù)量的殘差模塊組成，下采樣操作使得特征圖尺寸縮小，最后連接全連接層輸出。ResNext50網(wǎng)絡(luò)修改了每一路卷積的通道數(shù)，增加32路Group卷積。增加了網(wǎng)絡(luò)層數(shù)，還是采取殘差網(wǎng)絡(luò)結(jié)構(gòu)的連接方式，Group卷積使得網(wǎng)絡(luò)加寬，在降低參數(shù)量的同時(shí)使得其特征提取能力得以增強(qiáng)。因此，與VGG相比，采用ResNext50能夠更好地提取車輛行人的特征信息。表4-1ResNext50和ResNet50網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)表Table4-1NetworkStructureParameterTableofResnext50andResNet50模塊尺寸ResNet50ResNext50Conv0112×1127×7，64，stride27×7，64，stride2Stage156×563×3maxpool,stride2maxpool，stride2Stage228×28Stage314×14Stage47×71.2融合雙注意力模塊的ResNext50-SSD網(wǎng)絡(luò)結(jié)構(gòu)1.2.1改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)本章算法是利用ResNext50作為基礎(chǔ)特征提取網(wǎng)絡(luò)，替換了原始網(wǎng)絡(luò)中的VGG，更好地提高特征提取能力。為了有效提高網(wǎng)絡(luò)對(duì)小尺度車輛行人目標(biāo)的檢測(cè)能力，加入了空間注意力和通道注意力雙重注意力模塊來(lái)增強(qiáng)特征，獲得更豐富的特征。結(jié)合第三章提出的雙重注意力模塊應(yīng)用在雙向特征金字塔的特征融合，多尺度特征預(yù)測(cè)來(lái)提高小目標(biāo)的檢測(cè)精度。設(shè)計(jì)出新的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)ResNext50-SSD的檢測(cè)方法，ResNext50-SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖4-2所示。圖4-2ResNext50-SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.4-2ResNext50-SSDnetworkstructure（1）特征提取網(wǎng)絡(luò)更換基礎(chǔ)網(wǎng)絡(luò)，采用ResNext50網(wǎng)絡(luò)作為本章算法的基礎(chǔ)特征提取網(wǎng)絡(luò)，基礎(chǔ)網(wǎng)絡(luò)層更深、ResNext50中殘差塊的使用，共有32個(gè)分支，也就是有32個(gè)變換。通過每個(gè)ResNext塊中的變換實(shí)現(xiàn)分組卷積，32個(gè)分組卷積每個(gè)組內(nèi)進(jìn)行卷積，使用Group卷積這種方式來(lái)有效提升網(wǎng)絡(luò)的性能，獲得更全面的特征。輸入圖像的大小為300×300。ResNext網(wǎng)絡(luò)的全連接層去掉,在額外增加Conv7、Conv8，Conv9三組卷積，對(duì)深層特征進(jìn)行提取。依然使用原來(lái)SSD的特征輸出尺度，選擇Stage2_unit4_plus、Stage3_unit6_plus、Stage4_unit3_plus、Conv7_2、Conv8_2、Conv9_2這六層特征圖，用于檢測(cè)不同尺寸大小的車輛行人，多尺度檢測(cè)與原來(lái)SSD算法保持一致，還是保持6尺度輸出。（2）多尺度特征融合本章方法設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4-3所示：特征融合模塊，包括兩方面的改進(jìn)，一是本章算法采用第三章的基于雙注意力的特征融合方法對(duì)淺層網(wǎng)絡(luò)的特征進(jìn)行重新表達(dá)，二是通過將空間注意力和通道注意力分別加入到自上而下通路和側(cè)向通路來(lái)實(shí)現(xiàn)，利用雙注意力模塊實(shí)現(xiàn)多尺度特征融合，對(duì)特征進(jìn)行權(quán)重的重新分配，學(xué)習(xí)特征層之間的相關(guān)性。雙注意力模塊作為各個(gè)基本特征之間融合的橋梁，穿插在兩個(gè)方向上的特征金字塔網(wǎng)絡(luò)上。最后將由深到淺和由淺到深兩個(gè)方向上生成的特征圖進(jìn)行特征融合。圖4-3改進(jìn)的方法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4-3ThenetworkstructureoftheimprovedmethodResNext50中Stage2_unit4_plus、Stage3_unit6_plus和Stage4_unit3_plus這三層特征進(jìn)行融合，在特征融合過程中，首先對(duì)Stage4_unit3_plus進(jìn)行上采樣操作，Stage_unit6_plus進(jìn)行1×1的卷積操作，然后采用第三章提到的雙注意力模塊作為Stage4_unit3_plus和上采樣后的Stage3_unit6_plus特征層的聯(lián)系，穿插在兩個(gè)方向上的特征金字塔上，深層特征向淺層特征融合，淺層特征向深層特征融合。雙向生成的特征做了特征融合使得特征多尺度輸出。（3）損失函數(shù)采用的其他的改進(jìn)方法還有通過非極大值抑制思想，使用CIoU代替原始的邊界框損失函數(shù)IoU來(lái)直接優(yōu)化，解決了IoU不能準(zhǔn)確反映兩個(gè)框的重疊度的問題，定位更加準(zhǔn)確。針對(duì)于目標(biāo)損失函數(shù)，其中在目標(biāo)分類中采取FocalLoss損失函數(shù)代替交叉熵?fù)p失函數(shù)，位置回歸中采用SmoothL1損失函數(shù)。1.2.2算法模型訓(xùn)練本章算法模型訓(xùn)練流程如圖4-4所示，首先訓(xùn)練數(shù)據(jù)集中的圖片歸一化處理，設(shè)置總訓(xùn)練次數(shù)n、批大小batch_size等參數(shù)。使用ResNext50基礎(chǔ)特征提取網(wǎng)絡(luò)對(duì)輸入圖像中的車輛和行人進(jìn)行特征提取，由結(jié)合雙注意力模塊的雙向特征金字塔進(jìn)行特征融合，融合后得到的不同尺度的特征圖送入預(yù)測(cè)模塊，最后進(jìn)行分類和回歸操作，由CIoU損失函數(shù)計(jì)算，然后通過計(jì)算FocalLoss函數(shù)得出分類損失，通過SmoothL1損失函數(shù)得出回歸損失，二者加權(quán)求和，計(jì)算出總的損失。最后判斷是否達(dá)到總的訓(xùn)練次數(shù)，沒達(dá)到繼續(xù)訓(xùn)練，直到達(dá)到結(jié)束模型的訓(xùn)練，更新網(wǎng)絡(luò)的權(quán)重系數(shù)。圖4-4算法模型訓(xùn)練Fig.4-4Algorithmmodeltraining1.3實(shí)驗(yàn)結(jié)果與分析1.3.1實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置本文實(shí)驗(yàn)基于Windows系統(tǒng)下的PyTorch深度學(xué)習(xí)框架，軟、硬件環(huán)境如下：本章方法進(jìn)行的實(shí)驗(yàn)都是在Windows系統(tǒng)上完成，實(shí)驗(yàn)過程中使用的GPU型號(hào)是GTX1080Ti。在KITTI數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，來(lái)證明本章改進(jìn)方法的有效性。我們?cè)O(shè)置輸入圖片分辨率為300×300。模型總迭代次數(shù)是總共40000次。在訓(xùn)練的過程中，不斷設(shè)置調(diào)整學(xué)習(xí)率大小，以降低訓(xùn)練過程的損失。初始的學(xué)習(xí)率設(shè)為0.001，其中前20000次的學(xué)習(xí)率為0.001，在迭代20000次時(shí)學(xué)習(xí)率設(shè)置成0.0001，在迭代30000次時(shí)學(xué)習(xí)率設(shè)置0.00001。我們使用SGD隨機(jī)梯度下降法優(yōu)化參數(shù)，訓(xùn)練過程中加入了動(dòng)量參數(shù)，來(lái)加快收斂。動(dòng)量設(shè)置成0.9，權(quán)重衰減大小是0.0005，迭代batch_size批大小設(shè)為8。1.3.2實(shí)驗(yàn)結(jié)果和分析為了驗(yàn)證本章改進(jìn)的方法的有效性，改進(jìn)的方法與其他經(jīng)典的目標(biāo)檢測(cè)方法進(jìn)行對(duì)比實(shí)驗(yàn)在KITTI數(shù)據(jù)集，對(duì)比結(jié)果如表4-2所示。實(shí)驗(yàn)結(jié)果表明，相比基礎(chǔ)網(wǎng)絡(luò)是VGG的SSD目標(biāo)檢測(cè)算法，改進(jìn)的方法具有更高的檢測(cè)精度和速度，本文的評(píng)價(jià)精度mAP值比SSD算法提高了1.1個(gè)百分點(diǎn)。車輛和行人類的單獨(dú)的每一類的精度都提高了。ResNet50-SSD網(wǎng)絡(luò)模型中主干網(wǎng)絡(luò)為殘差結(jié)構(gòu)的ResNet50，本章方法和ResNet50-SSD算法相比精度提升明顯，提高了3.5個(gè)百分點(diǎn)。第三章是在SSD算法的基礎(chǔ)上，仍然使用VGG作為特征提取網(wǎng)絡(luò)，添加了基于雙注意力的雙向特征金字塔特征融合模塊，本章改進(jìn)的方法與第三章的方法不同之處在于主干基礎(chǔ)網(wǎng)絡(luò)的選取，選取了ResNext50網(wǎng)絡(luò)。本章方法相比于原來(lái)的SSD在mAP上分別提高了1.1個(gè)百分點(diǎn)。本章方法相比于第三章的改進(jìn)的方法在檢測(cè)精度上提高了0.8個(gè)百分點(diǎn)。說明替換了特征提取網(wǎng)絡(luò)，本文改進(jìn)的方法有效提高了車輛行人的檢測(cè)精度，檢測(cè)的效果更好。從表中可以得出，原來(lái)SSD的檢測(cè)運(yùn)行速度是41幀每秒，特征提取網(wǎng)絡(luò)換成ResNet50之后，模型的檢測(cè)速度下降了，變成了32幀每秒，在實(shí)時(shí)性上表現(xiàn)比較差。而本章的方法使用了ResNext50，檢測(cè)速度與第三章的方法相比也下降了。說明檢測(cè)算法的特征提取網(wǎng)絡(luò)上消耗了一定的時(shí)間，因?yàn)橹鞲商卣魈崛【W(wǎng)絡(luò)ResNext50比VGG網(wǎng)絡(luò)層更深，網(wǎng)絡(luò)的層數(shù)增加了，導(dǎo)致模型的檢測(cè)速度變慢。表4-2KITTI數(shù)據(jù)集在不同的算法下的實(shí)驗(yàn)結(jié)果Table4-2ExperimentalresultsofKITTIdatasetunderdifferentalgorithms算法基礎(chǔ)網(wǎng)絡(luò)單類AP%mAP%速度（FPS）車輛行人SSDVGG81.766.275.541ResNet50-SSDResNet5086.569.876.132第三章方法VGG90.171.678.844本章方法ResNext5092.481.179.629如圖4-5所示，展示了本文改進(jìn)的方法模型在測(cè)試集上的一部分可視化結(jié)果，圖中的邊界框有2種顏色，黃色代表車輛目標(biāo)，藍(lán)色代表行人目標(biāo)。從圖中可以明顯看到，可以看到本文改進(jìn)的方法具有更好的檢測(cè)效果，對(duì)小目標(biāo)有很好的檢測(cè)性能，而且相互遮擋的行人也被檢測(cè)出來(lái)了。這是因?yàn)楸疚脑谔卣魅诤线^程加入了雙注意力的雙向特征金字塔，使得特征表達(dá)更充分，充分融合淺層和深層的特征，不同尺度的特征融合獲得更多的特征信息。雙注意模塊可以對(duì)特征通道權(quán)重的重新標(biāo)定，有效地突顯目標(biāo)的關(guān)鍵特征的信息，抑制無(wú)關(guān)特征的表達(dá)。并