劉元盛基于深度學(xué)習(xí)的視覺(jué)檢測(cè)案例分析無(wú)人駕駛中視覺(jué)檢測(cè)的基本方法

第一類是傳統(tǒng)的目標(biāo)檢測(cè)算法：Haar特征+Adaboost、HOG（梯度直方圖）特征+SVM（支持向量機(jī)）算法和DPM（可變形部件模型）等；第二類：以R-CNN為代表，基于目標(biāo)候選框的思想的Two-stag檢測(cè)算法，首先提取目標(biāo)候選框，再利用檢測(cè)網(wǎng)絡(luò)在目標(biāo)候選框的基礎(chǔ)上完成模型訓(xùn)練；第三類：YOLO家族算法，YOLOv1~YOLOv4，以及基于YOLO思想改進(jìn)的算法，摒棄了提取目標(biāo)候選框的步驟，直接利用檢測(cè)網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有更高的檢測(cè)速度。YOLO算法家族

YOLO(Youonlylookonce)基于單個(gè)神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)系統(tǒng)，屬于卷積神經(jīng)網(wǎng)絡(luò)的一種，由卷積層、池化層和全連接層組成。YOLO從問(wèn)世發(fā)展到今天，一共迭代了五個(gè)版本?！馳OLOv1采用“一步法”，即在一個(gè)網(wǎng)絡(luò)中完成特征提取、BoundingBox的定位和分類等操作；●YOLOv2采用darknet-19網(wǎng)絡(luò)，在YOLOv2中引入了其他目標(biāo)檢測(cè)的思想，提升了YOLOv2的檢測(cè)精度。于2016年提出的ResNet網(wǎng)絡(luò)，在網(wǎng)絡(luò)結(jié)構(gòu)深度很大的情況下仍能夠收斂，這使深度學(xué)習(xí)成為了可能。●YOLO作者基于ResNet思想，提出深層網(wǎng)絡(luò)darknet-53并應(yīng)用在YOLOv3上。（

YOLO之父JosephRedmon宣布退出計(jì)算機(jī)視覺(jué)研究領(lǐng)域）●YOLOv4于2020年4月底發(fā)布，采用CSPResNext50網(wǎng)絡(luò)，精度和速度都有所提升，同時(shí)對(duì)計(jì)算機(jī)的硬件也有更高的要求?！馳OLOv5于2020年6月底發(fā)布。YOLOV3

YOLOv3所體現(xiàn)出的優(yōu)秀檢測(cè)性能和精度，得益于優(yōu)秀的目標(biāo)檢測(cè)網(wǎng)絡(luò)，即darknet-53。darknet-53是YOLOv3作者提出并實(shí)際應(yīng)用的一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)，整合了YOLOv2和darknet-19基礎(chǔ)網(wǎng)絡(luò)，采用大量的3×3和1×1的卷積層，共有53個(gè)卷積層。相比前幾代darknet網(wǎng)絡(luò)，darknet-53采用了ResNet，很好地解決了深層網(wǎng)絡(luò)梯度的消失問(wèn)題，于是在網(wǎng)絡(luò)層數(shù)較深的情況下仍能保證網(wǎng)絡(luò)收斂，使得深度學(xué)習(xí)訓(xùn)練成為可能。紅綠燈檢測(cè)示例本實(shí)驗(yàn)實(shí)現(xiàn)是基于YOLOv3的紅綠燈識(shí)別系統(tǒng)數(shù)據(jù)獲取與預(yù)處理通過(guò)深度學(xué)習(xí)的目標(biāo)檢測(cè)的流程主要分為三個(gè)部分，分別是數(shù)據(jù)準(zhǔn)備、模型學(xué)習(xí)、機(jī)器檢測(cè)。數(shù)據(jù)獲取與預(yù)處理數(shù)據(jù)集可以用網(wǎng)絡(luò)成熟的數(shù)據(jù)集，也可以自行采集數(shù)據(jù)集。以下以北京聯(lián)合大學(xué)旋風(fēng)智能車團(tuán)隊(duì)自行采集的數(shù)據(jù)集為例，講述實(shí)驗(yàn)過(guò)程。實(shí)驗(yàn)者也可以根據(jù)自身?xiàng)l件自行設(shè)計(jì)采集方法，采集數(shù)據(jù)集。使用小旋風(fēng)第四代無(wú)人駕駛車搭配車載單目相機(jī)進(jìn)行數(shù)據(jù)采集，一共采集視頻153個(gè)，經(jīng)數(shù)據(jù)預(yù)處理得圖片3525張。數(shù)據(jù)獲取與預(yù)處理采集計(jì)劃的制定需按著以下要求對(duì)數(shù)據(jù)進(jìn)行采樣：在園區(qū)中按照不同時(shí)間進(jìn)行數(shù)據(jù)采樣；在園區(qū)中按照不同地點(diǎn)進(jìn)行數(shù)據(jù)采樣；在同一數(shù)據(jù)采集地點(diǎn)中，按照紅綠燈擺放位置不同進(jìn)行采樣；在同一數(shù)據(jù)采集地點(diǎn)中，按照車輛行駛位置不同進(jìn)行采樣；在同一數(shù)據(jù)采集地點(diǎn)中，按照紅綠燈顯示順序不同進(jìn)行采樣；每次測(cè)試錄制一個(gè)視頻保存，并填寫表格用以記錄。數(shù)據(jù)獲取與預(yù)處理●對(duì)于自行采集的視頻數(shù)據(jù)需要進(jìn)行視頻分幀，轉(zhuǎn)換成圖片數(shù)據(jù)，按規(guī)則進(jìn)行編號(hào)，并統(tǒng)一格式（1000×1000，jpg的格式）?！駭?shù)據(jù)集的標(biāo)注

利用labelImg軟件，對(duì)每張照片進(jìn)行標(biāo)注，1）標(biāo)記檢測(cè)目標(biāo)，分為紅燈、黃燈和綠燈三類；2）給標(biāo)記的檢測(cè)目標(biāo)設(shè)置標(biāo)簽。生成.xml格式文件，.xml文件中記錄被標(biāo)記圖像的類別、坐標(biāo)等信息。數(shù)據(jù)獲取與預(yù)處理●數(shù)據(jù)集的劃分為了測(cè)定模型學(xué)習(xí)的效果，將已完成標(biāo)注的數(shù)據(jù)集隨機(jī)分成訓(xùn)練集和測(cè)試集。訓(xùn)練集用于模型學(xué)習(xí)的訓(xùn)練，測(cè)試集用于模型學(xué)習(xí)訓(xùn)練結(jié)果的測(cè)試。為了獲得優(yōu)秀的訓(xùn)練結(jié)果模型，訓(xùn)練集的數(shù)量通常大于測(cè)試集。在本示例中將數(shù)據(jù)集按比例9:1隨機(jī)劃分訓(xùn)練集和測(cè)試集，生成存有訓(xùn)練集圖片名的train.txt文件和測(cè)試集test.txt文件。深度學(xué)習(xí)網(wǎng)絡(luò)配置與訓(xùn)練●配置darknet-53網(wǎng)絡(luò)●開(kāi)始模型訓(xùn)練1）下載預(yù)訓(xùn)練權(quán)重文件darknet53.conv.742）修改yolov3-voc.cfg為myYolo.cfg

，主要修改網(wǎng)絡(luò)輸入圖片大小等參數(shù)運(yùn)行darknet.exe文件通過(guò)myYolo.cfg參數(shù)采用darknet53.conv.74預(yù)訓(xùn)練權(quán)重來(lái)訓(xùn)練..data/路徑下的myObj.data訓(xùn)練路徑數(shù)據(jù)集。深度學(xué)習(xí)網(wǎng)絡(luò)配置與訓(xùn)練每完成1000輪迭代訓(xùn)練就會(huì)生成一個(gè)權(quán)重文件，例如生成的myYolo_1000.weghts、myYolo_2000.weghts、myYolo_5000.weghts，權(quán)重文件自動(dòng)保存在..\backup路徑下；經(jīng)過(guò)5000輪迭代訓(xùn)練后，loss值趨于平穩(wěn)不再下降，于是停止訓(xùn)練；將（1）中訓(xùn)練后生成的myYolo_last.weghts權(quán)重文件復(fù)制到…\light路徑下，準(zhǔn)備測(cè)試訓(xùn)練模型；原則上訓(xùn)練數(shù)據(jù)越豐富、訓(xùn)練時(shí)長(zhǎng)越久，檢測(cè)效果就越好。檢測(cè)結(jié)果分析

檢測(cè)結(jié)果分析園區(qū)場(chǎng)景分幀總數(shù)/幀檢測(cè)結(jié)果/%紅燈綠燈黃燈一38583199.2%二28251588.2%三25301996%平均測(cè)試結(jié)果94.5%場(chǎng)景分幀總數(shù)/幀檢測(cè)結(jié)果/%紅燈綠燈黃燈一18171595%二23271591%三22