視覺感知與應(yīng)用概述無人駕駛中視覺系統(tǒng)的作用感知系統(tǒng)將準(zhǔn)確的感知結(jié)果及時傳遞給無人車的決策模塊，給智能決策提供可靠的依據(jù)，其中基于視覺的感知主要由各類攝像頭及其后續(xù)算法實現(xiàn)。無人車通過車上安裝的攝像頭來感知無人車是否在可行駛區(qū)域內(nèi)，有無車道偏離，還會識別行駛過程中道路上的各種標(biāo)識物、靜態(tài)障礙物、動態(tài)障礙物以及紅綠燈等信息。障礙物檢測車道線檢測語義分割概述

攝像機(jī)根據(jù)鏡頭和布置方式的不同主要有以下四種：單目攝像機(jī)、雙目攝像機(jī)、三目攝像機(jī)和環(huán)視攝像機(jī)。單目攝像頭

單目攝像機(jī)模組只包含一個攝像機(jī)和一個鏡頭。由于很多圖像算法的研究都是基于單目攝像機(jī)開發(fā)的，因此相對于其他類別的攝像機(jī)，單目攝像機(jī)的算法成熟度更高。優(yōu)點：結(jié)構(gòu)簡單，成本低，便于標(biāo)定和識別。缺點：在單張圖片里，無法確定一個物體的真實大小。它可能是一個很大但很遠(yuǎn)的物體，也可能是一個很近很小的物體。通過相機(jī)的運動形成視差，可以測量物體相對深度。但是單目SLAM估計的軌跡和地圖將與真實的軌跡和地圖相差一個因子，也就是尺度（scale），單憑圖像無法確定這個真實尺度，所以稱尺度不確定性。單目視覺測距方法

測距原理圖在較高距離測量等距陣列點（如標(biāo)定板），經(jīng)過插值，再進(jìn)行等比例放大即可得到每個像素點對應(yīng)的實際地面的坐標(biāo)。雙目攝像機(jī)由于單目測距存在缺陷，雙目攝像機(jī)應(yīng)運而生。優(yōu)點：基線距離越大，能夠測量的距離就越遠(yuǎn)；并且可以運用到室內(nèi)和室外。缺點：配置與標(biāo)定較為復(fù)雜，深度量程和精度受到雙目基線與分辨率限制，視差計算非常消耗計算資源，需要GPU/FPGA設(shè)備加速相近的兩個攝像機(jī)拍攝物體時，會得到同一物體在攝像機(jī)的成像平面的像素偏移量。有了像素偏移量、相機(jī)焦距和兩個攝像機(jī)的實際距離這些信息，根據(jù)數(shù)學(xué)換算即可得到物體的距離。原理圖如右圖所示。雙目攝像機(jī)三目攝像機(jī)

特斯拉AutoPilot2.0上安裝的三目攝像頭

不同攝像頭獲取到同一場景的不同數(shù)據(jù)，需要在后臺進(jìn)行融合，某種意義上而言，就是數(shù)據(jù)處理結(jié)果的PK，誰更準(zhǔn)確就采納誰。但由于硬件的差異性本身存在，導(dǎo)致后臺目前對于這種誤差并沒有合理的規(guī)則和解決方案去進(jìn)行優(yōu)勝劣汰的處理。這種無法決策的局面，還會同其它的傳感器如激光雷達(dá)、毫米波雷達(dá)探測到的結(jié)果再進(jìn)行一次融合（PK），多重的不確定性導(dǎo)致最終難以做出普遍意義上“正確合理”的決策。環(huán)視感知

無人駕駛中視覺檢測的基本方法

第一類是傳統(tǒng)的目標(biāo)檢測算法：Haar特征+Adaboost、HOG（梯度直方圖）特征+SVM（支持向量機(jī)）算法和DPM（可變形部件模型）等；第二類：以R-CNN為代表，基于目標(biāo)候選框的思想的Two-stag檢測算法，首先提取目標(biāo)候選框，再利用檢測網(wǎng)絡(luò)在目標(biāo)候選框的基礎(chǔ)上完成模型訓(xùn)練；第三類：YOLO家族算法，YOLOv1~YOLOv4，以及基于YOLO思想改進(jìn)的算法，摒棄了提取目標(biāo)候選框的步驟，直接利用檢測網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有更高的檢測速度。車道線檢測

邊緣檢測+霍夫變換彩色圖像轉(zhuǎn)灰度，模糊處理，邊緣檢測，霍夫變換顏色閾值將圖像轉(zhuǎn)顏色空間（一般HSV），對新的colorspace中的各個通道設(shè)置閾值（大于閾值取值為1，小于取值為0），得到結(jié)果。透視變換獲取透視變換矩陣，透視變換，車道線檢測車道線檢測

基于深度學(xué)習(xí)方法Segmentationbranch負(fù)責(zé)對輸入圖像進(jìn)行語義分割（對像素進(jìn)行二分類，判斷像素屬于車道線還是背景）；Embeddingbranch對像素進(jìn)行嵌入式表示，訓(xùn)練得到的embedding向量用于聚類。最后將兩個分支的結(jié)果進(jìn)行結(jié)合利用Mean-Shift算法進(jìn)行聚類，得到實例分割的結(jié)果。傳統(tǒng)車道線檢測方法（如下）主要依賴于高度定義化，手工特征提取和啟發(fā)式方法以確保車道線分割出來。基于深度學(xué)習(xí)的方法—利用深度神經(jīng)網(wǎng)絡(luò)代替人工提取特征的方法。行人檢測

HOG+SVM行人檢測第一個有里程碑意義的成果是NavneetDalal在2005的CVPR中提出的基于HOG+SVM的行人檢測算法。梯度方向直方圖(HOG)是一種邊緣特征，它利用了邊緣的朝向和強(qiáng)度信息。視覺檢測的難度

光照變化和背景干擾

視覺與多傳感器融合的檢測方案人因為夢想而偉大，祝你早日達(dá)到自己的目標(biāo)。策劃：劉元盛部門：小旋風(fēng)智能車團(tuán)隊您的公司名稱YOURCONPANYNAMELOGO謝謝劉元盛相機(jī)的標(biāo)定相機(jī)為什么要進(jìn)行標(biāo)定

目前主流的視覺傳感器類型主要有單目攝像頭以及雙目相機(jī)等。在攝像頭的生產(chǎn)過程中，由于受到光學(xué)生產(chǎn)工藝的影響，相機(jī)鏡頭成像總會呈現(xiàn)或多或少的畸變，只有在消除畸變的情況下，才能獲取準(zhǔn)確的映射關(guān)系，進(jìn)一步有利于進(jìn)行高精度測量和定位，所以在攝像頭使用之前通常要進(jìn)行參數(shù)標(biāo)定來消除畸變。

坐標(biāo)系的轉(zhuǎn)化在真實的世界里，單目攝像頭的成像過程是真實世界的圖像光信息在鏡頭成像，然后光會落在一個感光元件上，最終形成了圖像。單目攝像頭標(biāo)定的核心原理就是坐標(biāo)系轉(zhuǎn)化，其中涉及四個坐標(biāo)系：1）世界坐標(biāo)系；2）相機(jī)坐標(biāo)系：3）圖像坐標(biāo)系；4）像素坐標(biāo)系。是世界坐標(biāo)系，描述的是相機(jī)在世界坐標(biāo)系下的位置，單位為米。是相機(jī)坐標(biāo)系，其中原點為相機(jī)光心Oc點，XC

軸與圖像平面的x軸平行，YC

軸與y軸平行，ZC軸與攝像機(jī)光軸平行，與圖像平面垂直。是圖像坐標(biāo)系，光心為圖像中點，單位為毫米。是像素坐標(biāo)系，原點為圖像的左上點，單位為像素。坐標(biāo)系的轉(zhuǎn)化坐標(biāo)系的轉(zhuǎn)化示例中P為真實世界中的一點，表示為p是圖像平面中的成像點，表示為在像素坐標(biāo)系中表示為攝像頭焦距等于與的距離，標(biāo)定的必要性鏡頭畸變徑向畸變共5個畸變參數(shù)（k1、k2、k3、p1、p2）來描述鏡頭畸變。切向畸變相機(jī)標(biāo)定的方法示例本次實驗完成單目攝像頭的安裝，并在ROS系統(tǒng)下完成標(biāo)定工作，具體實驗內(nèi)容如下：（1）在無人車上安裝單目攝像頭；（2）新建ROS工作空間并編譯源碼，啟動標(biāo)定程序；（3）按照棋盤標(biāo)定板通過在線標(biāo)定法獲得相機(jī)的內(nèi)參矩陣、外參矩陣以及畸變參數(shù)矩陣；（4）保存標(biāo)定參數(shù)文件，完成標(biāo)定。相機(jī)安裝為了使攝像頭獲得一個更好的視野，可將其安裝在無人車車輛中軸線偏上的位置，同時將攝像頭的角度下調(diào)30°左右，安裝位置示意如圖所示，通過USB數(shù)據(jù)線連接單目攝像頭和實驗用的計算機(jī)。測試人手持標(biāo)定板站在攝像頭前部三米處，啟動camera_calibration包下的cameracalibrator.py標(biāo)定程序。標(biāo)定板示意圖如圖所示，其中角點樣例如圖中紅色圓圈所示，本標(biāo)定板的角點個數(shù)為9×6個。標(biāo)定過程為了達(dá)到良好的標(biāo)定效果，需要在單目攝像頭標(biāo)定畫面里移動標(biāo)定板，并完成以下基本需求：（1）移動標(biāo)定板到標(biāo)定視野的最左、最右，最上、最下處的位置；（2）移動標(biāo)定板到標(biāo)定視野的最近和最遠(yuǎn)處；（3）保持標(biāo)定板傾斜狀態(tài)并使其移動到畫面的最左、最右處位置。圖1-最左圖1-最右標(biāo)定過程圖3-最上

圖4-最下圖5-標(biāo)定板充斥整個屏幕圖6-標(biāo)定板在標(biāo)定視野中傾斜標(biāo)定過程●在標(biāo)定的程序中X表示的是標(biāo)定板在標(biāo)定視野中水平方向的參數(shù)，當(dāng)標(biāo)定板從畫面的最左端移動到最右端時，此時，標(biāo)定程序窗口的X參數(shù)下方的進(jìn)度條會達(dá)到滿值并且變綠。Y參數(shù)具有同樣含義。●Size表示標(biāo)定板在標(biāo)定視野中的大小，也可以理解為標(biāo)定板離單目攝像頭的遠(yuǎn)近，當(dāng)標(biāo)定板在視野中以由遠(yuǎn)及近的移動過程中，標(biāo)定程序窗口的Size參數(shù)下方的進(jìn)度條會達(dá)到滿值并且變綠?！?/p>

Skew為標(biāo)定板在視野中的傾斜位置，保持標(biāo)定板在視野中的傾斜位置并多次以不同的方向傾斜，標(biāo)定程序窗口的Skew參數(shù)下方的進(jìn)度條會達(dá)到滿值并且變綠。當(dāng)CALIBRATE按鈕亮起時，代表已經(jīng)有足夠的數(shù)據(jù)進(jìn)行攝像頭的標(biāo)定，此時請按下CALIBRATE按鈕，此時標(biāo)定界面會變成灰色，之后標(biāo)定界面中的SAVE按鈕會亮起，并且終端內(nèi)會打印出相應(yīng)的標(biāo)定信息。標(biāo)定過程在標(biāo)定完成后，系統(tǒng)終端會輸出標(biāo)定信息?！馣為相機(jī)內(nèi)參矩陣；●distortion為畸變系數(shù)矩陣；●cameramatrix為攝像頭的內(nèi)部參數(shù)矩陣；●rectification為矯正矩陣，一般為單位陣，●projection為外部世界坐標(biāo)到像平面的投影矩陣。完成攝像頭標(biāo)定后，下次啟動攝像頭驅(qū)動程序后將自動調(diào)用其標(biāo)定文件，自動完成攝像頭的去畸變處理。標(biāo)定的必要性針孔相機(jī)模型中，只要確定相機(jī)參數(shù)和畸變參數(shù)就可以唯一的確定針孔相機(jī)模型，這個過程就稱為「相機(jī)標(biāo)定」。每一次相機(jī)標(biāo)定僅僅只是對物理相機(jī)模型的一次近似，每一次標(biāo)定僅僅是對相機(jī)物理模型在采樣空間范圍內(nèi)的一次近似。所以當(dāng)成像物體所在的空間跟相機(jī)標(biāo)定時的采樣空間不一樣的時候，可能永遠(yuǎn)都沒辦法得到足夠的精度，當(dāng)大幅改變相機(jī)與成像物體的距離的時候，最好重新標(biāo)定相機(jī)。如果想在一個空間里得到更高的精度，可以在空間里分層多次標(biāo)定，實際計算的時候通過其他方式得到成像距離，從而選擇合適的標(biāo)定參數(shù)。人因為夢想而偉大，祝你早日達(dá)到自己的目標(biāo)。策劃：劉元盛部門：小旋風(fēng)智能車團(tuán)隊您的公司名稱YOURCONPANYNAMELOGO謝謝劉元盛基于深度學(xué)習(xí)的視覺檢測案例分析無人駕駛中視覺檢測的基本方法

第一類是傳統(tǒng)的目標(biāo)檢測算法：Haar特征+Adaboost、HOG（梯度直方圖）特征+SVM（支持向量機(jī)）算法和DPM（可變形部件模型）等；第二類：以R-CNN為代表，基于目標(biāo)候選框的思想的Two-stag檢測算法，首先提取目標(biāo)候選框，再利用檢測網(wǎng)絡(luò)在目標(biāo)候選框的基礎(chǔ)上完成模型訓(xùn)練；第三類：YOLO家族算法，YOLOv1~YOLOv4，以及基于YOLO思想改進(jìn)的算法，摒棄了提取目標(biāo)候選框的步驟，直接利用檢測網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有更高的檢測速度。YOLO算法家族

YOLO(Youonlylookonce)基于單個神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測系統(tǒng)，屬于卷積神經(jīng)網(wǎng)絡(luò)的一種，由卷積層、池化層和全連接層組成。YOLO從問世發(fā)展到今天，一共迭代了五個版本?！馳OLOv1采用“一步法”，即在一個網(wǎng)絡(luò)中完成特征提取、BoundingBox的定位和分類等操作；●YOLOv2采用darknet-19網(wǎng)絡(luò)，在YOLOv2中引入了其他目標(biāo)檢測的思想，提升了YOLOv2的檢測精度。于2016年提出的ResNet網(wǎng)絡(luò)，在網(wǎng)絡(luò)結(jié)構(gòu)深度很大的情況下仍能夠收斂，這使深度學(xué)習(xí)成為了可能?！馳OLO作者基于ResNet思想，提出深層網(wǎng)絡(luò)darknet-53并應(yīng)用在YOLOv3上。（

YOLO之父JosephRedmon宣布退出計算機(jī)視覺研究領(lǐng)域）●YOLOv4于2020年4月底發(fā)布，采用CSPResNext50網(wǎng)絡(luò)，精度和速度都有所提升，同時對計算機(jī)的硬件也有更高的要求?！馳OLOv5于2020年6月底發(fā)布。YOLOV3

YOLOv3所體現(xiàn)出的優(yōu)秀檢測性能和精度，得益于優(yōu)秀的目標(biāo)檢測網(wǎng)絡(luò)，即darknet-53。darknet-53是YOLOv3作者提出并實際應(yīng)用的一個目標(biāo)檢測網(wǎng)絡(luò)，整合了YOLOv2和darknet-19基礎(chǔ)網(wǎng)絡(luò)，采用大量的3×3和1×1的卷積層，共有53個卷積層。相比前幾代darknet網(wǎng)絡(luò)，darknet-53采用了ResNet，很好地解決了深層網(wǎng)絡(luò)梯度的消失問題，于是在網(wǎng)絡(luò)層數(shù)較深的情況下仍能保證網(wǎng)絡(luò)收斂，使得深度學(xué)習(xí)訓(xùn)練成為可能。紅綠燈檢測示例本實驗實現(xiàn)是基于YOLOv3的紅綠燈識別系統(tǒng)數(shù)據(jù)獲取與預(yù)處理通過深度學(xué)習(xí)的目標(biāo)檢測的流程主要分為三個部分，分別是數(shù)據(jù)準(zhǔn)備、模型學(xué)習(xí)、機(jī)器檢測。數(shù)據(jù)獲取與預(yù)處理數(shù)據(jù)集可以用網(wǎng)絡(luò)成熟的數(shù)據(jù)集，也可以自行采集數(shù)據(jù)集。以下以北京聯(lián)合大學(xué)旋風(fēng)智能車團(tuán)隊自行采集的數(shù)據(jù)集為例，講述實驗過程。實驗者也可以根據(jù)自身條件自行設(shè)計采集方法，采集數(shù)據(jù)集。使用小旋風(fēng)第四代無人駕駛車搭配車載單目相機(jī)進(jìn)行數(shù)據(jù)采集，一共采集視頻153個，經(jīng)數(shù)據(jù)預(yù)處理得圖片3525張。數(shù)據(jù)獲取與預(yù)處理采集計劃的制定需按著以下要求對數(shù)據(jù)進(jìn)行采樣：在園區(qū)中按照不同時間進(jìn)行數(shù)據(jù)采樣；在園區(qū)中按照不同地點進(jìn)行數(shù)據(jù)采樣；在同一數(shù)據(jù)采集地點中，按照紅綠燈擺放位置不同進(jìn)行采樣；在同一數(shù)據(jù)采集地點中，按照車輛行駛位置不同進(jìn)行采樣；在同一數(shù)據(jù)采集地點中，按照紅綠燈顯示順序不同進(jìn)行采樣；每次測試錄制一個視頻保存，并填寫表格用以記錄。數(shù)據(jù)獲取與預(yù)處理●對于自行采集的視頻數(shù)據(jù)需要進(jìn)行視頻分幀，轉(zhuǎn)換成圖片數(shù)據(jù)，按規(guī)則進(jìn)行編號，并統(tǒng)一格式（1000×1000，jpg的格式）。●數(shù)據(jù)集的標(biāo)注

利用labelImg軟件，對每張照片進(jìn)行標(biāo)注，1）標(biāo)記檢測目標(biāo)，分為紅燈、黃燈和綠燈三類；2）給標(biāo)記的檢測目標(biāo)設(shè)置標(biāo)簽。生成.xml格式文件，.xml文件中記錄被標(biāo)記圖像的類別、坐標(biāo)等信息。數(shù)據(jù)獲取與預(yù)處理●數(shù)據(jù)集的劃分為了測定模型學(xué)習(xí)的效果，將已完成標(biāo)注的數(shù)據(jù)集隨機(jī)分成訓(xùn)練集和測試集。訓(xùn)練集用于模型學(xué)習(xí)的訓(xùn)練，測試集用于模型學(xué)習(xí)訓(xùn)練結(jié)果的測試。為了獲得優(yōu)秀的訓(xùn)練結(jié)果模型，訓(xùn)練集的數(shù)量通常大于測試集。在本示例中將數(shù)據(jù)集按比例9:1隨機(jī)劃分訓(xùn)練集和測試集，生成存有訓(xùn)練集圖片名的train.txt文件和測試集test.txt文件。深度學(xué)習(xí)網(wǎng)絡(luò)配置與訓(xùn)練●配置darknet-53網(wǎng)絡(luò)●開始模型訓(xùn)練1）下載預(yù)訓(xùn)練權(quán)重文件darknet53.conv.742）修改yolov3-voc.cfg為myYolo.cfg

，主要修改網(wǎng)