劉元盛視覺感知與應(yīng)用概述無人駕駛中視覺系統(tǒng)的作用感知系統(tǒng)將準(zhǔn)確的感知結(jié)果及時(shí)傳遞給無人車的決策模塊，給智能決策提供可靠的依據(jù)，其中基于視覺的感知主要由各類攝像頭及其后續(xù)算法實(shí)現(xiàn)。無人車通過車上安裝的攝像頭來感知無人車是否在可行駛區(qū)域內(nèi)，有無車道偏離，還會(huì)識(shí)別行駛過程中道路上的各種標(biāo)識(shí)物、靜態(tài)障礙物、動(dòng)態(tài)障礙物以及紅綠燈等信息。障礙物檢測車道線檢測語義分割概述

攝像機(jī)根據(jù)鏡頭和布置方式的不同主要有以下四種：單目攝像機(jī)、雙目攝像機(jī)、三目攝像機(jī)和環(huán)視攝像機(jī)。單目攝像頭

單目攝像機(jī)模組只包含一個(gè)攝像機(jī)和一個(gè)鏡頭。由于很多圖像算法的研究都是基于單目攝像機(jī)開發(fā)的，因此相對(duì)于其他類別的攝像機(jī)，單目攝像機(jī)的算法成熟度更高。優(yōu)點(diǎn)：結(jié)構(gòu)簡單，成本低，便于標(biāo)定和識(shí)別。缺點(diǎn)：在單張圖片里，無法確定一個(gè)物體的真實(shí)大小。它可能是一個(gè)很大但很遠(yuǎn)的物體，也可能是一個(gè)很近很小的物體。通過相機(jī)的運(yùn)動(dòng)形成視差，可以測量物體相對(duì)深度。但是單目SLAM估計(jì)的軌跡和地圖將與真實(shí)的軌跡和地圖相差一個(gè)因子，也就是尺度（scale），單憑圖像無法確定這個(gè)真實(shí)尺度，所以稱尺度不確定性。單目視覺測距方法

測距原理圖在較高距離測量等距陣列點(diǎn)（如標(biāo)定板），經(jīng)過插值，再進(jìn)行等比例放大即可得到每個(gè)像素點(diǎn)對(duì)應(yīng)的實(shí)際地面的坐標(biāo)。雙目攝像機(jī)由于單目測距存在缺陷，雙目攝像機(jī)應(yīng)運(yùn)而生。優(yōu)點(diǎn)：基線距離越大，能夠測量的距離就越遠(yuǎn)；并且可以運(yùn)用到室內(nèi)和室外。缺點(diǎn)：配置與標(biāo)定較為復(fù)雜，深度量程和精度受到雙目基線與分辨率限制，視差計(jì)算非常消耗計(jì)算資源，需要GPU/FPGA設(shè)備加速相近的兩個(gè)攝像機(jī)拍攝物體時(shí)，會(huì)得到同一物體在攝像機(jī)的成像平面的像素偏移量。有了像素偏移量、相機(jī)焦距和兩個(gè)攝像機(jī)的實(shí)際距離這些信息，根據(jù)數(shù)學(xué)換算即可得到物體的距離。原理圖如右圖所示。雙目攝像機(jī)三目攝像機(jī)

特斯拉AutoPilot2.0上安裝的三目攝像頭

不同攝像頭獲取到同一場景的不同數(shù)據(jù)，需要在后臺(tái)進(jìn)行融合，某種意義上而言，就是數(shù)據(jù)處理結(jié)果的PK，誰更準(zhǔn)確就采納誰。但由于硬件的差異性本身存在，導(dǎo)致后臺(tái)目前對(duì)于這種誤差并沒有合理的規(guī)則和解決方案去進(jìn)行優(yōu)勝劣汰的處理。這種無法決策的局面，還會(huì)同其它的傳感器如激光雷達(dá)、毫米波雷達(dá)探測到的結(jié)果再進(jìn)行一次融合（PK），多重的不確定性導(dǎo)致最終難以做出普遍意義上“正確合理”的決策。環(huán)視感知

無人駕駛中視覺檢測的基本方法

第一類是傳統(tǒng)的目標(biāo)檢測算法：Haar特征+Adaboost、HOG（梯度直方圖）特征+SVM（支持向量機(jī)）算法和DPM（可變形部件模型）等；第二類：以R-CNN為代表，基于目標(biāo)候選框的思想的Two-stag檢測算法，首先提取目標(biāo)候選框，再利用檢測網(wǎng)絡(luò)在目標(biāo)候選框的基礎(chǔ)上完成模型訓(xùn)練；第三類：YOLO家族算法，YOLOv1~YOLOv4，以及基于YOLO思想改進(jìn)的算法，摒棄了提取目標(biāo)候選框的步驟，直接利用檢測網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有更高的檢測速度。車道線檢測

邊緣檢測+霍夫變換彩色圖像轉(zhuǎn)灰度，模糊處理，邊緣檢測，霍夫變換顏色閾值將圖像轉(zhuǎn)顏色空間（一般HSV），對(duì)新的colorspace中的各個(gè)通道設(shè)置閾值（大于閾值取值為1，小于取值為0），得到結(jié)果。透視變換獲取透視變換矩陣，透視變換，車道線檢測車道線檢測

基于深度學(xué)習(xí)方法Segmentationbranch負(fù)責(zé)對(duì)輸入圖像進(jìn)行語義分割（對(duì)像素進(jìn)行二分類，判斷像素屬于車道線還是背景）；Embeddingbranch對(duì)像素進(jìn)行嵌入式表示，訓(xùn)練得到的embedding向量用于聚類。最后將兩個(gè)分支的結(jié)果進(jìn)行結(jié)合利用Mean-Shift算法進(jìn)行聚類，得到實(shí)例分割的結(jié)果。傳統(tǒng)車道線檢測方法（如下）主要依賴于高度定義化，手工特征提取和啟發(fā)式方法以確保車道線分割出來?；谏疃葘W(xué)習(xí)的方法—利用深度神經(jīng)網(wǎng)絡(luò)代替人工提取特征的方法。行人檢測

HOG+SVM行人檢測第一個(gè)有里程碑意義的成果是NavneetDalal在2005的CVPR中提出的基于HOG+SVM的行人檢測算法。梯度方向直方圖(HOG)是一種邊緣特征，它利用了邊緣的朝向和強(qiáng)度信息。視覺檢測的難度

光照變化和背景干擾