自動駕駛視覺感知技術(shù)發(fā)展 ?摘要：主要介紹面向自動駕駛的視覺感知技術(shù)。首先是對自動駕于視覺的定位與語義地圖、傳感器融合、視覺計算平臺等。 視覺感知圖像傳感器視覺感知算法智能網(wǎng)聯(lián)汽車自動駕駛的技術(shù)之一是環(huán)境感知，隨著深度學(xué)習(xí)的發(fā)展，基于視覺的環(huán)境感知技術(shù)成為研究的熱點。本文從圖像傳感器及視覺感知算法兩個方面闡述了視覺感知技術(shù)的研究現(xiàn)狀及發(fā)展趨勢?！玻埃保纺?，自動駕駛視覺感知領(lǐng)域的發(fā)展令人印象深刻，在技術(shù)發(fā)展路線、、圖像傳感器、視覺計算平臺以及算法方面，都取得了長足的進展。?，，地平線市場拓展與規(guī)劃副，主要從事嵌入式人工智能、自動駕駛等·每日5＋汽車、科技行業(yè)報·業(yè)匹配，覆蓋新能源汽車、自動駕駛、 或直接搜索號：無人車局（一）自動駕駛技術(shù)發(fā)展路線在技術(shù)發(fā)展路線上，早期的自動駕駛感知方案以為，配合高精地圖的方式實現(xiàn)自動駕駛，但成本和長期工作可靠性都是很大的是目前為止業(yè)界能夠得到的感知精度最、可靠性最好的傳感器，體現(xiàn)的是“重感知，輕計算”的模式，通過傳感器的高度可靠性與高精度來簡化后續(xù)的計算任務(wù)及決策壓力。而高精地圖則可以看作的傳感器，為定位提供有力的支持，有利于快速開發(fā)出自動駕駛原型車，然而這種模式的不足在于其較高的成本、較大的外形因子以及較低的可靠性，在導(dǎo)入量產(chǎn)時面臨很大的。２０１７年，更具可量產(chǎn)性的頭加語義地圖技術(shù)路線受到極大重，成為新的發(fā)展趨勢。自動駕駛業(yè)界領(lǐng)先的公司如Ｍｏｂｉｌｅｙｅ、博世等都在推進該技術(shù)路相對而言，頭加語義地圖則體現(xiàn)了“輕感知，重計算”的理念，這一理念，更加接近人類駕駛的模式，基于第一性原理，機器視覺也能夠像人類一樣，憑借視覺可靠地駕駛。但同時，這一理念也對計算能力和算法提出了更高的要求。本文將在后面的章節(jié)對語義地圖加以進一步的介。長期來看，和圖像傳感器的融合是一個更大的趨，但這取決于新型固態(tài)的成本、可靠性等方面在何時可以達到量產(chǎn)要求。如圖１所示，圖像傳感器在各類傳感器中擁有最高的信息密，正如人類接收的信息中有９０％來自視覺一樣，圖像傳感器提供了豐富的紋理和色彩信息，是最適合基于深度學(xué)習(xí)做目標(biāo)識別、分類的傳感器。在已經(jīng)導(dǎo)入量產(chǎn)的自動駕駛系統(tǒng)中，圖像傳感器都是傳感器組合中最關(guān)鍵的組成部，毫米波以及超聲波依然是必需的，但的是起避障、全工況能力彌補、滿足功能安全的作用。在８年初的一次分析師會議上，特斯拉ＣＥＯ甚至公開表示并非必需，特斯拉將堅持由頭、毫米波和超聲波傳感器組成的自動駕駛系統(tǒng)開發(fā)，該觀點在業(yè)界引起很大爭議，但特斯拉作為自動駕駛研發(fā)的領(lǐng)先企業(yè)，其表態(tài)也從側(cè)面反映了視覺在感知技術(shù)的中心地。圖 自動駕駛的視覺感知目前多集中于車對環(huán)境的感知，但是，對于／級自動駕駛而言，需要人機共駕，如何保證在自動駕駛與人工駕駛模式之間可靠地切換，車對駕駛員的感知就至關(guān)重要。圖２展示了自動駕駛的切換過程，來自的一項研究表明，在進行模式切換時，平均而言，人類駕駛員需要１７秒的時間才能做到可靠地接管，而情況下甚至無法進行接管。因此，基于視覺感知的駕駛員監(jiān)測系統(tǒng)（）就顯圖２自動汽車：在特斯拉的Ｍｏｄｅｌ３中，就安裝了一枚車內(nèi)頭，用于對駕駛員狀圖 ＴｅｓｌａＭｏｌ３車內(nèi)可以實現(xiàn)以下功能 ②注意力監(jiān)測：視線離開路面的時間不應(yīng)超過１６秒③動態(tài)調(diào)整ＡＤＡＳ策略：策略，執(zhí)行器操作策略⑤情緒監(jiān)測：路怒、分心等ＨＵＤ是ＤＭＳ的另一個關(guān)鍵應(yīng)用通過ＤＭＳ，可以實現(xiàn)基于ＡＩ技術(shù)的眼球跟蹤，這是ＡＲＨＵＤ的基礎(chǔ)技術(shù)，通過ＡＲＨＵＤ可以非常直觀地顯示自動駕駛路徑規(guī)劃與環(huán)境感知結(jié)果，提升駕駛員對自動駕駛系統(tǒng)的認知，尤其是對于其能力邊界的認知從而避免過度使用自動駕駛系統(tǒng)在年的特斯拉Ａｕｔｏｐｉｌｏｔ致命事故中，如果駕駛員對于該系統(tǒng)的能力有準(zhǔn)確認，這樣的事故就很可能會避免。（二）快速推自動駕駛的量產(chǎn)為時尚早，目前真正在量產(chǎn)車上普及的還是ＡＤＡＳ駕駛輔助系統(tǒng)年ＭｏｂｉｌｅｙｅＥｙｅ系列芯片的產(chǎn)品出貨量達到８７０萬片，累計出貨量達到２４００萬片，覆蓋超過２５家不同的汽車廠商，大約占據(jù)了的市場份額。ＭｏｂｉｌｅｙｅＡＤＡＳ解決方案基于圖像傳感器，其市場成功表明，視覺感知是目前最具性價比和量產(chǎn)性的感知典型的ＡＤＡＳ系統(tǒng)一般會配備至少５顆頭（１顆前視＋４顆環(huán)視），潛在的市場空間巨大。據(jù)智研咨詢的數(shù)據(jù)，２０１５年國內(nèi)車載頭的產(chǎn)能已達到１８８０萬個，２０１５年全球車載頭市場規(guī)模為１９億，到２０２０年全球車圖 ２０１５～２０２０年全球車載頭市場規(guī)模及預(yù)測情ＣＭＯＳ圖像傳感器是車載頭的器件，價值占到頭成本的３０％～目前，Ｏｎｓｅｍｉ、ＯｍｎｉＶｉｓｉｏｎ美光以及索尼是該領(lǐng)域的主要供應(yīng)商，其市場份額超過６０％。中國廠商在車載頭鏡頭方面的優(yōu)勢突出，其中，舜宇光學(xué)的鏡頭出貨量居全球第一位，市場占有率為３０％左右，已進入各大車企（寶馬、奔馳、奧迪）前裝市場。在頭模組領(lǐng)域，中國公司的占有率超過５０％，但市場集中度較低，舜宇、歐菲光占有率居前，其他國內(nèi)廠商還包括同致電子、豪恩、廈門輝創(chuàng)、二 業(yè)界對于圖像傳感器的傳統(tǒng)認知，包括動態(tài)圖像感知、夜視能力、像素密度、高動態(tài)范圍、面向功能安全以及數(shù)據(jù)完整性的防設(shè)計，為自動駕駛的應(yīng)用開辟了新的道路，進一步鞏固了其在自動駕駛感知領(lǐng)域的中心地。本節(jié)中分析圖像傳感器業(yè)界的幾個突出趨勢和進。（一）動態(tài)圖像傳感器DVS的原理類似于青蛙眼睛的成像原理，僅對光強的變化敏感，因此非常具體來講，傳統(tǒng)ＣＭＯＳ圖像傳感器都是有間隔的，按幀進行，即圖像抓取不連續(xù)，記錄的是陣列中像素點在時間內(nèi)的總亮度值（積分），而積分常常會把快速運動的物體的運動特征丟，但這恰恰是對運動物則更像微分”，檢測每個像素點的光強是否隨時間有細微的變，如果單個像素點的數(shù)據(jù)沒有變化，那么傳感器將只保留之前的記錄數(shù)值。這種實時監(jiān)測動態(tài)信息的能力，直接可以移除冗余的背景圖像數(shù)據(jù)，為機器視覺提供動態(tài)圖像傳感器技術(shù)結(jié)合了傳感和計算，流不再具有幀率概念的制約，圖像信息以和動態(tài)觸發(fā)為驅(qū)，直接在圖像處理器上完成光流（ｐｔｉｃａｌｌｏｗ）和一系列預(yù)運算（ｒｅ?ｐｒｏｃｅｓｓｉｎｇ）從而大大提高整個機器視更重要的是，ＤＶＳ擁有的記錄速率和極低的功耗，以三星的ＤＶＳ為例，它能夠處理等效２０００ｆｐｓ的，而僅耗３００ｍＷ，這對于傳統(tǒng)的ＣＭＯＳ圖像傳感器是不可，目前頂級的傳統(tǒng)的ＣＭＯＳ圖像傳感器也僅能達到１２０ｆｐｓ的幀率。ＤＶＳ對于自動駕駛視覺感知的影響是性，這將從根本上提升對運動目標(biāo)的感知能力，決定性地降低計算、信號傳輸、和處理的成本。其意義在這一領(lǐng)域年三星推出了的產(chǎn)品，并與的ＴｒｕｅＮｏｒｔｈ處理器結(jié)合，制造模擬人眼的電子眼。中國初創(chuàng)公司芯侖光電已經(jīng)推出了系列產(chǎn)品ＣｅｌｅＸ，目前的一代４０），可以提供三種工作方式，分別為傳統(tǒng)的圖像模式”、專為機器視覺而生的動態(tài)模式”，以及在傳感器端原生提供的光流模式”。據(jù)悉，其第二代產(chǎn)品的分辨率將達到１００萬像素。（二）目前，領(lǐng)先的圖像傳感器供應(yīng)商如Ｏｎｓｅｍｉ、索尼等都已經(jīng)開發(fā)出能夠在０１勒克斯的極低照度下成像的傳感器，能夠在沒有路燈的情況下識別車輛和行人。圖像傳感器的感知范圍也從可見光譜向近紅外光譜（ＮＩＲ）延伸。近年來，近紅外（ＮＩＲ）成像技術(shù)的進步巨大，已徹底了人們對于圖像傳感器的夜視能力的認知，ＮＩＲ對于機器視覺有優(yōu)勢，夜間ＮＩＲ光子比可見光子，不需要可見光源，所以不會干擾人類對環(huán)境的感知。ＮＩＲ對于車內(nèi)的感知應(yīng)用，如眼動追蹤、面部識別、手勢控制和人臉識別等都具有重要的意近紅外成像的有效范圍與其靈敏度直接相關(guān)，并由兩個關(guān)鍵性的測量參數(shù)所確定：（）和調(diào)制傳遞函數(shù)（）。代表其捕獲光子與其中轉(zhuǎn)換為電子的比率。越高，照明所能達到的距離越遠，并且圖像亮度越高。所測量的是在特定的分辨率下圖像傳感器將成像物的對比度傳送到圖像中的能力。ＭＴＦ越高，圖像越清晰。目前，安森美、豪威等公司在８５０ｎｍ波長下的ＮＩＲ靈敏度有了突破性的進展，較之前有了４倍以上的提升，在確保提升ＱＥ的同時，避免了ＭＴＦ的降低，使圖像傳感器在低光照甚至無光照的情況下都具備可靠的感知能力。（三）像素密度的提升絕非簡單的量變，這直接影響到整個自動駕駛傳感器組合系統(tǒng)的構(gòu)建。舉例來說，對于前視的感知，需要照顧到兩個維度：在縱向上看得夠遠，在橫向上看得夠廣。但這兩個指標(biāo)實際上是的，在圖像傳感器像素密度固定的情況下，只能通過不同Ｖ的鏡頭組合來實現(xiàn)，這就要求有多個前視頭，例如，基于ｏｅｅｅ４的設(shè)計就使用了３個不同Ｖ的如果使用８００萬像素級別的圖像傳感器，就可以簡化到只用兩個，如果達到１２００萬像素，則可以僅用一個頭就達到前視的感知要，從而極大降低成本，簡化外形因子的設(shè)計。同時，隨著自動駕駛所需車速的提升，對于遠距離目標(biāo)探測的要求更加苛刻，領(lǐng)先的車廠已經(jīng)要求在米的距離內(nèi)識別ｃｍ的目標(biāo)，為路徑規(guī)劃提供足夠的時間余量，這也需要密度傳感器來實現(xiàn)（?。疲希值溺R頭也有幫忙，但將帶來新的成本增加并提升結(jié)構(gòu)復(fù)雜）目前在量產(chǎn)車上大量使用的是１３百萬像素的圖像傳感器，索尼于２０１７年推出的ＩＭＸ３２４將車規(guī)級圖像傳感器像素密度提升到百萬像素，與此同時，業(yè)界正在開發(fā)１２００萬像素的車規(guī)級圖像傳感器。（四）面向自動駕駛的定制化設(shè)計相比于人類視覺感知而言，面向自動駕駛的機器視覺算法對于圖像傳感的要求有顯著差異，因此需要為自動駕駛應(yīng)用進行專門優(yōu)化設(shè)，這包括以下幾個關(guān)鍵屬性。目前正廣泛應(yīng)用于汽車前燈尾燈及道路交通信號燈等屬于脈沖光源，在成像時有很大概率會造成成像缺失，為了確?？煽啃詧D像傳感器需要對于ＬＥＤ閃爍進行專門設(shè)計加以消除。ISO26262通常圖像傳感器需要滿足至少ＡＳＩＬ－Ｂ等級，在傳感器出現(xiàn)任何問題或潛抗特隨著自動駕駛汽車普遍聯(lián)網(wǎng)，對于防止的要求變得異常迫切，這需要不僅在通信鏈加以保證，也需求從本地節(jié)點端開始就確保因此，對于圖像傳感器的數(shù)據(jù)完整性要求也變得非常重。業(yè)界已經(jīng)開始為圖像傳感器增加防特性，確保圖像不被篡改或破壞。（五）高動態(tài)范圍（ＨＤＲ）是圖像傳感器面向自動駕駛應(yīng)用的關(guān)鍵指標(biāo)之反映了在極大的光比情況下對于環(huán)境的感知能力，典型的場景包括隧道、晴天、夜間等，其成像范圍內(nèi)明暗對比極大，并且車輛在快速穿過隧道時，由于隧道內(nèi)部幽暗，而外部光亮，若不能快速適應(yīng)這種光亮變化，就會在畫面產(chǎn)生炫光和過曝情況，這對于圖像傳感器的動態(tài)范圍是非常嚴(yán)峻的考驗。目前先進的車ＣＭＯＳ圖像傳感器動態(tài)范圍已經(jīng)達到１２０ｄｂ，高達１６０ｄｂ的圖像傳感器也三我國在視覺感知算法方面已經(jīng)達到國際先進水平，人才儲備更為深厚，其中的一個例證是：２０１７年計算機視覺方面的會議ＣＶＰＲ，全部７８３篇中，學(xué)者參與并署名的約為３５６篇，占４５４７％。在自動駕駛感知技術(shù)中，基于計算機視覺的感知算法發(fā)展迅猛，涉及目標(biāo)識別、３Ｄ環(huán)境建模、基于視覺的ＳＬＡＭ、運動估測、追蹤、場景理解以及端到端學(xué)習(xí)等，內(nèi)容浩繁，限于篇幅，本節(jié)將對幾個重點進展進行分析，這些進展對于自動駕駛應(yīng)用有直接作用。（一）隨著ＡＤＡＳ市場的爆發(fā)，面世的ＡＤＡＳ產(chǎn)品非常豐富，對于關(guān)鍵交通目標(biāo)的檢測、識別與，如車輛、行人、車道線、可行駛區(qū)域等，技術(shù)已經(jīng)很成熟，但是面向高等級自動駕駛場景，僅有關(guān)鍵目標(biāo)的檢測是遠遠不夠的，這需要圖Ｃｉｔｙｓｃａｐｅｓ數(shù)據(jù)庫中的一個示例，１９個類別的語義表達，通過深度神經(jīng)網(wǎng)絡(luò)，我們可以通過監(jiān)督學(xué)習(xí)，對每一個圖像像素進行語義表在２０１８年的ＣＥＳ中，地平線展出了基于深度學(xué)習(xí)的像素級語義分割的感知平臺，利用一個高效的單一神經(jīng)網(wǎng)絡(luò)，可以同時對超過２０個類別的目與傳統(tǒng)的檢測框相比，基于像素級的語義分割與目標(biāo)識別的優(yōu)勢是決定性的，這表現(xiàn)在以下幾個方面。對于目標(biāo)識別的準(zhǔn)確度提升：可以有效解決目標(biāo)識別中遇到的遮擋、截斷目標(biāo)識別實時性的提升：能夠大幅度縮短目標(biāo)識別的時間，在移動出現(xiàn)的提供豐富的低層語義：對于全場景的語義分割使得各個不同的類別可以到交叉驗證，例如，路肩、人行道對于可行駛區(qū)域的判斷有明確的輔助驗證用，路側(cè)的固定目標(biāo)，如交通標(biāo)識牌、路燈等對于定位有很大的幫助。在感知特征的融合算法上，我們要考慮兩方面的因素：在大尺度的范圍上進行準(zhǔn)確識別，在時間上進行可靠的目標(biāo)。在單幀圖像的維度內(nèi)，通過Ｕ形網(wǎng)絡(luò)適配不同尺度的目標(biāo)檢測。通過向下細粒度分割至１／６４尺寸，在每一級上輸出特征識別結(jié)果；再向上逐級進行特在時間維度上，通過多幀圖像，在底層的視覺特征上，對像素建模，借助光流進行對齊后融合。在的語義特征上，對物體建模，用序列方法融合多幀信息。圖６展示了在時空維度上的目標(biāo)識別與算。圖６時空維度上的目標(biāo)識別與算自動駕駛車輛在直行、換線、通過十字路，需要對車輛的３６０度范圍內(nèi)的運動物體進行感知和運動的。對于自動駕駛系統(tǒng)來說，整個環(huán)境的３Ｄ建模和移動目標(biāo)的運動估計至關(guān)重要。我們需要將環(huán)境感知更加聚焦在以規(guī)劃和決策為目的的環(huán)境建模上面。因此，單有目標(biāo)的識別還是不夠的，還必須確定目標(biāo)的運動方向、目標(biāo)和車輛的相對拓撲關(guān)系。自動駕駛決策系統(tǒng)需要從感知系統(tǒng)獲得前方車輛的距離、速度、姿態(tài)、運動的角度等信息?；谙袼丶壍恼Z義分割，再結(jié)合物體的３Ｄ結(jié)構(gòu)，可以獲得整個場景的語義表達和對每一個移動目標(biāo)的結(jié)構(gòu)化表達，從而得到整個環(huán)境的語義結(jié)構(gòu)模型。地平線使用單一深度神經(jīng)網(wǎng)絡(luò)將目標(biāo)的檢測、３Ｄ結(jié)構(gòu)的感知和預(yù)測放在了一起，這樣得到了一個端到端的深度學(xué)習(xí)系統(tǒng)，充分共享檢測和姿態(tài)估計的計算權(quán)重，使整個網(wǎng)絡(luò)在一個比較小的計算量下，同時獲得物體檢測和３Ｄ姿行人、非機動車駕駛?cè)说热狈Π踩Ｗo的道路交通參與者被稱為弱勢道路使用者（），他們也是感知預(yù)測中的難題，因為人的行為較車輛更難。當(dāng)前的自動駕駛系統(tǒng)中對人的檢測往往只檢測人的屬性，并通過檢測框來預(yù)測人的位置和距離，這種感知結(jié)果無法對人的運動進行精確估計。尤其是對圖 基于Ｃｉｔｅｓｃａｐｅｓ數(shù)據(jù)庫中的一個示例構(gòu)建、城市環(huán)境的自動駕駛，需要非常精確的人的運動估計。因此，對人的姿態(tài)估計和運動建模，成為視覺感知的一個非常重要的研究熱點?；谙袼丶壵Z義分割以及目標(biāo)檢測的感知技術(shù)，使得我們進行全場景的感知，其關(guān)鍵趨勢總結(jié)為以下三點：從簡單場景到復(fù)雜場景，從高頻目標(biāo)到一般目標(biāo)，從２Ｄ感知到３Ｄ感知。（二）精細高精地圖（ＧｒａｎｕｌａｒＨｉｇｈ?ＤｅｆｉｎｉｔｉｏｎＭａｐｓ）：該類高精地圖制作通?；谂渲糜泻皖^的專業(yè)測繪車，通過對環(huán)境掃描生成高密度３Ｄ點云，之后對俯視圖進行網(wǎng)格化，生成特征圖，該類地圖的體積一般較大，語義地圖（ＳｅｍａｎｔｉｃＭａｐｓ）：該類高精地圖的原始通?；陬^，僅生成關(guān)鍵道路特征物，例如，車道線、路肩、交通標(biāo)志、橋梁、路燈等固定目標(biāo)物，由于這些目標(biāo)物是固定的，可以預(yù)先確定其準(zhǔn)確的ＧＰＳ位置信息。前述提到的像素級語義分割技術(shù)，在經(jīng)過語義信息結(jié)構(gòu)化后，可以直接生成這種地圖的體積一般只有每公里１０Ｂ的量級，但依然有極好的精度，在目標(biāo)物較為密集的情況下，可為車輛提供足以媲美精細高精地圖的，并且制作和更新起來更方便，在車輛上部署也更加容易，這意味著語義地圖的制作和更新能夠以眾包的方式進行，這一點在商業(yè)上的重要性無須贅述。例如，利用大量部署在車端的頭，將基于頭建立的局部地圖與全局地圖做比對，可以僅僅將有差異的部分上傳到云端，就可以一張實時的高精地圖，在云端，基于大量的車端數(shù)據(jù)，可以多批次對數(shù)據(jù)進行對齊優(yōu)化、精度優(yōu)化、缺失補充以及更新識別等工作。其效率高，而成本則較低。正因為語義地圖的這些優(yōu)勢，該技術(shù)路線日益成為面向量產(chǎn)的自動駕駛主流解決方案。管理）系統(tǒng)，這是語義地圖的典型代表。２０１７年，該公司宣布和國內(nèi)數(shù)字地圖服務(wù)商圖新達成合作，雙方將基于國內(nèi)道路信息，共同開發(fā)面向中國道路的ＲＥＭ系統(tǒng)博世也提出了其稱為博世道路特征（ＢｏｓｃｈＲｏａｄＳｉｇｎａｔｕｒｅ，ＢＲＳ）的語義地圖，并與、高德及圖新這三家中國地圖供應(yīng)商達成協(xié)，共同開發(fā)ＢＲＳ并將用于自動駕駛定位服務(wù)。博世ＢＲＳ的生成基于頭和毫米波，相比僅用頭數(shù)據(jù)的解決方案，毫米波則具有高魯棒性，可用于大多數(shù)復(fù)雜及惡劣的情況，例如，雨雪天氣、黑夜等，而不會影響高精定位圖層的生成和定位。在基于視覺的定位方面，結(jié)合視覺感知與大致的局部位置可以獲取一張部地圖，通過與一定范圍內(nèi)的全局高精地圖做比，就可以準(zhǔn)確地獲得定位信息。語義地圖的發(fā)展，進一步加強了感知、定位與地圖之間的關(guān)系，可以說，只有基于同樣的特征提取算法和策略進行建圖和感，才能達到最好的定位效果，因為兩者可以在語義上做到最優(yōu)的匹配，這就好比最能識別手寫體文稿的人一定是作者本人一樣。從這個意義上講，以視覺感知為技術(shù)的自動駕駛技術(shù)公司都需要建立自己的地圖。事實上，基于視覺方式的定位與建圖方式與人類大腦的運作方式有驚人的相似之處。長久以來，大腦是如何建立全景影像的問題一直困擾著科學(xué)界（類似于３Ｄ環(huán)境建模），２０１６年，哈佛大學(xué)的神經(jīng)科學(xué)家·羅伯遜取得突破性進展，找到了大腦中兩個參與創(chuàng)造這些全景影像的關(guān)鍵區(qū)域壓（ＲＳＣ）和枕葉位置區(qū)（ＯＰＡ），它們可以把來源于同一環(huán)境中不同視角的拼接在一起，形成無縫全景的區(qū)域，并將周圍影像加工（語義化），形成（類似建圖）起來。該研究表明，人類對周圍環(huán)境的３Ｄ建模，直接的視覺信息僅僅是一部分，在很大程度上，３Ｄ環(huán)境建模是由我們看不到的，結(jié)合視覺信息進行補充形成的。被發(fā)現(xiàn)的這兩個區(qū)域可以把視覺感知信息和對環(huán)境的進行比對，整合在一起完成完整的環(huán)境建模。這就是我們對于熟悉的場所，比如臥室，即使僅僅是看到一個局部，也能浮現(xiàn)出全景的原因。（三）傳感器融合：從后融合前融視覺可以獲得非常高分辨率的環(huán)境紋理信息（平面信息），相比于激光雷達和毫米波，基于視覺的感知技術(shù)無法直接獲得物體的深度，僅能通過估計獲得距離信息。同時，也比較難以獲取物體的某些表面屬性，例如粗糙程度，而可以通過反射率的不同來獲得該信息。相比于圖像數(shù)據(jù)，激光點云的數(shù)據(jù)對于光線變化不敏感，并以準(zhǔn)確的空間表征見長。對于自動駕駛這種需要適應(yīng)多環(huán)境，并且需要準(zhǔn)確位置信息輸入的應(yīng)用來說，基于激光點云的物辨別是非常有價值的。但是，與圖像不同，激光點云的數(shù)據(jù)空間上密度變化大，并且非常稀疏，如要進行端到端的目標(biāo)識與此同時，和毫米波也從原來對于深度和速度的感知向視覺化發(fā)展。隨著ＭＥＭＳ的發(fā)展，其等效線束密度已經(jīng)可達２００線，單幀數(shù)據(jù)點云數(shù)目可達１００萬以上。越來越多的公司開始將深度學(xué)習(xí)直接應(yīng)用于激光的原始數(shù)據(jù)處理，用于進行目標(biāo)識別?；冢樱以淼暮撩撞梢孕纬筛叻直媛实亩S圖像，博世、北京行易道等公司都在推進這方面的技術(shù)開發(fā)。這種圖像可以確保在惡劣工況下依然提供足夠的信息幫助進行環(huán)境的關(guān)鍵目標(biāo)識別。因此，結(jié)合、毫米波和頭的傳感器融合（ｓｅｎｓｏｒｆｕｓｉｏｎ）技術(shù)，我們可以獲得極高精度的３Ｄ信息，并且通過不同信息的互補、交叉驗證，將語義感知的準(zhǔn)確性提升數(shù)個數(shù)量級，例如，結(jié)合了視覺特征、粗糙度以及深度的信息，我們可以極其準(zhǔn)確地識別出車道線。而不會被其他的白色物（深度信息不同）、舊車道線（粗糙度不同）、柵欄的投影（亮度不同）等因素目前，傳感器融合主要是后融合，即不同種類的傳感器各自獨立進行目標(biāo)識別后，再進行融合。這種融合方式的不足在于，當(dāng)不同種類的傳感器各自生成目標(biāo)時，大量的信息就會被過濾掉。但實際上這些被過濾掉的原始數(shù)據(jù)可能包含有意義的特性信息，可以跟其他傳感器數(shù)據(jù)融合，做出更準(zhǔn)確的判斷。同時，如何將不同傳感器識別的同一個目標(biāo)，例如，車輛，映射到一個統(tǒng)一的３Ｄ環(huán)境坐標(biāo)系中，也是一個難題。深度學(xué)習(xí)最開始僅用于視覺感知，但的趨勢是將深度學(xué)習(xí)應(yīng)用于所有的傳感器數(shù)據(jù)，這就是前融合（ｅ?ｏｎ）。通過一張單一神經(jīng)網(wǎng)絡(luò)，將激光、毫米波和頭的原始數(shù)據(jù)輸入，整體輸出感知結(jié)果。上述傳感器的進步使得前融合的意義更加突出。在這方面，中國的初創(chuàng)公司Ｒｏａａｒ正在推進前融合的技術(shù)開發(fā)。（四）自動駕駛視覺處理器：從通用處理 處理隨著深度學(xué)習(xí)從研究，處理器效能正成為自動駕駛落地的關(guān)鍵，目前，英偉達的ＰＸ２平臺是最為流行的計算平臺，ＧＰＵ作為一個通用計算構(gòu)架，在應(yīng)對深度學(xué)習(xí)的計算方面，其表現(xiàn)不夠高效，并且有其固有的缺陷，包括：內(nèi)存帶寬依然是瓶頸，缺乏足夠的Ｏｎ?ＣｈｉｐＲＡＭ；