單元4-1多傳感器同步理論認(rèn)知目錄CATALOGUE014.1.1時(shí)間同步024.1.2空間同步014.1.1時(shí)間同步時(shí)間同步的定義時(shí)間同步是指通過統(tǒng)一的主機(jī)給各個傳感器提供基準(zhǔn)時(shí)間，各傳感器根據(jù)已經(jīng)校準(zhǔn)后的各自時(shí)間為各自獨(dú)立采集的數(shù)據(jù)加上時(shí)間戳信息。時(shí)間戳同步的局限雖然所有傳感器的時(shí)間戳可以做到同步，但由于各個傳感器的采集周期是相互獨(dú)立的，因此無法保證在同一時(shí)刻采集到相同的信息。時(shí)間同步定義GPS時(shí)間指的是GPS原子時(shí)，是以UTC時(shí)間1980年1月6日0時(shí)0分0秒為時(shí)間基準(zhǔn)，以后按照國際原子時(shí)（TempsAtomiqueInternational，TAI）秒長累計(jì)計(jì)時(shí)。GPS時(shí)間的基準(zhǔn)GPS時(shí)間戳的準(zhǔn)確性對于自動駕駛等應(yīng)用至關(guān)重要，它要求時(shí)間戳的偏差必須嚴(yán)格控制在一定范圍內(nèi)，以確保定位數(shù)據(jù)的精確性。GPS時(shí)間的準(zhǔn)確性（1）GPS/GNSS時(shí)間戳VS在自動駕駛中，卷簾快門相機(jī)支持外部觸發(fā)曝光，但需要關(guān)注曝光時(shí)間。由于相機(jī)幀周期包括曝光時(shí)間和readout時(shí)間，readout時(shí)間是固定的。推算圖像真實(shí)時(shí)間戳對于相同CMOS芯片的相機(jī)，其readout時(shí)間是固定的，可以通過反推圖像真實(shí)時(shí)間戳（一般采用曝光時(shí)間）來確定圖像的實(shí)際拍攝時(shí)間。相機(jī)時(shí)間戳的作用（2）相機(jī)時(shí)間戳激光雷達(dá)的作用自動駕駛中使用的激光雷達(dá)，從硬件層面上就支持授時(shí)，即有硬件觸發(fā)器（trigger）觸發(fā)激光雷達(dá)的數(shù)據(jù)，并給這一幀數(shù)據(jù)打上時(shí)間戳。激光雷達(dá)時(shí)間同步（3）激光雷達(dá)時(shí)間戳激光雷達(dá)通常有兩種時(shí)間同步接口，一種是基于IEEE1588的以太網(wǎng)時(shí)間同步機(jī)制，另一種是PPS+NMEA協(xié)議，即基于GPS的時(shí)間同步機(jī)制。0102毫米波雷達(dá)的特點(diǎn)目前主流的車載毫米波雷達(dá)采用FMCW調(diào)制方式，一上電便進(jìn)行信號發(fā)送和接收，其內(nèi)部設(shè)有專門的時(shí)間機(jī)制，無法接收外部時(shí)間。毫米波雷達(dá)時(shí)間同步毫米波雷達(dá)周期性發(fā)送CAN信號，所以可以從CAN信號中獲取數(shù)據(jù)時(shí)間。在自動駕駛中，時(shí)間同步對于確保數(shù)據(jù)準(zhǔn)確性和系統(tǒng)性能至關(guān)重要。（4）毫米波雷達(dá)時(shí)間戳傳感器時(shí)間戳類型包括GPS/GNSS、相機(jī)、激光雷達(dá)、毫米波雷達(dá)和IMU時(shí)間戳，分別用于全球定位、視覺識別、距離測量和慣性導(dǎo)航。IMU與GPS集成IMU一般與GPS集成在一起，假設(shè)集成在現(xiàn)場可編程邏輯門陣列（FieldProgrammableGateArray，F(xiàn)PGA）上，接收FPGA輸出的高精度時(shí)間脈沖。高精度時(shí)間戳通過將傳感器信號打上高精度時(shí)間戳，能夠?qū)崿F(xiàn)精確的時(shí)空定位，為自動駕駛等應(yīng)用提供可靠的數(shù)據(jù)支持，確保系統(tǒng)的高效運(yùn)行和決策準(zhǔn)確性。時(shí)間同步定義時(shí)間同步指通過統(tǒng)一主機(jī)提供基準(zhǔn)時(shí)間，確保各傳感器數(shù)據(jù)時(shí)間戳同步，但獨(dú)立采集周期無法保障同一時(shí)刻信息同步。（5）IMU時(shí)間戳1.軟件同步軟件同步方法軟件同步主要通過時(shí)間戳匹配不同傳感器數(shù)據(jù)，將各傳感器數(shù)據(jù)統(tǒng)一到掃描周期較長的傳感器數(shù)據(jù)上。采樣頻率匹配數(shù)據(jù)時(shí)間匹配以4線激光雷達(dá)（12.5Hz）和相機(jī)（30Hz）為例，激光雷達(dá)的周期長，以激光雷達(dá)的采樣頻率為基準(zhǔn)進(jìn)行匹配。傳感器的每個采樣時(shí)刻記錄在統(tǒng)一的時(shí)間序列上，當(dāng)激光雷達(dá)完成一次采樣時(shí)，尋找與該時(shí)刻最近鄰時(shí)刻的圖像。通過唯一時(shí)鐘源同步各傳感器時(shí)間戳，支持硬件觸發(fā)時(shí)，可采用GPS時(shí)間戳作為基準(zhǔn)進(jìn)行硬件觸發(fā)。統(tǒng)一時(shí)鐘源硬件同步觸發(fā)通過尋找相鄰時(shí)間戳找到最近鄰幀，緩解查找時(shí)間戳造成的誤差現(xiàn)象，調(diào)整傳感器頻率減少時(shí)間差問題。硬件同步觸發(fā)2.硬件同步024.1.2空間同步純估計(jì)方法的缺點(diǎn)純估計(jì)方法的缺點(diǎn)是低頻率激光雷達(dá)，勻速運(yùn)動假設(shè)不成立；數(shù)據(jù)預(yù)處理和狀態(tài)估計(jì)過程存在耦合。純估計(jì)方法純估計(jì)方法一般是基于激光雷達(dá)勻速假設(shè)，通過幀間點(diǎn)云匹配來計(jì)算激光雷達(dá)的位置來進(jìn)行線性補(bǔ)償?shù)?。常用方法純估?jì)方法常用方法包括ICP以及其相關(guān)的變種VICP和ANN，共同為激光雷達(dá)定位與地圖構(gòu)建提供基礎(chǔ)。1.純估計(jì)方法里程計(jì)輔助方法：里程計(jì)輔助方法是利用IMU信息對激光數(shù)據(jù)中每個激光點(diǎn)對應(yīng)的傳感器位姿進(jìn)行求解。01里程計(jì)輔助方法優(yōu)點(diǎn)：具有極高的位姿更新頻率，能夠比較準(zhǔn)確地反應(yīng)運(yùn)動情況；具有較高精度的局部位姿估計(jì)。02里程計(jì)輔助方法缺點(diǎn)：跟狀態(tài)估計(jì)完全解耦，單獨(dú)依賴IMU信息，可能受累積誤差影響，導(dǎo)致長時(shí)間導(dǎo)航精度下降。03里程計(jì)輔助方法流程：通過IMU與點(diǎn)云數(shù)據(jù)時(shí)間對齊，對每個點(diǎn)進(jìn)行速度補(bǔ)償，將所有點(diǎn)云數(shù)據(jù)轉(zhuǎn)換到初始點(diǎn)云的IMU坐標(biāo)下。04里程計(jì)輔助方法流程2：與上去完畸變的點(diǎn)云數(shù)據(jù)進(jìn)行幀間匹配，計(jì)算激光姿態(tài)，根據(jù)姿態(tài)補(bǔ)償點(diǎn)云數(shù)據(jù)，轉(zhuǎn)換到最后一幀時(shí)間戳下。052.里程計(jì)輔助方法里程計(jì)矯正里程計(jì)誤差評估進(jìn)行ICP迭代，直到收斂為止，確保激光點(diǎn)云數(shù)據(jù)與真實(shí)場景一致，提高定位精度。ICP迭代優(yōu)化把誤差值均攤在每一個點(diǎn)上，重新進(jìn)行激光點(diǎn)位置修正，提高激光點(diǎn)云數(shù)據(jù)的精度。激光點(diǎn)位置修正用ICP的方法進(jìn)行匹配，匹配的結(jié)果作為真值，得到里程計(jì)的誤差值。ICP匹配誤差分析我們用里程計(jì)方法進(jìn)行矯正，去除絕大部分的運(yùn)動畸變，確保激光點(diǎn)云數(shù)據(jù)準(zhǔn)確性。認(rèn)為里程計(jì)存在誤差，但是誤差值是線性分布的，為后續(xù)的誤差修正提供基礎(chǔ)。3.融合的方法THANKS感謝觀看單元4-2多傳感器融合理論認(rèn)知CATALOGUE目錄4.2.1多傳感器融合的體系架構(gòu)與級別分類4.2.2多傳感器融合的算法4.2.3多傳感器融合方案014.2.1多傳感器融合的體系架構(gòu)與級別分類1.多傳感器融合的體系架構(gòu)集中式集中式將各傳感器獲得的原始數(shù)據(jù)直接送至信息融合中心進(jìn)行融合處理，可以實(shí)現(xiàn)實(shí)時(shí)融合。優(yōu)點(diǎn)是數(shù)據(jù)處理的精度高，算法靈活；缺點(diǎn)是對處理器的要求高，可靠性較低，數(shù)據(jù)量大，故難以實(shí)現(xiàn)?；旌鲜交旌鲜蕉鄠鞲衅餍畔⑷诤峡蚣苤?，部分傳感器集中式融合，剩余傳感器分布式融合?；旌鲜饺诤峡蚣苓m應(yīng)性強(qiáng)，兼顧集中式和分布式融合優(yōu)點(diǎn)，穩(wěn)定性強(qiáng)，但結(jié)構(gòu)復(fù)雜，加大了通信和計(jì)算代價(jià)。分布式先對各個獨(dú)立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理，再送入信息融合中心優(yōu)化組合得最終結(jié)果。分布式對通信帶寬的需求低，計(jì)算速度快，可靠性和延續(xù)性好，但跟蹤的精度卻遠(yuǎn)沒有集中式高。030201數(shù)據(jù)級數(shù)據(jù)級融合接收傳感器采集的環(huán)境數(shù)據(jù)，僅經(jīng)初步操作，保留數(shù)據(jù)特性，信息豐富、精度高，利于后續(xù)分析，確保環(huán)境特征提取準(zhǔn)確。但原始數(shù)據(jù)信息量大，要求系統(tǒng)具備分辨信息優(yōu)劣的能力。2.多傳感器融合的級別分類特征級融合特征級融合先提取環(huán)境特征，再融合傳感器特征信息，減少了信息量，提高了處理速度，減少了決策層計(jì)算量和數(shù)據(jù)冗余。但這種方法舍棄了許多環(huán)境數(shù)據(jù)，僅保留了關(guān)鍵特征信息。決策級融合決策級融合是對傳感器最終檢測結(jié)果進(jìn)行融合，實(shí)時(shí)性高，容錯性好，但處理煩瑣。融合級別的選擇需根據(jù)行駛工況和需求來定，有時(shí)需組合多種融合方式，并兼顧處理速度、融合精度。3.多傳感器后融合與前融合后融合后融合技術(shù)中，每個傳感器獨(dú)立輸出探測數(shù)據(jù)，處理后融合匯總感知結(jié)果。如相機(jī)和激光雷達(dá)分別生成目標(biāo)列表，最后通過合適算法融合這些數(shù)據(jù)，實(shí)現(xiàn)綜合感知。前融合技術(shù)前融合技術(shù)直接在原始數(shù)據(jù)層面融合所有傳感器信息，實(shí)現(xiàn)感知功能后輸出探測目標(biāo)。這種方式只需設(shè)計(jì)一種感知算法，處理包含豐富信息的融合數(shù)據(jù)，提高感知精確度。前融合優(yōu)勢前融合技術(shù)因在原始數(shù)據(jù)層面融合信息，檢測精度高于后融合，發(fā)展前景更廣闊。面對部分探測目標(biāo)，前融合能獲取更完整信息，提高識別可靠性，避免數(shù)據(jù)丟失。024.2.2多傳感器融合的算法加權(quán)平均法概述信號級融合方法最簡單直觀的方法是加權(quán)平均法，將一組傳感器提供的冗余信息進(jìn)行加權(quán)平均，結(jié)果作為融合值。方法特點(diǎn)加權(quán)平均法是一種直接對數(shù)據(jù)源進(jìn)行操作的方法，能夠有效地融合傳感器提供的信息，為實(shí)際應(yīng)用提供更為準(zhǔn)確和全面的數(shù)據(jù)支持。1.加權(quán)平均法自動駕駛應(yīng)用自動駕駛汽車融合感知算法主要采用卡爾曼濾波算法，通過線性系統(tǒng)狀態(tài)方程和輸入輸出觀測數(shù)據(jù)，實(shí)現(xiàn)系統(tǒng)狀態(tài)的最優(yōu)估計(jì)?？柭鼮V波法概述主要用于融合低層次實(shí)時(shí)動態(tài)多傳感器冗余數(shù)據(jù)，通過測量模型的統(tǒng)計(jì)特性遞推，決定統(tǒng)計(jì)意義下的最優(yōu)融合和數(shù)據(jù)估計(jì)。適用范圍如果系統(tǒng)具有線性動力學(xué)模型，且系統(tǒng)與傳感器的誤差符合高斯白噪聲模型，卡爾曼濾波將為融合數(shù)據(jù)提供唯一統(tǒng)計(jì)意義下的最優(yōu)估計(jì)。優(yōu)點(diǎn)與問題卡爾曼濾波的遞推特性使系統(tǒng)處理無須大量的數(shù)據(jù)存儲和計(jì)算；但是存在冗余信息導(dǎo)致的計(jì)算量劇增和故障污染問題。2.卡爾曼濾波法多貝葉斯估計(jì)法是將每一個傳感器作為一個貝葉斯估計(jì)，把各單獨(dú)物體的關(guān)聯(lián)概率分布合成一個聯(lián)合的后驗(yàn)概率分布函數(shù)。多貝葉斯估計(jì)法概述通過使聯(lián)合分布函數(shù)的似然函數(shù)為最小，提供多傳感器信息的最終融合值，融合信息與環(huán)境的一個先驗(yàn)?zāi)Ｐ鸵蕴峁┱麄€環(huán)境的一個特征描述。融合方法3.多貝葉斯估計(jì)法D-S證據(jù)推理法概述D-S證據(jù)推理法是貝葉斯推理的擴(kuò)充，包含基本概率賦值函數(shù)、信任函數(shù)和似然函數(shù)三個基本要點(diǎn)。D-S證據(jù)推理法結(jié)構(gòu)D-S證據(jù)推理法的推理結(jié)構(gòu)是自上而下的，分為目標(biāo)合成、推斷和更新三級，以合并傳感器觀測結(jié)果并優(yōu)化可靠性。4.D-S證據(jù)推理法模糊集合與數(shù)據(jù)融合模糊集合理論對于數(shù)據(jù)融合的實(shí)際價(jià)值在于它外延到模糊邏輯，使用多值邏輯推理和模糊集合理論的演算來實(shí)現(xiàn)數(shù)據(jù)融合。模糊邏輯與多值邏輯模糊邏輯是多值邏輯的一種，通過0到1之間的實(shí)數(shù)表示真實(shí)度，允許將多個傳感器信息融合過程中的不確定性直接表示在推理過程中。邏輯推理的優(yōu)點(diǎn)與概率統(tǒng)計(jì)方法相比，邏輯推理更接近人類的思維方式，適合高層次應(yīng)用（如決策）。但邏輯推理本身還不夠成熟和系統(tǒng)化。5.模糊邏輯推理神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)融合神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的容錯性以及自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射，滿足多傳感器數(shù)據(jù)融合技術(shù)處理的要求。6.人工神經(jīng)網(wǎng)絡(luò)法神經(jīng)網(wǎng)絡(luò)與不確定性多傳感器系統(tǒng)中，信息源所提供環(huán)境信息具有不確定性，對這些不確定信息的融合過程是一個不確定性推理過程。神經(jīng)網(wǎng)絡(luò)與推理機(jī)制神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接受的樣本相似性確定分類標(biāo)準(zhǔn)，表現(xiàn)在網(wǎng)絡(luò)的權(quán)值分布上，同時(shí)可以采用學(xué)習(xí)算法來獲取知識，得到不確定性推理機(jī)制。034.2.3多傳感器融合方案1.激光雷達(dá)與視覺傳感器融合視覺傳感器視覺傳感器價(jià)格低廉，但易受環(huán)境光影響，可靠性較低；它能進(jìn)行車道線檢測、障礙物檢測和交通標(biāo)志的識別。激光雷達(dá)激光雷達(dá)探測距離遠(yuǎn)，對物體運(yùn)動判斷精準(zhǔn)，可靠性高，但價(jià)格高；它可以進(jìn)行路沿檢測、動態(tài)和靜態(tài)物體識別、定位和地圖創(chuàng)建。物體識別與標(biāo)定視覺傳感器和激光雷達(dá)分別對物體進(jìn)行識別后，再進(jìn)行標(biāo)定；對于安全性要求100%的無人駕駛汽車，兩者的融合將是未來的互補(bǔ)方案。2.激光雷達(dá)和毫米波雷達(dá)融合01毫米波雷達(dá)成為ADAS的核心傳感器，具有體積小、質(zhì)量輕、空間分辨率高等特點(diǎn)，穿透霧、煙、灰塵的能力強(qiáng)，彌補(bǔ)了激光雷達(dá)的不足。毫米波雷達(dá)受制于波長，探測距離有限，無法感知行人，且對周邊障礙物建模不準(zhǔn)確，這恰是激光雷達(dá)的強(qiáng)項(xiàng)。激光雷達(dá)和毫米波雷達(dá)不僅可以在性能上實(shí)現(xiàn)互補(bǔ)，還可以大大降低使用成本，為無人駕駛的開發(fā)提供一個新的選擇。0203毫米波雷達(dá)毫米波雷達(dá)的局限互補(bǔ)優(yōu)勢識別能力強(qiáng)視覺傳感器和毫米波雷達(dá)的融合系統(tǒng)具有強(qiáng)大的識別能力，能夠應(yīng)對各種復(fù)雜對象，包括行人、車輛、道路標(biāo)志等。可靠性通過視覺傳感器和毫米波雷達(dá)的數(shù)據(jù)融合，可以有效提高目標(biāo)識別的可靠性，使系統(tǒng)能夠更準(zhǔn)確地判斷目標(biāo)物體的真實(shí)性和可信度?；パa(bǔ)性視覺傳感器和毫米波雷達(dá)在感知范圍上互為補(bǔ)充，能夠?qū)崿F(xiàn)全天候的應(yīng)用，并在遠(yuǎn)距離上提前進(jìn)行預(yù)警，提高駕駛安全性。高精度通過兩者的數(shù)據(jù)融合，可以實(shí)現(xiàn)大視場角、全距離條件下的高性能定位，為智能網(wǎng)聯(lián)汽車提供準(zhǔn)確的空間感知能力。3.視覺傳感器和毫米波雷達(dá)融合THANKS感謝觀看單元4-3基于V2I/V2N的感知融合系統(tǒng)技術(shù)應(yīng)用CATALOGUE目錄4.3.1V2I/V2N感知融合系統(tǒng)架構(gòu)4.3.2V2I/V2N感知融合應(yīng)用場014.3.1V2I/V2N感知融合系統(tǒng)架構(gòu)邊緣計(jì)算與數(shù)據(jù)處理邊緣計(jì)算通過在靠近用戶終端設(shè)備的網(wǎng)絡(luò)邊緣處理和存儲數(shù)據(jù)，就近為用戶提供可靠穩(wěn)定的服務(wù)，優(yōu)化數(shù)據(jù)處理和傳輸。V2I/V2N感知融合系統(tǒng)基于V2I/V2N的感知融合系統(tǒng)通過路側(cè)與車載感知子系統(tǒng)，利用毫米波雷達(dá)、激光雷達(dá)、攝像頭等感知設(shè)備，實(shí)現(xiàn)智能汽車的決策與控制。云平臺與定制化服務(wù)云平臺為智能汽車、路側(cè)設(shè)備、交通管理者等提供定制化服務(wù)，如區(qū)域地圖、天氣預(yù)告、前方擁堵、交通管理及區(qū)域規(guī)劃等。4.3.1V2I/V2N感知融合系統(tǒng)架構(gòu)V2N技術(shù)與應(yīng)用場景V2N技術(shù)可以實(shí)現(xiàn)智能車輛、路側(cè)設(shè)備、交通地圖、交通服務(wù)商等連接，通過局域優(yōu)化方式規(guī)劃行車路線，實(shí)現(xiàn)節(jié)能控速、綠波通行等功能。4.3.1V2I/V2N感知融合系統(tǒng)架構(gòu)V2I/V2N通信單元與模塊化設(shè)計(jì)在車端與路端布設(shè)5G通信終端和OBU、RSU，組成V2I/V2N通信單元，實(shí)現(xiàn)低延遲、大帶寬的通信能力，以支持多種場景的應(yīng)用需求。感知融合與模塊化信息接入不同的交通場景對感知的需求存在差異，感知融合系統(tǒng)的信息接入方式應(yīng)采用模塊化方式設(shè)計(jì)，在不同的場景需求條件下可以靈活配置感知模塊。024.3.2V2I/V2N感知融合應(yīng)用場SV隨TV2行駛，TV2隨TV1行駛。若TV1緊急制動，SV因TV2遮擋無法預(yù)知。此場景易發(fā)生碰撞。前車跟車行駛場景利用V2I/V2N技術(shù)，在路側(cè)布設(shè)毫米波雷達(dá)和高清攝像頭，實(shí)現(xiàn)SV的透視感知能力，確保行車安全。感知設(shè)備布局路側(cè)感知融合在MEC中完成，將感知信息通過V2I實(shí)時(shí)發(fā)送給SV，實(shí)現(xiàn)遮擋區(qū)域目標(biāo)信息的感知。感知信息融合1.前車跟車行駛場景1.前車跟車行駛場景車端感知與導(dǎo)航在車端布設(shè)前視攝像頭和前視長距毫米波雷達(dá)，實(shí)時(shí)檢測前方車輛TV2的運(yùn)動狀態(tài)，車載組合導(dǎo)航系統(tǒng)提供本車運(yùn)動狀態(tài)信息。云平臺信息云平臺通過V2N向SV提供前方事故、前方臨時(shí)交通管制等信息，確保車輛行駛安全和順暢。車載感知融合車載感知融合單元匯總車載感知信息、路側(cè)感知信息及云平臺信息，實(shí)現(xiàn)SV跟車行駛、保持車距，并提前獲取前方道路狀況而做出預(yù)判，避免碰撞危險(xiǎn)。V2I/V2N感知系統(tǒng)SV通過路側(cè)傳感器和云平臺獲取被遮擋車輛TV1的加減速度信息和其前方路況，若探測到TV1的制動減速度大于一定的閾值或者TV1前方存在緊急事故，可預(yù)測TV1將緊急制動。SV減速或變換車道SV可根據(jù)前車的距離、速度信息及相鄰車道環(huán)境，采取適當(dāng)?shù)臏p速或者變換車道策略，避免緊急制動或者碰撞，保障大型客車或者貨車的安全。1.前車跟車行駛場景傳感器布局方案針對復(fù)雜十字路口，采用全面覆蓋的傳感器布局，確保全方位檢測行進(jìn)區(qū)域沖突目標(biāo)，保障車輛安全通過。十字路口交通復(fù)雜在繁忙十字路口，交通量匯入，參與者軌跡多樣，行人闖紅燈、非機(jī)動車亂行、遮擋區(qū)域行人及車輛難檢測，易致事故。SV決策信息SV過十字路口需獲取紅綠燈、行車標(biāo)識、盲區(qū)行人及車輛信息、沖突方向車輛狀態(tài)，及時(shí)決策以避免碰撞。2.車輛穿越交叉路口場景交通雷達(dá)與攝像頭在路口各道路方向布設(shè)交通雷達(dá)，獲取道路車輛排隊(duì)長度、路口車輛速度、重點(diǎn)車輛軌跡等；入口布設(shè)攝像頭，識別斑馬線的行人、道路標(biāo)識、盲區(qū)目標(biāo)分類。激光雷達(dá)與MEC在路口布設(shè)可覆蓋各方向的激光雷達(dá)，檢測與識別進(jìn)入路口的行人、車輛等目標(biāo)。路側(cè)傳感器數(shù)據(jù)在MEC中完成數(shù)據(jù)融合，獲取路口區(qū)域目標(biāo)融合信息，通過V2I發(fā)送到車端，實(shí)現(xiàn)路口無盲區(qū)覆蓋檢測。交通燈與云平臺交通燈、道路指示牌等通過V2I向車輛提供紅綠燈狀態(tài)信息、限速信息等；云平臺高精地圖提供路口車道線、斑馬線等信息，助車輛精確定位、遵守指示。2.車輛穿越交叉路口場景2.車輛穿越交叉路口場景遮擋區(qū)域與云平臺通過路側(cè)傳感器獲取遮擋區(qū)域行人、車輛信息、闖紅燈車輛，提前規(guī)劃行車路徑以避開遮擋區(qū)域障礙；通過云平臺獲取區(qū)域規(guī)劃及高精地圖信息，與本車感知信息融合保障SV車輛無違章、按照既定行駛路線通過路口。紅綠燈與規(guī)劃在穿過十字路口時(shí)，SV車輛通過V2I/V2N感知系統(tǒng)提前獲取紅綠燈狀態(tài)計(jì)時(shí)信息和路口限速信息，提前規(guī)劃車輛速度和路線，保證平穩(wěn)行駛。區(qū)域規(guī)劃服務(wù)區(qū)域規(guī)劃服務(wù)可為車輛提供區(qū)域規(guī)劃的行駛路線和車速，實(shí)現(xiàn)節(jié)能控速、綠波通行等功能；車載傳感器融合實(shí)現(xiàn)全方位感知，為車輛決策提供可靠依據(jù)，確保安全穿過十字路口。高速路匝道匯入高速路的匝道入口易擁堵事故，因路面窄、車流匯聚；匝道與高速路之間存在遮擋等，造成匝道車輛受遮擋而無法判斷并入車道是否有車輛高速行駛，易造成碰撞。3.高速路匝道車輛匯入場景SV匯入主路策略為避免此類沖突事件發(fā)生，匝道匯入車輛SV應(yīng)具備感知受遮擋區(qū)域的主路車輛信息，根據(jù)主路車輛及時(shí)調(diào)整并道時(shí)機(jī)，安全穩(wěn)定地進(jìn)入主路。ETC提高通行效率SV與路側(cè)ETC實(shí)時(shí)通信，實(shí)現(xiàn)不停車?yán)U費(fèi)，提高匝道通行效率；同時(shí)SV應(yīng)及時(shí)感知前車運(yùn)動狀態(tài)的能力，保持安全距離，安全跟車行駛。3.高速路匝道車輛匯入場景交通雷達(dá)與高清相機(jī)交通雷達(dá)與路側(cè)高清相機(jī)實(shí)時(shí)融合，實(shí)時(shí)檢測主路交通信息，通過V2I下發(fā)到車端；路側(cè)限速標(biāo)識、ETC等設(shè)施，通過V2I與車輛實(shí)時(shí)交互，提供道路限速預(yù)警及高速收費(fèi)信息。車端檢測與導(dǎo)航在車端布設(shè)前視攝像頭和前視毫米波雷達(dá)，實(shí)時(shí)監(jiān)控前車運(yùn)動狀態(tài)；安裝角向雷達(dá)、后視攝像頭及側(cè)視攝像頭，檢測主路匯入車道車輛運(yùn)行信息，協(xié)助SV變道進(jìn)入主路。路側(cè)檢測與跟蹤在路側(cè)布設(shè)交通雷達(dá)實(shí)時(shí)檢測主路沖突車道車輛運(yùn)動信息，并跟蹤潛在沖突車輛的運(yùn)動軌跡；布設(shè)路側(cè)高清攝像頭，實(shí)時(shí)監(jiān)控及識別應(yīng)急車道特殊車輛、沖突區(qū)域車輛類型、車道標(biāo)識等。030201組合導(dǎo)航設(shè)備提供本車的速度、航向、時(shí)間同步等信息；路側(cè)感知等信息在車端融合，實(shí)現(xiàn)SV車輛透過障礙物感知主路車輛信息，實(shí)時(shí)監(jiān)視周圍環(huán)境，并具備不停車?yán)U費(fèi)的功能。組合導(dǎo)航與融合SV行駛在匝道欲匯入高速主路時(shí)，通過路側(cè)ETC完成不停車計(jì)費(fèi)；提前獲取匝道限速、彎道曲率；本車傳感器獲取前車運(yùn)動信息；利用路側(cè)感知信息；保障車輛安全匯入主路。V2I/V2N感知框架3.高速路匝道車輛匯入場景THANKS感謝觀看單元4-4BEV感知融合技術(shù)應(yīng)用CATALOGUE目錄4.4.1BEV感知的定義與必要性4.4.2視覺Transformer4.4.3BEV感知的應(yīng)用014.4.1BEV感知的定義與必要性BEV感知應(yīng)用廣泛BEV感知技術(shù)應(yīng)用于高精度地圖構(gòu)建、多傳感器融合、目標(biāo)檢測與跟蹤、場景理解、自主決策與規(guī)劃等，為自動駕駛提供全面環(huán)境感知能力。自動駕駛挑戰(zhàn)多自動駕駛系統(tǒng)需應(yīng)對復(fù)雜場景，極端情況對感知和決策提出高要求；BEV技術(shù)通過全局視角增強(qiáng)感知，為處理極端情況提供更好支持。BEV感知全面準(zhǔn)確BEV感知提供全面準(zhǔn)確環(huán)境信息，解決傳統(tǒng)視覺感知局限；已應(yīng)用于自動駕駛、智能交通等，有效提升場景感知能力。視覺BEV感知原理視覺BEV感知基于多視角圖像序列，轉(zhuǎn)換BEV特征進(jìn)行感知，輸出3D檢測框或俯視圖分割；語義信息豐富但深度測量不足。1.BEV感知的定義自動駕駛感知規(guī)劃自動駕駛決策規(guī)劃需多感知預(yù)測模塊提供環(huán)境信息，包括動態(tài)物體檢測和靜態(tài)元素識別，以支持決策避免碰撞。視覺感知預(yù)測融合純視覺感知預(yù)測算法解決單個子問題，通過前融合或后融合結(jié)果；搭建系統(tǒng)時(shí)只能線性堆疊子模塊，存在模型誤差傳遞問題。串行架構(gòu)缺點(diǎn)上游模塊誤差向下游傳遞，影響下游任務(wù)性能；重復(fù)特征提取等運(yùn)算無法共享，影響系統(tǒng)效率；無法充分利用時(shí)序信息。BEV并行感知多攝像頭或雷達(dá)轉(zhuǎn)換鳥瞰視角感知，增大視野并行任務(wù)；傳統(tǒng)BEV變換先提取特征再分割，逆透視變換消除視覺影響。IPM變換優(yōu)化IPM連接影像與BEV空間，需了解傳感器參數(shù)；改進(jìn)算法添加俯仰校正，利用深度學(xué)習(xí)進(jìn)行BEV空間轉(zhuǎn)換，融合多傳感器數(shù)據(jù)。2.BEV感知的必要性0102030405BEV感知優(yōu)勢跨視覺傳感器或多模態(tài)融合簡單直觀，構(gòu)建4D空間易實(shí)現(xiàn)時(shí)序融合；可預(yù)測被遮擋目標(biāo)，端到端優(yōu)化易行，避免誤差累積，提升感知網(wǎng)絡(luò)性能。BEV感知技術(shù)特點(diǎn)提供全局視角，增強(qiáng)自動駕駛復(fù)雜場景表現(xiàn)；通過攝像頭捕捉圖像，獲取顏色和紋理信息，成本相對較低，適用于大規(guī)模商業(yè)化部署。BEV感知技術(shù)優(yōu)勢相比單視角相機(jī)，BEV感知技術(shù)提供全局視角，更好應(yīng)對復(fù)雜場景和惡劣天氣；處理極端情況更佳，總體成本低于激光雷達(dá)，性能提升明顯。3.BEV感知技術(shù)的優(yōu)勢024.4.2視覺Transformer視覺Transformer是一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，被廣泛用于計(jì)算機(jī)視覺領(lǐng)域中的圖像處理任務(wù)。視覺Transformer定義與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不同，視覺Transformer在不使用卷積操作的情況下對圖像進(jìn)行處理。視覺Transformer特點(diǎn)視覺Transformer模型由多個層次組成，每個層次都包括多頭自注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊。視覺Transformer結(jié)構(gòu)視覺Transformer模型概述自注意力模塊自注意力模塊是模型的核心組件，它能夠自適應(yīng)地關(guān)注輸入的不同區(qū)域，并學(xué)習(xí)到區(qū)域之間的關(guān)系。前饋神經(jīng)網(wǎng)絡(luò)模塊前饋神經(jīng)網(wǎng)絡(luò)模塊負(fù)責(zé)對每個位置的特征進(jìn)行非線性變換和擴(kuò)展，以增強(qiáng)模型的表達(dá)能力。視覺Transformer模型概述視覺Tr