區(qū)雙港東大街169號所(普通合伙)36183GO6VGO6N多視角相機圖像與激光雷達融合的道路感知方法與系統(tǒng)本發(fā)明提出一種多視角相機圖像與激光雷于車載相機多視角圖像和激光雷達點云數據得到相機鳥瞰圖的深度信息特征和激光雷達鳥瞰特征和激光雷達鳥瞰圖的深度信息特征得到具的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特相機的圖像，實時推理預測當前場景的道路情將獲取到的車載相機多視角圖像，輸入至將獲取到的車載相機多視角圖像，輸入至Swin-Transformer網絡，經過多模態(tài)特征轉換得到相機鳥敢圖的深度信息特征；將獲取到的激光雷達Voxe1Net模型處理，得到激光雷達鳥瞰圖的基于相機鳥瞰圖的深度信息特征和激光雷達鳥瞰圖的深度信息特征，機信息和雷達信息；基于相機信息和雷達信息，通過鳥瞰圖素體池化無深度分布的相機鳥瞰圖特征和無深度分布的圖像特征；通過激光深度信息特征，對無深度分布的圖像特征插入激光雷達深度特征，得將具有深度分布的相機鳥敢圖特征和無深度分布的相機鳥敢圖特征基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的分別確認得到對應的查詢向量、健向量和值向量；基于對應的查將鳥瞰圖增強特征輸入至語義分割頭進行預測，以生成得到步驟1步驟2步驟321.一種多視角相機圖像與激光雷達融合的道路感知方法，其特征在于，所述方法基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，得到無深度分布的相機鳥瞰圖通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的圖像步驟3、將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征步驟4、基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特2.根據權利要求1所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在3.根據權利要求2所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在采用PointNet提取體素內部點的局部幾何特征，并通過多層感知機和最大34.根據權利要求3所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在 5.根據權利要求4所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在理，表示通過卷積函數處理，h(·)表示經過參數集為x的單一卷積神經網絡層處6.根據權利要求5所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在7.根據權利要求6所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在48.根據權利要求7所述的多視角相機圖像與激光雷達融合的道路感知方法，其特征在9.一種多視角相機圖像與激光雷達融合的道路感知系統(tǒng)，其特征在于，所述系統(tǒng)應用如權利要求1至8任意一種多視角相機圖像與激光雷達融合的道路感知方法，所述系統(tǒng)包基于相機鳥瞰圖的深度信息特征和激光雷達鳥瞰圖的深度信基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，得到通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的圖像5征，得到具有深度分布的相機鳥瞰圖特征；將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征對齊，得到含有深度信息表示的相機鳥瞰圖像特征；鳥瞰圖特征增強融合模塊，用于：基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特征，分別確認得到對應的查詢向量、鍵向量和值向量；基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特征；道路感知預測輸出模塊，用于：將鳥瞰圖增強特征輸入至語義分割頭進行預測，以生成得到預測結果。6多視角相機圖像與激光雷達融合的道路感知方法與系統(tǒng)技術領域[0001]本發(fā)明涉及深度學習與計算機視覺分析領域，特別涉及多視角相機圖像與激光雷達融合的道路感知方法與系統(tǒng)。背景技術[0002]以視覺為核心的自動駕駛技術的演進，在很大程度上依賴于對復雜動態(tài)環(huán)境的精準解讀與實時響應，這要求感知系統(tǒng)具備足夠的穩(wěn)健性。其中，道路感知作為核心感知任務之一，能夠幫助自動駕駛車輛可靠地識別可行駛區(qū)域，確保安全導航，并與周圍環(huán)境進行智能交互，從而為自動駕駛技術在真實交通場景中的廣泛應用奠定基礎。道路感知技術在識別道路信息方面至關重要，它為車輛提供高質量的決策依據，使其能夠在道路內外執(zhí)行巡[0003]為有效預防交通事故、提高車輛安全性能，智能化安全系統(tǒng)的研發(fā)和推廣變得尤為迫切。在自動駕駛技術的發(fā)展過程中，道路感知是至關重要的一環(huán)，其目標在于精準識別和感知道路上的車輛和路況信息，幫助車輛保持車道內行駛并做出安全駕駛決策。[0004]盡管目前道路感知技術在光照良好、路況簡單的情況下已表現出較高的檢測精或者在雨天、夜晚、大霧等惡劣行車環(huán)境下，車載多視角相機受環(huán)境影響導致畫面模糊，進而降低感知的準確性。發(fā)明內容[0005]鑒于上述狀況，本發(fā)明的主要目的是為了提出一種多視角相機圖像與激光雷達融合的道路感知方法與系統(tǒng)，以解決上述技術問題。[0006]本發(fā)明提出多視角相機圖像與激光雷達融合的道路感知方法，所述方法包括如下步驟1、將獲取到的車載相機多視角圖像，輸入至Swin-Transformer網絡，經過多模態(tài)特征轉換得到相機鳥瞰圖的深度信息特征；將獲取到的激光雷達點云數據通過VoxelNet模型處理，得到激光雷達鳥瞰圖的深度信息特征；步驟2、基于相機鳥瞰圖的深度信息特征和激光雷達鳥瞰圖的深度信息特征，確認得到相機信息和雷達信息；基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，得到無深度分布的相機鳥瞰圖特征和無深度分布的圖像特征；通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的圖像特征插入激光雷達深度特征，得到具有深度分布的相機鳥瞰圖特征；步驟3、將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征對齊，得到含有深度信息表示的相機鳥瞰圖像特征；7步驟4、基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特征，分別確認得到對應的查詢向量、鍵向基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特步驟5、將鳥瞰圖增強特征輸入至語義分割頭進行預測，以生成得到預測結果。[0007]本發(fā)明還提出一種多視角相機圖像與激光雷達融合的道路感知系統(tǒng)，所述系統(tǒng)包將獲取到的車載相機多視角圖像，輸入至Swin-Transformer網絡，經過多模態(tài)特征轉換得到相機鳥瞰圖的深度信息特征；將獲取到的激光雷達點云數據通過VoxelNet模型處理，得到激光雷達鳥瞰圖的深度信息特征；基于相機鳥瞰圖的深度信息特征和激光雷達鳥瞰圖的深度信息特征，確認得到相機信息和雷達信息；基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，得到無深度分布的相機鳥瞰圖特征和無深度分布的圖像特征；通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的圖像特征插入激光雷達深度特征，得到具有深度分布的相機鳥瞰圖特征；將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征對齊，得到含有深度信息表示的相機鳥瞰圖像特征；基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特征，分別確認得到對應的查詢向量、鍵向量和值向量；基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特將鳥瞰圖增強特征輸入至語義分割頭進行預測，以生成得到預測結果。[0008]與現有技術相比，本發(fā)明有益效果如下：1、本發(fā)明通過將激光雷達數據生成的點云鳥瞰圖深度信息特征與相機鳥瞰圖深度特征進行交互融合生成增強鳥瞰圖特征，并將雷達點云特征與深度增強鳥瞰圖特征進行對齊，從而彌補相機鳥瞰圖視角對深度信息的不足，以確保非結構化道路段的情況；2、本發(fā)明通過交叉注意力機制將增強鳥瞰圖特征與激光雷達鳥瞰圖特征深度融合以獲得空間感知多模態(tài)特征，以獲得最終的鳥瞰圖級融合特征從而顯著提高鳥瞰圖感知[0009]本發(fā)明的附加方面與優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實施例了解到。8附圖說明圖2為本發(fā)明提出的多視角相機圖像與激光雷達融合的道路感知方法的總體構架示意圖；圖3為本發(fā)明提出的多視角相機圖像與激光雷達融合的道路感知方法的深度信息交互融合模塊示意圖；圖4為本發(fā)明提出的多視角相機圖像與激光雷達融合的道路感知方法的鳥瞰圖特圖5為本發(fā)明提出的多視角相機圖像與激光雷達融合的道路感知系統(tǒng)的總體框架[0013]請參閱圖1和圖2,本發(fā)明實施例提出多視角相機圖像與激光雷達融合的道路感知模態(tài)特征轉換得到相機鳥瞰圖的深度信息特征；9D9EY=f(1,D)示雷達信息；通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的層處理，表示具有深度分布的雷達鳥瞰圖信息，表示激光雷達鳥瞰圖的深度[0017]步驟3、將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行在步驟3中，將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征其中，表示含有深度信息表示的相機鳥瞰圖像特征，表示經過特征[0018]步驟4、基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特其中，表示鳥瞰圖增強特征，Z9,Z?和ZY分別表示含有深度信息表示 [0022]請參閱圖5,本發(fā)明實施例還提供了一種多視角相機圖像與激光雷達融合的道路將獲取到的激光雷達點云數據通過VoxelNet模型處理，得到激基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征對基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特征，基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特將鳥瞰圖增強特征輸入至語義分割頭進行預測，以生成得到預測結果。[0023]應當理解的，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA),現點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。[0025]以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應以所附權將獲取到的車載相機多視角圖像，輸入至將獲取到的車載相機多視角圖像，輸入至Swin-Transformer網絡，經過多模態(tài)特征轉換得到相機鳥瞰圖的深度信息特征；將獲取到的激光雷達點云數據通過VoxelNet模型處理，得到激光雷達鳥瞰圖的深度信息特征基于相機鳥瞰圖的深度信息特征和激光雷達鳥瞰圖的深度信息特征，確認得到相機信息和雷達信息；基于相機信息和雷達信息，通過鳥瞰圖素體池化處理，得到無深度分布的相機鳥瞰圖特征和無深度分布的圖像特征；通過激光雷達鳥瞰圖的深度信息特征，對無深度分布的圖像特征插入激光雷達深度特征，得到具有深度分布的相機鳥瞰圖特征將具有深度分布的相機鳥瞰圖特征和無深度分布的相機鳥瞰圖特征進行特征對齊，得到含有深度信息表示的相機鳥瞰圖像特征基于含有深度信息表示的相機鳥瞰圖像特征和激光雷達鳥瞰圖的深度信息特征，分別確認得到對應的查詢向量、鍵向量和值向量；基于對應的查詢向量、鍵向量和值向量，通過交叉注意力計算，得到鳥瞰圖增強特征將