(19)國(guó)家知識(shí)產(chǎn)權(quán)局(71)申請(qǐng)人張家港港務(wù)集團(tuán)有限公司港埠分公司地址215633江蘇省蘇州市金港鎮(zhèn)香山北路100號(hào)GO6VGO6N(74)專(zhuān)利代理機(jī)構(gòu)北京格式化知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)16096專(zhuān)利代理師孫敬霞(54)發(fā)明名稱環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法、裝置和車(chē)輛本公開(kāi)提供了一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法、裝置和車(chē)輛。本公開(kāi)實(shí)施例的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法，先根據(jù)多視角圖像中各視角圖像的光照狀況調(diào)整視角圖像的分辨率、再提取多視角圖像的圖像特征，先根據(jù)車(chē)輛速度降采樣點(diǎn)云并對(duì)點(diǎn)云進(jìn)行稀疏區(qū)域插值最后融合圖像特征和點(diǎn)云特征獲得多模態(tài)融合特征，再基于該多模態(tài)融合特征執(zhí)行諸如3D目標(biāo)檢測(cè)、車(chē)輛軌跡預(yù)測(cè)等任務(wù)。本公開(kāi)能夠在降低計(jì)算資源需求的同時(shí)減少融合偏差帶來(lái)的影響，荻取多視角相機(jī)陣列采集的多視角圖像和激光雷達(dá)采集的點(diǎn)云202預(yù)處理多視角圖像預(yù)處理點(diǎn)云利用預(yù)處理后的多視角圖像獲得圖像特征利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征融合圖像特征和點(diǎn)云特征以得到多模態(tài)融合特征利用多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)21.一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法，其特征在于，所述方法應(yīng)用于車(chē)輛，所述車(chē)輛上裝載有多視角相機(jī)陣列和激光雷達(dá)；所述方法包括：獲取所述多視角相機(jī)陣列采集的多視角圖像和所述激光雷達(dá)采集的點(diǎn)云；預(yù)處理所述多視角圖像，所述預(yù)處理包括：針對(duì)所述多視角圖像中的每個(gè)視角圖像，根據(jù)所述視角圖像的光照狀況調(diào)整所述視角圖像的分辨率；利用預(yù)處理后的多視角圖像獲得圖像特征；預(yù)處理所述點(diǎn)云，所述預(yù)處理包括：根據(jù)所述車(chē)輛速度降采樣所述點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征；利用所述多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)如下方式調(diào)整所述視角圖像的分辨通過(guò)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器確定所述視角圖像的光照等級(jí)；在所述視角圖像的光照等級(jí)低于預(yù)定檔位時(shí)，將視角圖像的分辨率提升至預(yù)定檔位對(duì)應(yīng)的圖像分辨率；在所述視角圖像的光照等級(jí)高于所述預(yù)定檔位時(shí)，將所述視角圖像的分辨率降至所述預(yù)定檔位對(duì)應(yīng)的圖像分辨率。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用預(yù)處理后的多視角圖像獲得圖像針對(duì)預(yù)處理后的多視角圖像中每個(gè)視角圖像執(zhí)行如下處理以提取各視角圖像的特征：通過(guò)包含條件卷積的圖像特征提取模塊根據(jù)所述視角圖像的光照等級(jí)動(dòng)態(tài)調(diào)整基礎(chǔ)卷積核的RGB通道權(quán)重以生成適應(yīng)所述視角圖像光照狀況的動(dòng)態(tài)卷積核并利用所述動(dòng)態(tài)卷積核提取視角圖像的特征；將各視角圖像的特征對(duì)齊并融合以得到多尺度特征。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用調(diào)整后的多視角圖像得到圖像特征，還包括：使用輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)基于所述視角圖像生成語(yǔ)義分割掩碼，并將所述語(yǔ)義分割掩碼作為注意力權(quán)重應(yīng)用于利用所述動(dòng)態(tài)卷積核提取視角圖像的特征的過(guò)程中。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征，根據(jù)局部點(diǎn)云密度調(diào)整體素網(wǎng)格大小以自適應(yīng)體素化所述預(yù)處理后的點(diǎn)云從而獲得使用可分離式3D卷積處理所述體素?cái)?shù)據(jù)以得到所述點(diǎn)云特征。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：評(píng)估所述圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性是否滿足要求；在所述圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性不滿足要求時(shí)，使用生成對(duì)抗網(wǎng)絡(luò)GAN生成基于所述點(diǎn)云生成偽多視角圖像，獲取所述偽多視角圖像的特征，將所述偽多視角圖像的特征合并到所述圖像特征。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述評(píng)估所述圖像特征和所述點(diǎn)云特征的3跨模態(tài)一致性是否滿足要求，包括如下之一或多項(xiàng)：通過(guò)BEV空間對(duì)比學(xué)習(xí)計(jì)算同一空間位置的點(diǎn)云特征和圖像特征之間的相似度，在所述相似度小于第一預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云特征和圖像特征的跨模態(tài)一致性不滿足要求；計(jì)算所述多視角圖像中前向視角圖像和所述點(diǎn)云之間的跨模態(tài)特征相似度，在所述跨模態(tài)特征相似度小于第二預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云和前向視角圖像的跨模態(tài)一致性不滿足要求。8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：根據(jù)所述多視角圖像中各視角圖像的曝光異常狀況動(dòng)態(tài)調(diào)整所述圖像特征的模態(tài)權(quán)重；和/或，根據(jù)所述點(diǎn)云的局部點(diǎn)云密度動(dòng)態(tài)調(diào)整所述點(diǎn)云特征的模態(tài)權(quán)所述融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征，包括：基于所述圖像特征的模態(tài)權(quán)重和/或所述點(diǎn)云特征的模態(tài)權(quán)重融合所述圖像特征和所述點(diǎn)云特征以得到所述多模態(tài)融合特征。9.一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置，其特征在于，所述裝置應(yīng)用于車(chē)輛，所述車(chē)輛上裝載有多視角相機(jī)陣列和激光雷達(dá)；所述環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置包括：數(shù)據(jù)獲取單元，用于獲取所述多視角相機(jī)陣列采集的多視角圖像和所述激光雷達(dá)采集的點(diǎn)云；圖像預(yù)處理單元，用于預(yù)處理所述多視角圖像，所述預(yù)處理包括：針對(duì)所述多視角圖像中的每個(gè)視角圖像，根據(jù)所述視角圖像的光照狀況調(diào)整所述視角圖像的分辨率；圖像特征提取單元，用于利用預(yù)處理后的多視角圖像獲得圖像特征；點(diǎn)云預(yù)處理單元，用于預(yù)處理所述點(diǎn)云，所述預(yù)處理包括：根據(jù)所述車(chē)輛速度降采樣所述點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；點(diǎn)云特征提取單元，用于利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；融合單元，用于融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征；任務(wù)執(zhí)行單元，用于利用所述多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)。10.一種車(chē)輛，所述車(chē)輛裝載有多視角相機(jī)序列和激光雷達(dá)，其特征在于，所述車(chē)輛包含權(quán)利要求9所述的裝置。4技術(shù)領(lǐng)域[0001]本公開(kāi)涉及自動(dòng)駕駛領(lǐng)域，尤其涉及一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法、裝置和車(chē)輛。背景技術(shù)[0002]目前，多模態(tài)傳感器數(shù)據(jù)融合技術(shù)在自動(dòng)駕駛、機(jī)器人環(huán)境感知等領(lǐng)域得到了廣泛應(yīng)用。然而，現(xiàn)有融合算法在極端場(chǎng)景下的魯棒性和計(jì)算效率仍存在顯著技術(shù)瓶頸。例如，針對(duì)稀疏問(wèn)題、高反問(wèn)題的檢測(cè)性能會(huì)出現(xiàn)驟降，計(jì)算資源的需求高，同時(shí)存在稀疏區(qū)域信息丟失、密集區(qū)域計(jì)算冗余等問(wèn)題。發(fā)明內(nèi)容[0003]有鑒于此，本公開(kāi)提供了一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法、裝置和車(chē)輛。[0004]根據(jù)本公開(kāi)的第一方面，提供了一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法，所述方法應(yīng)用于車(chē)輛，所述車(chē)輛上裝載有多視角相機(jī)陣列和激光雷達(dá)；所述方法包括：獲取所述多視角相機(jī)陣列采集的多視角圖像和所述激光雷達(dá)采集的點(diǎn)云；預(yù)處理所述多視角圖像，所述預(yù)處理包括：針對(duì)所述多視角圖像中的每個(gè)視角圖像，根據(jù)所述視角圖像的光照狀況調(diào)整所述視角圖像的分辨率；利用預(yù)處理后的多視角圖像獲得圖像特征；預(yù)處理所述點(diǎn)云，所述預(yù)處理包括：根據(jù)所述車(chē)輛速度降采樣所述點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征；利用所述多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)。[0005]本公開(kāi)第一方面的一些實(shí)施方式中，通過(guò)如下方式調(diào)整所述視角圖像的分辨率：通過(guò)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器確定所述視角圖像的光照等級(jí)；在所述視角圖像的光照等級(jí)低于預(yù)定檔位時(shí)，將視角圖像的分辨率提升至預(yù)定檔位對(duì)應(yīng)的圖像分辨率；在所述視角圖像的光照等級(jí)高于所述預(yù)定檔位時(shí)，將所述視角圖像的分辨率降至所述預(yù)定檔位對(duì)應(yīng)的圖像分辨率。[0006]本公開(kāi)第一方面的一些實(shí)施方式中，所述利用預(yù)處理后的多視角圖像獲得圖像特征，包括：針對(duì)預(yù)處理后的多視角圖像中每個(gè)視角圖像執(zhí)行如下處理以提取各視角圖像的特征：通過(guò)包含條件卷積的圖像特征提取模塊根據(jù)所述視角圖像的光照等級(jí)動(dòng)態(tài)調(diào)整基礎(chǔ)卷積核的RGB通道權(quán)重以生成適應(yīng)所述視角圖像光照狀況的動(dòng)態(tài)卷積核并利用所述動(dòng)態(tài)卷積核提取視角圖像的特征；將各視角圖像的特征對(duì)齊并融合以得到多尺度特征。[0007]本公開(kāi)第一方面的一些實(shí)施方式中，所述利用調(diào)整后的多視角圖像得到圖像特征，還包括：使用輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)基于所述視角圖像生成語(yǔ)義分割掩碼，并將所述語(yǔ)義分割掩碼作為注意力權(quán)重應(yīng)用于利用所述動(dòng)態(tài)卷積核提取視角圖像的特征的過(guò)程中。5[0008]本公開(kāi)第一方面的一些實(shí)施方式中，所述利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征，包括：根據(jù)局部點(diǎn)云密度調(diào)整體素網(wǎng)格大小以自適應(yīng)體素化所述預(yù)處理后的點(diǎn)云從而獲得體素?cái)?shù)據(jù)；使用可分離式3D卷積處理所述體素?cái)?shù)據(jù)以得到所述點(diǎn)云特征。[0009]本公開(kāi)第一方面的一些實(shí)施方式中，所述方法還包括：評(píng)估所述圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性是否滿足要求；在所述圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性不滿足要求時(shí)，使用生成對(duì)抗網(wǎng)絡(luò)GAN生成基于所述點(diǎn)云生成偽多視角圖像，獲取所述偽多視角圖像的特征，將所述偽多視角圖像的特征合并到所述圖像特征。[0010]本公開(kāi)第一方面的一些實(shí)施方式中，所述評(píng)估所述圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性是否滿足要求，包括如下之一或多項(xiàng)：通過(guò)BEV空間對(duì)比學(xué)習(xí)計(jì)算同一空間位置的點(diǎn)云特征和圖像特征之間的相似度，在所述相似度小于第一預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云特征和圖像特征的跨模態(tài)一致性不滿足要求；計(jì)算所述多視角圖像中前向視角圖像和所述點(diǎn)云之間的跨模態(tài)特征相似度，在所述跨模態(tài)特征相似度小于第二預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云和前向視角圖像的跨模態(tài)一致性不滿足要求。[0011]本公開(kāi)第一方面的一些實(shí)施方式中，所述方法還包括：根據(jù)所述多視角圖像中各視角圖像的曝光異常狀況動(dòng)態(tài)調(diào)整所述圖像特征的模態(tài)權(quán)重；和/或，根據(jù)所述點(diǎn)云的局部點(diǎn)云密度動(dòng)態(tài)調(diào)整所述點(diǎn)云特征的模態(tài)權(quán)重；所述融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征，包括：基于所述圖像特征的模態(tài)權(quán)重和/或所述點(diǎn)云特征的模態(tài)權(quán)重融合所述圖像特征和所述點(diǎn)云特征以得到所述多模態(tài)融合特征。[0012]根據(jù)本公開(kāi)的第二方面，提供了一種環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置，所述裝置應(yīng)用于車(chē)輛，所述車(chē)輛上裝載有多視角相機(jī)陣列和激光雷達(dá)；所述環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置包括：數(shù)據(jù)獲取單元，用于獲取所述多視角相機(jī)陣列采集的多視角圖像和所述激光雷達(dá)采集的點(diǎn)云；圖像預(yù)處理單元，用于預(yù)處理所述多視角圖像，所述預(yù)處理包括：針對(duì)所述多視角圖像中的每個(gè)視角圖像，根據(jù)所述視角圖像的光照狀況調(diào)整所述視角圖像的分辨率；圖像特征提取單元，用于利用預(yù)處理后的多視角圖像獲得圖像特征；點(diǎn)云預(yù)處理單元，用于預(yù)處理所述點(diǎn)云，所述預(yù)處理包括：根據(jù)所述車(chē)輛速度降采樣所述點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；點(diǎn)云特征提取單元，用于利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；融合單元，用于融合所述圖像特征和所述點(diǎn)云特征以得到多模態(tài)融合特征；任務(wù)執(zhí)行單元，用于利用所述多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)[0013]根據(jù)本公開(kāi)的第三方面，提供了一種車(chē)輛，所述車(chē)輛裝載有多視角相機(jī)序列和激光雷達(dá)，所述車(chē)輛包含前述環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置。[0014]本公開(kāi)實(shí)施例可以實(shí)現(xiàn)環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合，同時(shí)避免稀疏區(qū)域信息丟失、密集區(qū)域計(jì)算冗余等問(wèn)題，從而在降低計(jì)算資源需求的同時(shí)減少融合偏差帶來(lái)的影響，提升模態(tài)數(shù)據(jù)融合的可靠性和魯棒性，有效提升極端場(chǎng)景下3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)6測(cè)的精度和可靠性。附圖說(shuō)明[0015]為了更清楚地說(shuō)明本公開(kāi)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本公開(kāi)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。示意圖；圖1為本公開(kāi)實(shí)施例適用的系統(tǒng)的架構(gòu)示意圖；圖2為本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法的一流程示意圖；圖3為本公開(kāi)實(shí)施例涉及的根據(jù)視角圖像的光照狀況調(diào)整視角圖像分辨率的流程圖4為本公開(kāi)實(shí)施例涉及的利用預(yù)處理后的多視角圖像獲得圖像特征的流程示意圖5為本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法的另一流程示意圖6為本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置的結(jié)構(gòu)示意圖；圖7為本公開(kāi)實(shí)施例提供的電子設(shè)備的示意性結(jié)構(gòu)框圖。具體實(shí)施方式[0017]下面將結(jié)合本公開(kāi)實(shí)施例中的附圖，對(duì)本公開(kāi)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本公開(kāi)一部分實(shí)施例，而不是全部的實(shí)施例?；诒竟_(kāi)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)[0018]在本公開(kāi)實(shí)施例中使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的，而非旨在限制也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。[0020]先對(duì)相關(guān)技術(shù)做詳細(xì)說(shuō)明。[0021]目前，極端場(chǎng)景下的多模態(tài)數(shù)據(jù)融合主要有如下幾種方案：1)基于固定權(quán)重的多模態(tài)融合：將雷達(dá)與相機(jī)特征通過(guò)固定比例權(quán)重直接相加或拼接，依賴神經(jīng)網(wǎng)絡(luò)模型自動(dòng)學(xué)習(xí)跨模態(tài)關(guān)聯(lián)。該方案無(wú)法根據(jù)光照、點(diǎn)云密度動(dòng)態(tài)調(diào)整模態(tài)權(quán)重，導(dǎo)致極端場(chǎng)景(如低光照下相機(jī)失效)檢測(cè)性能驟降，同時(shí)存在投影偏差累積，雷達(dá)的BEV空間與相機(jī)前視圖的剛性投影導(dǎo)致諸如行人、椎桶等小目標(biāo)(行人、錐桶)定位偏移(平均誤差>0.5m)。[0022]2基于靜態(tài)體素化點(diǎn)云處理的多模態(tài)數(shù)據(jù)融合：將雷達(dá)采集的點(diǎn)云均勻劃分為固定尺寸的體素網(wǎng)格(如0.1m3),通過(guò)3D卷積神經(jīng)網(wǎng)絡(luò)提取特征。該方案存在稀疏區(qū)域信7息丟失的問(wèn)題，遠(yuǎn)距離區(qū)域或低密度區(qū)域因體素網(wǎng)格過(guò)大致使關(guān)鍵點(diǎn)云被過(guò)濾，漏檢率增加12%或以上。同時(shí)還存在密集區(qū)域冗余計(jì)算的問(wèn)題，近距離高密度區(qū)域重復(fù)計(jì)算相同特征，計(jì)算資源利用率降低大約40%或以上。[0023]由上可見(jiàn)，相關(guān)技術(shù)的多模態(tài)數(shù)據(jù)融合在極端場(chǎng)景下的魯棒性和計(jì)算效率仍存在顯著技術(shù)瓶頸。鑒于此，本公開(kāi)實(shí)施例提供了如下的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法、裝置和車(chē)輛。[0024]為便于理解，下面對(duì)本公開(kāi)實(shí)施例適用的系統(tǒng)結(jié)構(gòu)做簡(jiǎn)要說(shuō)明。[0025]圖1示出了本公開(kāi)實(shí)施例適用的系統(tǒng)的結(jié)構(gòu)示意圖。參見(jiàn)圖1,本公開(kāi)實(shí)施例適用的系統(tǒng)可以包括：電子設(shè)備和連接在電子設(shè)備上的外圍傳感器組件，外圍傳感器組件包括但不限于多視角相機(jī)陣列、激光雷達(dá)。[0026]多視角相機(jī)陣列可以裝載在車(chē)輛上，可用于采集覆蓋車(chē)輛四周環(huán)境的多視角圖[0027]多視角相機(jī)陣列可以實(shí)現(xiàn)為但不限于六視角攝像頭組，該六視角攝像頭組包括前具體應(yīng)用中，可以在車(chē)輛四周均勻部署相機(jī)以使這些相機(jī)無(wú)死角覆蓋車(chē)輛四周，每個(gè)相機(jī)捕獲車(chē)輛四周環(huán)境的圖像中包含車(chē)輛周?chē)鷪?chǎng)景的一部分。[0028]激光雷達(dá)裝載在車(chē)輛上，可用于實(shí)時(shí)采集點(diǎn)云。具體應(yīng)用中，可以根據(jù)實(shí)際應(yīng)用靈活調(diào)整激光雷達(dá)在車(chē)輛上的安裝位置以使得激光雷達(dá)采集的點(diǎn)云覆蓋車(chē)輛前向環(huán)境、后向環(huán)境或四周環(huán)境。[0029]激光雷采集的點(diǎn)云中的每個(gè)點(diǎn)可以包含三維坐標(biāo)、反射強(qiáng)度和時(shí)間戳。其中，三維坐標(biāo)可以通過(guò)激光飛行時(shí)間計(jì)算距離并結(jié)合雷達(dá)旋轉(zhuǎn)角度(方位角、俯仰角)確定，點(diǎn)云中每個(gè)點(diǎn)的三維坐標(biāo)即可以是激光雷達(dá)坐標(biāo)系下的三維坐標(biāo)，可通過(guò)坐標(biāo)轉(zhuǎn)換到車(chē)身坐標(biāo)系、世界坐標(biāo)系等。反射強(qiáng)度(也稱反射率)取決于物體表面材質(zhì)，可用于區(qū)分材質(zhì)類(lèi)型(如道路標(biāo)線識(shí)別)。時(shí)間戳可用于記錄激光發(fā)射與接收的時(shí)間差，可用于諸如運(yùn)動(dòng)物體軌跡追蹤等動(dòng)態(tài)場(chǎng)景的分析。[0030]進(jìn)一步地，外圍傳感器組件還可以包括：慣性測(cè)量單元(IMU,InertialMeasurementUnit)。IMU安裝在車(chē)輛上并與電子設(shè)備連接，可用于測(cè)量IMU數(shù)據(jù)并將IMU數(shù)塊)或車(chē)載環(huán)境傳感器。其中，車(chē)載通信模塊可用于連接云端以獲取氣收高德地圖、GoogleMaps等實(shí)時(shí)推送的行駛路線上的氣象數(shù)據(jù)。又例如，可以接收來(lái)自車(chē)輛周?chē)O(shè)備(如，其他車(chē)、路側(cè)單元等)提供的氣象數(shù)據(jù)。車(chē)載環(huán)境傳感器可用于實(shí)時(shí)檢測(cè)車(chē)輛四周環(huán)境的天氣狀況并生成相應(yīng)的氣象數(shù)據(jù)，車(chē)載環(huán)境傳感器可以包括但不限于環(huán)境光[0032]本公開(kāi)實(shí)施例適用的系統(tǒng)可以是但不限于任何需要多模態(tài)數(shù)據(jù)融合的系統(tǒng)。例如，該系統(tǒng)可以是但不限于自動(dòng)駕駛系統(tǒng)、智能輔助駕駛系統(tǒng)、交通擁堵輔助系統(tǒng)等。參見(jiàn)圖1,本公開(kāi)實(shí)施例提供的系統(tǒng)可裝載于車(chē)輛，用作但不限于車(chē)輛的智能輔助駕駛系統(tǒng)、交8通擁堵輔助系統(tǒng)、自動(dòng)駕駛系統(tǒng)等。[0033]需要說(shuō)明的是，本公開(kāi)實(shí)施例所述的“車(chē)輛”可以實(shí)現(xiàn)為但不限于多個(gè)輪式移動(dòng)機(jī)器人、輪式移動(dòng)機(jī)器人、移動(dòng)機(jī)器人、通用車(chē)輛、飛行器、船、智能軌道快運(yùn)系統(tǒng)(ART,自動(dòng)化環(huán)衛(wèi)等諸多方面。當(dāng)然，本公開(kāi)實(shí)施例還可應(yīng)用于其他任意涉及例如多模態(tài)數(shù)據(jù)融合等的智能控制場(chǎng)景。對(duì)于本公開(kāi)實(shí)施例的應(yīng)用場(chǎng)景和適用領(lǐng)域，本公開(kāi)不作限制。[0035]下面對(duì)本公開(kāi)實(shí)施例的具體實(shí)施方式做詳細(xì)說(shuō)明。[0036]圖2示出了本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法的流程示意圖，該環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法可以通過(guò)下文的電子設(shè)備執(zhí)行，該電子設(shè)備可以實(shí)現(xiàn)為但不限于域控制器或其他類(lèi)似的設(shè)備。參見(jiàn)圖2,本公開(kāi)實(shí)施例的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法包括如下步驟：步驟201,獲取多視角相機(jī)陣列采集的多視角圖像和激光雷達(dá)采集的點(diǎn)云；步驟202,預(yù)處理多視角圖像，預(yù)處理包括：針對(duì)多視角圖像中的每個(gè)視角圖像，根據(jù)視角圖像的光照狀況調(diào)整視角圖像的分辨率；步驟203,利用預(yù)處理后的多視角圖像獲得圖像特征；步驟204,預(yù)處理點(diǎn)云，預(yù)處理包括：根據(jù)車(chē)輛速度降采樣點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；步驟205,利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；步驟206,融合圖像特征和點(diǎn)云特征以得到多模態(tài)融合特征；步驟207,利用多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)。[0037]本公開(kāi)實(shí)施例的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法，通過(guò)光照狀況調(diào)整各視角圖像的分辨率后再提取圖像特征，通過(guò)車(chē)輛速度降采樣點(diǎn)云并對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣后再提取點(diǎn)云特征，由此，本公開(kāi)可以實(shí)現(xiàn)環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合，同時(shí)避免稀疏區(qū)域信息丟失、密集區(qū)域計(jì)算冗余等問(wèn)題，從而在降低計(jì)算資源需求的同時(shí)減少融合偏差帶來(lái)的影響，提升模態(tài)數(shù)據(jù)融合的可靠性和魯棒性，有效提升極端場(chǎng)景下3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)測(cè)的精度和可靠性。[0038]步驟201中，多視角圖像和點(diǎn)云同步。具體地，多視角圖像和點(diǎn)云的同步可通過(guò)多視角相機(jī)陣列和激光雷達(dá)的同步觸發(fā)、時(shí)間對(duì)齊等機(jī)制來(lái)實(shí)現(xiàn)。[0039]步驟202中，針對(duì)多視角圖像中的每個(gè)視角圖像，根據(jù)視角圖像的光照狀況調(diào)整視角圖像的分辨率，可以在低光照環(huán)境下提升視角圖像的分辨率以保留細(xì)節(jié)，在強(qiáng)光照環(huán)境下降低視角圖像的分辨率以減少冗余計(jì)算。[0040]圖3示出了步驟202中根據(jù)視角圖像的光照狀況調(diào)整視角圖像的分辨率的具體實(shí)現(xiàn)流程示意圖。參見(jiàn)圖3,該流程可以包括如下步驟301~步驟302:步驟301,通過(guò)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)分類(lèi)9器確定多視角圖像中各視角圖像的光照等級(jí)；可以預(yù)先配置多個(gè)光照等級(jí)及其圖像分辨率，光照等級(jí)高則表明光照強(qiáng)度高，光照等級(jí)低則表明光照強(qiáng)度低。[0041]其中，光照等級(jí)可以是但不限于低光照、正常光照、強(qiáng)光照等類(lèi)別信息，也可以是強(qiáng)度區(qū)間，高檔光照等級(jí)的光照強(qiáng)度最高，中檔光照等級(jí)的光照強(qiáng)度適中，低檔光照等級(jí)的光照強(qiáng)度最低。中檔對(duì)應(yīng)正常光照環(huán)境，中檔可以作為步驟302中的預(yù)設(shè)檔位。[0042]可以從各視角圖像對(duì)應(yīng)的相機(jī)捕獲一幀圖像，使用輕量級(jí)CNN分類(lèi)器處理該幀圖像即可得到相應(yīng)視角圖像的光照等級(jí)。具體地，針對(duì)各視角圖像，可以使用輕量級(jí)CNN分類(lèi)器提取全局光照特征從而得到光照等級(jí)。其中，輕量級(jí)CNN分類(lèi)器可以選用但不限于源等復(fù)雜光照條件下的特征，進(jìn)而準(zhǔn)確評(píng)估各視角圖像的光照等級(jí)。[0043]具體應(yīng)用中，還可根據(jù)需要采用其他方式確定各視角圖像的光照等級(jí)。[0044]例如，可以通過(guò)環(huán)境光傳感器(ALS)直接獲取各視角圖像所覆蓋區(qū)域的光照強(qiáng)度，通過(guò)光照強(qiáng)度和預(yù)先配置的各光照等級(jí)的光照強(qiáng)度區(qū)間確定各視角圖像的光照等級(jí)。[0045]又例如，可以從各視角圖像對(duì)應(yīng)的相機(jī)捕獲一幀RGB格式的圖像，將圖像轉(zhuǎn)換為灰度圖或YUV色彩空間以提取亮度通道，計(jì)算反映整體光照強(qiáng)度的亮度均值或亮度中值，該亮度均值或亮度中值即為光照強(qiáng)度，通過(guò)光照強(qiáng)度和預(yù)先配置的各光照等級(jí)的光照強(qiáng)度區(qū)間確定各視角圖像的光照等級(jí)。步驟302,按照視角圖像的光照等級(jí)調(diào)整視角圖像的分辨率。[0046]具體地，視角圖像的光照等級(jí)低于預(yù)定檔位時(shí)確定視角圖像的采集環(huán)境為低光照環(huán)境，將視角圖像的分辨率提升至預(yù)定檔位對(duì)應(yīng)的圖像分辨率；視角圖像的光照等級(jí)高于預(yù)定光照等級(jí)時(shí)確定視角圖像的采集環(huán)境為強(qiáng)光照環(huán)境，將視角圖像的分辨率降至預(yù)定光照等級(jí)對(duì)應(yīng)的圖像分辨率。由此，可以在低光照環(huán)境下提升多視角圖像的分辨率以保留更多細(xì)節(jié)，高光照環(huán)境下降低多視角圖像的圖像分辨率以減少其數(shù)據(jù)量、降低冗余計(jì)算。[0047]根據(jù)光照強(qiáng)度動(dòng)態(tài)調(diào)整多視角圖像中各視角圖像的分辨率，可以更好地平衡圖像質(zhì)量、處理效率和能耗，從而動(dòng)態(tài)適應(yīng)不斷變化的外部環(huán)境。[0048]圖4示出了步驟203中利用預(yù)處理后的多視角圖像獲得圖像特征的流程示意圖。參見(jiàn)圖4,該流程可以包括步驟401~步驟402:步驟401,針對(duì)多視角圖像中每個(gè)視角圖像執(zhí)行如下處理以提取其特征：通過(guò)包含條件卷積(ConditionalConvolution)的圖像特征提取模塊根據(jù)視角圖像的光照等級(jí)動(dòng)態(tài)調(diào)整基礎(chǔ)卷積核的RGB通道權(quán)重以生成適應(yīng)視角圖像光照狀況的動(dòng)態(tài)卷積核并利用動(dòng)態(tài)卷積核提取視角圖像的特征。[0049]具體地，使用包含條件卷積的圖像特征提取模塊提取某個(gè)視角圖像的特征的過(guò)程可以包括：根據(jù)當(dāng)前視角圖像的光照等級(jí)生成RGB通道權(quán)重縮放因子，利用RGB通道權(quán)重縮放因子調(diào)整基礎(chǔ)卷積核的RGB通道權(quán)重以生成動(dòng)態(tài)卷積核，使用該動(dòng)態(tài)卷積核對(duì)當(dāng)前視角圖像進(jìn)行特征提取以得到當(dāng)前視角圖像的特征。[0050]由上，在低光照區(qū)域動(dòng)態(tài)卷積核可以增強(qiáng)高頻細(xì)節(jié)提取能力以恢復(fù)暗部信息，在過(guò)曝區(qū)域動(dòng)態(tài)卷積核可以抑制噪聲并平衡亮度。由此，可以根據(jù)各視角圖像的光照狀況自適應(yīng)地優(yōu)化各視角圖像的特征提取過(guò)程，增強(qiáng)低光照下顏色不變性，抑制過(guò)曝區(qū)域的噪聲。語(yǔ)義等?？臻g關(guān)系包括目標(biāo)位置，目標(biāo)位置用于描述圖像中分割目標(biāo)的絕對(duì)位置或相對(duì)位置。語(yǔ)義信息包括目標(biāo)類(lèi)別信息，目標(biāo)類(lèi)別信息可用于描述像素級(jí)的物體類(lèi)別及其置信度。此外，語(yǔ)義信息還可包括場(chǎng)景語(yǔ)義信息，場(chǎng)景語(yǔ)義信息可用于描述圖像整體場(chǎng)景。每個(gè)視角圖像的特征可以是像素級(jí)特征。[0052]步驟402,將各視角圖像的特征對(duì)齊并融合以得到多尺度特征。[0053]這里，多尺度特征即為多視角圖像的圖像特征。多尺度特征可以包含如下信息之尺度特征可以是像素級(jí)特征。[0054]具體地，可通過(guò)幾何對(duì)齊和注意力加權(quán)的方式得到多尺度特征。對(duì)于獲得多尺度特征的具體實(shí)現(xiàn)方式，本公開(kāi)實(shí)施例不作限制。[0055]進(jìn)一步地，步驟401中，可以使用輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)基于視角圖像生成語(yǔ)義分割掩碼，并將語(yǔ)義分割掩碼作為注意力權(quán)重應(yīng)用于利用動(dòng)態(tài)卷積核提取視角圖像的特征的過(guò)程中。由此，可以通過(guò)輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)動(dòng)態(tài)引導(dǎo)圖像特征提取模型聚焦諸如道路、障礙物等關(guān)鍵區(qū)域，抑制無(wú)關(guān)背景干擾。[0056]示例性地，輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)可以是但不限于DeepLabv3+Mobile。DeepLabv3+Mobile通過(guò)結(jié)合輕量化架構(gòu)與多尺度特征增強(qiáng)技術(shù)，可高效生成語(yǔ)義分割掩碼?；谝暯菆D像生成的語(yǔ)義分割掩碼可以是概率圖、二值掩碼或其他各種可適用的形式。[0057]通過(guò)上述方式，可以在多視角場(chǎng)景下通過(guò)動(dòng)態(tài)調(diào)整卷積核適應(yīng)光照變化的同時(shí)精準(zhǔn)聚焦關(guān)鍵區(qū)域，實(shí)現(xiàn)多視角圖像的高效特征提取。[0058]步驟204中，根據(jù)車(chē)輛速度自適應(yīng)降采樣點(diǎn)云，可以根據(jù)車(chē)輛速度的變化動(dòng)態(tài)調(diào)整點(diǎn)云的分辨率，從而在高精度與高效處理之間取得平衡，使得高速場(chǎng)景下點(diǎn)云稀疏化、低速場(chǎng)景下則保持較高分辨率，車(chē)輛速度可以采用各種可適用的方式獲取。這里，車(chē)輛速度可以是車(chē)輛的瞬時(shí)速度，也可以是點(diǎn)云對(duì)應(yīng)時(shí)長(zhǎng)內(nèi)的車(chē)輛平均速度。[0060]一些示例中，可以利用安裝在車(chē)輛上的IMU提供的IMU數(shù)據(jù)基于擴(kuò)展卡爾曼濾波偏移對(duì)車(chē)輛速度準(zhǔn)確性的影響，從而提升車(chē)輛速度檢測(cè)的穩(wěn)定性和可靠性。[0061]其他示例中，車(chē)輛速度可以從車(chē)輛CAN總線讀取或者可通過(guò)連續(xù)兩幀點(diǎn)云的位姿變化估算得到。對(duì)于車(chē)輛速度的具體檢測(cè)方式，本公開(kāi)實(shí)施例不作限制。[0062]步驟204中，可以基于車(chē)輛速度的分段線性插值法動(dòng)態(tài)調(diào)整點(diǎn)云的降采樣比例以實(shí)現(xiàn)點(diǎn)云的自適應(yīng)降采樣。具體地，可以預(yù)先配置多個(gè)速度區(qū)間，在車(chē)輛速度所屬的所述速度區(qū)間內(nèi)使用預(yù)定的線性差值公式計(jì)算降采樣的保留比例，按照降采樣的保留比例降采樣點(diǎn)云。通過(guò)分段線性插值法，點(diǎn)云的分辨率可根據(jù)車(chē)輛速度動(dòng)態(tài)調(diào)整，實(shí)現(xiàn)數(shù)據(jù)處理效率與感知精度的平衡。[0063]每個(gè)速度區(qū)間的區(qū)間起始速度和區(qū)間結(jié)束速度為預(yù)設(shè)值。示例性地，速度區(qū)間可以配置為如下四種：低速區(qū)間(0-30km/h)、中速區(qū)間(30-60km/h)、高速區(qū)間(60-90km/11h)和超高速區(qū)間(>90km/h)。其中，低速區(qū)間對(duì)應(yīng)高分辨率，保留100%點(diǎn)云；中速區(qū)間對(duì)應(yīng)[0064]降采樣(即，降低分辨率)時(shí)，可以使用體素濾波或隨機(jī)采樣等方式減少點(diǎn)云數(shù)量。例如，按照降采樣的保留比例降采樣點(diǎn)云可以通過(guò)如下方式之一實(shí)現(xiàn)：1)假設(shè)保留比例為r,隨機(jī)丟棄點(diǎn)云中(1-r)比例的點(diǎn)；2)將點(diǎn)云劃分為體素網(wǎng)格，每個(gè)體素保留一個(gè)代表點(diǎn)，體素大小根據(jù)降采樣的保留比例r動(dòng)態(tài)調(diào)整，保留比例r越低，體素越大。[0065]步驟204中，對(duì)點(diǎn)云的稀疏區(qū)域插值補(bǔ)全、密集區(qū)域進(jìn)一步降采樣，可以防止稀疏區(qū)域信息丟失，同時(shí)避免密集區(qū)域計(jì)算冗余。一些示例中，可以根據(jù)點(diǎn)云局部密度動(dòng)態(tài)劃分稀疏區(qū)域和密集區(qū)域。例如，可以基于K-最近鄰(K-NearestNeighbors,KNN)估計(jì)點(diǎn)云局部密度并根據(jù)該點(diǎn)云局部密度動(dòng)態(tài)區(qū)分稀疏區(qū)域和密集區(qū)域。[0066]具體地，步驟204中對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣執(zhí)行如下處理：基于所有點(diǎn)的K近鄰平均距離獨(dú)立計(jì)算閾值并通過(guò)該閾值分離為密集區(qū)域與稀疏區(qū)域，針對(duì)密集區(qū)的點(diǎn)云進(jìn)一步降采樣，針對(duì)稀疏區(qū)的點(diǎn)云進(jìn)行插值補(bǔ)全，最后合并密集區(qū)域的點(diǎn)云和稀疏區(qū)域的點(diǎn)云從而得到預(yù)處理后的點(diǎn)云。[0067]其中，根據(jù)點(diǎn)云密度特性選擇K(例如K=10~50)以平衡噪聲敏感性與局部細(xì)節(jié)保留，可以通過(guò)分析所有點(diǎn)的K近鄰平均距離分布來(lái)選擇中位數(shù)或特定百分位數(shù)(如25%)作為[0068]基于KNN估計(jì)點(diǎn)云局部密度并動(dòng)態(tài)區(qū)分稀疏區(qū)域和密集區(qū)域，可以通過(guò)動(dòng)態(tài)響應(yīng)點(diǎn)云局部特性實(shí)現(xiàn)復(fù)雜場(chǎng)景下點(diǎn)云的高效靈活壓縮，自適應(yīng)性強(qiáng)，保留關(guān)鍵區(qū)域細(xì)節(jié)，同時(shí)減少均勻下采樣導(dǎo)致的信息損失。[0069]步驟204中，基于車(chē)輛速度的自適應(yīng)降采樣與基于局部點(diǎn)云密度的自適應(yīng)處理(即，稀疏區(qū)域插值補(bǔ)全、密集區(qū)域降采樣)協(xié)同工作，車(chē)輛速度決定點(diǎn)云的“整體分辨率基調(diào)”,局部點(diǎn)云密度決定點(diǎn)云的“局部細(xì)節(jié)增強(qiáng)或壓縮”,能夠在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)“全局輕量化，局部精細(xì)化”,同時(shí)響應(yīng)動(dòng)態(tài)環(huán)境(即速度變化)和靜態(tài)特性(即，局部密度分布),可以在多維度優(yōu)化點(diǎn)云的處理效率與精度。[0070]步驟205中，利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征可以包括：根據(jù)局部點(diǎn)云密度調(diào)整體素網(wǎng)格大小以自適應(yīng)體素化點(diǎn)云從而獲得體素?cái)?shù)據(jù)，使用可分離式3D卷積處理該體素?cái)?shù)據(jù)以得到點(diǎn)云特征。[0071]一些示例中，可以通過(guò)動(dòng)態(tài)網(wǎng)格劃分(Density-basedVoxelization)(也稱為基于密度的體素化)體素化點(diǎn)云以獲得點(diǎn)云的體素?cái)?shù)據(jù)。具體地，將點(diǎn)云離散化為非均勻體素網(wǎng)格并根據(jù)點(diǎn)云密度動(dòng)態(tài)調(diào)整該非均勻體素網(wǎng)格的體素分辨率。動(dòng)態(tài)網(wǎng)格劃分體素化根據(jù)點(diǎn)云密度、幾何特征或物理場(chǎng)變化實(shí)時(shí)調(diào)整體素分辨率，在保留細(xì)節(jié)的同時(shí)可以優(yōu)化計(jì)算效率、減少不必要的資源消耗，避免稀疏區(qū)域信息丟失，同時(shí)抑制密集區(qū)域計(jì)算冗余，生成非均勻體素網(wǎng)格，顯著降低后續(xù)卷積的計(jì)算量(減少30-50%無(wú)效計(jì)算)。[0072]具體地，通過(guò)動(dòng)態(tài)網(wǎng)格劃分體素化點(diǎn)云的過(guò)程可以包括：先基于幾何或數(shù)據(jù)特征生成初始體素網(wǎng)格，通常采用均勻劃分或多分辨率初始化；實(shí)時(shí)計(jì)算點(diǎn)云的局部點(diǎn)密度，當(dāng)點(diǎn)云的局部點(diǎn)密度超過(guò)預(yù)設(shè)閾值時(shí)將相應(yīng)區(qū)域(即，如物體邊緣、復(fù)雜結(jié)構(gòu)等高密度區(qū)域)的體素更新為更小體素(例如，0.1m3)以保留諸如車(chē)輛輪廓等細(xì)節(jié)，當(dāng)局部點(diǎn)密度低于上述的預(yù)設(shè)閾值時(shí)合并相鄰體素以使得相應(yīng)區(qū)域(例如，諸如空曠背景等低密度區(qū)域)采用更大體素(例如，由初始的0.4m3增至當(dāng)前的0.5m3)以壓縮背景點(diǎn)云、減少計(jì)算量。在體素網(wǎng)格調(diào)整后，還可以進(jìn)一步采用雙線性插值或協(xié)方差矩陣計(jì)算體素特征(如平均坐標(biāo)、表面法線)以確保數(shù)據(jù)連續(xù)性。此外，可采用諸如自適應(yīng)八叉樹(shù)(AdaptiveOctree)、稀疏體素結(jié)構(gòu)(SVO)或哈希表等高效管理多分辨率體素。[0073]步驟205中，可分離式3D卷積(Separable3DConvolution)可以分解為2D空間卷積和1D通道卷積。具體地，使用可分離式3D卷積處理該體素?cái)?shù)據(jù)以得到點(diǎn)云特征的過(guò)程可以包括：在三維體素網(wǎng)格的每個(gè)深度切片(DepthSlice)上獨(dú)立執(zhí)行2D卷積以提取每個(gè)通道內(nèi)的空間特征，沿通道維度進(jìn)行1D卷積以融合不同通道的空間特征以得到點(diǎn)云特征。其中，空間特征可以包括諸如物體形狀、物體位置、物體邊緣等的空間結(jié)構(gòu)特征，空間特征是高層語(yǔ)義的基礎(chǔ)，可通過(guò)多級(jí)網(wǎng)絡(luò)層逐步提取得到。[0074]其他實(shí)施方式中，還可以根據(jù)需求按照“先1D深度卷積再2D空間卷積、混合拆分”的方式執(zhí)行可分離式3D卷積的操作。[0075]由上可見(jiàn)，可分離式3D卷積將三維卷積分解為兩個(gè)獨(dú)立的低維操作，可以減少冗余計(jì)算，避免三維卷積中重復(fù)計(jì)算，同時(shí)減少對(duì)空體素的計(jì)算浪費(fèi)，在不損失精度的前提下顯著提升計(jì)算效率。[0076]通過(guò)密度自適應(yīng)體素化和可分離式3D卷積的結(jié)合實(shí)現(xiàn)點(diǎn)云特征的提取，可有效提升整體效率與精度。[0077]步驟206中，可以采用各種可適用的方式實(shí)現(xiàn)點(diǎn)云特征和圖像特征的融合。對(duì)于具體的融合方式，本公開(kāi)實(shí)施例不作限制。例如，可以采用跨模態(tài)共享注意力機(jī)制，將點(diǎn)云特征和圖像特征映射到共享空間，計(jì)算注意力權(quán)重，并進(jìn)行加權(quán)融合，從而獲得多模態(tài)融合特[0078]圖5示出了本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合方法的另一流程示步驟208,評(píng)估圖像特征和點(diǎn)云特征的跨模態(tài)一致性是否滿足要求；步驟209,在圖像特征和點(diǎn)云特征的跨模態(tài)一致性不滿足要求時(shí)，使用生成對(duì)抗網(wǎng)絡(luò)(Generativeadversarialnetwork,GAN)生成基于點(diǎn)云生成偽多視角圖像，獲取偽多視角圖像的特征，將偽多視角圖像的特征合并到圖像特征。[0079]一些實(shí)施方式中，步驟208中可以通過(guò)如下之一或兩種方式評(píng)估圖像特征和所述點(diǎn)云特征的跨模態(tài)一致性是否滿足要求：1)通過(guò)BEV空間對(duì)比學(xué)習(xí)計(jì)算同一空間位置的點(diǎn)云特征和圖像特征之間的相似度，在所述相似度小于第一預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云特征和圖像特征的跨模態(tài)一致性不滿足要求；2)計(jì)算所述多視角圖像中前向視角圖像和所述點(diǎn)云之間的跨模態(tài)特征相似度，在所述跨模態(tài)特征相似度小于第二預(yù)定相似度閾值時(shí)，確定所述點(diǎn)云和前向視角圖像的跨模態(tài)一致性不滿足要求。[0080]具體地，可以計(jì)算同一空間位置的點(diǎn)云特征和圖像特征之間的平均余弦相似度，在平均余弦相似度大于或等于第一預(yù)定相似度閾值時(shí)則評(píng)估通過(guò)，可以是直接使用步驟的203得到的圖像特征和步驟205得到的點(diǎn)云特征進(jìn)行融合。在平均余弦相似度小于第一預(yù)定相似度閾值時(shí)，可以通過(guò)生成對(duì)抗網(wǎng)絡(luò)生成的偽多視角圖像的圖像特征與步驟203得到的圖像特征混合得到新的圖像特征，使用該新的圖像特征與步驟205得到的點(diǎn)云特征融合。由此，可以通過(guò)BEV空間對(duì)比學(xué)習(xí)在BEV空間動(dòng)態(tài)評(píng)估激光雷達(dá)與相機(jī)的特征分布一致性，解決投影偏差問(wèn)題，進(jìn)一步減少極端場(chǎng)景(如，雷雨天、夜間等)下外部環(huán)境引起的融合偏差，提升多模態(tài)數(shù)據(jù)融合的可靠性和魯棒性。[0081]進(jìn)一步地，還可以在模型訓(xùn)練階段，通過(guò)在損失函數(shù)中加入BEV空間對(duì)比學(xué)習(xí)中的對(duì)比損失(InfoNCELoss)函數(shù)，進(jìn)一步優(yōu)化圖像特征相關(guān)模型的參數(shù)和點(diǎn)云特征相關(guān)模型的參數(shù)，強(qiáng)制跨模態(tài)特征在BEV空間對(duì)齊，從而解決投影偏差問(wèn)題，進(jìn)一步減少極端場(chǎng)景(如，雷雨天、夜間等)下外部環(huán)境引起的融合偏差，提升多模態(tài)數(shù)據(jù)融合的可靠性和魯棒性。[0082]具體地，可以計(jì)算同一空間位置的前向視角圖像特征(即步驟301得到的特征)與點(diǎn)云特征之間的平均余弦相似度，以該平均余弦相似度作為多視角圖像中前向視角圖像和點(diǎn)云之間的跨模態(tài)特征相似度。在該平均余弦相似度大于或等于第二預(yù)定相似度閾值時(shí)則評(píng)估通過(guò)，可以是直接使用步驟的203得到的圖像特征和步驟205得到的點(diǎn)云特征進(jìn)行融合。在該平均余弦相似度小于第二預(yù)定相似度閾值時(shí)，可以通過(guò)生成對(duì)抗網(wǎng)絡(luò)生成的偽多視角圖像的圖像特征與步驟203得到的圖像特征混合得到新的圖像特征，使用該新的圖像特征與步驟205得到的點(diǎn)云特征融合。由此，可以通過(guò)前向圖特征匹配的方式評(píng)估激光雷達(dá)和相機(jī)的特征分布一致性，解決投影偏差問(wèn)題，進(jìn)一步減少極端場(chǎng)景(如，雷雨天、夜間等)下外部環(huán)境引起的融合偏差，提升多模態(tài)數(shù)據(jù)融合的可靠性和魯棒性。[0083]具體應(yīng)用中，在BEV空間坐標(biāo)系下，可以通過(guò)預(yù)標(biāo)定參數(shù)或可學(xué)習(xí)變換矩陣(如MLP)將點(diǎn)云與圖像特征投影至統(tǒng)一BEV柵格后，計(jì)算柵格級(jí)余弦相似度。[0084]進(jìn)一步地，還可在模型訓(xùn)練階段，通過(guò)在損失函數(shù)中加入前向圖特征匹配相關(guān)的互信息(MutualInformation,MI),進(jìn)一步優(yōu)化圖像特征相關(guān)模型的參數(shù)和點(diǎn)云特征相關(guān)模型的參數(shù)，增強(qiáng)同一物體在不同模態(tài)下的表征一致性，解決投影偏差問(wèn)題，進(jìn)一步減少極態(tài)數(shù)據(jù)融合的可靠性和魯棒性。限于CycleGAN.GAN包括生成器(Generator)和判別器(Discriminator),生成器負(fù)責(zé)基于一種模態(tài)數(shù)據(jù)生成另一種模態(tài)的偽數(shù)據(jù)，判別器用于區(qū)分真?zhèn)我酝苿?dòng)生成器生成更逼真的偽Loss)和跨模態(tài)對(duì)齊損失(Cross-modalAlignmentLoss)。其中，對(duì)抗損失訓(xùn)練生成器和判別器進(jìn)行對(duì)抗，使生成器生成的特征盡可能逼真。循環(huán)一致性損失可確保生成特征在轉(zhuǎn)換回原始模態(tài)后與原始特征一致，跨模態(tài)對(duì)齊損失可用于衡量生成特征與目標(biāo)模態(tài)特征的對(duì)齊程度。由此，可使GAN保持跨模態(tài)對(duì)齊，生成特征應(yīng)與目標(biāo)模態(tài)特征在語(yǔ)義和結(jié)構(gòu)上一致，從而在例如相機(jī)失效等極端場(chǎng)景下提高圖像和點(diǎn)云的特征對(duì)齊魯棒性。[0087]具體應(yīng)用中，GAN可以通過(guò)對(duì)抗訓(xùn)練與跨模態(tài)對(duì)比損失(如InfoNCELoss)聯(lián)合優(yōu)[0088]在某些極端場(chǎng)景下，某一模態(tài)可能會(huì)失效。例如：在夜間或霧天，相機(jī)可能因?yàn)楣庹詹蛔慊蚰芤?jiàn)度低而無(wú)法正常工作。又例如，雨天或雪天，相機(jī)圖像可能會(huì)受到雨滴或雪花樣依賴相機(jī)的視覺(jué)特征，就會(huì)導(dǎo)致性能下降甚至失效。類(lèi)似的在極端場(chǎng)景下，可以利用激光雷達(dá)采集的點(diǎn)云來(lái)生成視覺(jué)特征。鑒于此，步驟209中還可抗網(wǎng)絡(luò)中的生成器基于點(diǎn)云生成偽多視角圖像，獲取偽多視角圖像的特征，將偽多視角圖像的特征合并到圖像特征。由此，可以進(jìn)一步提升極端場(chǎng)景(如單模態(tài)失效)下多視角圖像和點(diǎn)云的特征對(duì)齊魯棒性。[0089]參見(jiàn)圖5,進(jìn)一步地，步驟206前，還可以包括：步驟210,根據(jù)多視角圖像中各視角圖像的曝光異常狀況動(dòng)態(tài)調(diào)整圖像特征的模態(tài)權(quán)重；和/或，步驟211,根據(jù)點(diǎn)云的局部點(diǎn)云密度動(dòng)態(tài)調(diào)整點(diǎn)云特征的模態(tài)權(quán)重。在步驟206中，可以基于圖像特征的模態(tài)權(quán)重和/或點(diǎn)云特征的模態(tài)權(quán)重融合圖像特征和點(diǎn)云特征以得到多模態(tài)融合特征。[0090]步驟210中，可以針對(duì)多視角圖像中的每個(gè)視角圖像，檢測(cè)過(guò)曝區(qū)域和/或欠曝區(qū)域并生成用于標(biāo)記過(guò)曝區(qū)域和/或欠曝區(qū)域的二維掩碼，根據(jù)該二維掩碼動(dòng)態(tài)調(diào)整圖像特[0091]一些示例中，可以通過(guò)直方圖分析和閾值判斷的方式檢測(cè)過(guò)曝/欠曝區(qū)域并生成掩碼。具體地，可以針對(duì)每個(gè)視角圖像執(zhí)行如下處理以生成其二維掩碼：提取視角圖像的亮度信息以生成視角圖像的亮度直方圖，將亮度直方圖的像素值歸一化至[0,255],采用固定閾值法(即，過(guò)曝閾值和欠曝閾值均取預(yù)設(shè)的固定值)或自適應(yīng)閾值法(即，根據(jù)亮度直方圖動(dòng)態(tài)調(diào)整過(guò)曝閾值和欠曝閾值，以亮度直方圖右側(cè)突然下降的位置作為過(guò)曝閾值，以亮度直方圖左側(cè)突然上升的位置作為欠曝閾值)基于亮度直方圖生成過(guò)曝掩碼和欠曝掩碼，對(duì)過(guò)曝掩碼和欠曝掩碼點(diǎn)積得到聯(lián)合掩碼，該聯(lián)合掩碼即為視角圖像的二維掩碼。[0092]具體應(yīng)用中，可以采用但不限于諸如基于圖像區(qū)塊的均值和方差動(dòng)態(tài)設(shè)定閾值等自適應(yīng)閾值分割或輕量級(jí)U-Net模型根據(jù)該二維掩碼動(dòng)態(tài)調(diào)整圖像特征的模態(tài)權(quán)重。[0093]一些示例中，根據(jù)二維掩碼動(dòng)態(tài)調(diào)整圖像特征的模態(tài)權(quán)重可以通過(guò)如下方式實(shí)現(xiàn)：將各視角圖像的二維掩碼映射到統(tǒng)一坐標(biāo)系(例如，BEV或全景平面)以得到多視角圖像的二維掩碼，將多視角圖像的二維掩碼轉(zhuǎn)換為置信度分?jǐn)?shù)C∈[0,1],通過(guò)置信度分?jǐn)?shù)C調(diào)整圖像特征的模態(tài)權(quán)重。[0094]通過(guò)過(guò)曝/欠曝掩碼動(dòng)態(tài)調(diào)整圖像特征的模態(tài)權(quán)重，可以在強(qiáng)光、逆光、夜間低光照環(huán)境下有效抑制低質(zhì)量圖像區(qū)域?qū)θ诤系挠绊?，減少融合偏差，提升融合精度。[0095]步驟211中，可以通過(guò)核密度估計(jì)(KernelDensityEstimation,KDE)計(jì)算點(diǎn)云的局部點(diǎn)云密度，將點(diǎn)云的局部點(diǎn)云密度映射為可靠性分?jǐn)?shù)，根據(jù)可靠性分?jǐn)?shù)調(diào)整點(diǎn)云特征的模態(tài)權(quán)重。[0096]由于稀疏區(qū)域點(diǎn)間距大，KDE疊加后的密度值低，稀疏區(qū)域的可靠性分?jǐn)?shù)低，在融合時(shí)權(quán)重降低，也即可以自動(dòng)將稀疏區(qū)域降權(quán)，避免在多模態(tài)數(shù)據(jù)融合中引入不可靠的點(diǎn)云特征，從而有效提升點(diǎn)云稀疏或遮擋場(chǎng)景下多模態(tài)融合的魯棒性。[0097]具體應(yīng)用中，基于過(guò)曝/欠曝區(qū)域的二維掩碼動(dòng)態(tài)調(diào)整得到的圖像特征模態(tài)權(quán)重與基于局部點(diǎn)云密度動(dòng)態(tài)調(diào)整得到的點(diǎn)云特征的融合特征，可以在圖像特征和點(diǎn)云特征的融合中同時(shí)使用。二者的協(xié)同作用能夠顯著提升多模態(tài)系統(tǒng)的魯棒性，尤其是在復(fù)雜光照和點(diǎn)云稀疏性共存的場(chǎng)景中。[0098]步驟207中，可以使用基于Anchor-free的檢測(cè)頭基于多模態(tài)融合特征進(jìn)行3D目標(biāo)界框的參數(shù)包括中心坐標(biāo)、尺寸、航向角，航向角表示目標(biāo)物體的方向角，中心點(diǎn)表示目標(biāo)物體的位置中心，尺寸表示目標(biāo)物體的寬度、高度和長(zhǎng)度。由此，可以獲得高精度3D目標(biāo)檢測(cè)結(jié)果，以適應(yīng)自動(dòng)駕駛等應(yīng)用場(chǎng)景的決策需求。[0099]步驟207中，可以使用諸如循環(huán)神經(jīng)網(wǎng)絡(luò)(RN單元(GRU)或Transformer等模型對(duì)多模態(tài)融合特征的序列進(jìn)行建模，從而預(yù)測(cè)得到車(chē)輛在未來(lái)預(yù)定時(shí)長(zhǎng)(例如，5秒內(nèi))的運(yùn)動(dòng)軌跡，車(chē)輛的運(yùn)動(dòng)軌跡可以表示為軌跡點(diǎn)序列，還可以包括諸如速度、加速度等運(yùn)動(dòng)參數(shù)的序列。通過(guò)多模態(tài)融合特征預(yù)測(cè)車(chē)輛運(yùn)動(dòng)軌跡，可以充分利用點(diǎn)云和圖像兩種模態(tài)的優(yōu)勢(shì)，提高軌跡預(yù)測(cè)的準(zhǔn)確性和魯棒性。[0100]進(jìn)一步地，步驟207后，還可以包括：通過(guò)卡爾曼濾波與多項(xiàng)式擬合結(jié)合的方法對(duì)步驟207得到的車(chē)輛運(yùn)動(dòng)軌跡進(jìn)行平滑插值修正，由此，可以消除單幀檢測(cè)抖動(dòng)對(duì)車(chē)輛運(yùn)動(dòng)軌跡的影響，提升車(chē)輛運(yùn)動(dòng)軌跡的預(yù)測(cè)準(zhǔn)確性。[0101]圖6示出了本公開(kāi)實(shí)施例提供的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置的結(jié)構(gòu)示意圖。參見(jiàn)圖6,本公開(kāi)實(shí)施例的環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置600可以包括：數(shù)據(jù)獲取單元601,用于獲取多視角相機(jī)陣列采集的多視角圖像和激光雷達(dá)采集圖像預(yù)處理單元602,用于預(yù)處理多視角圖像，預(yù)處理包括：針對(duì)多視角圖像中的每個(gè)視角圖像，根據(jù)視角圖像的光照狀況調(diào)整視角圖像的分辨率；圖像特征提取單元603,用于利用預(yù)處理后的多視角圖像獲得圖像特征；點(diǎn)云預(yù)處理單元604,用于預(yù)處理點(diǎn)云，預(yù)處理包括：根據(jù)車(chē)輛速度降采樣點(diǎn)云，對(duì)降采樣后的點(diǎn)云進(jìn)行稀疏區(qū)域插值補(bǔ)全和密集區(qū)域降采樣；點(diǎn)云特征提取單元605,用于利用預(yù)處理后的點(diǎn)云獲得點(diǎn)云特征；融合單元606,用于融合圖像特征和點(diǎn)云特征以得到多模態(tài)融合特征；任務(wù)執(zhí)行單元607,用于利用多模態(tài)融合特征執(zhí)行3D目標(biāo)檢測(cè)和/或車(chē)輛軌跡預(yù)[0102]進(jìn)一步地，圖像預(yù)處理單元602具體可以用于通過(guò)如下方式調(diào)整視角圖像的分辨率：通過(guò)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器確定視角圖像的光照等級(jí)；在視角圖像的光照等級(jí)低于預(yù)定檔位時(shí)，將視角圖像的分辨率提升至預(yù)定檔位對(duì)應(yīng)的圖像分辨率；在視角圖像的光照等級(jí)高于預(yù)定檔位時(shí)，將視角圖像的分辨率降至預(yù)定檔位對(duì)應(yīng)的圖像分辨率。[0103]進(jìn)一步地，圖像特征提取單元603具體可以用于：針對(duì)預(yù)處理后的多視角圖像中每個(gè)視角圖像執(zhí)行如下處理以提取各視角圖像的特征：通過(guò)包含條件卷積的圖像特征提取模塊根據(jù)視角圖像的光照等級(jí)動(dòng)態(tài)調(diào)整基礎(chǔ)卷積核的RGB通道權(quán)重以生成適應(yīng)視角圖像光照狀況的動(dòng)態(tài)卷積核并利用動(dòng)態(tài)卷積核提取視角圖像的特征；以及，將各視角圖像的特征對(duì)齊并融合以得到多尺度特征。[0104]進(jìn)一步地，圖像特征提取單元603還可以用于：使用輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)基于視角圖像生成語(yǔ)義分割掩碼，并將語(yǔ)義分割掩碼作為注意力權(quán)重應(yīng)用于利用動(dòng)態(tài)卷積核提取視角圖像的特征的過(guò)程中。[0105]進(jìn)一步地，點(diǎn)云預(yù)處理單元604具體可以用于：根據(jù)局部點(diǎn)云密度調(diào)整體素網(wǎng)格大小以自適應(yīng)體素化預(yù)處理后的點(diǎn)云從而獲得體素?cái)?shù)據(jù)；以及，使用可分離式3D卷積處理體素?cái)?shù)據(jù)以得到點(diǎn)云特征。[0106]進(jìn)一步地，環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置600還可以包括：一致性評(píng)估單元608和偽造單元609;其中，一致性評(píng)估單元608可用于評(píng)估圖像特征和點(diǎn)云特征的跨模態(tài)一致性是否滿足要求；偽造單元609可用于在圖像特征和點(diǎn)云特征的跨模態(tài)一致性不滿足要求時(shí)，使用生成對(duì)抗網(wǎng)絡(luò)GAN生成基于點(diǎn)云生成偽多視角圖像，獲取偽多視角圖像的特征，將偽多視角圖像的特征合并到圖像特征。[0107]進(jìn)一步地，一致性評(píng)估單元608具體可以用于通過(guò)如下之一或兩項(xiàng)評(píng)估圖像特征和點(diǎn)云特征的跨模態(tài)一致性是否滿足要求：1)通過(guò)BEV空間對(duì)比學(xué)習(xí)計(jì)算同一空間位置的點(diǎn)云特征和圖像特征之間的相似度，在相似度小于第一預(yù)定相似度閾值時(shí)，確定點(diǎn)云特征和圖像特征的跨模態(tài)一致性不滿足要求；2)計(jì)算多視角圖像中前向視角圖像和點(diǎn)云之間的跨模態(tài)特征相似度，在跨模態(tài)特征相似度小于第二預(yù)定相似度閾值時(shí)，確定點(diǎn)云和前向視角圖像的跨模態(tài)一致性不滿足要求。[0108]進(jìn)一步地，環(huán)境自適應(yīng)的多模態(tài)數(shù)據(jù)融合裝置600還可以包括：圖像特征模態(tài)權(quán)重調(diào)整單元610和/或點(diǎn)云特征模態(tài)權(quán)重調(diào)整單元611,圖像特征模態(tài)權(quán)重調(diào)整單元610可用于根據(jù)多視角圖像中各視角圖像的曝光異常狀況動(dòng)態(tài)調(diào)整圖像特征的模態(tài)權(quán)重，點(diǎn)云特征模態(tài)權(quán)重調(diào)整單元611可用于根據(jù)點(diǎn)云的局部點(diǎn)云密度動(dòng)態(tài)調(diào)整點(diǎn)云特征的模態(tài)權(quán)重。融合單元606具體可以用于：基于圖像