(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(72)發(fā)明人鄭東趙拯劉浩朱翔胡榛旸限公司16035融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法本申請實施例提供一種融合多模態(tài)數(shù)據(jù)感對相機的第一點云和雷達(dá)的第二點云進行配準(zhǔn)轉(zhuǎn)矩陣的逆矩陣和反向平移向量對相機的初始始位姿將第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相通過配準(zhǔn)算法對所迷第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量：根據(jù)所述逆矩陣根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修點云：根據(jù)表面重建算法對地圖點云進行表面重建操作21.一種融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述方法包括：獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以及，獲取雷達(dá)生成的第二點云；所述相機與所述雷達(dá)相鄰設(shè)置，且朝向相同；通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云；將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。2.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述根據(jù)相鄰幀視頻計算第一點云的步驟包括：對相鄰所述幀視頻中的相同目標(biāo)進行特征點匹配，獲得各相同目標(biāo)的特征點對；基于所述特征點對構(gòu)建基礎(chǔ)矩陣，并根據(jù)所述基礎(chǔ)矩陣及相機的內(nèi)參計算本質(zhì)矩陣；對所述本質(zhì)矩陣進行分解，獲得兩相鄰幀相機之間的第一旋轉(zhuǎn)矩陣和第一平移向量；根據(jù)相機的內(nèi)參以及所述第一旋轉(zhuǎn)矩陣和所述第一平移向量，通過三角測量法確定各特征點的三維坐標(biāo)；多個目標(biāo)的特征點的三維坐標(biāo)組成所述第一點云。3.根據(jù)權(quán)利要求2所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述多個目標(biāo)的特征點的三維坐標(biāo)組成所述第一點云的步驟包括：以相機矩形畫面范圍的中心點為原點，矩形長度的X%為長軸，矩形寬度的X%為短軸畫橢圓，選取位于矩形與橢圓交集區(qū)域內(nèi)部的特征點進行特征點匹配；所述X%為5%-15%。4.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量的步驟包括：對于第一點云中的每個點，通過最近鄰搜索算法找到第二點云中與其距離最接近的點組成匹配點對；基于剛性變換原則，計算能夠?qū)⑷克銎ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平移向使用所述第二旋轉(zhuǎn)矩陣和所述第二平移向量對所述第一點云中的點進行變換，使其更接近第一點云中與其距離最接近的點；重復(fù)上述步驟，至迭代次數(shù)達(dá)到上限，或所述第一點云和所述第二點云之間的距離變化小于預(yù)設(shè)值時，所獲得的第二旋轉(zhuǎn)矩陣和第二平移向量即為所述最優(yōu)旋轉(zhuǎn)矩陣和所述最優(yōu)平移向量。5.根據(jù)權(quán)利要求4所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述基于剛性變換原則，計算能夠?qū)⑷克銎ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平移向量的步驟包括：在每次迭代中，隨機選擇部分匹配點對，并計算對齊這些匹配點對的變換矩陣，所述變3換矩陣包括所述第二旋轉(zhuǎn)矩陣和所述第二平移向量；將所述變換矩陣應(yīng)用于第一點云，并計算變換后的所述第一點云與所述第二點云中其他匹配點對之間的距離；將距離符合設(shè)定閾值的匹配點對視為內(nèi)點進行保留，其他不符合的匹配點則視為外點進行去除。6.根據(jù)權(quán)利要求5所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述在每次迭代中，隨機選擇部分匹配點對，并計算對齊這些匹配點對的變換矩陣的步驟包括：將相機參數(shù)、所述第一點云的點和所述第二點云中的點作為變量節(jié)點，所述第一點云與所述第二點云中與之相對應(yīng)的點坐標(biāo)之間的重投影誤差作為觀測邊構(gòu)建因子圖；所述相機參數(shù)包括內(nèi)參和外參；所述外參包括所述第二旋轉(zhuǎn)矩陣和所述第二平移向量；對所述因子圖進行圖優(yōu)化，獲得所述變換矩陣；所述因子圖利用稀疏線性代數(shù)和求解器進行圖優(yōu)化。7.根據(jù)權(quán)利要求1所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，其特征在于，所述初始位姿的獲得方法為：基于已知的相機位姿，通過相對位姿逐幀積累來計算拍攝每一幀視頻的相機的初始位姿。8.一種融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置，其特征在于，所述裝置點云生成模塊，用于獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以位姿修正模塊，用于通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；點云修正模塊，用于根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云；地圖構(gòu)建模塊，用于將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)權(quán)利要求1至7任一項所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的步驟。10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7任一項所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的步驟。4融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法技術(shù)領(lǐng)域[0001]本申請涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法。背景技術(shù)[0002]在低空經(jīng)濟領(lǐng)域中，通過三維地圖重建，可以為低空飛行器提供精確的導(dǎo)航信息，包括空域航路、起降點位置等，從而提高飛行安全性和效率。同時，三維地圖還可以用于飛行監(jiān)管，實時監(jiān)控飛行器的位置和狀態(tài)，確保飛行活動符合規(guī)定，在城市規(guī)劃中，三維地圖可以提供詳細(xì)的空間信息，幫助規(guī)劃師更好地了解城市地形、建筑布局等，從而做出更合理的規(guī)劃決策，此外，三維地圖還可以用于城市建設(shè)的模擬和預(yù)測，評估不同建設(shè)方案對城市環(huán)境和交通的影響。甚至，在自然災(zāi)害或突發(fā)事件發(fā)生時，三維地圖可以快速提供災(zāi)區(qū)地以評估災(zāi)害造成的損失和影響，為災(zāi)后重建提供科學(xué)依據(jù)。[0003]當(dāng)前的三維重建數(shù)據(jù)，來源于攝像頭的視頻數(shù)據(jù)(RGB和IR)和基于雷達(dá)的點云數(shù)據(jù)。具體的，基于攝像頭圖像數(shù)據(jù)做三維重建時，可將其圖像數(shù)據(jù)經(jīng)三維坐標(biāo)點恢復(fù)操作重建為三維點云數(shù)據(jù)，再根據(jù)預(yù)設(shè)表面重建算法對三維點云數(shù)據(jù)進行表面重建操作，確定對應(yīng)的三維模型。或基于表面重建算法等直接將雷達(dá)的點云數(shù)據(jù)轉(zhuǎn)換為三維模型。而低空經(jīng)濟領(lǐng)域中，攝像頭的拍攝畫面往往較遠(yuǎn)，可達(dá)到幾百米甚至幾公里，而雷達(dá)所生成的點云受限于成本，在200m以內(nèi)。通常情況下，攝像頭所生成的點云的范圍廣度要大于雷達(dá)生成的點云，但是雷達(dá)生成的點云的精度要大于攝像頭所生成的點云的精度。如何充分利用二者的優(yōu)點獲取更為準(zhǔn)確的三維地圖模型，是該領(lǐng)域技術(shù)人員始終要解決的技術(shù)問題。發(fā)明內(nèi)容[0004]針對現(xiàn)有技術(shù)中的問題，本申請?zhí)峁┮环N融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，以利用攝像頭圖像數(shù)據(jù)的廣度優(yōu)勢及雷達(dá)點云數(shù)據(jù)的精度優(yōu)勢提升低空經(jīng)濟領(lǐng)域三維地圖建模的精度。[0005]為了解決上述問題中的至少一個，本申請?zhí)峁┮韵录夹g(shù)方案：[0006]第一方面，本申請?zhí)峁┮环N融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方[0007]獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以及，獲取雷達(dá)生成的第二點云；所述相機與所述雷達(dá)相鄰設(shè)置，且朝向相同；[0008]通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；[0009]根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)5[0010]將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。[0011]進一步的，所述根據(jù)相鄰幀視頻計算第一點云的步驟包括：[0012]對相鄰所述幀視頻中的相同目標(biāo)進行特征點匹配，獲得各相同目標(biāo)的特征點對；[0013]基于所述特征點對構(gòu)建基礎(chǔ)矩陣，并根據(jù)所述基礎(chǔ)矩陣及相機的內(nèi)參計算本質(zhì)矩[0014]對所述本質(zhì)矩陣進行分解，獲得兩相鄰幀相機之間的第一旋轉(zhuǎn)矩陣和第一平移向[0015]根據(jù)相機的內(nèi)參以及所述第一旋轉(zhuǎn)矩陣和所述第一平移向量，通過三角測量法確定各特征點的三維坐標(biāo)；多個目標(biāo)的特征點的三維坐標(biāo)組成所述第一點云。[0016]進一步的，所述多個目標(biāo)的特征點的三維坐標(biāo)組成所述第一點云的步驟包括：[0017]以相機矩形畫面范圍的中心點為原點，矩形長度的X%為長軸，矩形寬度的X%為短軸畫橢圓，選取位于矩形與橢圓交集區(qū)域內(nèi)部的特征點進行特征點匹配；所述X%為5%-15%。[0018]進一步的，所述通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量的步驟包括：[0019]對于第一點云中的每個點，通過最近鄰搜索算法找到第二點云中與其距離最接近的點組成匹配點對；[0020]基于剛性變換原則，計算能夠?qū)⑷克銎ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平[0021]使用所述第二旋轉(zhuǎn)矩陣和所述第二平移向量對所述第一點云中的點進行變換，使其更接近第一點云中與其距離最接近的點；[0022]重復(fù)上述步驟，至迭代次數(shù)達(dá)到上限，或所述第一點云和所述第二點云之間的距離變化小于預(yù)設(shè)值時，所獲得的第二旋轉(zhuǎn)矩陣和第二平移向量即為所述最優(yōu)旋轉(zhuǎn)矩陣和所述最優(yōu)平移向量。[0023]進一步的，所述基于剛性變換原則，計算能夠?qū)⑷克銎ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平移向量的步驟包括：[0024]在每次迭代中，隨機選擇部分匹配點對，并計算對齊這些匹配點對的變換矩陣，所述變換矩陣包括所述第二旋轉(zhuǎn)矩陣和所述第二平移向量；[0025]將所述變換矩陣應(yīng)用于第一點云，并計算變換后的所述第一點云與所述第二點云中其他匹配點對之間的距離；[0026]將距離符合設(shè)定閾值的匹配點對視為內(nèi)點進行保留，其他不符合的匹配點則視為外點進行去除。[0027]進一步的，所述在每次迭代中，隨機選擇部分匹配點對，并計算對齊這些匹配點對的變換矩陣的步驟包括：[0028]將相機參數(shù)、所述第一點云的點和所述第二點云中的點作為變量節(jié)點，所述第一點云與所述第二點云中與之相對應(yīng)的點坐標(biāo)之間的重投影誤差作為觀測邊構(gòu)建因子圖；所述相機參數(shù)包括內(nèi)參和外參；所述外參包括所述第二旋轉(zhuǎn)矩陣和所述第二平移向量；6[0029]對所述因子圖進行圖優(yōu)化，獲得所述變換矩陣；所述因子圖利用稀疏線性代數(shù)和求解器進行圖優(yōu)化。[0030]進一步的，所述初始位姿的獲得方法為：基于已知的相機位姿，通過相對位姿逐幀積累來計算拍攝每一幀視頻的相機的初始位姿。[0031]第二方面，本申請?zhí)峁┮环N融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置，包括：[0032]點云生成模塊，用于獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點[0033]位姿修正模塊，用于通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；[0034]點云修正模塊，用于根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云；[0035]地圖構(gòu)建模塊，用于將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建[0036]第三方面，本申請?zhí)峁┮环N電子設(shè)備，包括存儲器、處理器及存在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的步驟。[0037]第四方面，本申請?zhí)峁┮环N計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的步驟。[0038]第五方面，本申請?zhí)峁┮环N計算機程序產(chǎn)品，包括計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)所述的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的步驟。[0039]由上述技術(shù)方案可知，本申請?zhí)峁┮环N融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。附圖說明[0040]為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本申請7的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0041]圖1為本申請實施例中的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的流程示意圖；[0042]圖2為本申請實施例中的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的選點范圍區(qū)域圖；[0043]圖3為本申請實施例中的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置的結(jié)構(gòu)圖；[0044]圖4為本申請實施例中的電子設(shè)備的結(jié)構(gòu)示意圖。處理器9130、顯示器9160、電源9170、緩沖存儲器9141、應(yīng)用/功能存儲部9142、數(shù)據(jù)存儲部具體實施方式[0047]為使本申請實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進行清楚、完整的描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。[0048]本申請技術(shù)方案中對數(shù)據(jù)的獲取、存儲、使用規(guī)定。[0049]考慮到現(xiàn)有技術(shù)中存在的問題，本申請?zhí)峁┮环N融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。[0050]為了在較大范圍內(nèi)獲取更為準(zhǔn)確的三位地圖建模，本申請充分利用相機和雷達(dá)各自的優(yōu)勢，提供一種融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的實施例，參見圖1,所述融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法具體包含有如下內(nèi)容：[0051]步驟S101:獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以及，獲取雷達(dá)生成的第二點云；所述相機與所述雷達(dá)相鄰設(shè)置，且朝向相同。[0052]可選的，本實施例中，相機和雷達(dá)設(shè)置于低空飛行器的機腹，且二者在物理空間中安裝得很接近，甚至共享相同的安裝位置或區(qū)域，因此，能夠利用第二點云對第一點云進行修正，并用得到的偏差值反向修正相機的絕對位姿，利用修正后的位姿再次獲取相機的點云數(shù)據(jù)，最終得到精度高于第一點云數(shù)據(jù)的第一修正點云數(shù)據(jù)。[0053]可選的，本實施例中，根據(jù)相鄰幀視頻計算第一點云的步驟包括：使8ORB等圖像處理算法對相鄰幀視頻中的特征點進行提取，然后，使用最鄰近算法對相鄰幀視頻中的相同目標(biāo)進行特征點匹配，獲得各相同目標(biāo)的特征點對；基于該特征點對構(gòu)建基礎(chǔ)矩陣，并根據(jù)基礎(chǔ)矩陣及相機的內(nèi)參(焦距、主點坐標(biāo)、畸變系數(shù)等)計算本質(zhì)矩陣；通過對本質(zhì)矩陣進行分解，獲得兩相鄰幀相機之間的第一旋轉(zhuǎn)矩陣和第一平移向量，也即兩個相鄰幀相機的相對位姿；最后，根據(jù)相機的內(nèi)參以及第一旋轉(zhuǎn)矩陣和所述第一平移向量，通過三角測量法確定各特征點的三維坐標(biāo)；多個目標(biāo)的特征點的三維坐標(biāo)組成第一點云。[0054]具體的，基礎(chǔ)矩陣的定義為：[0056]其中，F(xiàn)為基礎(chǔ)矩陣，E為本質(zhì)矩陣，K為相機的內(nèi)參矩陣。[0057]本質(zhì)矩陣E與相機的相對位姿(旋轉(zhuǎn)矩陣R和平移向量t)的關(guān)系為：[0059]其中，[t]是平移向量t的反對稱矩陣。[0060]特征點的三維坐標(biāo)的計算公式為：[0062]其中，p?和p?為兩個相鄰幀相機坐標(biāo)系下的特征點，K為相機的內(nèi)參矩陣，(R,t)為相機的相對位姿，×為向量的叉積。[0063]可選的，本實施例中，考慮到本發(fā)明的使用場景為大空間尺度，相機位姿端細(xì)小的誤差在畫面遠(yuǎn)端會放大，雖然對畫面做畸變矯正可以恢復(fù)畫面，但恢復(fù)后的畫面，在邊緣處仍有失真問題，因此，為消除鏡頭畸變對最終結(jié)果的影響，本實施例在選擇特征點時，選取畫面中間區(qū)域的特征點，邊緣特征點忽略，同時舍棄一部分邊緣畫面，只用中間大部分的畫面，盡可能減少鏡頭畸變對計算相機位姿的影響。[0064]選點范圍區(qū)域mask如圖2所示，以相機矩形畫面范圍的中心點為原點，矩形長度的X%為長軸，矩形寬度的X%為短軸畫橢圓，選取位于矩形與橢圓交集區(qū)域內(nèi)部的特征點進行特征點匹配，其余的特征點舍棄。矩形是原始的畫面范圍，示例性的，如，攝像頭是16:9的，則分辨率為1920*1080.X跟據(jù)具體畸變情況而定，范圍為5%-15%,例如，選取5%,10%,15%[0065]步驟S102:通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿。[0066]可選的，本實施例采用ICP(IterativeClosestPoint)算法對第一點云和第二點云進行配準(zhǔn)，即，以雷達(dá)的第二點云為目標(biāo)點云，相機的第一點云為源點云，最小化第一點云和第二點云之間的誤差函數(shù)E:[0068]其中，P和Q;分別是第一點云和第二點云中的匹配點，R和t分別為相機的旋轉(zhuǎn)矩陣和平移向量。[0069]即，在點云配準(zhǔn)過程中，ICP算法通過迭代地尋找兩個點云(第一點云和第二點云)之間的最近點對，并計算最優(yōu)的剛性變換(包括旋轉(zhuǎn)矩陣R和平移向量t),使得源點云(第一9點云)能夠在目標(biāo)點云(第二點云)的坐標(biāo)系下對齊。如果將第一點云中的每個點都按照旋轉(zhuǎn)矩陣R和平移向量t進行變換，可以得到修正后的點云。這個修正后的點云與雷達(dá)生成的第二點云在空間上更加接近，能夠提高第一點云的精度。然后，由于旋轉(zhuǎn)矩陣R和平移向量t是將第一點云變換到第二點云的變換矩陣，那么反向修正相機的位姿就需要使用R的逆矩陣(或轉(zhuǎn)置矩陣，因為R是正交矩陣，其逆矩陣等于轉(zhuǎn)置矩陣)和-t(即平移向量的相反數(shù)),更新相機的位姿，使其能夠與修正后的點云對齊。最后，利用修正后的位姿再次獲取相機的點云數(shù)據(jù)，最終得到精度高于第一點云數(shù)據(jù)的第一修正點云數(shù)據(jù)。[0070]具體的，本實施例中，配準(zhǔn)步驟包括：對于第一點云中的每個點，通過最近鄰搜索算法找到第二點云中與其距離最接近的點組成匹配點對；基于剛性變換原則，計算能夠?qū)⑷科ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平移向量；使用第二旋轉(zhuǎn)矩陣和第二平移向量對第一點云中的點進行變換，使其更接近第一點云中與其距離最接近的點；重復(fù)上述步驟，至迭代次數(shù)達(dá)到上限，或第一點云和第二點云之間的距離變化小于預(yù)設(shè)值時，所獲得的第二旋轉(zhuǎn)矩陣和第二平移向量即為最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量。[0071]可選的，本實施例中，考慮到相機的畫面中心部分畸變影響最小，雷達(dá)也是越靠近中心區(qū)域，其精度越高的特性，在做ICP匹配時，可為這些中心區(qū)域增加權(quán)重方案如下：為了實現(xiàn)中間區(qū)域權(quán)重大于邊緣區(qū)域，可以設(shè)置一個適當(dāng)?shù)摩抑?，使得高斯函?shù)在中心區(qū)域的值較大，而在邊緣區(qū)域的值較小，使用這些權(quán)重來調(diào)整點云數(shù)據(jù)，使得中心區(qū)域的點在配準(zhǔn)過程中具有更大的影響力。具體公示如下：[0073]其中，d表示點到某個參考點(本例中是畫面中心點)的距離，σ是標(biāo)準(zhǔn)差，用于控制高斯分布的寬度。[0074]在點云配準(zhǔn)中，距離中心區(qū)域越近的點(即d值越小),其權(quán)重越大；距離中心區(qū)域[0075]具體在本例中，先核對雷達(dá)數(shù)據(jù)的精準(zhǔn)度，若測量結(jié)果顯示其中間數(shù)據(jù)誤差與邊緣數(shù)據(jù)誤差偏差越大，即雷達(dá)數(shù)據(jù)中，中心的數(shù)據(jù)越精準(zhǔn)，則d應(yīng)選越小的值。[0076]可選的，本實施例中，考慮到該點云配準(zhǔn)為多點匹配，匹配點的質(zhì)量對配準(zhǔn)結(jié)果至預(yù)設(shè)一個合理的閾值來區(qū)分正常點(內(nèi)點)和異常點(外點),從匹配點中篩選出正確的變換參數(shù)(最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量),以減少異常點對配準(zhǔn)的影響，提高配準(zhǔn)的魯棒性和準(zhǔn)確性。[0077]具體的，本實施例中，上述基于剛性變換原則，計算能夠?qū)⑷科ヅ潼c對對齊的第二旋轉(zhuǎn)矩陣和第二平移向量的步驟包括：在每次迭代中，隨機選擇部分匹配點對，優(yōu)選為最小數(shù)量的匹配點對，如3個匹配點對，并計算對齊這些匹配點對的變換矩陣，該變換矩陣包括第二旋轉(zhuǎn)矩陣和第二平移向量；將變換矩陣應(yīng)用于第一點云，并計算變換后的第一點云與第二點云中其他匹配點對之間的距離，評估變換的質(zhì)量；將距離符合設(shè)定閾值的匹配點更新最優(yōu)的變換矩陣，直到找到一個能最大程度匹配內(nèi)點的變換矩陣。了提高運算速度，本實施例采用因子圖(FactorGraph)以更加結(jié)構(gòu)化和高效的方式來處理這些約束。即，在本實施例的RANSAC算法中，通過從匹配點中隨機選擇樣本來估計一個模型，并檢查哪些點對符合該模型(即內(nèi)點)。而通過將因子圖引入RANSAC算法，可以通過建模約束和優(yōu)化問題來加速此過程，尤其是在應(yīng)用于大規(guī)模數(shù)據(jù)的情況下。[0079]因子圖是一種圖形模型，它由變量節(jié)點和因子節(jié)點組成，因子節(jié)點表示變量之間的約束。通常，它在最優(yōu)化問題中用于表達(dá)不同變量之間的關(guān)系。因此，在本實施例的RANSAC算法中，因子圖可以結(jié)構(gòu)化地表示點云之間的變換(如旋轉(zhuǎn)和平移),并通過優(yōu)化求解最優(yōu)變換，以使得本實施例能夠在不直接暴力遍歷所有可能匹配點的情況下高效地找到最優(yōu)解，提高最優(yōu)解的搜索速度。[0080]具體的，本實施例中，將因子圖引入RANSAC算法的大致框架為：將相機參數(shù)(包括內(nèi)參如焦距、主點坐標(biāo)等，以及外參如第二旋轉(zhuǎn)矩陣和第二平移向量描述的相機位姿等)、第一點云的點和第二點云中的點作為變量節(jié)點，并將BA(BundleAdjustment,束調(diào)整)算法作為約束加入因子圖，以進一步優(yōu)化相機的位姿和特征點的三維坐標(biāo)，用于精確化初始的SIFT/SURF/ORB等特征匹配得到的幾何模型。[0081]本實施例中，將第一點云與第二點云中與之相對應(yīng)的點坐標(biāo)之間的重投影誤差作為觀測邊，或稱為因子節(jié)點構(gòu)建因子圖。每個匹配點對作為一個因子節(jié)點，連接兩個變量節(jié)點(如，對應(yīng)于第一點云和第二點云的變換矩陣，或稱為變換參數(shù)),因子節(jié)點的任務(wù)是衡量當(dāng)前變換下點云匹配的誤差。通過最小化重投影誤差，聯(lián)合優(yōu)化場景中的三維點的位置以及相機的內(nèi)外參數(shù)，從而獲得最精確的幾何模型和相機姿態(tài)。[0082]更具體的，對于一個已知的三維點P和相機參數(shù)，可以計算出該點在圖像上的投影坐標(biāo)u。如果雷達(dá)觀測到的特征點位置為u',則重投影誤差定義為二者之差：e=u'-u.BA的目標(biāo)是找到一組相機參數(shù)和三維點坐標(biāo)，使得所有圖像上所有特征點的重投影誤差之和最[0083]因此，在本實施例RANSAC算法的每次迭代中，將估計的變換參數(shù)作為因子圖中的變量節(jié)點，通過優(yōu)化算法，例如高斯-牛頓法、Levenberg-Marquardt算法等來優(yōu)化這些變換參數(shù)，優(yōu)化的目標(biāo)是最小化所有因子節(jié)點中約束的誤差，從而獲得最優(yōu)的變換矩陣。然后根據(jù)當(dāng)前優(yōu)化得到的變換，通過計算每個匹配點對的誤差來判斷該匹配點是否為內(nèi)點。如果化得到的變換參數(shù)會與當(dāng)前最優(yōu)變換進行比較，更新最優(yōu)的變換(具有最多內(nèi)點的變換)。作為優(yōu)選方案，本實施例利用稀疏線性代數(shù)和高效的求解器進行圖優(yōu)化。每個三維點的內(nèi)點或外點狀態(tài)。而因子圖可以幫助識別和分組具有相似約束關(guān)系的三維點，進而加速這些三維點的處理。通過將這些任務(wù)分解并并行執(zhí)行，因子圖能夠顯著提高RANSAC算法的計算效率。而且，通過因子圖，RANSAC算法能夠更高效地表示和利用內(nèi)點和外點之間的關(guān)系，這種結(jié)構(gòu)化表示有助于在選擇內(nèi)點和外點時減少冗余計算。而且因子圖能11夠通過迭代優(yōu)化，使得每一輪計算都能更快地收斂于一個合理的解。相比于傳統(tǒng)RANSAC算法的隨機選擇和重復(fù)試探，因子圖通過更加精細(xì)的優(yōu)化過程快速判斷哪些三維點屬于內(nèi)點，從而加速了整體算法的收斂速度。局優(yōu)化方法來優(yōu)化解的質(zhì)量。因子圖可以同時處理多組數(shù)據(jù)的約束關(guān)系，并通過優(yōu)化算法來修正偏差，以減少外點對最終模型的影響，從而在全局層面上提高內(nèi)點的選擇準(zhǔn)確性。這樣，系統(tǒng)不需要每次都重復(fù)計算所有點的內(nèi)外點關(guān)系，同時提升了計算速度。而且，在傳統(tǒng)方法中，內(nèi)點和外點的選擇通常依賴于局部的距離度量，可能導(dǎo)致誤差較大，而本實施例中，因子圖通過利用更復(fù)雜的全局約束，如，位姿約束等，幫助更精確地篩選出三維點中的內(nèi)點。這種精確的篩選進一步減少了不必要的計算，特別是在數(shù)據(jù)量較大的情況下。因此，由于因子圖能夠考慮到所有點之間的全局約束，它比傳統(tǒng)的RANSAC方法在內(nèi)點的選擇上更精確。助全局約束和優(yōu)化方法，提高內(nèi)點選擇的精度，并減少冗余計算，從而顯著加快計算速度、提高魯棒性和加快收斂過程，以適應(yīng)大規(guī)模點云數(shù)據(jù)的處理。[0087]可選的，本實施例中，初始位姿的獲得方法為：基于已知的相機位姿，通過相對位姿逐幀積累來計算拍攝每一幀視頻的相機的初始位姿。即，通過分析相機相鄰幀之間的相對運動來計算相機在拍攝視頻時的位姿(即每一幀相機的旋轉(zhuǎn)矩陣R和平移向量t)。即，假設(shè)相機的第一幀位姿T?=[R?It。]已知，且通常設(shè)定為單位矩陣(即R?=I和t?=0),則目標(biāo)是計算相機在接下來的每一幀的位姿T;=[R:It;],其中R是旋轉(zhuǎn)矩陣，t;是平移向量，如上述步驟中的第一旋轉(zhuǎn)矩陣和第一平移向量。[0088]具體的，通過LK光流(Lucas-Kanade光流)算法或稠密光流(DenseOpticalFlow)方法，利用圖像中的像素點的運動估計相機的運動。從上述方法中得到的旋轉(zhuǎn)矩陣R通過將相對位姿逐幀積累來計算每一幀的絕對位姿的公式為：[0090]其中，Ti-1是上一幀的相機位姿，Tre1=[次計算新的相機位姿時，都會更新當(dāng)前幀的相機的絕對位姿。[0091]步驟S103:根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的[0092]在計算三維點云時，三角測量法是利用兩幀圖像之間的相對位置(基線)和對應(yīng)點之間的視差來計算每個點在三維空間中的位置。這個過程依賴于相機的內(nèi)參(焦距、主點坐標(biāo)等)和外參(相機的位姿，如旋轉(zhuǎn)和平移)來進行。即，每個三維點的位置是通過相機的位姿和圖像中的對應(yīng)點進行重建的。相機的位姿定義了從世界坐標(biāo)系到相機坐標(biāo)系的轉(zhuǎn)換。因此，如果已經(jīng)通過三角測量法得到一個三維點云，那么這些點的坐標(biāo)是基于相機坐標(biāo)系的，如果相機位姿發(fā)生了修正，三維點云需要從舊的相機坐標(biāo)系轉(zhuǎn)換到新的相機坐標(biāo)系中。[0093]具體的，假設(shè)原始的三維點云P=(X,Y,Z)是相對于初始相機位姿T。=[R?It。]的位姿T?！?[R。'It?！鋆,將所有的三維點云從原始坐標(biāo)系轉(zhuǎn)換到新的坐標(biāo)系的轉(zhuǎn)換步驟為：[0094]1.將三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系：[0095]使用相機位姿T?=[R?It。]將每個三維點P從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系下：[0097]2.將三維點從世界坐標(biāo)系轉(zhuǎn)換到新的相機坐標(biāo)系：[0098]使用新的相機位姿]將點云轉(zhuǎn)換到新的相機坐標(biāo)系下：[0100]其中R?！笔荝?！霓D(zhuǎn)置矩陣(表示從世界坐標(biāo)系到相機坐標(biāo)系的旋轉(zhuǎn))。[0101]3.合并變換：[0102]將這兩個步驟結(jié)合起來，則可以從初始相機坐標(biāo)系T?中的三維點云P計算到修正后相機坐標(biāo)系T。'中的三維點云：[0104]這里的R。·P+t。是將三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系的結(jié)果，減去t。'并乘以R。'T,則完成了三維點從世界坐標(biāo)系到修正后相機坐標(biāo)系的轉(zhuǎn)換。[0105]由于在使用相機與雷達(dá)對低空經(jīng)濟領(lǐng)域進行探測時，相機及雷達(dá)形成的點云只在設(shè)備主點附近的扇形輻射范圍內(nèi)部分重疊，若在點云配準(zhǔn)后采用變換矩陣直接對點云進行矯正，則隨著距離的增加，相機點云的修正誤差會越來越大，難以起到對雷達(dá)點云的數(shù)據(jù)范圍進行補充的意義。因此，相較于傳統(tǒng)方法，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。[0106]步驟S104:將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。[0107]由于通過三角測量法計算出的多個連續(xù)的三維點云分別位于多個相機幀的三維坐標(biāo)系中，因此，在使用三角測量法計算出多個連續(xù)的三維點云之后，需要通過點云融合將多個相機幀的三維坐標(biāo)系對齊到同一個世界坐標(biāo)系中，將多個點云合并成一個統(tǒng)一的三維模型。[0108]具體的融合方法為：[0109]坐標(biāo)轉(zhuǎn)換：對每個新的點云(比如，幀k計算出來的點云)進行坐標(biāo)變換，將它從該幀的相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系。參考上述相機初始位姿的計算過程，獲得相機k相對于參考幀(通常是幀0)的旋轉(zhuǎn)矩陣R和平移向量t,則將點P從相機k坐標(biāo)系轉(zhuǎn)換到參考幀的世界坐標(biāo)系P?的公式是：[0111]其中R是點云中某一三維點在相機k坐標(biāo)系下的坐標(biāo)，P。是該點在參考幀的世界坐標(biāo)系下的坐標(biāo)。[0112]點云配準(zhǔn)：使用ICP算法或NDT算法等點云配準(zhǔn)算法對齊點云，并通過拼接將各點云進行融合，得到一個完整的、融合的三維點云。優(yōu)選的，還可使用體素濾波(VoxelGridFilter)等后處理方法來減少點云的密度和噪聲。[0113]網(wǎng)格化：對融合后的點云進行網(wǎng)格化操作，獲得三維網(wǎng)格模型；將圖像中的表面信息映射到三維網(wǎng)格上，形成帶有紋理的三維地圖模型。[0114]從上述描述可知，本申請實施例提供的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。[0115]為了在較大范圍內(nèi)獲取更為準(zhǔn)確的三位地圖建模，本申請充分利用相機和雷達(dá)各自的優(yōu)勢，提供一種用于實現(xiàn)所述融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的全部或部分內(nèi)容的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置的實施例，參見圖3,所述融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置具體包含有如下內(nèi)容：[0116]點云生成模塊10,用于獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一[0117]位姿修正模塊20,用于通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；[0118]點云修正模塊30,用于根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云；[0119]地圖構(gòu)建模塊40,用于將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重[0120]從上述描述可知，本申請實施例提供的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。[0121]從硬件層面來說，為了能夠在較大范圍內(nèi)獲取更為準(zhǔn)確的三位地圖建模，本申請充分利用相機和雷達(dá)各自的優(yōu)勢，提供一種用于實現(xiàn)所述融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法中的全部或部分內(nèi)容的電子設(shè)備的實施例，所述電子設(shè)備具體包含有[0122]處理器(processor)、存儲器(memory)、通信接口(CommunicationsInterface)口用于實現(xiàn)融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置與核心業(yè)務(wù)系統(tǒng)、用戶終端以及相關(guān)數(shù)據(jù)庫等相關(guān)設(shè)備之間的信息傳輸；該邏輯控制器可以是臺式計算機、平板電腦及移動終端等，本實施例不限于此。在本實施例中，該邏輯控制器可以參照實施例中的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的實施例，以及融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置的實施例進行實施，其內(nèi)容被合并于此，重復(fù)之處不再贅述。[0123]可以理解的是，所述用戶終端可以包括智能手機、平板電子設(shè)備、網(wǎng)絡(luò)機頂盒、便[0124]在實際應(yīng)用中，融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的部分可以在如上述內(nèi)容所述的電子設(shè)備側(cè)執(zhí)行，也可以所有的操作都在所述客戶端設(shè)備中完成。具體可以根據(jù)所述客戶端設(shè)備的處理能力，以及用戶使用場景的限制等進行選擇。本申請對此不作限定。若所有的操作都在所述客戶端設(shè)備中完成，所述客戶端設(shè)備還可以包括處理器。[0125]上述的客戶端設(shè)備可以具有通信模塊(即通信單元),可以與遠(yuǎn)程的服務(wù)器進行通信連接，實現(xiàn)與所述服務(wù)器的數(shù)據(jù)傳輸。所述服務(wù)器可以包括任務(wù)調(diào)度中心一側(cè)的服務(wù)器，其他的實施場景中也可以包括中間平臺的服務(wù)器，例如與任務(wù)調(diào)度中心服務(wù)器有通信鏈接的第三方服務(wù)器平臺的服務(wù)器。所述的服務(wù)器可以包括單臺計算機設(shè)備，也可以包括多個服務(wù)器組成的服務(wù)器集群，或者分布式裝置的服務(wù)器結(jié)構(gòu)。[0126]圖4為本申請實施例的電子設(shè)備9600的系統(tǒng)構(gòu)成的示意框圖。如圖4所示，該電子設(shè)備9600可以包括中央處理器9100和存儲器9140;存儲器9140耦合到中央處理器9100。值得注意的是，該圖4是示例性的；還可以使用其他類型的結(jié)構(gòu)，來補電信功能或其他功能。[0127]一實施例中，融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法功能可以被集成到中央處理器9100中。其中，中央處理器9100可以被配置為進行如下控制：[0128]步驟S101:獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以及，獲取雷達(dá)生成的第二點云；所述相機與所述雷達(dá)相鄰設(shè)置，且朝向相同；[0129]步驟S102:通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；[0130]步驟S103:根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云；[0131]步驟S104:將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。[0132]從上述描述可知，本申請實施例提供的電子設(shè)備，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位姿修正相機點云的方法能夠大幅提升相機遠(yuǎn)距離點的修正精度，使相機在保持遠(yuǎn)距離優(yōu)勢的基礎(chǔ)上獲得更為精確的點云數(shù)據(jù)，進而獲得更為精確的三維地圖模型。[0133]在另一個實施方式中，融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置可以與中央處理器9100分開配置，例如可以將融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建裝置配置為與中央處理器9100連接的芯片，通過中央處理器的控制來實現(xiàn)融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法功能。器9130、顯示器9160、電源9170。值得注意的是，電子設(shè)備9600也并不示的所有部件；此外，電子設(shè)備9600還可以包括圖4中沒有示出的部件，可以參考現(xiàn)有技術(shù)。[0135]如圖4所示，中央處理器9100有時也稱為控制器或操作控件，可以包括微處理器或其他處理器裝置和/或邏輯裝置，該中央處理器9100接收輸入并控制電子設(shè)備9600的各個部件的操作。易失性存儲器或其它合適裝置中的一種或更多種?？蓛Υ嫔鲜雠c失敗有關(guān)的信息，此外還可存儲執(zhí)行有關(guān)信息的程序。并且中央處理器9100可執(zhí)行該存儲器9140存儲的該程序，以實現(xiàn)信息存儲或處理等。[0137]輸入單元9120向中央處理器9100提供輸入。該輸入單元9120例如為按鍵或觸摸輸入裝置。電源9170用于向電子設(shè)備9600提供電力。顯示器9160用于進行圖像和文字等顯示[0138]該存儲器9140可以是固態(tài)存儲器，例如，只讀存儲器(ROM)、隨機存取存儲器且設(shè)有更多數(shù)據(jù)，該存儲器的示例有時被稱為EPROM的裝置。存儲器9140包括緩沖存儲器9141(有時被稱為緩沖器)。存儲器9140可以包括應(yīng)用/功能存儲部9142,該應(yīng)用/功能存儲部9142用于存儲應(yīng)用程序和功能程序或用于通過中央處理器9100執(zhí)行電子設(shè)備9600的操作的流程。[0139]存儲器9140還可以包括數(shù)據(jù)存儲部9143,該數(shù)據(jù)存儲部9143用于存儲數(shù)據(jù)，例如序存儲部9144可以包括電子設(shè)備的用于通信功能和/或用于執(zhí)行電子設(shè)備的其他功能(如消息傳送應(yīng)用、通訊錄應(yīng)用等)的各種驅(qū)動程序。[0140]通信模塊9110即為經(jīng)由天線9111發(fā)送和接收信號的發(fā)送機/接收機。通信模塊9110(發(fā)送機/接收機)耦合到中央處理器9100,以提供輸入信號和接收輸出信號，這可以和常規(guī)移動通信終端的情況相同。[0141]基于不同的通信技術(shù)，在同一電子設(shè)備中，可以設(shè)置有多個通信模塊9110,如蜂窩網(wǎng)絡(luò)模塊、藍(lán)牙模塊和/或無線局域網(wǎng)模塊等。通信模塊9110(發(fā)送機/接收機)還經(jīng)由音頻處理器9130耦合到揚聲器9131和麥克風(fēng)9132,以經(jīng)由揚聲器9131提供音頻輸出，并接收來自麥克風(fēng)9132的音頻輸入，從而實現(xiàn)通常的電信功能。音頻處理器9130可以包括任何合適以通過麥克風(fēng)9132能夠在本機上錄音，且使得可以通過揚聲器9131來播放本機上存儲的聲[0142]本申請的實施例還提供能夠?qū)崿F(xiàn)上述實施例中的執(zhí)行主體為服務(wù)器或客戶端的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法中全部步驟的一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)上述實施例中的執(zhí)行主體為服務(wù)器或客戶端的融合多模態(tài)數(shù)據(jù)感知的大場景空間三維地圖重建方法的全部步驟，例如，所述處理器執(zhí)行所述計算機程序時實現(xiàn)下述步驟：[0143]步驟S101:獲取相機拍攝的視頻幀序列，并根據(jù)相鄰幀視頻計算第一點云；以及，獲取雷達(dá)生成的第二點云；所述相機與所述雷達(dá)相鄰設(shè)置，且朝向相同；[0144]步驟S102:通過配準(zhǔn)算法對所述第一點云和所述第二點云進行配準(zhǔn)，獲得最優(yōu)旋轉(zhuǎn)矩陣和最優(yōu)平移向量；計算所述最優(yōu)旋轉(zhuǎn)矩陣的逆矩陣，以及所述最優(yōu)平移向量的反向平移向量；根據(jù)所述逆矩陣和所述反向平移向量對相機的初始位姿進行修正，得到修正后的相機位姿；[0145]步驟S103:根據(jù)所述初始位姿將所述第一點云的三維點從相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，再根據(jù)修正后的相機位姿將所述第一點云的三維點從世界坐標(biāo)系轉(zhuǎn)換到修正后的[0146]步驟S104:將多個修正后的相機坐標(biāo)系下的第一修正點云轉(zhuǎn)換到世界坐標(biāo)系中進行融合，獲得整個地圖的三維點云；根據(jù)表面重建算法對地圖點云進行表面重建操作，得到三維地圖模型。[0147]從上述描述可知，本申請實施例提供的計算機可讀存儲介質(zhì)，由相機拍攝的圖像生成第一點云，由雷達(dá)生成第二點云，并利用雷達(dá)數(shù)據(jù)更為準(zhǔn)確的優(yōu)勢，通過獲取雷達(dá)生成的第二點云與相機生成的第一點云的偏差，并由該偏差值修正相機的位姿，然后通過坐標(biāo)轉(zhuǎn)換將第一點云的三維點轉(zhuǎn)換到修正后的相機坐標(biāo)系，得到第一修正點云。相較于利用轉(zhuǎn)換矩陣和平移向量直接對點云進行矯正，該種用雷達(dá)點云先修正相機位姿，再利用修正后的相機位