(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN114170325B(65)同一申請的已公布的文獻(xiàn)號(73)專利權(quán)人北京地平線信息技術(shù)有限公司地址100094北京市海淀區(qū)豐豪東路9號院2號樓3層1單元301(72)發(fā)明人隋偉張家馨張騫路嬌(74)專利代理機(jī)構(gòu)北京思源智匯知識產(chǎn)權(quán)代理有限公司11657專利代理師毛麗琴GO6N3/04(2023.01)審查員魏旭陽利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計基于幀間里程計、平面方程和預(yù)存的相機(jī)內(nèi)參，確定目標(biāo)路面的單應(yīng)性矩陣公開了一種確定路面的單應(yīng)性矩陣的方法、中，方法包括：獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，第一圖像幀和第二圖像幀具有相同區(qū)域的目標(biāo)路面；利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計；基于第一圖像幀，確定目標(biāo)路面的平面方程；基于幀間里程計、平面方程和預(yù)存的相機(jī)內(nèi)參，確定目21.一種確定單應(yīng)性矩陣的方法，包括：獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，所述第一圖像幀和所述第二圖像幀具有相同區(qū)域的目標(biāo)路面；利用神經(jīng)網(wǎng)絡(luò)模型對所述第一圖像幀和所述第二圖像幀進(jìn)行處理，確定幀間里程計；基于所述第一圖像幀，確定所述目標(biāo)路面的平面方程；基于所述幀間里程計、所述平面方程和預(yù)存的相機(jī)內(nèi)參，確定所述目標(biāo)路面的單應(yīng)性其中，確定幀間里程計，包括：通過語義分割，預(yù)測所述第一圖像幀和所述第二圖像幀中各像素點的語義標(biāo)簽，并基于各像素點的語義標(biāo)簽預(yù)測所述第一圖像幀和所述第二圖像幀中包括的各對象的中心點的二維坐標(biāo)；基于各像素點的語義標(biāo)簽與各對象的中心點的二維坐標(biāo)分別預(yù)測所述第一圖像幀和所述第二圖像幀中各對象的三維姿態(tài)；基于所述第一圖像幀和所述第二圖像幀中同一對象的三維姿態(tài)，確定所述第一圖像幀和所述第二圖像幀的幀間里程計。2.根據(jù)權(quán)利要求1所述的方法，其中，基于所述幀間里程計、所述平面方程和預(yù)存的相機(jī)內(nèi)參，確定所述目標(biāo)路面的單應(yīng)性矩陣，包括：基于所述平面方程，確定所述相機(jī)的當(dāng)前高度以及所述目標(biāo)路面的當(dāng)前法向量；基于所述幀間里程計，確定幀間旋轉(zhuǎn)矩陣和幀間平移向量；基于所述當(dāng)前法向量和所述幀間平移向量的乘積、與所述當(dāng)前高度的比值，確定第一基于所述幀間旋轉(zhuǎn)矩陣和所述第一矩陣的差值，確定第二矩陣；基于所述第二矩陣、所述相機(jī)內(nèi)參和所述相機(jī)內(nèi)參的逆矩陣，確定所述目標(biāo)路面的單應(yīng)性矩陣。3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括第一網(wǎng)絡(luò)分支；對所述第一圖像幀和所述第二圖像幀進(jìn)行處理，確定幀間里程計，包括：利用所述第一網(wǎng)絡(luò)分支，對所述第一圖像幀和所述第二圖像幀編碼，得到特征向量；對所述特征向量解碼，得到所述幀間里程計。4.根據(jù)權(quán)利要求1或2所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括第二網(wǎng)絡(luò)分支；基于所述第一圖像幀，確定所述目標(biāo)路面的平面方程，包括：基于預(yù)存的所述目標(biāo)路面的初始法向量、所述路面偏移量以及預(yù)存的所述相機(jī)的初始高度，確定所述目標(biāo)路面的平面方程。5.根據(jù)權(quán)利要求4所述的方法，其中，利用所述第二網(wǎng)絡(luò)分支對所述第一圖像幀進(jìn)行處理，確定所述目標(biāo)路面的路面偏移量，包括：利用所述第二網(wǎng)絡(luò)分支中的不同分辨率的卷積層從所述第一圖像幀中提取多個圖像特征，并對所述多個圖像特征進(jìn)行融合，得到融合圖像特征；基于所述融合圖像特征，估計所述目標(biāo)路面的第一偏移角度、第二偏移角度和高度偏移量；基于所述第一偏移角度和所述第二偏移角度，確定所述目標(biāo)路面的旋轉(zhuǎn)偏移量；3基于所述旋轉(zhuǎn)偏移量和所述高度偏移量，確定所述目標(biāo)路面的路面偏移量。6.一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法，包括：獲取訓(xùn)練集中的多組樣本圖像對以及每個所述樣本圖像對的樣本相機(jī)內(nèi)參，每組所述樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，所述第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，所述第二樣本圖像幀包括所述樣本路面區(qū)域的第二掩模；利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對所述樣本圖像對進(jìn)行處理，得到所述樣本路面的樣本平面方程和樣本幀間里程計；基于所述樣本相機(jī)內(nèi)參、所述樣本平面方程和樣本幀間里程計，得到樣本單應(yīng)性矩陣；基于所述第二樣本圖像幀和所述樣本單應(yīng)性矩陣，確定樣本映射圖像；基于所述樣本映射圖像與所述第一樣本圖像幀，確定全局光度一致性損失；基于所述樣本映射圖像和所述第二掩模，確定所述樣本映射圖像中的樣本路面區(qū)域；基于所述第一掩模和所述第一樣本圖像幀，確定所述第一樣本圖像幀中的樣本路面區(qū)域；基于所述第一樣本圖像幀中的樣本路面區(qū)域與所述樣本映射圖像中的樣本路面區(qū)域，確定所述路面光度一致性損失；基于所述全局光度一致性損失和所述路面光度一致性損失，訓(xùn)練所述初始神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，所述訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型被用于實現(xiàn)上述權(quán)利要求1-5任一所述的確定單應(yīng)性矩陣的方法。7.根據(jù)權(quán)利要求6所述的方法，其中，所述初始神經(jīng)網(wǎng)絡(luò)模型還包括第三初始網(wǎng)絡(luò)分支，在所述基于所述全局光度一致性損失和所述路面光度一致性損失，訓(xùn)練所述初始神經(jīng)利用所述第三初始網(wǎng)絡(luò)分支，生成所述第一樣本圖像幀的樣本深度圖；基于所述樣本深度圖，確定深度平滑性損失；所述基于所述全局光度一致性損失和所述路面光度一致性損失，訓(xùn)練所述初始神經(jīng)網(wǎng)基于所述全局光度一致性損失、所述路面光度一致性損失和深度平滑性損失，訓(xùn)練所述初始神經(jīng)網(wǎng)絡(luò)模型。8.一種確定路面的單應(yīng)性矩陣的裝置，包括：圖像獲取單元，被配置成獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，所述第一圖像幀和所述第二圖像幀具有相同區(qū)域的目標(biāo)路面；幀間里程計單元，被配置成利用神經(jīng)網(wǎng)絡(luò)模型對所述第一圖像幀和所述第二圖像幀進(jìn)平面方程單元，被配置成基于所述第一圖像幀，確定所述目標(biāo)路面的平面方程；矩陣確定單元，被配置成基于所述幀間里程計、所述平面方程和預(yù)存的相機(jī)內(nèi)參，確定所述目標(biāo)路面的單應(yīng)性矩陣；所述幀間里程計單元，被配置成通過語義分割，預(yù)測所述第一圖像幀和所述第二圖像幀中各像素點的語義標(biāo)簽，并基于各像素點的語義標(biāo)簽預(yù)測所述第一圖像幀和所述第二圖像幀中包括的各對象的中心點的二維坐標(biāo)；基于各像素點的語義標(biāo)簽與各對象的中心點的二維坐標(biāo)分別預(yù)測所述第一圖像幀和所述第二圖像幀中各對象的三維姿態(tài)；基于所述第一圖像幀和所述第二圖像幀中同一對象的三維姿態(tài)，確定所述第一圖像幀和所述第二圖像幀4的幀間里程計。9.一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的裝置，包括：樣本獲取單元，被配置成獲取訓(xùn)練集中的多組樣本圖像對以及每個所述樣本圖像對的樣本相機(jī)內(nèi)參，每組所述樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，所述第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，所述第二樣本圖像幀包括所述樣本路面區(qū)域的第二掩模；第一處理單元，被配置成利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對所述樣本圖像對進(jìn)行處理，得到所述樣本路面的樣本平面方程和樣本幀間里程計；第二處理單元，被配置成基于所述樣本相機(jī)內(nèi)參、所述樣本平面方程和樣本幀間里程樣本映射單元，被配置成基于所述第二樣本圖像幀和所述樣本單應(yīng)性矩陣，確定樣本映射圖像；第一損失單元，被配置成基于所述樣本映射圖像與所述第一樣本圖像幀，確定全局光度一致性損失；第二損失單元，被配置成基于所述樣本映射圖像和所述第二掩模，確定所述樣本映射圖像中的樣本路面區(qū)域；基于所述第一掩模和所述第一樣本圖像幀，確定所述第一樣本圖像幀中的樣本路面區(qū)域；基于所述第一樣本圖像幀中的樣本路面區(qū)域與所述樣本映射圖像中的樣本路面區(qū)域，確定所述路面光度一致性損失；模型訓(xùn)練單元，被配置成基于所述全局光度一致性損失和所述路面光度一致性損失，訓(xùn)練所述初始神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，所述訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型被用于實現(xiàn)上述權(quán)利要求1-5任一所述的確定單應(yīng)性矩陣的方法。10.一種計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序用于執(zhí)行上述權(quán)利要求1-7任一項所述的方法。11.一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；所述處理器，用于執(zhí)行上述權(quán)利要求1-7任一項所述的方法。12.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，其中，該計算機(jī)程序/指令被處理器執(zhí)行時，實現(xiàn)上述權(quán)利要求1-7任一項所述的方法。5確定單應(yīng)性矩陣的方法、裝置、介質(zhì)、設(shè)備和程序產(chǎn)品技術(shù)領(lǐng)域[0001]本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種確定單應(yīng)性矩陣的方法、裝置、存儲介質(zhì)、電子設(shè)備和計算機(jī)程序產(chǎn)品。背景技術(shù)[0002]單應(yīng)性矩陣(Homogrpahy)用于描述三維空間中的平面上的點在兩個視角中成像位置的對應(yīng)關(guān)系。路面的單應(yīng)性矩陣可用于生成鳥瞰圖(BirdEyeView)或者逆透視映射(InversePerspectiveMapping),對于自動駕駛以及室內(nèi)機(jī)器人具有非常重要的應(yīng)用價值。[0003]相關(guān)技術(shù)中，估計路面的單應(yīng)性矩陣的方法分為基于特征點的方法和基于直接法的方法?；谔卣鼽c的方法首先提取路面區(qū)域的特征點，然后通過匹配或者跟蹤的方式進(jìn)行特征點匹配，再通過5-點法或者8-點法結(jié)合隨機(jī)一致性采樣恢復(fù)路面單應(yīng)性矩陣；基于直接法的方法可以利用圖像稠密像素的對應(yīng)關(guān)系對單應(yīng)性矩陣進(jìn)行優(yōu)化。發(fā)明內(nèi)容[0004]本公開的實施例提供了一種確定路面的單應(yīng)性矩陣的方法、裝置、存儲介質(zhì)、電子設(shè)備和計算機(jī)程序產(chǎn)品。[0005]根據(jù)本公開實施例的一個方面，提供一種確定單應(yīng)性矩陣的方法，包括：獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，第一圖像幀和第二圖像幀具有相同區(qū)域的目標(biāo)路面；利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計；基于第一圖像幀，確定目標(biāo)路面的平面方程；基于幀間里程計、平面方程和預(yù)存的相機(jī)內(nèi)參，確定目標(biāo)路面的單應(yīng)性矩陣。[0006]根據(jù)本公開實施例的又一個方面，提供一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法，包括：獲取訓(xùn)練集中的多組樣本圖像對以及每個樣本圖像對的樣本相機(jī)內(nèi)參，每組樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，第二樣本圖像幀包括樣本路面區(qū)域的第二掩模；利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對樣本圖像對進(jìn)行處理，得到樣本路面的樣本平面方程和樣本幀間里程計；基于樣本相機(jī)內(nèi)參、樣本平面方程和樣本幀間里程計，得到樣本單應(yīng)性矩陣；基于第二樣本圖像幀和樣本單應(yīng)性矩陣，確定樣本映射圖像；基于樣本映射圖像與第一樣本圖像幀，確定全局光度一致性損失；基于樣本映射圖像和第二掩模，確定樣本映射圖像中的樣本路面區(qū)域；基于第一掩模和第一樣本圖像，確定第一樣本圖像中的樣本路面區(qū)域；基于第一樣本圖像中的樣本路面區(qū)域與樣本映射圖像中的樣本路面區(qū)域，確定路面光度一致性損失；基于全局光度一致性損失和路面光度一致性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。[0007]根據(jù)本公開實施例的又一個方面，提供一種確定單應(yīng)性矩陣的裝置，包括：圖像獲取單元，被配置成獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，第一圖像幀和第二圖像幀具6有相同區(qū)域的目標(biāo)路面；幀間里程計單元，被配置成利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計；平面方程單元，被配置成基于第一圖像幀，確定目標(biāo)路面的平面方程；矩陣確定單元，被配置成基于幀間里程計、平面方程和預(yù)存的相機(jī)內(nèi)參，確定目標(biāo)路面的單應(yīng)性矩陣。[0008]根據(jù)本公開的實施例的又一個方面，提供一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的裝置，包括：樣本獲取單元，被配置成獲取訓(xùn)練集中的多組樣本圖像對以及每個樣本圖像對的樣本相機(jī)內(nèi)參，每組樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，第二樣本圖像幀包括樣本路面區(qū)域的第二掩模；第一處理單元，被配置成利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對樣本圖像對進(jìn)行處理，得到樣本路面的樣本平面方程和樣本幀間里程計；第二處理單元，被配置成基于樣本相機(jī)內(nèi)參、樣本平面方程和樣本幀間里程計，得到樣本單應(yīng)性矩陣；樣本映射單元，被配置成基于第二樣本圖像幀和樣本單應(yīng)性矩陣，確定樣本映射圖像；第一損失單元，被配置成基于樣本映射圖像與第一樣本圖像幀，確定全局光度一致性損失；第二損失單元，被配置成：基于樣本映射圖像和第二掩模，確定樣本映射圖像中的樣本路面區(qū)域；基于第一掩模和第一樣本圖像，確定第一樣本圖像中的樣本路面區(qū)域；基于第一樣本圖像中的樣本路面區(qū)域與樣本映射圖像中的樣本路面區(qū)域，確定路面光度一致性損失；模型訓(xùn)練單元，被配置成基于全局光度一致性損失和路面光度一致性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。[0009]根據(jù)本公開的實施例的又一個方面，提供一種一種計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序用于執(zhí)行上述任一實施例中的方法。[0010]根據(jù)本公開的實施例的又一個方面，一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；所述處理器，用于執(zhí)行上述任一實施例中的方[0011]根據(jù)本公開的實施例的又一個方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/[0012]基于本公開上述實施例提供的一種確定單應(yīng)性矩陣的方法、裝置、存儲介質(zhì)以及電子設(shè)備，可以通過神經(jīng)網(wǎng)絡(luò)模型確定出相機(jī)拍攝的兩個圖像幀之間的幀間里程計和目標(biāo)路面的平面方程，然后基于幀間里程計、相機(jī)內(nèi)參和路面的平面方程，確定目標(biāo)路面的單應(yīng)性矩陣。以此得到的路面的單應(yīng)性矩陣提高了單應(yīng)性矩陣與目標(biāo)路面的幾何信息的一致[0013]下面通過附圖和實施例，對本公開的技術(shù)方案做進(jìn)一步的詳細(xì)描述。附圖說明[0014]通過結(jié)合附圖對本公開實施例進(jìn)行更詳細(xì)的描述，本公開的上述以及其他目的、特征以及優(yōu)勢將變得更加明顯。附圖用來提供對本公開實施例的進(jìn)一步的理解，并且構(gòu)成說明書的一部分，與本公開實施例一起用于解釋本公開，并不構(gòu)成對本公開的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。[0015]圖1是本公開的用于確定單應(yīng)性矩陣的方法所適用的場景示意圖；[0016]圖2為本公開的用于確定單應(yīng)性矩陣的方法的一個實施例的流程圖；7[0017]圖3為本公開的用于確定單應(yīng)性矩陣的方法的一個實施例中確定單應(yīng)性矩陣的流[0018]圖4為本公開的用于確定單應(yīng)性矩陣的方法的一個實施例中確定平面方程的流程[0019]圖5為本公開的用于確定單應(yīng)性矩陣的方法的一個實施例中確定路面偏移量的流[0020]圖6為本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法的一個實施例的流程圖；[0021]圖7為本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法的一個示例的框架示意圖；[0022]圖8為本公開的用于確定單應(yīng)性矩陣的裝置的一個實施例的結(jié)構(gòu)示意圖；[0023]圖9為本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的裝置的一個實施例的結(jié)構(gòu)示意圖；[0024]圖10是本申請一示例性實施例提供的電子設(shè)備的結(jié)構(gòu)圖。具體實施方式[0025]下面將參考附圖詳細(xì)地描述根據(jù)本公開的示例實施例。顯然，所描述的實施例僅僅是本公開的一部分實施例，而不是本公開的全部實施例，應(yīng)理解，本公開不受這里描述的示例實施例的限制。[0026]應(yīng)注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數(shù)字表達(dá)式和數(shù)值不限制本公開的范圍。不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順[0029]還應(yīng)理解，對于本公開實施例中提及的任一部件、數(shù)據(jù)或結(jié)構(gòu)，在沒有明確限定或者在前后文給出相反啟示的情況下，一般可以理解為一個或多個。[0030]另外，本公開中術(shù)語“和/或”,僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，如A和/或B,可以表示：單獨存在A,同時存在A和B,單獨存在B這三種情況。另外，[0031]還應(yīng)理解，本公開對各個實施例的描述著重強(qiáng)調(diào)各個實施例之間的不同之處，其相同或相似之處可以相互參考，為了簡潔，不再一一贅述。[0032]同時，應(yīng)當(dāng)明白，為了便于描述，附圖中所示出的各個部分的尺寸并不是按照實際的比例關(guān)系繪制的。[0033]以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本公開及其應(yīng)用或使用的任何限制。[0034]對于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論，但在適當(dāng)情況下，所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為說明書的一部分。個附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步討論。8多其它通用或者專用計算系統(tǒng)環(huán)境或配置一起操作。適于與終端設(shè)備、計算機(jī)系統(tǒng)或者服務(wù)器等電子設(shè)備一起使用的眾所周知的終端設(shè)備、計算系統(tǒng)、環(huán)境和/或配置的例子包括但機(jī)系統(tǒng)和包括上述任何系統(tǒng)的分布式云計算技術(shù)環(huán)境等等。[0037]終端設(shè)備、計算機(jī)系統(tǒng)、服務(wù)器等電子設(shè)備可以在由計算機(jī)系統(tǒng)執(zhí)行的計算機(jī)系統(tǒng)可執(zhí)行指令(諸如程序模塊)的一般語境下描述。通常，程序模塊可以包括例程、程序、目算機(jī)系統(tǒng)/服務(wù)器可以在分布式云計算環(huán)境中實施。在分布式云計算環(huán)境中，任務(wù)可以是由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行的。在分布式云計算環(huán)境中，程序模塊可以位于包括存儲設(shè)備的本地或遠(yuǎn)程計算系統(tǒng)存儲介質(zhì)上。[0038]本公開概述[0039]在實現(xiàn)本公開的過程中，發(fā)明人發(fā)現(xiàn)，基于特征點的方法對特征點檢測和匹配的質(zhì)量的依賴程度較高，當(dāng)路面區(qū)域存在大量的弱紋理、光照變化劇烈或反光時，該方法的精度和魯棒性較低?；谥苯臃ǖ姆椒▌t對初始值的依賴程度較高，當(dāng)初始值偏離較遠(yuǎn)時，很難得到準(zhǔn)確的結(jié)果。[0040]由以上描述可知，相關(guān)技術(shù)中確定單應(yīng)性矩陣的方法在準(zhǔn)確度方面均存在缺陷。[0041]示例性概述[0042]本公開可以利用神經(jīng)網(wǎng)絡(luò)模型，基于相機(jī)拍攝的兩圖像幀中確定出幀間里程計，并基于第一圖像幀確定目標(biāo)路面的路面方程，然后基于幀間里程計、路面方程和預(yù)先標(biāo)定的相機(jī)內(nèi)參確定目標(biāo)路面的單應(yīng)性矩陣，可以提高單應(yīng)性矩陣與目標(biāo)路面的幾何信息的一[0043]圖1中，無人駕駛車輛100上裝載有相機(jī)110和車載電腦(圖中未示出),車載電腦中預(yù)先存儲有神經(jīng)網(wǎng)絡(luò)模型的計算機(jī)指令。相機(jī)110可以實時采集目標(biāo)路面120的圖像，并將圖像存儲于本地的存儲空間。車載電腦可以從存儲空間中提取出當(dāng)前時刻采集的圖像，作為第一圖像幀130,并將距離當(dāng)前時刻最近的歷史圖像作為第二圖像幀140.之后，車載電腦可以利用神經(jīng)網(wǎng)絡(luò)模型150對第一圖像幀130和第二圖像幀140進(jìn)行處理，得到幀間里程計和目標(biāo)路面120的平面方程，并根據(jù)幀間里程計、平面方程和相機(jī)內(nèi)參確定目標(biāo)路面的單應(yīng)性矩陣。[0044]示例性方法[0045]接著參考圖2,圖2示出了本公開的用于確定單應(yīng)性矩陣的方法的一個實施例的流[0046]步驟210、獲取相機(jī)拍攝的第一圖像幀和第二圖像幀。[0047]其中，第一圖像幀和第二圖像幀具有相同區(qū)域的目標(biāo)路面。[0048]在本實施例中，第一圖像幀與第二圖像幀可以是相機(jī)在不同時刻采集到的目標(biāo)路面的圖像。[0049]在一個具體的示例中，相機(jī)可以是無人駕駛車輛的車載相機(jī)，執(zhí)行主體可以是無人駕駛車輛的車載電腦，車載電腦中預(yù)存有車載相機(jī)的相機(jī)內(nèi)參。在無人駕駛車輛的行駛過程中，由相機(jī)實時捕捉目標(biāo)路面(例如圖1中的目標(biāo)路面120)區(qū)域的圖像，得到由不同時9[0050]步驟220、利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程[0051]在本實施例中，幀間里程計表征相機(jī)采集第一圖像幀和第二圖像幀時的姿態(tài)變?yōu)槭纠?，幀間里程計可以是四元數(shù)組成的矩陣(R,t),其中，R表示由四元數(shù)組成的旋轉(zhuǎn)矩的語義標(biāo)簽與對象的中心點的二維坐標(biāo)分別預(yù)測出第一圖像幀和第二圖像幀中各對象的第二圖像幀進(jìn)行處理，預(yù)測出幀間里程計(R,t)和平面方程(如公式(1)所示),然后經(jīng)如下[0062]接著參考圖3,圖3示出了本公開的用于單應(yīng)性矩陣的方法的一個實施例中確定單應(yīng)性矩陣的流程，在圖2所示的實施例的一[0066]作為示例，幀間里程計可以為(R,t),執(zhí)行主體可以從中提取出R作為幀間旋轉(zhuǎn)矩[0077]在本實施例的一些可選的實現(xiàn)方式中，圖2所示的流程中的神經(jīng)網(wǎng)絡(luò)模型包括第11[0080]在圖2所示的實施例的一些可選的實現(xiàn)方式中，神經(jīng)網(wǎng)絡(luò)模型包括第二網(wǎng)絡(luò)分支，用于確定目標(biāo)路面的平面方程，進(jìn)一步參考圖4,圖4示出了本公開的用于確定單應(yīng)性矩陣的方法的一個實施例中確定平面方程的流程，如圖4所示，上述步驟230可以包括以下步驟：[0081]步驟410、利用第二網(wǎng)絡(luò)分支對第一圖像幀進(jìn)行處理，確定目標(biāo)路面的路面偏移[0082]在本實現(xiàn)方式中，路面偏移量表征當(dāng)前時刻(即采集第一圖像幀的時刻)的路面相對于初始時刻的路面姿態(tài)的變化程度，可以包括路面的高度變化和旋轉(zhuǎn)變化。作為示例，可以通過相機(jī)的高度殘差表征目標(biāo)路面的高度變化量，通過目標(biāo)路面的法向量殘差表征目標(biāo)路面的旋轉(zhuǎn)變化量。[0083]作為示例，執(zhí)行主體可以利用神經(jīng)網(wǎng)絡(luò)模型中的第二分支網(wǎng)絡(luò)對第一圖像幀進(jìn)行處理，提取第一圖像幀的圖像特征，并基于圖像特征估計出當(dāng)前時刻目標(biāo)路面的高度殘差和法向量殘差，即可得到路面偏移量。[0084]步驟420、基于預(yù)存的目標(biāo)路面的初始法向量、路面偏移量以及預(yù)存的相機(jī)的初始[0085]在本實現(xiàn)方式中，初始法向量表征目標(biāo)路面在初始時刻的法向量，可以預(yù)先對相機(jī)進(jìn)行標(biāo)定，以確定目標(biāo)路面在初始時刻的初始法向量和相機(jī)的初始高度。[0086]作為示例，執(zhí)行主體可以首先從路面偏移量中確定目標(biāo)路面的高度殘差和法向量殘差，得到高度殘差矩陣和法向量殘差矩陣；接著，如以下公式(6)所始法向量與法向量殘差矩陣叉乘所得到的矩陣確定為當(dāng)前法向量；如以下公式(7)所示，執(zhí)行主體可以將高度殘差矩陣和初始高度的和確定為當(dāng)前高度；之后，執(zhí)行主體可以通過上述公式(1)確定目標(biāo)路面的平面方程。[0089]式中，N表示第i時刻的當(dāng)前法向量，8R,表示第i時刻的法向量殘差，N表示初始法初始高度。[0090]通過圖4可以看出，圖4所示的流程體現(xiàn)了通過神經(jīng)網(wǎng)絡(luò)中的第二網(wǎng)絡(luò)分支估計出目標(biāo)路面的路面偏移量，然后結(jié)合預(yù)先標(biāo)定的初始法向量和初始高度，確定目標(biāo)路面的當(dāng)前法向量和當(dāng)前高度，進(jìn)而確定目標(biāo)路面的平面方程，可以縮減確定平面方程的過程中的數(shù)據(jù)運算量，提高運算速度，尤其適用于在線實時修正平面方程。[0091]接著參考圖5,圖5示出了本公開用于確定單應(yīng)性矩陣的方法的一個實施例中確定路面偏移量的流程，如圖5所示，上述步驟410可以進(jìn)一步包括以下步驟：[0092]步驟510、利用第一網(wǎng)絡(luò)分支中的不同分辨率的卷積層從第一圖像幀中提取多個圖像特征，并對多個圖像特征進(jìn)行融合，得到融合圖像特征。[0093]步驟520、基于融合圖像特征，估計目標(biāo)路面的第一偏移角度、第二偏移角度和高度偏移量。[0094]通常，三維空間中的旋轉(zhuǎn)動作可以分解為偏航角分量、俯仰角分量和滾動角分量。[0095]在本實現(xiàn)方式中，第一偏移角度可以表征目標(biāo)路面法向量殘差的偏航角分量，第二偏移角度可以表征旋轉(zhuǎn)量的俯仰角分量。高度偏移量可以表征目標(biāo)路面的高度殘差。作為示例，第一偏移角度和第二偏移角度可以是四元數(shù)組成的矩陣。[0096]需要說明的是，由于滾動角分量對法向量的偏移沒有影響，即滾動角分量與目標(biāo)路面的旋轉(zhuǎn)變化無關(guān)，因而，本實現(xiàn)方式可以忽略滾動角分量。[0097]步驟530、基于第一偏移角度和第二偏移角度，確定目標(biāo)路面的旋轉(zhuǎn)偏移量。[0098]作為示例，執(zhí)行主體可以將第一偏移角度與第二偏移角度叉乘得到的矩陣作為目標(biāo)路面的旋轉(zhuǎn)偏移量。[0099]步驟540、基于旋轉(zhuǎn)偏移量和高度偏移量，確定目標(biāo)路面的路面偏移量。[0100]在圖5所示的流程中，可以通過神經(jīng)網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)分支對第一圖像幀進(jìn)行處理，以估計出目標(biāo)路面的第一偏移角度、第二偏移角度和高度偏移量，然后基于第一偏移角度和第二偏移角度確定旋轉(zhuǎn)偏移量，進(jìn)而得到路面偏移量，忽略了與目標(biāo)路面的旋轉(zhuǎn)變化無關(guān)的滾動角分量，可以縮減運算數(shù)據(jù)量，提高運算效率。[0101]接下來參考圖6,圖6示出了本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法的一個實施例[0102]步驟610、獲取訓(xùn)練集中的多組樣本圖像對以及每個樣本圖像對的樣本相機(jī)內(nèi)參。[0103]在本實施例中，每組樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，第二樣本圖像幀包括樣本路面區(qū)域的第二掩模。第一掩模和第二掩?？梢允窍袼刂到M成的矩陣，其中，樣本路面區(qū)域內(nèi)的像素點的像素值設(shè)定為1,非樣本區(qū)域內(nèi)的像素點的像素值設(shè)定為0。[0104]作為示例，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的執(zhí)行主體可以是終端設(shè)備或服務(wù)器，執(zhí)行主體可以通過網(wǎng)絡(luò)從公開數(shù)據(jù)集中獲取樣本圖像數(shù)據(jù)以及樣本相機(jī)內(nèi)參，或者從相機(jī)拍攝的圖像集中選取樣本圖像數(shù)據(jù)，將具有相同樣本路面區(qū)域的兩個圖像確定為樣本圖像對，然后分別對樣本圖像對中的第一樣本圖像幀和第二樣本圖像幀進(jìn)行語義分割，確定其中的第一掩模和第二掩模。[0105]步驟620、利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對樣本圖像對進(jìn)行處理，得到樣本路面的樣本平面方程和樣本幀間里程計。[0106]在本是實施例中，第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支表征訓(xùn)練未完成的初始神經(jīng)網(wǎng)絡(luò)模型中的子網(wǎng)絡(luò)。[0107]作為示例，第一初始網(wǎng)絡(luò)分支可以包括待優(yōu)化的編碼器和解碼器，對第一樣本圖像幀和第二樣本圖像幀執(zhí)行編碼和解碼，得到樣本幀間里程計，第二初始網(wǎng)絡(luò)分支可以包括多個分辨率的卷積層和池化層，對第一樣本圖像幀進(jìn)行特征提取和特征映射，得到樣本路面的樣本平面方程。[0108]步驟630、基于樣本相機(jī)內(nèi)參、樣本平面方程和樣本幀間里程計，得到樣本單應(yīng)性矩陣。[0109]作為示例，初始神經(jīng)網(wǎng)絡(luò)模型可以首先從樣本平面方程中提取樣本法向量和樣本相機(jī)的當(dāng)前高度，樣本平面方程如公式(8)所示：[0111]式中，NSAMj表示j時刻樣本路面的樣本法向量，hsAM;表示樣本相機(jī)在第j時刻的當(dāng)前高度(即采集樣本圖像時的相機(jī)高度),PsAM表示樣本圖像中像素點的三維坐標(biāo)。[0112]之后，執(zhí)行主體可以將樣本相機(jī)內(nèi)參、樣本幀間里程計以及樣本法向量和樣本相機(jī)的當(dāng)前高度代入如下公式(9),得到樣本單應(yīng)性矩陣。[0114]式中，HsA表示樣本單應(yīng)性矩陣，KsAM表示樣本相機(jī)內(nèi)參，(RsAM,tsa)表示樣本幀間里程計，RsAM表示樣本幀間旋轉(zhuǎn)矩陣，tsA表示樣本幀間平移量。[0115]步驟640、基于第二樣本圖像幀和樣本單應(yīng)性矩陣，確定樣本映射圖像。[0116]在本實施例中，執(zhí)行主體可以基于樣本單應(yīng)性矩陣對第二樣本圖像幀中的像素點作視角變換，得到樣本映射圖像。視角變換例如可以采用如下公式(10)表征的處理過程。[0118]式中，P?表示第二樣本圖像幀中像素點的像素坐標(biāo)，H??表示樣本單應(yīng)性矩陣，P?表示樣本映射圖像中像素點的像素坐標(biāo)。[0119]步驟650、基于樣本映射圖像與第一樣本圖像幀，確定全局光度一致性損失。[0120]在本實施例中，執(zhí)行主體可以基于樣本映射圖像與第一樣本圖像幀中對應(yīng)的像素點的像素值，確定全局光度一致性損失。[0121]作為示例，執(zhí)行主體可以通過如下公式(11)確定樣本映射圖像與第一樣本圖像幀中對應(yīng)的像素點的像素值：[0123]式中，IH[Pn]表示樣本映射圖像中第n個像素點的像素值，其中，[P]表示第n個像素點在樣本映射圖像中的坐標(biāo)；I2<Pn-1>表示第二樣本圖像幀中第n-1個像素點的像素插值，[P?-1]表示第n-1像素點在第二樣本圖像幀中的坐標(biāo)。[0124]之后，執(zhí)行主體可以根據(jù)像素點坐標(biāo)，從樣本映射圖像和第一樣本圖像幀中確定像素點對。然后基于像素點對的像素值，采用范數(shù)損失函數(shù)確定全局光度一致性損失，計算過程如公式(12)所示。[0126]式中，E,表示全局光度一致性損失，l1[Pn]表示第n個像素點在第一樣本圖像幀中[0127]步驟660、基于樣本映射圖像和第二掩模，確定樣本映射圖像中的樣本路面區(qū)域。[0128]在本實施例中，執(zhí)行主體可以將樣本映射圖像與第二掩模作卷積運算，將樣本映射圖像中的非樣本路面區(qū)域的像素點的像素值轉(zhuǎn)化為0,從而得到樣本映射圖像中的樣本路面區(qū)域。[0129]步驟670、基于第一掩模和第一樣本圖像，確定第一樣本圖像中的樣本路面區(qū)域。[0130]在本實施例中，執(zhí)行主體可以將第一樣本圖像幀與第一掩模作卷積運算，將第一樣本圖像幀中的非樣本路面區(qū)域的像素點的像素值轉(zhuǎn)化為0,從而得到第一樣本圖像幀中的樣本路面區(qū)域。[0131]步驟680、基于第一樣本圖像中的樣本路面區(qū)域與樣本映射圖像中的樣本路面區(qū)[0132]作為示例，執(zhí)行主體可以將第一樣本圖像中的樣本路面區(qū)域與樣本映射圖像中的樣本路面區(qū)域中的像素點的像素值代入上述公式(12),得到路面光度一致性損失。[0133]步驟690、基于全局光度一致性損失和路面光度一致性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模[0134]本實施例中的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法，將樣本圖像對中的第一掩模和第二掩模作為樣本的標(biāo)記數(shù)據(jù)，以此確定訓(xùn)練過程中的路面光度一致性損失，并基于全局光度一致性損失和路面光度一致性約束初始神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。一方面，與相關(guān)技術(shù)中將單應(yīng)性矩陣作為樣本的標(biāo)記數(shù)據(jù)相比，掩模信息的獲取方式更加簡便，結(jié)合弱監(jiān)督的訓(xùn)練方法，可以利用不同場景的數(shù)據(jù)和長尾數(shù)據(jù)進(jìn)行訓(xùn)練，有助于提高神經(jīng)網(wǎng)絡(luò)模型的泛化能力和魯棒；另一方面，基于掩模信息確定的路面光度一致性損失可以更精準(zhǔn)地約束樣本路面區(qū)域的處理過程，有助于提高神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確度。[0135]在本實施例的一些可選的實現(xiàn)方式中，初始神經(jīng)網(wǎng)絡(luò)模型還可以包括第三初始網(wǎng)絡(luò)分支，上述步驟690之前，該方法還可以包括：利用第三初始網(wǎng)絡(luò)幀的樣本深度圖；基于樣本深度圖，確定深度平滑于全局光度一致性損失、路面光度一致性損失和深度平滑性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模型。[0136]接著參考圖7,圖7示出了本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法的一個示例的框架示意圖。在圖7所示的示例中，初始神經(jīng)網(wǎng)絡(luò)包括第一初始網(wǎng)絡(luò)分支730、第二初始網(wǎng)絡(luò)分支740、第三初始網(wǎng)絡(luò)分支750以及單應(yīng)性矩陣層760,其中，第一初始網(wǎng)絡(luò)分支730可以對第一樣本圖像幀710和第二樣本圖像幀720進(jìn)行處理，得到樣本幀間里程計；第二初始網(wǎng)絡(luò)分支740可以對第一樣本圖像幀進(jìn)行處理，得到樣本平面方程；第三初始網(wǎng)絡(luò)分支750可以對第一樣本圖像幀進(jìn)行處理，得到樣本深度圖770;單應(yīng)性矩陣層760則可以根據(jù)樣本幀間里程計、樣本平面方程和樣本相機(jī)內(nèi)參確定樣本單應(yīng)性矩陣。之后，執(zhí)行主體根據(jù)樣本單應(yīng)性矩陣對第二樣本圖像幀720進(jìn)行視角變換，得到樣本映射圖像780。再之后，執(zhí)行主體可以根據(jù)樣本映射圖像780和第一樣本圖像幀710確定全局光度一致性損失，根據(jù)樣本深度圖770確定深度平滑性損失，以及，根據(jù)樣本映射圖像780、第一樣本圖像幀710二掩模791確定路面光度一致性損失。[0137]在本實現(xiàn)方式中，可以在初始神經(jīng)網(wǎng)絡(luò)模型中加入第三初始網(wǎng)絡(luò)分支，生成第一樣本圖像真的樣本深度圖，以確定訓(xùn)練階段的深度平滑性損失，并將深度平滑性損失加入訓(xùn)練階段的約束中，既可以提高神經(jīng)網(wǎng)絡(luò)模型的收斂速度，又可以提高神經(jīng)網(wǎng)絡(luò)模型的性[0138]示例性裝置[0139]圖8為本公開的用于確定單應(yīng)性矩陣的裝置的一個實施例的結(jié)構(gòu)示意圖。該實施例的裝置可用于實現(xiàn)本公開相應(yīng)的方法實施例。如圖8所示的裝置包括：圖像獲取單元810,被配置成獲取相機(jī)拍攝的第一圖像幀和第二圖像幀，第一圖像幀和第二圖像幀具有相同區(qū)域的目標(biāo)路面；幀間里程計單元820,被配置成利用神經(jīng)網(wǎng)絡(luò)模型對第一圖像幀和第二圖像幀進(jìn)行處理，確定幀間里程計；平面方程單元830,被配置成基于第一圖像幀，確定目標(biāo)路面的平面方程；矩陣確定單元840,被配置成基于幀間里程計、平面方程和預(yù)存的相機(jī)內(nèi)參，確定目標(biāo)路面的單應(yīng)性矩陣。[0140]在本實施例中，矩陣確定單元840進(jìn)一步包括：法向量模塊，被配置成基于平面方程，確定相機(jī)的當(dāng)前高度以及目標(biāo)路面的當(dāng)前法向量；幀間里程計模塊，被配置成基于幀間里程計，確定幀間旋轉(zhuǎn)矩陣和幀間平移向量；第一矩陣模塊，被配置成基于當(dāng)前法向量和幀間平移向量的乘積、與當(dāng)前高度的比值，確定第一矩陣；第二矩陣模塊，被配置成基于幀間旋轉(zhuǎn)矩陣和第一矩陣的差值，確定第二矩陣；矩陣確定模塊，被配置成基于第二矩陣、相機(jī)內(nèi)參和相機(jī)內(nèi)參的逆矩陣，確定目標(biāo)路面的單應(yīng)性矩陣。[0141]在本實施例中，神經(jīng)網(wǎng)絡(luò)模型包括第一網(wǎng)絡(luò)分支；幀間里程計單元820進(jìn)一步包括：編碼模塊，被配置成利用第一網(wǎng)絡(luò)分支，對第一圖像幀和第二圖像幀編碼，得到特征向[0142]在本實施例中，神經(jīng)網(wǎng)絡(luò)模型包括第二網(wǎng)絡(luò)分支；平面方程單元830進(jìn)一步包括：偏移量模塊，被配置成利用第二網(wǎng)絡(luò)分支對第一圖像幀進(jìn)行處理，確定目標(biāo)路面的路面偏移量；方程確定模塊，被配置成基于預(yù)存的目標(biāo)路面的初始法向量、路面偏移量以及預(yù)存的相機(jī)的初始高度，確定目標(biāo)路面的平面方程。[0143]在本實施例中，偏移量模塊進(jìn)一步包括：特征提取子模塊，被配置成利用第一網(wǎng)絡(luò)分支中的不同分辨率的卷積層從第一圖像幀中提取多個圖像特征，并對多個圖像特征進(jìn)行融合，得到融合圖像特征；第一預(yù)測子模塊，被配置成基于融合圖像特征，估計目標(biāo)路面的第一偏移角度、第二偏移角度和高度偏移量；旋轉(zhuǎn)子模塊，被配置成基于第一偏移角度和第二偏移角度，確定目標(biāo)路面的旋轉(zhuǎn)偏移量；偏移量確定子模塊，被配置成基于旋轉(zhuǎn)偏移量和高度偏移量，確定目標(biāo)路面的路面偏移量。[0144]接著參考圖9,圖9示出了本公開的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的裝置的一個實施例的結(jié)構(gòu)示意圖，用于實現(xiàn)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法的實本獲取單元910,被配置成獲取訓(xùn)練集中的多組樣本圖像對以及每個樣本圖像對的樣本相機(jī)內(nèi)參，每組樣本圖像對包括第一樣本圖像幀和第二樣本圖像幀，第一樣本圖像幀包括樣本路面區(qū)域的第一掩模，第二樣本圖像幀包括樣本路面區(qū)域的第二掩模；第一處理單元920,被配置成利用預(yù)先構(gòu)建的初始神經(jīng)網(wǎng)絡(luò)模型中的第一初始網(wǎng)絡(luò)分支和第二初始網(wǎng)絡(luò)分支對樣本圖像對進(jìn)行處理，得到樣本路面的樣本平面方程和樣本幀間里程計；第二處理單元930,被配置成基于樣本相機(jī)內(nèi)參、樣本平面方程和樣本幀間里程計，得到樣本單應(yīng)性矩陣；樣本映射單元940,被配置成基于第二樣本圖像幀和樣本單應(yīng)性矩陣，確定樣本映射圖像；第一損失單元950,被配置成基于樣本映射圖像與第一樣本圖像幀，確定全局光度一致性損失；第二損失單元960,被配置成：基于樣本映射圖像和第二掩模，確定樣本映射圖像中的樣本路面區(qū)域；基于第一掩模和第一樣本圖像，確定第一樣本圖像中的樣本路面區(qū)域；基于第一樣本圖像中的樣本路面區(qū)域與樣本映射圖像中的樣本路面區(qū)域，確定路面光度一致性損失；模型訓(xùn)練單元970,被配置成基于全局光度一致性損失和路面光度一致性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。[0145]在本實施例中，初始神經(jīng)網(wǎng)絡(luò)模型還包括第三初始網(wǎng)絡(luò)分支，該裝置還包括：第三處理單元，被配置成利用第三初始網(wǎng)絡(luò)分支，生成第一樣本圖像幀的樣本深度圖；第三損失單元，被配置成基于樣本深度圖，確定深度平滑性損失；模型訓(xùn)練單元970被進(jìn)一步配置成：基于全局光度一致性損失、路面光度一致性損失和深度平滑性損失，訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)模[0146]示例性電子設(shè)備[0147]下面參考圖10來描述根據(jù)本公開實施例的電子設(shè)備。圖10示出了根據(jù)本公開實施例的電子設(shè)備的框圖。如圖10所示，電子設(shè)備1000包括一個或多個處理器1010和存儲器[0148]處理器1010可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元，并且可以控制電子設(shè)備1000中的其他組件以執(zhí)行期望的功能。[0149]存儲器1020可以包括一個或多個計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品可以包括各種形式的計算機(jī)可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器，例如，可以包括：隨機(jī)存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失質(zhì)上可以存儲一個或多個計算機(jī)程序指令，處理器1010可以運行所述程序指令，以實現(xiàn)上文所述的本公開的各個實施例的用于確定單應(yīng)性矩陣的方法、用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法以及/或者其他期望的功能。在所述計算機(jī)可讀存儲介質(zhì)中還可以存儲諸如輸入信號、信[0150]在一個示例中，電子設(shè)備1000還可以包括：輸入裝置1030以及輸出裝置1040等，這些組件通過總線系統(tǒng)和/或其他形式的連接機(jī)構(gòu)(未示出)互連。此外，該輸入設(shè)備1030還可以包括例如鍵盤、鼠標(biāo)等等。該輸出裝置1040可以向外部輸出各種信息。該輸出設(shè)備1040可以包括例如顯示器、揚聲器、打印機(jī)、以及通信網(wǎng)[0151]當(dāng)然，為了簡化，圖10中僅示出了該電子設(shè)備100