(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN112700552B(21)申請?zhí)?02011641585.7(22)申請日2020.12.31(65)同一申請的已公布的文獻(xiàn)號申請公布號CN112700552A(43)申請公布日2021.04.23(73)專利權(quán)人華為技術(shù)有限公司為總部辦公樓(56)對比文件審查員呂梅利(72)發(fā)明人王凱薛景濤賀亞農(nóng)陳辰(74)專利代理機(jī)構(gòu)北京中博世達(dá)專利商標(biāo)代理有限公司11274GO6T19/20(2011.01)權(quán)利要求書3頁說明書22頁附圖8頁(54)發(fā)明名稱三維物體檢測方法、裝置、電子設(shè)備及介質(zhì)(57)摘要本申請?zhí)峁┝艘环N三維物體檢測方法、裝置、電子設(shè)備及介質(zhì)，涉及人工智能領(lǐng)域，能夠提高三維物體檢測精度。該方法包括：三維物體檢測裝置獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集。其中，二維圖像包括至少一個(gè)物體的圖像，點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)用于描述至少一個(gè)物體在三維空間中的候選區(qū)域。之后，三維物體檢測裝置根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集。其中，目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述目標(biāo)物體在三維空間中的候選區(qū)域。三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，2獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集，所述二維圖像包括至少一個(gè)物體的圖像，所述點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，所述點(diǎn)云數(shù)據(jù)用于描述所述至少一個(gè)物體在三維空間中的候選區(qū)域，所述二維圖像是圖像傳感器采集的信息，所述點(diǎn)云數(shù)據(jù)是深度傳感器采集的信根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所述目標(biāo)物體圖像包括所述至少一個(gè)物體中目標(biāo)物體的圖像，所述目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述所述目標(biāo)物體在所述三維空間中的候選區(qū)域，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的相似度大于相似度閾值，所述目標(biāo)圖像區(qū)域是所述目標(biāo)物體圖像在所述二維圖像中的區(qū)域，所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度等于所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比與所述目標(biāo)投影區(qū)域的投影點(diǎn)間距相乘后，與所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離的比值，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離；根據(jù)所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將所述目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至所述三維空間，以得到目標(biāo)逆映射點(diǎn)；將所述目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為檢測結(jié)果，其中，所述檢測結(jié)果指示所述目標(biāo)物體在所述三維空間中的估計(jì)位置。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，其中，所述第一點(diǎn)云數(shù)據(jù)集是所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合；根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像根據(jù)所述第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從所述第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)；根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的轉(zhuǎn)換參數(shù)，確定所述第一特征點(diǎn)在所述二維圖像中的第一投影點(diǎn)；將所述第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為所述第一投影區(qū)域。4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域之間的重合程度，以及所述第一投影區(qū)域的大小，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域滿足：3其中，S表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度，IOU表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比，S?表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的重疊面積，Su表示所述重疊面積與不重疊面積之和，所述不重疊面積為所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間未重疊的面積，Lj表示所述目標(biāo)投影區(qū)域的投影點(diǎn)間距，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離，所述目標(biāo)特征點(diǎn)屬于所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且指示所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，Dij表示所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離，T表示相似度閾值。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整所述檢測結(jié)果指示的估計(jì)位置，其中，所述調(diào)整因子指示所述目標(biāo)物體在所述三維空間中的真實(shí)位置與估計(jì)位置之間的差異。7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)的數(shù)量小于數(shù)量閾值。獲取單元，用于獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集，所述二維圖像包括至少一個(gè)物體的圖像，所述點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，所述點(diǎn)云數(shù)據(jù)用于描述所述至少一個(gè)物體在三維空間中的候選區(qū)域，所述二維圖像是圖像傳感器采集的信息，所述點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息；處理單元，用于根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所述目標(biāo)物體圖像包括所述至少一個(gè)物體中目標(biāo)物體的圖像，所述目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述所述目標(biāo)物體在所述三維空間中的候選區(qū)域，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的相似度大于相似度閾值，所述目標(biāo)圖像區(qū)域是所述目標(biāo)物體圖像在所述二維圖像中的區(qū)域，所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度等于所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比與所述目標(biāo)投影區(qū)域的投影點(diǎn)間距相乘后，與所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離的比值，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離；所述處理單元，還用于根據(jù)所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將所述目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至所述三維空間，以得到目標(biāo)逆映射點(diǎn)；所述處理單元，還用于將所述目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為檢測結(jié)果，其中，所述檢測結(jié)果指示所述目標(biāo)物體在所述三維空間中的估計(jì)位置。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述處理單元，用于根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，具體包括：確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，其中，所述第一點(diǎn)云數(shù)據(jù)集是所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合；根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)4云數(shù)據(jù)集。10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述處理單元，用于確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，具體包括：根據(jù)所述第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從所述第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)；根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的轉(zhuǎn)換參數(shù)，確定所述第一特征點(diǎn)在所述二維圖像中的第一投影點(diǎn)；將所述第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為所述第一投影區(qū)域。11.根據(jù)權(quán)利要求9或10所述的裝置，其特征在于，所述處理單元，用于根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，具體包括：根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域之間的重合程度，以及所述第一投影區(qū)域的大小，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集。12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域滿足：其中，S表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度，IOU表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比，S?表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的重疊面積，Su表示所述重疊面積與不重疊面積之和，所述不重疊面積為所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間未重疊的面積，Lj表示所述目標(biāo)投影區(qū)域的投影點(diǎn)間距，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離，所述目標(biāo)特征點(diǎn)屬于所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且指示所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，Dij表示所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離，T表示相似度閾值。根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整所述檢測結(jié)果指示的估計(jì)位置，其中，所述調(diào)整因子指示所述目標(biāo)物體在所述三維空間中的真實(shí)位置與估計(jì)位置之間的差異。14.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)的數(shù)量小于數(shù)量閾值。15.一種電子設(shè)備，其特征在于，包括：處理器和存儲器，所述處理器和所述存儲器耦合，所述存儲器存儲有程序指令，當(dāng)所述存儲器存儲的程序指令被所述處理器執(zhí)行時(shí)，如權(quán)利要求1至7中任一項(xiàng)所述的三維物體檢測方法被執(zhí)行。16.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲程序，所述程序被處理器調(diào)用時(shí)，權(quán)利要求1至7中任一項(xiàng)所述的三維物體檢測方法被執(zhí)行。17.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所述的三維物體檢測方法。5三維物體檢測方法、裝置、電子設(shè)備及介質(zhì)技術(shù)領(lǐng)域[0001]本申請涉及人工智能(artificialintelligence,AI)技術(shù)領(lǐng)域，尤其涉及一種三背景技術(shù)[0002]機(jī)器人對環(huán)境中的物體具備辨識能力，從而實(shí)現(xiàn)路徑規(guī)劃、避障等功能。其中，物體的三維(three-dimensiona,3D)空間尺寸對機(jī)器人理解環(huán)境尤為重要。示例性的，設(shè)備獲取場景的點(diǎn)云之后，基于場景的點(diǎn)云確定候選物體區(qū)域，再從點(diǎn)云中選擇位于候選物體區(qū)域中的目標(biāo)點(diǎn)，利用目標(biāo)點(diǎn)的位置信息，調(diào)整候選物體區(qū)域，從而定位出物體的三維空間位[0003]然而，在某些觀測視角下，設(shè)備無法獲取足夠的點(diǎn)云，導(dǎo)致物體無法辨識，使得三發(fā)明內(nèi)容[0004]本申請實(shí)施例提供一種三維物體檢測方法、裝置、電子設(shè)備及介質(zhì)，能夠提高三維物體檢測精度。[0006]第一方面，本申請實(shí)施例提供一種三維物體檢測方法，該方法的執(zhí)行主體可以是三維物體檢測裝置。該方法包括：獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集，所述二維圖像包括至少一個(gè)物體的圖像，所述點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，所述點(diǎn)云數(shù)據(jù)用于描述所述至少一個(gè)物體在三維空間中的候選區(qū)域，所述二維圖像是圖像傳感器采集的信息，所述點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息；根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所述目標(biāo)物體圖像包括所述至少一個(gè)物體中目標(biāo)物體的圖像，所述目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述所述目標(biāo)物體在所述三維空間中的候選區(qū)域；將所述目標(biāo)點(diǎn)云數(shù)據(jù)集和所述目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果，其中，所述檢測結(jié)果指示所述目標(biāo)物體在所述三維空間中的估計(jì)位置。[0007]本方法中通過三維物體檢測裝置獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集。其中，二維圖像包括至少一個(gè)物體的圖像。點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)用于描述至少一個(gè)物體在三維空間中的候選區(qū)域。二維圖像是圖像傳感器采集的信息，點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息。之后，三維物體檢測裝置根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集。其中，目標(biāo)物體圖像包括至少一個(gè)物體中目標(biāo)物體的圖像，目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述目標(biāo)物體在三維空間中的候選區(qū)域。然后，三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果。其中，檢測結(jié)果指示目標(biāo)物體在三維空間中的估計(jì)位置。[0008]在本申請實(shí)施例提供的三維物體檢測方法中，由于二維圖像的處理精度高，目標(biāo)物體圖像能夠準(zhǔn)確地呈現(xiàn)目標(biāo)物體在二維圖像中的區(qū)域，利用目標(biāo)物體圖像來篩選目標(biāo)點(diǎn)6云數(shù)據(jù)集，實(shí)現(xiàn)對點(diǎn)云數(shù)據(jù)集幾何分割聚類，無需獲取大量的三維訓(xùn)練數(shù)據(jù)。即使物體被遮擋，也能夠獲取到目標(biāo)點(diǎn)云數(shù)據(jù)集，在一定程度上提高了目標(biāo)物體對應(yīng)的目標(biāo)點(diǎn)云數(shù)據(jù)集的精準(zhǔn)度。并且，三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果。由于二維圖像的處理精度高，即使目標(biāo)物體的點(diǎn)云數(shù)據(jù)不足，也能夠精準(zhǔn)地確定目標(biāo)物體在三維空間中的估計(jì)位置，避免假陽率高的問題。本申請實(shí)施例三維物體檢測方法無需獲取三維訓(xùn)練數(shù)據(jù)，避免了“基于三維訓(xùn)練數(shù)據(jù)訓(xùn)練模型”所導(dǎo)致的“泛化性差”的問[0009]在一種可能的設(shè)計(jì)中，所述根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，其中，所述第一點(diǎn)云數(shù)據(jù)集是所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合；根據(jù)所述第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所述目標(biāo)圖像區(qū)域是所述目標(biāo)物體圖像在所述二維圖像中的區(qū)域。[0010]在本方法中，三維物體檢測裝置根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：三維物體檢測裝置確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域。其中，第一點(diǎn)云數(shù)據(jù)集是至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合。然后，三維物體檢測裝置根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。其中，目標(biāo)圖像區(qū)域是目標(biāo)物體圖像在二維圖像中的區(qū)域。[0011]也就是說，三維物體檢測裝置是基于兩個(gè)區(qū)域(即目標(biāo)圖像區(qū)域與一個(gè)點(diǎn)云數(shù)據(jù)集在二維圖像上的投影區(qū)域),來確定一個(gè)點(diǎn)云數(shù)據(jù)集是否為目標(biāo)點(diǎn)云數(shù)據(jù)集。由于目標(biāo)物體圖像屬于二維圖像，三維物體檢測裝置對二維圖像的檢測與識別精度高，聯(lián)合目標(biāo)物體圖像識別出目標(biāo)點(diǎn)云數(shù)據(jù)集，也就能夠相應(yīng)提高目標(biāo)點(diǎn)云數(shù)據(jù)集的識別精度。[0012]在一種可能的設(shè)計(jì)中，所述確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，包括：根據(jù)所述第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從所述第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)；根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的轉(zhuǎn)換參數(shù)，確定所述第一特征點(diǎn)在所述二維圖像中的第一投影點(diǎn)；將所述第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的[0013]在本方法中，三維物體檢測裝置確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域，包括：三維物體檢測裝置根據(jù)第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)，如最遠(yuǎn)點(diǎn)、最近點(diǎn)。然后，三維物體檢測裝置根據(jù)點(diǎn)云數(shù)據(jù)與二維圖像之間的轉(zhuǎn)換參數(shù)，如深度傳感器的內(nèi)參、旋轉(zhuǎn)矩陣、或平移矩陣，確定第一特征點(diǎn)在二維圖像中的第一投影點(diǎn)。三維物體檢測裝置將第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為第一投影區(qū)域。示例性的，二維標(biāo)注框是以第一投影點(diǎn)為對角[0014]也就是說，在三維物體檢測裝置確定了一個(gè)點(diǎn)云數(shù)據(jù)集中的第一特征點(diǎn)的情況下，首先確定第一特征點(diǎn)在二維圖像上的投影點(diǎn)，即第一投影點(diǎn)。由于第一投影點(diǎn)是第一點(diǎn)云數(shù)據(jù)集中最遠(yuǎn)點(diǎn)、最近點(diǎn)在二維圖像上的投影。所以，第一投影區(qū)域是第一投影點(diǎn)之間的區(qū)域，即第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，從而實(shí)現(xiàn)了第一點(diǎn)云數(shù)據(jù)集在二維圖像上的準(zhǔn)確投影。[0015]在一種可能的設(shè)計(jì)中，所述根據(jù)所述第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域7之間的重合程度，以及所述第一投影區(qū)域的大小，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集。[0016]在本方法中，三維物體檢測裝置根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集，包括：三維物體檢測裝置根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域之間的重合程度，以及第一投影區(qū)域的大小，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。則第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云數(shù)據(jù)所表示的特征點(diǎn)可能是目標(biāo)物體的一部分。由于目標(biāo)物體的一部分無法準(zhǔn)確地表征目標(biāo)物體整體在三維空間中的估計(jì)位置，所以，此類的點(diǎn)云數(shù)據(jù)集不作為目標(biāo)點(diǎn)云數(shù)據(jù)集。如此，三維物體檢測裝置在確定目標(biāo)點(diǎn)云數(shù)據(jù)集的過程中，需要結(jié)更準(zhǔn)確地確定目標(biāo)點(diǎn)云數(shù)據(jù)集。[0018]在一種可能的設(shè)計(jì)中，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域滿足：[0020]其中，S表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度，IOU表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比，S。表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的重疊面積，Su表示所述重疊面積與不重疊面積之和，所述不重疊面積為所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間未重疊的面積，Lj表示所述目標(biāo)投影區(qū)域的投影點(diǎn)間距，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離，所述目標(biāo)特征點(diǎn)屬于所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且指示所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，Dij表示所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離，T表示相似度閾值。[0021]在一種可能的設(shè)計(jì)中，所述將所述目標(biāo)點(diǎn)云數(shù)據(jù)集和所述目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果，包括：根據(jù)所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將所述目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至所述三維空間，以得到目標(biāo)逆映射點(diǎn)；將所述目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為所述檢測結(jié)果。[0022]在本方法中，三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果，包括：三維物體檢測裝置根據(jù)目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至三維空間，以得到目標(biāo)逆映射點(diǎn)。例如，若目標(biāo)物體圖像在二維圖像中是矩形區(qū)域的情況下，將位于對角點(diǎn)上的像素點(diǎn)逆映射三維空間，以得到目標(biāo)逆映射點(diǎn)。然后，三維物體檢測裝置將目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為檢測結(jié)果。[0023]也就是說，三維物體檢測裝置是利用了目標(biāo)點(diǎn)云數(shù)據(jù)集合目標(biāo)物體圖像來確定檢[0024]在一種可能的設(shè)計(jì)中，本申請實(shí)施例三維物體檢測方法還包括：根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整所述檢測結(jié)果指示的估計(jì)位置，其中，所述調(diào)整因子指示所述目標(biāo)物體在所述三維空間中的真實(shí)位置與估計(jì)位置之間的差異。8[0025]本方法還包括：三維物體檢測裝置根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整檢測結(jié)果指示的估計(jì)位置。其中，調(diào)整因子指示目標(biāo)物體在三維空間中的真實(shí)位置與估計(jì)位置之間的差異，以使三維物體檢測裝置所確定的估計(jì)位置更貼合實(shí)際物體尺寸，提高了物體檢測的精準(zhǔn)度。[0026]在一種可能的設(shè)計(jì)中，所述點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)的數(shù)量小于數(shù)量閾值，以剔除描述背景物體的點(diǎn)云數(shù)據(jù)集，有助于降低三維物體檢測裝置的運(yùn)算量。[0027]第二方面，本申請實(shí)施例提供一種三維物體檢測裝置，該三維物體檢測裝置可以為上述第一方面或第一方面任一種可能的設(shè)計(jì)中的裝置，或者實(shí)現(xiàn)上述功能的芯片；所述三維物體檢測裝置包括實(shí)現(xiàn)上述方法相應(yīng)的模塊、單元、或手段(means),該模塊、單元、或means可以通過硬件實(shí)現(xiàn)，軟件實(shí)現(xiàn)，或者通過硬件執(zhí)行相應(yīng)的軟件實(shí)現(xiàn)。該硬件或軟件包括一個(gè)或多個(gè)與上述功能相對應(yīng)的模塊或單元。[0028]該三維物體檢測裝置包括獲取單元和處理單元。其中，所述獲取單元，用于獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集，所述二維圖像包括至少一個(gè)物體的圖像，所述點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，所述點(diǎn)云數(shù)據(jù)用于描述所述至少一個(gè)物體在三維空間中的候選區(qū)域，所述二維圖像是圖像傳感器采集的信息，所述點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息；[0029]所述處理單元，用于根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所述目標(biāo)物體圖像包括所述至少一個(gè)物體中目標(biāo)物體的圖像，所述目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述所述目標(biāo)物體在所述三維空間中的候選區(qū)域；[0030]所述處理單元，還用于將所述目標(biāo)點(diǎn)云數(shù)據(jù)集和所述目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果，其中，所述檢測結(jié)果指示所述目標(biāo)物體在所述三維空間中的估計(jì)位置。[0031]在一種可能的設(shè)計(jì)中，所述處理單元，用于根據(jù)所述二維圖像中目標(biāo)物體圖像，從所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集，具體包括：[0032]確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像中的第一投影區(qū)域，其中，所述第一點(diǎn)云數(shù)據(jù)集是所述至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合；[0033]根據(jù)所述第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，其中，所示目標(biāo)圖像區(qū)域是所述目標(biāo)物體圖像在所述二維圖像中的區(qū)域。[0034]在一種可能的設(shè)計(jì)中，所述處理單元，用于確定第一點(diǎn)云數(shù)據(jù)集在所述二維圖像[0035]根據(jù)所述第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從所述第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)；[0036]根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的轉(zhuǎn)換參數(shù)，確定所述第一特征點(diǎn)在所述二維圖像中的第一投影點(diǎn)；[0037]將所述第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為所述第一投影區(qū)域。[0038]在一種可能的設(shè)計(jì)中，所述處理單元，用于根據(jù)所述第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集，具體包括：[0039]根據(jù)所述第一投影區(qū)域和所述目標(biāo)圖像區(qū)域之間的重合程度，以及所述第一投影區(qū)域的大小，確定所述第一點(diǎn)云數(shù)據(jù)集為所述目標(biāo)點(diǎn)云數(shù)據(jù)集。[0040]在一種可能的設(shè)計(jì)中，所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在所述二維圖像中的目標(biāo)投影區(qū)域滿足：9[0042]其中，S表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的相似度，IOU表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的交并比，S。表示所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間的重疊面積，Su表示所述重疊面積與不重疊面積之和，所述不重疊面積為所述目標(biāo)投影區(qū)域與所述目標(biāo)圖像區(qū)域之間未重疊的面積，Lj表示所述目標(biāo)投影區(qū)域的投影點(diǎn)間距，所述投影點(diǎn)間距是目標(biāo)特征點(diǎn)在所述二維圖像中的投影點(diǎn)之間的距離，所述目標(biāo)特征點(diǎn)屬于所述目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且指示所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，Dij表示所述目標(biāo)投影區(qū)域的參考點(diǎn)與所述目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離，T表示相似度閾值。[0043]在一種可能的設(shè)計(jì)中，所述處理單元，用于將所述目標(biāo)點(diǎn)云數(shù)據(jù)集和所述目標(biāo)物[0044]根據(jù)所述目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將所述目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至所述三維空間，以得到目標(biāo)逆映射點(diǎn)；[0045]將所述目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為所述檢測結(jié)果。[0047]根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整所述檢測結(jié)果指示的估計(jì)位置，其中，所述調(diào)整因子指示所述目標(biāo)物體在所述三維空間中的真實(shí)位置與估計(jì)位置之間的差異。[0048]在一種可能的設(shè)計(jì)中，所述點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)的數(shù)量小于數(shù)量閾值。[0049]第三方面，本申請實(shí)施例提供一種電子設(shè)備，該電子設(shè)備包括處理器和存儲器。該處理器和該存儲器進(jìn)行相互的通信。該處理器用于執(zhí)行該存儲器中存儲的指令，以使得電子設(shè)備執(zhí)行如第一方面或第一方面的任一種設(shè)計(jì)中的三維物體檢測方法。[0050]第四方面，本申請實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)中存儲有指令，該指令用于指示設(shè)備執(zhí)行上述第一方面或第一方面的任一種設(shè)計(jì)中的三維物體檢測方法。[0051]第五方面，本申請?zhí)峁┝艘环N包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在設(shè)備上運(yùn)行時(shí)，使得設(shè)備執(zhí)行上述第一方面或第一方面的任一種設(shè)計(jì)中的三維物體檢測方法。[0052]第六方面，本申請實(shí)施例提供一種芯片，包括邏輯電路和輸入輸出接口。其中，輸入輸出接口用于與芯片之外的模塊通信，例如，該芯片可以為實(shí)現(xiàn)上述第一方面或第一方面任一種可能的設(shè)計(jì)中的三維物體檢測裝置功能的芯片。輸入輸出接口輸入二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集，輸入輸出接口輸出檢測結(jié)果。邏輯電路用于運(yùn)行計(jì)算機(jī)程序或指令，以實(shí)現(xiàn)上述第一方面或第一方面任一種可能的設(shè)計(jì)中的三維物體檢測方法。[0053]第七方面，本申請實(shí)施例提供一種機(jī)器人，包括：圖像傳感器、深度傳感器、處理器、用于存儲處理器可執(zhí)行指令的存儲器。其中，圖像傳感器用于采集二維圖像，深度傳感器用于采集至少一個(gè)點(diǎn)云數(shù)據(jù)集，處理器被配置可執(zhí)行指令，以實(shí)現(xiàn)如上述第一方面或第一方面任一種可能的設(shè)計(jì)中的三維物體檢測方法。[0054]第八方面，本申請實(shí)施例提供一種服務(wù)器，包括：處理器、用于存儲處理器可執(zhí)行指令的存儲器。其中，處理器被配置可執(zhí)行指令，以實(shí)現(xiàn)如上述第一方面或第一方面任一種可能的設(shè)計(jì)中的三維物體檢測方法。[0055]其中，第二方面至第八方面中任一種設(shè)計(jì)所帶來的技術(shù)效果可參考上文所提供的對應(yīng)的方法中的有益效果，此處不再贅述。附圖說明[0056]圖1為本申請實(shí)施例提供的一種系統(tǒng)架構(gòu)示意圖；[0057]圖2為本申請實(shí)施例提供的又一種系統(tǒng)架構(gòu)示意圖；[0058]圖3為本申請實(shí)施例提供的一種三維物體檢測方法的流程示意圖；[0059]圖4a為本申請實(shí)施例提供的一種棋盤格圖像；[0060]圖4b為本申請實(shí)施例提供的再一種三維物體檢測方法的流程示意圖；[0061]圖5為本申請實(shí)施例提供的又一種三維物體檢測方法的流程示意圖；[0062]圖6a為本申請實(shí)施例提供的一種模型訓(xùn)練階段的流程示意圖；[0063]圖6b為本申請實(shí)施例提供的一種模型應(yīng)用階段的流程示意圖；[0064]圖6c為本申請實(shí)施例提供的一種2D檢測框的示意圖；[0065]圖7a為本申請實(shí)施例提供的又一種三維物體檢測方法的流程示意圖；[0066]圖7b為本申請實(shí)施例提供的一種法線估計(jì)的示意圖；[0067]圖8為本申請實(shí)施例提供的又一種三維物體檢測方法的流程示意圖；[0068]圖9a為本申請實(shí)施例提供的一種最遠(yuǎn)點(diǎn)和最近點(diǎn)的位置示意圖；[0069]圖9b為本申請實(shí)施例提供的一種投影區(qū)域的位置示意圖；[0070]圖9c為本申請實(shí)施例提供的一種目標(biāo)投影區(qū)域和目標(biāo)圖像區(qū)域的位置示意圖；[0071]圖10為本申請實(shí)施例提供的又一種三維物體檢測方法的流程示意圖；[0072]圖11為本申請實(shí)施例提供的再一種設(shè)備的結(jié)構(gòu)示意圖。具體實(shí)施方式[0073]本申請的說明書以及附圖中的術(shù)語“第一”和“第二”等是用于區(qū)別不同的對象，或者用于區(qū)別對同一對象的不同處理，而不是用于描述對象的特定順序。此外，本申請的描述中所提到的術(shù)語“包括”和“具有”以及它們的任何變形，意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒有限定于已列出的步驟或單元，而是可選地還包括其他沒有列出的步驟或單元，或可選地還包括對于這些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。需要說明的是，本申請實(shí)施例中，“示例性地”或者“例如”等詞用于表示作例子、例證或說明。本申請實(shí)施例中被描述為“示例性地”或者“例如”的任何實(shí)施例或設(shè)計(jì)方案不應(yīng)被解釋為比其它實(shí)施例或設(shè)計(jì)方案更優(yōu)選或更具優(yōu)勢。確切而言，使用“示例性地”或者“例如”等詞旨在以[0074]為了使得本申請更加的清楚，首先對本申請?zhí)岬降牟糠指拍詈吞幚砹鞒套骱唵谓閇0076]魯棒性，是指在異常和危險(xiǎn)情況下系統(tǒng)生存的能力，或控制系統(tǒng)在一定(結(jié)構(gòu)，大小)的參數(shù)攝動(dòng)下，維持其它某些性能的特性。11[0078]假陽率，是指“通過深度學(xué)習(xí)模型獲取的結(jié)果為錯(cuò)誤的正類”的概率，即深度學(xué)習(xí)模型將非目標(biāo)樣本確定為正確的目標(biāo)樣本的概率。[0080]二維圖像，是指不包含深度信息的平面圖像。二維圖像可以包括紅綠藍(lán)(red[0082]深度圖像，也被稱為距離影像(rangeimage),是指將從深度傳感器到空間中各點(diǎn)的距離(或稱為深度)作為像素值的圖像。深度圖像直接反映了空間中物體可見表面的幾何[0084]點(diǎn)云，是指在一定的空間參考系下表達(dá)目標(biāo)物體的空間分布和表面特性的點(diǎn)的集合。在本申請實(shí)施例中，點(diǎn)云數(shù)據(jù)用于表征該點(diǎn)云中每個(gè)點(diǎn)在空間參考坐標(biāo)系下的三維坐標(biāo)值?？臻g參考坐標(biāo)系可以是深度傳感器對應(yīng)的坐標(biāo)系。[0086]點(diǎn)云簇，是指對點(diǎn)云數(shù)據(jù)進(jìn)行一系列計(jì)算(如幾何分割、聚類處理等)之后，所得到的滿足預(yù)設(shè)劃分規(guī)則的一部分點(diǎn)云數(shù)據(jù)所表征的點(diǎn)。其中，計(jì)算方法可以是基于點(diǎn)云數(shù)據(jù)[0088]7、三維(threedimensions,3D)物體檢測[0089]三維物體檢測，能夠提供物體地圖，以使機(jī)器人更好的定位。由于物體是機(jī)器人理解環(huán)境的基礎(chǔ)，所以，物體可以作為一種語義，以提高機(jī)器人導(dǎo)航智能性。三維物體檢測能夠?qū)⑽矬w從圖像平面擴(kuò)展到現(xiàn)實(shí)世界，更好的實(shí)現(xiàn)人機(jī)交互。下面，給出了基于深度學(xué)習(xí)的三維物體檢測方法的實(shí)現(xiàn)過程：[0090]設(shè)備獲取場景的點(diǎn)云之后，基于場景的點(diǎn)云確定候選物體區(qū)域，再從點(diǎn)云中選擇位于候選物體區(qū)域中的目標(biāo)點(diǎn)，利用目標(biāo)點(diǎn)的位置信息，調(diào)整候選物體區(qū)域，從而定位出物體的三維空間位置。然而，在某些觀測視角下，設(shè)備無法獲取足夠的點(diǎn)云，導(dǎo)致物體無法辨[0091]有鑒于此，本申請實(shí)施例提供了一種三維物體檢測方法。本申請實(shí)施例提供的三維物體檢測方法可以應(yīng)用于如圖1所示的設(shè)備中。該設(shè)備包括第一設(shè)備101和第二設(shè)備102。第一設(shè)備01為圖像采集設(shè)備，該圖像采集設(shè)備包括圖像傳感器和深度傳感器。其中，圖像傳設(shè)備、增強(qiáng)現(xiàn)實(shí)技術(shù)(augmentedreality,AR)設(shè)備、虛擬現(xiàn)實(shí)(virtualreality,VR)設(shè)備、車載設(shè)備、智慧屏等。深度傳感器用于采集深度圖像。深度傳感器可以例如但不限于如下介達(dá)探測與測量(lightdetectionandranging,LiDAR)傳感器。第二設(shè)備102為處理設(shè)備，該處理設(shè)備具有中央處理器(centralprocessingunit,CPU)和/或圖形處理器(graphicsprocessingunit,GPU),用于對圖像采集設(shè)備采集的圖像進(jìn)行處理，從而實(shí)現(xiàn)三維物體檢[0092]需要說明的是，第一設(shè)備101和第二設(shè)備102可以設(shè)置在機(jī)器人本體上，如圖1所示。例如，第一設(shè)備101和第二設(shè)備102可以設(shè)置于機(jī)器人的頭部(圖1未示出),也可以設(shè)置于機(jī)器人的軀體部位，如圖1所示。當(dāng)然，第一設(shè)備101和第二設(shè)備102還可以設(shè)置在機(jī)器人本體的其他部位，本申請實(shí)施例對此不作限定。[0093]另外，第一設(shè)備101和第二設(shè)備102可以是獨(dú)立的設(shè)備，也可以合設(shè)。例如，第一設(shè)備101是第二設(shè)備102的一部分。此種情況下，第一設(shè)備101與第二設(shè)備102之間通過總線連接。示例性的，總線可以實(shí)現(xiàn)為雙向同步串行總線，雙向同步串行總線包括一根串行數(shù)據(jù)線設(shè)備101和第二設(shè)備102包括集成電路(inter-integratedcircuit,I2C)接口。第一設(shè)備101和第二設(shè)備102之間通過I2C接口連接的雙向同步串行總線進(jìn)行通信?；蛘?，第一設(shè)備101和第二設(shè)備102包括移動(dòng)產(chǎn)業(yè)處理器(mobileindustryprocessorinterface,MIPI)接口。第一設(shè)備101和第二設(shè)備102之間通過MIPI接口連接的雙向同步串行總線進(jìn)行通信?；蛘?，第一設(shè)備101和第二設(shè)備102包括通用輸入輸出(general-purposeinput/output,GPIO)接口。第一設(shè)備101和第二設(shè)備102之間通過GPIO接口連接的雙向同步串行總線進(jìn)行通信。[0094]在本申請實(shí)施例中，以“第一設(shè)備101和第二設(shè)備102是獨(dú)立的設(shè)備”為例，進(jìn)行描述。在“第一設(shè)備101和第二設(shè)備102是獨(dú)立的設(shè)備”的情況下，第一設(shè)備101和第二設(shè)備102可以設(shè)置在不同的位置上。例如，第一設(shè)備101設(shè)置于機(jī)器人的軀體部位，第二設(shè)備102設(shè)置于機(jī)器人本體的外部，如圖2所示。此種情況下，第二設(shè)備102可以是物理設(shè)備或物理設(shè)備集群，例如終端、服務(wù)器、或服務(wù)器集群。第二設(shè)備102也可以是虛擬化集群中的至少一個(gè)云計(jì)算設(shè)備。第一設(shè)備101和第二設(shè)備102均可以包括支持無線通信技術(shù)的裝置或芯片。其中，無線通信技術(shù)可以例如但不限于如下介紹：近距離無線通信(nearfieldcommunication,NFC)技術(shù)、紅外(infrared,IR)技術(shù)、全球移動(dòng)通訊系統(tǒng)(globalsystemformobilecommunications,GSM)、通用分組無線服務(wù)(generalpacketradioservice,GPRS)、碼分多址接入(codedivisionmultipleaccess,CDMA)、寬帶碼分多址(widebandcodedivision系統(tǒng)(quasi-zenithsatellitesystem,QZSS)和/或星基增強(qiáng)系統(tǒng)(satellitebasedaugmentations[0095]其中，圖1和圖2中的機(jī)器人可以是服務(wù)型機(jī)器人，如居家環(huán)境中的掃地機(jī)器人、送貨上門的機(jī)器人、兒童教育機(jī)器人等。圖1和圖2中的機(jī)器人也可以是機(jī)械型機(jī)器人，如工廠中運(yùn)輸貨物的機(jī)器人。另外，在圖1和圖2中，僅以機(jī)器人為例進(jìn)行描述，機(jī)器人可以替換為智能家電設(shè)備，如智能音箱、智能電視等，以定位人體在三維空間中的估計(jì)位置，從而切換自身的工作狀態(tài)。例如，當(dāng)智能音箱定位人體在三維空間中的估計(jì)位置大于一定閾值的情況下，停止播放音頻。反之，當(dāng)智能音箱定位人體在三維空間中的估計(jì)位置小于一定閾值的情況下，開始播放音頻。圖1和圖2中的機(jī)器人還可以替換為無人機(jī)，如送貨上門的無人機(jī)、監(jiān)控森林火險(xiǎn)的無人機(jī)、用于噴灑農(nóng)藥、化肥[0096]為了使得本申請的技術(shù)方案更加清楚、易于理解，下面，通過兩個(gè)階段對本申請實(shí)施例提供的第一種三維物體檢測方法進(jìn)行介紹：[0097]本申請實(shí)施例還提供了第二種三維物體檢測方法，該方法包括兩個(gè)階段，具體說[0098]第一階段，采集階段。在此階段中，三維物體檢測裝置獲取二維圖像和深度圖像對應(yīng)的點(diǎn)云數(shù)據(jù)。參見圖3,該階段的步驟介紹如下：[0100]其中，二維圖像包括第一場景中至少一個(gè)物體的平面圖像。第一場景是第一設(shè)備掃描范圍內(nèi)的場景。例如，在第一設(shè)備處于客廳的情況下，第一場景可以是第一設(shè)備掃描到等。在第一設(shè)備處于臥室的情況下，第一場景可以是第一設(shè)備掃描到的臥室范圍內(nèi)的場景，第一場景中的物體可以例如但不限于床、或衣柜等。在第一設(shè)備處于廚房的情況下，第一場景可以是第一設(shè)備掃描到的廚房范圍內(nèi)的場景，第一場景中的物體可以例如但不限于冰箱、酒杯、或盤子等。在第一設(shè)備處于運(yùn)輸車道的情況下，第一場景可以是第一設(shè)備掃描到的車道場景，第一場景中的物體可以例如但不限于車輛、或軌道等。在第一設(shè)備處于監(jiān)控森林火險(xiǎn)的情況下，第一場景可以是第一設(shè)備掃描到的森林場景，第一場景中的物體可以例[0101]示例性的，第一設(shè)備可以包括圖像傳感器，圖像傳感器可以例如但不限于圖1中的[0102]S302a、第一設(shè)備向三維物體檢測裝置發(fā)送二維圖像。相應(yīng)的，三維物體檢測裝置接收來自第一設(shè)備的二維圖像。[0103]示例性的，在第一設(shè)備與第二設(shè)備中的三維物體檢測裝置通過有線連接方式連接的情況下，第一設(shè)備通過總線向第二設(shè)備中的三維物體檢測裝置發(fā)送二維圖像。相應(yīng)的，第二設(shè)備中的三維物體檢測裝置通過總線接收來自第一設(shè)備的二維圖像。其中，“總線”的介紹可以參見圖1中的相關(guān)說明，此處不再贅述。在第一設(shè)備與第二設(shè)備中的三維物體檢測裝置通過無線通信技術(shù)通信的情況下，第一設(shè)備通過互聯(lián)網(wǎng)向第二設(shè)備中的三維物體檢測裝置發(fā)送二維圖像。相應(yīng)的，第二設(shè)備中的三維物體檢測裝置通過互聯(lián)網(wǎng)接收來自第一設(shè)備[0104]S301b、第一設(shè)備采集[0105]其中，深度圖像包括第一場景中至少一個(gè)物體的深度值構(gòu)成的圖像?！暗谝粓鼍啊盵0106]示例性的，第一設(shè)備可以包括深度傳感器，深度傳感器可以例如但不限于圖1中的[0107]S302b、第一設(shè)備向三維物體檢測裝置發(fā)送深度圖像。相應(yīng)的，三維物體檢測裝置接收來自第一設(shè)備的深度圖像。[0108]示例性的，在第一設(shè)備與第二設(shè)備中的三維物體檢測裝置通過有線連接方式連接的情況下，第一設(shè)備通過總線向第二設(shè)備中的三維物體檢測裝置發(fā)送深度圖像。相應(yīng)的，第紹可以參見圖1中的相關(guān)說明，此處不再贅述在第一設(shè)備與第二設(shè)備中的三維物體檢測裝標(biāo)。x表示像素點(diǎn)在深度傳感器坐標(biāo)系下x軸的坐標(biāo)(或3D空間中點(diǎn)云數(shù)據(jù)在x軸的坐標(biāo)),y表示像素點(diǎn)在深度傳感器坐標(biāo)系下y軸的坐標(biāo)(或3D空間中點(diǎn)云數(shù)據(jù)在y軸的坐標(biāo)),z表示像素點(diǎn)在深度傳感器坐標(biāo)系下z軸的坐標(biāo)(或3D空間中點(diǎn)云數(shù)據(jù)在z軸的坐標(biāo))。K?1表示深[0116]然后，三維物體檢測裝置通過高斯-牛頓法對棋盤格圖像中棋盤格對角點(diǎn)的坐標(biāo)[0122]公式(2)[0125]其中，第二坐標(biāo)是3D空間中點(diǎn)云數(shù)據(jù)(即S303b所確定的點(diǎn)云數(shù)據(jù))在二維圖像坐[0127]公式(3)示的點(diǎn)在二維圖像坐標(biāo)系中的橫坐標(biāo)，v表示3D空間中點(diǎn)云數(shù)據(jù)所表示的點(diǎn)在二維圖像坐[0130]示例性的，三維物體檢測裝置確定深度圖像中像素點(diǎn)坐標(biāo)(體檢測模型可以例如但不限于如下介紹：SSD(singleshot[0139]步驟a4、計(jì)算損失函數(shù)。在此步驟中，采用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算輸入的數(shù)據(jù)增強(qiáng)后的[0140]步驟a5、保存訓(xùn)練權(quán)重。在此步驟中，經(jīng)過上述訓(xùn)練過程，三維物體檢測裝置保存卷積神經(jīng)網(wǎng)絡(luò)計(jì)算得到的權(quán)重。[0141]如此，經(jīng)過步驟a1至步驟a5,三維物體檢測裝置即可得到2D物體檢測模型。[0142]在模型應(yīng)用階段，即S502a的實(shí)現(xiàn)過程。參見圖6b,模型應(yīng)用階段的步驟說明如下：[0143]步驟a6、確定二維圖像。在此步驟中，三維物體檢測裝置確定待處理的二維圖像，即S501a[0144]中獲取的二維圖像。[0145]步驟a7、加載訓(xùn)練權(quán)重和網(wǎng)絡(luò)模型。在此步驟中，三維物體檢測裝置加載訓(xùn)練權(quán)重[0146]步驟a8、前向傳播。在此步驟中，采用2D物體檢測模型對輸入的二維圖像進(jìn)行計(jì)[0147]步驟a9、預(yù)測2D檢測框。在此步驟中，三維物體檢測裝置采用2D物體檢測模型對二維圖像進(jìn)行檢測，以得到目標(biāo)物體圖像。示例性的，三維物體檢測裝置采用2D檢測框標(biāo)識出目標(biāo)物體圖像。其中，2D檢測框可以是一個(gè)矩形框，包括左上數(shù)和高度參數(shù)。示例性的，目標(biāo)物體的數(shù)量記為N,N≥1.第i個(gè)目標(biāo)物體的二維圖像的檢測結(jié)果記為DR={0i}。其中，DR表示二維圖像的檢測結(jié)果，0i表示第i個(gè)目標(biāo)物體的2D檢測框參數(shù)。1≤i≤N。示例性的，參加圖6c,圖6c中示出了兩種目標(biāo)物體，2D檢測框分別標(biāo)識出了[0148]可選的，二維圖像的檢測結(jié)果還包括以下至少一項(xiàng)：[0150]第二、置信度。其中，置信度指示二維圖像的檢測結(jié)果的可信程度。置信度的取值不大于1。置信度的取值越高，表征二維圖像的檢測結(jié)果的可度大于置信度閾值的情況下，三維物體檢測裝置執(zhí)行S502.反之，在置信度小于或等于置信度閾值的情況下，三維物體檢測裝置重新執(zhí)行步驟a8和步驟a9,直至置信度超過置信度閾值，或?qū)Σ襟Ea6的二維圖像重復(fù)執(zhí)行次數(shù)達(dá)到第一預(yù)設(shè)值。由于三維物體檢測結(jié)果是基于目標(biāo)物體圖像確定的，且目標(biāo)物體圖像是滿足置信度要求的圖像，所以，本申請實(shí)施例三維物體檢測方法能夠準(zhǔn)確地篩選出目標(biāo)點(diǎn)云數(shù)據(jù)集，有助于提升三維物體檢測結(jié)果的準(zhǔn)確[0152]S501b、三維物體檢測裝置對深度圖像對應(yīng)的點(diǎn)云數(shù)據(jù)進(jìn)行聚類，以得到至少一個(gè)點(diǎn)云數(shù)據(jù)集。[0153]其中，一個(gè)“點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)”是上述“S303b得到的點(diǎn)云數(shù)據(jù)”中的一部分。點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述第一場景中物體的候選區(qū)域。其中，一個(gè)“點(diǎn)云數(shù)據(jù)[0155]步驟b1、濾波。在此步驟中，三維物體檢測裝置對“S303b得到的點(diǎn)云數(shù)據(jù)”進(jìn)行降[0156]步驟b2、法線估計(jì)。在此步驟中，三維物體檢測裝置對“步驟b1降采樣處理后的點(diǎn)[0157]示例性的，參見圖7b,以一個(gè)采樣點(diǎn)Pi為例，從“步驟b1降采樣處理后的點(diǎn)云數(shù)據(jù)”所表示的點(diǎn)中，確定滿足第一預(yù)設(shè)條件的點(diǎn)。例如，第一預(yù)設(shè)條件可以的圓形區(qū)域內(nèi)的點(diǎn)。以“K個(gè)滿足第一預(yù)設(shè)條件的點(diǎn)”為例，根據(jù)K個(gè)點(diǎn)的坐標(biāo)創(chuàng)建協(xié)方差矩[0159]其中，C表示協(xié)方差矩陣，K表示滿足第一預(yù)設(shè)條件的點(diǎn)的數(shù)量，Pi表示K個(gè)點(diǎn)中的征向量。將特征值最小且與深度傳感器感知方向相同的特征向量，作為法線。[0160]步驟b3、平面檢測。首先，基于法線方向進(jìn)行聚類，即將滿足歐式距離約束的法線進(jìn)行聚類，找出法線方向接近的點(diǎn)構(gòu)成的點(diǎn)云數(shù)據(jù)集S。然對點(diǎn)云數(shù)據(jù)集S中的點(diǎn)進(jìn)行聚類，找出滿足歐式距離的點(diǎn)。最后，將滿足歐式距離的點(diǎn)帶入平面方程中計(jì)算形如AX=B的最小二乘解。其中，平面方程A[0162]其中，x?表示“滿足歐式距離的點(diǎn)”中第一個(gè)點(diǎn)在深度傳感器y?表示“滿足歐式距離的點(diǎn)”中第一個(gè)點(diǎn)在深度傳感器坐標(biāo)系中y軸的坐標(biāo)，z?表示“滿足歐式距離的點(diǎn)”中第一個(gè)點(diǎn)在深度傳感器坐標(biāo)系中z軸的坐標(biāo)。x表示“滿足歐式距離的點(diǎn)”中第m個(gè)點(diǎn)在深度傳感器坐標(biāo)系中x軸的坐標(biāo)，y表示“滿足歐式距離的點(diǎn)”中第m個(gè)點(diǎn)在深度傳感器坐標(biāo)系中y軸的坐標(biāo)，z表示“滿足歐式距離的點(diǎn)”中第m個(gè)點(diǎn)在深度傳感器坐標(biāo)系中z軸的坐標(biāo)。解析解為X=(AAT)-1ATB,即為所求法向量。a表示法向量中x軸的坐標(biāo)，b表示法向量中y軸的坐標(biāo)，c表示法向量中z軸的坐標(biāo)。如此，三維物體檢測裝置即求解出a、b、c取[0164]首先，確定步驟b3擬合平面中點(diǎn)的數(shù)量，剔除點(diǎn)的數(shù)量大于數(shù)量閾值的擬合平面。由于深度圖像中包括大量的背景圖像，如地面的圖像，所以，深度圖像中包括大量的背景物體的像素點(diǎn)。若某一擬合平面中點(diǎn)的數(shù)量大于數(shù)量閾值，則該擬合平面屬于背景物體的圖像區(qū)域的概率較大，相應(yīng)的，該擬合平面屬于目標(biāo)物體的圖像區(qū)域的概率較小，需要剔除，以提高計(jì)算效率。[0165]然后，對剩余的擬合平面中的點(diǎn)進(jìn)行聚類，將滿足歐式距離條件的點(diǎn)的坐標(biāo)構(gòu)成點(diǎn)云數(shù)據(jù)集，作為深度圖像的點(diǎn)云數(shù)據(jù)集。其中，歐式距離條件可以例如但不限于如下介紹：擬合平面中兩點(diǎn)之間的歐式距離小于距離閾值。距離閾值可以是2CM或者其他值，可以[0166]示例性的，深度圖像包括N個(gè)物體的圖像，深度圖像對應(yīng)的點(diǎn)云數(shù)據(jù)集記為S=[0167]如此，通過上述步驟b1至步驟b4,三維物體檢測裝置即可獲取到深度圖像的至少一個(gè)點(diǎn)云數(shù)據(jù)集。[0168]需要說明的是，三維物體檢測裝置可以先執(zhí)行二維圖像的處理步驟(即S501a),再執(zhí)行點(diǎn)云數(shù)據(jù)的處理步驟(即S501b),也可以先執(zhí)行點(diǎn)云數(shù)據(jù)的處理步驟，再執(zhí)行二維圖像的處理步驟，還可以同時(shí)執(zhí)行二維圖像的處理步驟和點(diǎn)云數(shù)據(jù)的處理步驟，本申請實(shí)施例對此不作限定。[0169]最后，再對目標(biāo)物體圖像和點(diǎn)云數(shù)據(jù)集的處理過程進(jìn)行說明：[0170]S502、三維物體檢測裝置根據(jù)目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集。[0171]其中，目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述第一場景中存在目標(biāo)物體的估計(jì)區(qū)[0172]示例性的，參見圖8,將至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)點(diǎn)云數(shù)據(jù)集描述為“第一點(diǎn)[0173]S5021、三維物體檢測裝置確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域。[0175]步驟1、三維物體檢測裝置根據(jù)第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)。[0176]示例性的，第一特征點(diǎn)可以是以下至少一項(xiàng)：第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中的最遠(yuǎn)點(diǎn)、第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中的最近點(diǎn)。[0177]示例性的，第一點(diǎn)云數(shù)據(jù)集記為點(diǎn)云數(shù)據(jù)集Ci。三維物體檢測裝置查找點(diǎn)云數(shù)據(jù)集Ci中的最遠(yuǎn)點(diǎn)Pmax和最近點(diǎn)Pmin,以作為第一特征點(diǎn)。[0178]步驟2、三維物體檢測裝置根據(jù)點(diǎn)云數(shù)據(jù)與二維圖像之間的轉(zhuǎn)換參數(shù)，確定第一特征點(diǎn)在二維圖像中的第一投影點(diǎn)。[0179]示例性的，點(diǎn)云數(shù)據(jù)與二維圖像之間的轉(zhuǎn)換參數(shù)可以是以下至少一項(xiàng)：深度傳感[0180]示例性的，以最遠(yuǎn)點(diǎn)Pmax為例，先利用公式(6)確定最遠(yuǎn)點(diǎn)Pmax在圖像傳感器的坐標(biāo)系下的坐標(biāo)。[0182]其中，x表示3D空間中最遠(yuǎn)點(diǎn)Pmax在x軸的坐標(biāo)，y表示3D空間中最遠(yuǎn)點(diǎn)Pmax在的坐標(biāo)系中x軸的坐標(biāo)，y′mx表示最遠(yuǎn)點(diǎn)Pmax在圖像傳感器的坐標(biāo)系中y軸的坐標(biāo)，z′max表示最遠(yuǎn)點(diǎn)Pmax在圖像傳感器的坐標(biāo)系中z軸的坐標(biāo)。R表示3*3的旋轉(zhuǎn)矩陣，T表示3*1的平移矩陣。[0183]再利用公式(7)確定最遠(yuǎn)點(diǎn)Pmax在二維圖像的坐標(biāo)系下的坐標(biāo)。[0184]公式(7)Pmax在圖像傳感器的坐標(biāo)系中y軸的坐標(biāo)，z′mx表示最遠(yuǎn)點(diǎn)Pmax在圖像傳感器的坐標(biāo)系中z圖像坐標(biāo)系中的縱坐標(biāo)。K?表示圖像傳感器的內(nèi)參。[0186]以最近點(diǎn)Pmin為例，先利用公式(8)確定最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系下的坐標(biāo)。[0188]其中，x表示3D空間中最近點(diǎn)Pmin在x軸的坐標(biāo)，y:表示3D空間中最近點(diǎn)Pmin在y軸的坐標(biāo)，zm.n表示3D空間中最近點(diǎn)Pmin在z軸的坐標(biāo)。x′mn表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中x軸的坐標(biāo)，y′min表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中y軸的坐標(biāo)，z′min表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中z軸的坐標(biāo)。R表示3*3的旋轉(zhuǎn)矩陣，T表示3*1的平移矩陣。[0189]再利用公式(9)確定最近點(diǎn)Pmin在二維圖像的坐標(biāo)系下的坐標(biāo)。[0191]其中，x′mn表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中x軸的坐標(biāo)，y'mn表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中y軸的坐標(biāo)，z′min表示最近點(diǎn)Pmin在圖像傳感器的坐標(biāo)系中z軸的坐標(biāo)。umn表示最近點(diǎn)Pmin在二維圖像坐標(biāo)系中的橫坐標(biāo)，vmn表示最近點(diǎn)Pmin在二維圖像坐標(biāo)系中的縱坐標(biāo)。K?表示圖像傳感器的內(nèi)參。[0192]步驟3、三維物體檢測裝置將第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為第一投影區(qū)域。[0194]示例性的，二維標(biāo)注框可以是矩形框，如圖9b所示。二維標(biāo)注框可以是以第一投影點(diǎn)為對角點(diǎn)的標(biāo)注框。[0195]如此，三維物體檢測裝置即可確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域，進(jìn)而判斷該第一點(diǎn)云數(shù)據(jù)集是否為目標(biāo)點(diǎn)云數(shù)據(jù)集。[0196]S5022、三維物體檢測裝置確定目標(biāo)物體圖像在二維圖像中的目標(biāo)圖像區(qū)域。[0197]示例性的，目標(biāo)圖像區(qū)域可以是S501a中2D檢測框參數(shù)指示的區(qū)域，具體參見[0198]S5023、三維物體檢測裝置根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。[0199]其中，S5023的實(shí)現(xiàn)方式有多種，可以例如但不限于[0200]三維物體檢測裝置根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域之間的重合程度，以及第一投影區(qū)域的大小，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。[0201]也就是說，在確定“第一點(diǎn)云數(shù)據(jù)集是否為目標(biāo)點(diǎn)云數(shù)據(jù)集”的情況下，三維物體檢測裝置除了考量“第一投影區(qū)域和目標(biāo)圖像區(qū)域之間的重合程度”之外，還參考了“第一下，第一投影區(qū)域與目標(biāo)圖像區(qū)域之間仍重合，但目標(biāo)物體的一部分無法準(zhǔn)確地表征目標(biāo)物體整體在三維空間中的估計(jì)位置，所以，此類的點(diǎn)云數(shù)據(jù)集不作為目標(biāo)點(diǎn)云數(shù)據(jù)集。在考量了上述兩個(gè)指標(biāo)的情況下，有助于提升目標(biāo)點(diǎn)云數(shù)據(jù)集篩選的精準(zhǔn)度。[0202]示例性的，通過兩個(gè)示例對S5023的實(shí)現(xiàn)過程進(jìn)行說明：[0203]示例一、目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在二維圖像中的目標(biāo)投影區(qū)域滿足：[0204]公式(10)[0205]其中，S,表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的相似度。IOU表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的交并比。S?表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域的交集的面積(或重疊面積),Su表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域的并集的面積(或重疊面積與不重疊面積之和)。Lj?表示目標(biāo)投影區(qū)域的投影點(diǎn)間距，投影點(diǎn)間距是目標(biāo)特征點(diǎn)在二維圖像中的投影點(diǎn)之間的距離。目標(biāo)特征點(diǎn)屬于目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且指示目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)的深度范圍。Dij,表示目標(biāo)投影區(qū)域的參考點(diǎn)與目標(biāo)圖像區(qū)域的參考點(diǎn)之域的參考點(diǎn)可以是目標(biāo)投影區(qū)域的中心點(diǎn)、左上角的頂點(diǎn)、左側(cè)邊的中心點(diǎn)等。類似的，目標(biāo)圖像區(qū)域的參考點(diǎn)也可以是目標(biāo)圖像區(qū)域的中心點(diǎn)、左上角的頂點(diǎn)、左側(cè)邊的中心點(diǎn)等。T表示相似度閾值。[0206]以圖9c為例，目標(biāo)投影區(qū)域記為Ri,目標(biāo)圖像區(qū)域記為0i。兩者之間的重疊區(qū)域如圖9c中斜線填充的區(qū)域所示，兩者之間的未重疊區(qū)域如圖9c中無斜線填充的區(qū)域所示。S表示上述重疊面積，S表示上述重疊面積與不重疊面積之和。Lj?表示目標(biāo)投影區(qū)域的投影點(diǎn)間距，如圖9c中Ri的對角線所示。Dij?表示目標(biāo)投影區(qū)域的中心點(diǎn)與目標(biāo)圖像區(qū)域的中心點(diǎn)之間的距離，如圖9c中的粗實(shí)線所示。如此，三維物體檢測裝置確定第一點(diǎn)云數(shù)據(jù)集是否滿足上述公式(10),若滿足，則將第一點(diǎn)云數(shù)據(jù)集作為目標(biāo)點(diǎn)云數(shù)據(jù)集，反之，若不滿足，則第一點(diǎn)云數(shù)據(jù)集不是目標(biāo)點(diǎn)云數(shù)據(jù)集。[0207]示例二、三維物體檢測裝置在確定公式(10)中的IOU大于第二預(yù)設(shè)值(如0.5)的情況下，三維物體檢測裝置再結(jié)合公式(10),判斷第一點(diǎn)云數(shù)據(jù)集是否為目標(biāo)點(diǎn)云數(shù)據(jù)集，[0208]S503、三維物體檢測裝置對目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行聯(lián)合，以得到目標(biāo)物體的檢測結(jié)果。[0209]其中，目標(biāo)物體的檢測結(jié)果指示目標(biāo)物體在三維空間中的估計(jì)位置。[0210]示例性的，S503的實(shí)現(xiàn)步驟如下步驟1和步驟2:[0211]步驟1、三維物體檢測裝置根據(jù)目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至三維空間，以得到目標(biāo)逆映射點(diǎn)。[0212]其中，目標(biāo)物體圖像中的部分像素點(diǎn)可以是目標(biāo)物體圖像的對角點(diǎn)。以圖9c為例，將2D檢測框0i的對角點(diǎn)Pi1(u1,v1),反投影到3D空間，以得到PPi1(x1,y1,z1)。其中，PPi1和Pi1之間的坐標(biāo)滿足如下公式：[0213]公式(11)[0214]其中，Zmin_;表示目標(biāo)點(diǎn)云數(shù)據(jù)集的深度范圍的最小值，u1表示對角點(diǎn)Pi1的橫坐標(biāo)，v1表示對角點(diǎn)Pi1的縱坐標(biāo)，K?1表示圖像傳感器的內(nèi)參的逆矩陣，x1表示PPil在x軸的[0215]將2D檢測框0i的對角點(diǎn)Pi2(u2,v2),反投影到3D空間，以得到PPi2(x2,y2,z2)。其[0216]公式(12)[0217]其中，zmax_表示目標(biāo)點(diǎn)云數(shù)據(jù)集的深度范圍的最大值，u2表示對角點(diǎn)Pi2的橫坐標(biāo)，v2表示對角點(diǎn)Pi2的縱坐標(biāo)，K?1表示圖像傳感器的內(nèi)參的逆矩陣，x2表示PPi2在x軸的坐標(biāo)，y2表示PPi2在y軸的坐標(biāo)，z2表示PPi2在z軸的坐標(biāo)。在圖9c所示的場景下，目標(biāo)逆映射點(diǎn)為PPi1和PPi2。[0218]步驟2、三維物體檢測裝置將目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為檢測結(jié)果，即目標(biāo)物體的檢測結(jié)果，以指示目標(biāo)物體在三維空間中的估計(jì)位置。[0219]示例性的，以圖9a為例，三維標(biāo)注框的對角點(diǎn)為PPi1和PPi2,三維標(biāo)注框所標(biāo)注的區(qū)域即為目標(biāo)物體在三維空間中的估計(jì)位置。[0221]S504、三維物體檢測裝置根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整目標(biāo)物體在三維空間中的估計(jì)位置。[0222]其中，調(diào)整因子指示目標(biāo)物體在第一場景中的真實(shí)位置與估計(jì)位置之間的差異。間中的估計(jì)位置”,調(diào)整因子可以是小于1的一個(gè)系數(shù)。標(biāo)識三維物體檢測結(jié)果的3D標(biāo)注框的各個(gè)頂點(diǎn)坐標(biāo)均乘以調(diào)整因子，以得到調(diào)整后的三維空間估計(jì)位置，以貼合目標(biāo)物體的實(shí)際位置。[0223]參見圖10,本申請實(shí)施例提供的第二種三維物體檢測方法包括如下步驟：[0224]S1001、三維物體檢測裝置獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集。[0225]其中，二維圖像是圖像傳感器采集的信息。二維圖像包括至少一個(gè)物體的圖像。關(guān)[0226]其中，點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息。點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)用于描述至少一個(gè)物體在三維空間中的候選區(qū)域。關(guān)于“點(diǎn)云數(shù)據(jù)集”的介紹可以詳見[0227]S1002、三維物體檢測裝置根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集。[0228]其中，目標(biāo)物體圖像包括至少一個(gè)物體中目標(biāo)物體的圖像，具體可以參見S501a的相關(guān)描述。目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述目標(biāo)物體在三維空間中的候選區(qū)域。第一點(diǎn)云數(shù)據(jù)集為例，S1002的實(shí)現(xiàn)過程可以參見S5021至S5023的相關(guān)描述。其中，目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)在二維圖像中的目標(biāo)投影區(qū)域滿足：公式(13)[0231]其中，S表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的相似度。IOU表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的交并比(intersection-over-union,IOU)。S。表示目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間的重疊面積。Su表示重疊面積與不重疊面積之和，不重疊面積為目標(biāo)投影區(qū)域與目標(biāo)圖像區(qū)域之間未重疊的面積。Lj表示目標(biāo)投影區(qū)域的投影點(diǎn)間距，投影點(diǎn)間距是目標(biāo)特征點(diǎn)在二維圖像中的投影點(diǎn)之間的距離，目標(biāo)特征點(diǎn)屬于目標(biāo)點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)，且基于目標(biāo)點(diǎn)云數(shù)據(jù)集的深度范圍的端值確定。Dij表示目標(biāo)投影區(qū)域的參考點(diǎn)與目標(biāo)圖像區(qū)域的參考點(diǎn)之間的距離，T表示相似度閾值。在三維物體檢測裝置執(zhí)行S5023的情況下，上述公式(13)可以實(shí)現(xiàn)為公式(10)。[0232]S1003、三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果。[0233]其中，檢測結(jié)果指示目標(biāo)物體在三維空間中的估計(jì)位置。示例性的，在S1003具體的相關(guān)描述。[0234]由于二維圖像的處理精度高，目標(biāo)物體圖像能夠準(zhǔn)確地呈現(xiàn)目標(biāo)物體在二維圖像中的區(qū)域，利用目標(biāo)物體圖像來篩選目標(biāo)點(diǎn)云數(shù)據(jù)集，實(shí)現(xiàn)對點(diǎn)云數(shù)據(jù)集幾何分割聚類，無需獲取大量的三維訓(xùn)練數(shù)據(jù)。即使物體被遮擋，也能夠獲取到目標(biāo)點(diǎn)云數(shù)據(jù)集，在一定程度上提高了目標(biāo)物體對應(yīng)的目標(biāo)點(diǎn)云數(shù)據(jù)集的精準(zhǔn)度。并且，三維物體檢測裝置將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果。由于二維圖像的處理精度高，即使目標(biāo)物體的點(diǎn)云數(shù)據(jù)不足，也能夠精準(zhǔn)地確定目標(biāo)物體在三維空間中的估計(jì)位置，避免假陽率高的問題。本申請實(shí)施例三維物體檢測方法無需獲取三維訓(xùn)練數(shù)據(jù)，避免了“基于三維訓(xùn)練[0235]在一些實(shí)施例中，三維物體檢測裝置還執(zhí)行S1004:[0236]S1004、三維物體檢測裝置根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整檢測結(jié)果指示的估計(jì)位置，以使三維物體檢測裝置所確定的估計(jì)位置更貼合實(shí)際物體尺寸，從而提高物體檢測的精準(zhǔn)度。[0237]其中，調(diào)整因子指示目標(biāo)物體在三維空間中的真實(shí)位置與估計(jì)位置之間的差異，現(xiàn)為S504中的“目標(biāo)物體在三維空間中的估計(jì)位置”,詳見S504的的相關(guān)描述。[0238]上述主要從方法的角度對本申請實(shí)施例提供的方案進(jìn)行了介紹。下面將結(jié)合附圖，描述根據(jù)本申請所提供的三維物體檢測裝置1020和第二設(shè)備102。[0239]參見圖1所示的系統(tǒng)架構(gòu)圖中三維物體檢測裝置1020的結(jié)構(gòu)示意圖，如圖1所示，該三維物體檢測裝置1020包括：獲取單元1121和處理單元1122。[0240]獲取單元1121,用于獲取二維圖像和至少一個(gè)點(diǎn)云數(shù)據(jù)集。其中，二維圖像是圖像傳感器采集的信息，二維圖像包括至少一個(gè)物體的圖像。點(diǎn)云數(shù)據(jù)是深度傳感器采集的信息，點(diǎn)云數(shù)據(jù)集包括多個(gè)點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)用于描述至少一個(gè)物體在三維空間中的候選[0241]處理單元1122,用于根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集。其中，目標(biāo)物體圖像包括至少一個(gè)物體中目標(biāo)物體的圖像。目標(biāo)點(diǎn)云數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)用于描述目標(biāo)物體在三維空間中的候選區(qū)域。[0242]處理單元1122,還用于將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果。其中，檢測結(jié)果指示目標(biāo)物體在三維空間中的估計(jì)位置。[0243]其中，獲取單元1121的具體實(shí)現(xiàn)可以參見圖3所示實(shí)施例中S302a、S302b和S303b相關(guān)內(nèi)容描述，處理單元1122的具體實(shí)現(xiàn)可以參見圖5所示實(shí)施例中S501a、S501b、S502、S503相關(guān)內(nèi)容描述，在此不再贅述。[0244]在一種可能的設(shè)計(jì)中，處理單元1122,用于根據(jù)二維圖像中目標(biāo)物體圖像，從至少一個(gè)點(diǎn)云數(shù)據(jù)集中確定目標(biāo)點(diǎn)云數(shù)據(jù)集時(shí)，具體包括：處理單元1122用于確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域。其中，第一點(diǎn)云數(shù)據(jù)集是至少一個(gè)點(diǎn)云數(shù)據(jù)集中的一個(gè)集合。處理單元1122用于根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。其中，所示目標(biāo)圖像區(qū)域是目標(biāo)物體圖像在二維圖像中的區(qū)域。[0245]其中，處理單元1122的具體實(shí)現(xiàn)可以參見圖8所示實(shí)施例中S5021、S5022和S5023[0246]在一種可能的設(shè)計(jì)中，處理單元1122,用于確定第一點(diǎn)云數(shù)據(jù)集在二維圖像中的第一投影區(qū)域，具體包括：處理單元1122用于根據(jù)第一點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，從第一點(diǎn)云數(shù)據(jù)集所表示的特征點(diǎn)中確定第一特征點(diǎn)。處理單元1122用于根據(jù)點(diǎn)云數(shù)據(jù)與二維圖像之間的轉(zhuǎn)換參數(shù)，確定第一特征點(diǎn)在二維圖像中的第一投影點(diǎn)。處理單元1122用于將第一投影點(diǎn)對應(yīng)的二維標(biāo)注框所標(biāo)注的區(qū)域，作為第一投影區(qū)域。[0247]其中，處理單元1122的具體實(shí)現(xiàn)可以參見S5021中的步驟1、步驟2和步驟3相關(guān)內(nèi)[0248]在一種可能的設(shè)計(jì)中，處理單元1122,用于根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集，具體包括：處理單元1122用于根據(jù)第一投影區(qū)域和目標(biāo)圖像區(qū)域之間的重合程度，以及第一投影區(qū)域的大小，確定第一點(diǎn)云數(shù)據(jù)集為目標(biāo)點(diǎn)云數(shù)據(jù)集。[0249]其中，處理單元1122的具體實(shí)現(xiàn)可以參見S5023中的相關(guān)內(nèi)容描述，在此不再贅述。[0250]在一種可能的設(shè)計(jì)中，處理單元1122,用于將目標(biāo)點(diǎn)云數(shù)據(jù)集和目標(biāo)物體圖像進(jìn)行關(guān)聯(lián)，以得到檢測結(jié)果，具體包括：處理單元1122用于根據(jù)目標(biāo)點(diǎn)云數(shù)據(jù)集中點(diǎn)云的深度范圍，將目標(biāo)物體圖像中的部分像素點(diǎn)逆映射至三維空間，以得到目標(biāo)逆映射點(diǎn)。處理單元1122用于將目標(biāo)逆映射點(diǎn)對應(yīng)的三維標(biāo)注框所標(biāo)注的區(qū)域，作為檢測結(jié)果。[0251]其中，處理單元1122的具體實(shí)現(xiàn)可以參見S503中步驟1和步驟2的相關(guān)內(nèi)容描述，在此不再贅述。[0252]在一種可能的設(shè)計(jì)中，處理單元1122,還用于根據(jù)預(yù)設(shè)的調(diào)整因子，調(diào)整檢測結(jié)果指示的估計(jì)位置。其中，調(diào)整因子指示目標(biāo)物體在三維空間中的真實(shí)位置與估計(jì)位置之間的差異。[0253]其中，處理單元1122的具體實(shí)現(xiàn)可以參見圖8中S504相關(guān)內(nèi)容描述，在此不再贅述。[0254]根據(jù)本申請實(shí)施例的三維物體檢測裝置1020可對應(yīng)于執(zhí)行本申請實(shí)施例中描述的方法，并且，三維物體檢測裝置1020中的各個(gè)模塊的上述和其它操作和/或功能分別為了再贅述。[0255]另外需說明的是，以上所描述的實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理模塊，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)模塊上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。另外，本申請?zhí)峁┑难b置實(shí)施例附圖中，模塊之間的連接關(guān)系表示它們之間具有通信連接，具體可以實(shí)現(xiàn)為一條或多條通信總線或信號線。[0256]本申請實(shí)施例還提供了一種第二設(shè)備102,用于實(shí)現(xiàn)上述圖1所示的系統(tǒng)架構(gòu)圖中三維物體檢測裝置1020的功能。其中，第二設(shè)備102可以是物理設(shè)備或物理設(shè)備集群，也可以是虛擬化的云設(shè)備，如云計(jì)算集群中的至少一個(gè)云計(jì)算設(shè)備。為了便于理解，本申請以第二設(shè)備102為獨(dú)立的物理設(shè)備對該第二設(shè)備102的結(jié)構(gòu)進(jìn)行示例說明。[0257]圖11提供了一種第二設(shè)備102的結(jié)構(gòu)示意圖，如圖11所示，第二設(shè)備102包括總線1101、處理器1102、通信接口1103和存儲器1104.處理器1102、存儲器1104和通信接口1103之間通過總線1101通信?？偩€1101可以是外設(shè)部件互連標(biāo)準(zhǔn)(peripheral