(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN113888557B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)路88號(hào)(74)專利代理機(jī)構(gòu)濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司37221專利代理師李琳semanticsegmentatio1-9頁(yè).semanticsegmentatio1-9頁(yè).審查員王亞菲(54)發(fā)明名稱一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法及系統(tǒng)(57)摘要本發(fā)明提供了一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法及系統(tǒng)，首先獲取待分割場(chǎng)景的同時(shí)輸入場(chǎng)景語(yǔ)義分割模型中，得到場(chǎng)景語(yǔ)義分割結(jié)果；其中，場(chǎng)景語(yǔ)義分割模型的編碼器分別采用RGB分支和深度分支對(duì)所述RGB圖像和深度圖像處理，處理過程中采用RGB-D特征融合網(wǎng)絡(luò)進(jìn)行RGB特征和深度特征的融合，得到多個(gè)低層融合特征和一個(gè)高層融合特征，以達(dá)到增強(qiáng)目標(biāo)特征且抑制背景的目的；同時(shí)引入的特征細(xì)化網(wǎng)編碼器編碼器Luse3-Losu4.D-RGBConvl中[Layerl中[Layer?中[Layer3中[Layer4中Up4Up3解碼器CN113888557B2處理后的結(jié)果分別與RGB特征與深度特征進(jìn)行通道乘法之后再進(jìn)行元素相所述深度分支采用深度卷積層對(duì)深度圖像進(jìn)行處理后輸入多個(gè)依次連接的深度分支3.如權(quán)利要求2所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法，其特征在于，所述特征細(xì)化網(wǎng)絡(luò)對(duì)低層融合特征先輸入卷積層進(jìn)行卷積操作，再輸送到通道注意力層處圖像獲取模塊，其被配置為：獲取待分割場(chǎng)景的RGB圖像和深度圖像；解碼器；所述高層融合特征經(jīng)過上下文特征處理網(wǎng)絡(luò)后進(jìn)入解碼器3同時(shí)將RGB特征、深度特征和拼接特征分別進(jìn)行全局平均池化處理后送入不同的MLPMLP層輸出元素相加之后的結(jié)果，經(jīng)由Sigmoid函數(shù)處理；處理后的結(jié)果分別與RGB特征與深度特征進(jìn)行通道乘法之后再進(jìn)行元素相加，得到輸7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一項(xiàng)所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法中的步驟。8.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一項(xiàng)所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法中的步驟。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于場(chǎng)景語(yǔ)義分割技術(shù)領(lǐng)域，尤其涉及一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法及系統(tǒng)。背景技術(shù)[0002]本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。[0003]相比于室外場(chǎng)景，室內(nèi)場(chǎng)景中的圖像結(jié)構(gòu)往往比較復(fù)雜，存在著光照不均勻，物體間互相遮擋，以及不同物體的顏色與結(jié)構(gòu)具有較大的相似性等問題。現(xiàn)在大部分的語(yǔ)義分割方法多集中在標(biāo)準(zhǔn)室外條件下，尚未進(jìn)行深入研究的室內(nèi)語(yǔ)義分割在許多方面仍然具有挑戰(zhàn)性。[0004]室內(nèi)場(chǎng)景的RGB圖像會(huì)大量丟失場(chǎng)景中的空間信息，所以普通的的圖像分割方法無法對(duì)室內(nèi)場(chǎng)景進(jìn)行有效的分割。針對(duì)這種情況，研究者們選擇加入深度信息提高分割效果。因?yàn)樯疃刃畔缀醪皇芄饩€變化以及物體的顏色及紋理的影響，可以為RGB圖像提供對(duì)應(yīng)的幾何關(guān)系，可以凸顯場(chǎng)景中物體的空間信息。這種利用深度信息的方法學(xué)習(xí)的特征更加豐富，表達(dá)能力更強(qiáng)，更加適合于室內(nèi)這種復(fù)雜的場(chǎng)景。同時(shí)，Kinect等深度傳感器技術(shù)也已經(jīng)相當(dāng)成熟，深度圖像可以輕易地獲取，所以可以通過研究融合RGB圖像信息和深度信息的深度學(xué)習(xí)方法提高分割的精度。[0005]但是，目前的方法依然不能夠解決因?yàn)閳?chǎng)景具有背景復(fù)雜、光照不均、低征辨識(shí)力弱以及物體之間存在大量遮擋等所導(dǎo)致的分割精度低的問題。發(fā)明內(nèi)容[0006]為了解決上述背景技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法及系統(tǒng)，基于注意力機(jī)制構(gòu)造的RGB-D特征融合網(wǎng)絡(luò)可以對(duì)特征圖進(jìn)行選擇加權(quán)處理以達(dá)到增強(qiáng)目標(biāo)特征且抑制背景的目的；同時(shí)引入的特征細(xì)化網(wǎng)絡(luò)和上下文特征處理網(wǎng)絡(luò)可以降低語(yǔ)義信息損失，優(yōu)化語(yǔ)義分割效果。[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：[0008]本發(fā)明的第一個(gè)方面提供一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法，其包括：[0009]獲取待分割場(chǎng)景的RGB圖像和深度圖像；[0010]將RGB圖像和深度圖像同時(shí)輸入場(chǎng)景語(yǔ)義分割模型中，得到場(chǎng)景語(yǔ)義分割結(jié)果；[0011]其中，場(chǎng)景語(yǔ)義分割模型的編碼器分別采用RGB分支和深度分支對(duì)所述RGB圖像和深度圖像處理，處理過程中采用RGB-D特征融合網(wǎng)絡(luò)進(jìn)行RGB特征和深度特征的融合，得到多個(gè)低層融合特征和一個(gè)高層融合特征。[0012]進(jìn)一步的，所述RGB分支采用RGB卷積層對(duì)RGB圖像進(jìn)行處理后輸入多個(gè)依次連接[0013]所述深度分支采用深度卷積層對(duì)深度圖像進(jìn)行處理后輸入多個(gè)依次連接的深度5分支層。[0015]進(jìn)一步的，所述RGB-D特征融合網(wǎng)絡(luò)具體為：[0016]連接RGB特征和深度特征，得到拼接特征；[0017]同時(shí)將RGB特征、深度特征和拼接特征分別進(jìn)行全局平均池化處理后送入不同的[0018]MLP層輸出元素相加之后的結(jié)果，經(jīng)由Sigmoid函數(shù)處理；[0019]處理后的結(jié)果分別與RGB特征與深度特征進(jìn)行通道乘法之后再進(jìn)行元素相加，得到輸出結(jié)果。[0020]進(jìn)一步的，所述多個(gè)低層融合特征經(jīng)過特征細(xì)化網(wǎng)絡(luò)處理后進(jìn)入解碼器；[0021]所述特征細(xì)化網(wǎng)絡(luò)對(duì)低層融合特征先輸入卷積層進(jìn)行卷積操作，再輸送到通道注意力層處理。[0022]進(jìn)一步的，所述高層融合特征經(jīng)過上下文特征處理網(wǎng)絡(luò)后進(jìn)入解碼器；[0023]所述上下文特征處理網(wǎng)絡(luò)對(duì)高層融合特征分別進(jìn)行一次1×1空洞卷積操作、一次全局池化操作和多次膨脹系數(shù)不同的3×3空洞卷積操作。[0024]進(jìn)一步的，所述解碼器通過上采樣層和RGB-D特征融合網(wǎng)絡(luò)對(duì)多個(gè)低層融合特征和一個(gè)高層融合特征進(jìn)行處理得到待分割場(chǎng)景的特征。[0025]本發(fā)明的第二個(gè)方面提供一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割系統(tǒng)，其包括：[0026]圖像獲取模塊，其被配置為：獲取待分割場(chǎng)景的RGB圖像和深度圖像；[0027]語(yǔ)義分割模塊，其被配置為：將RGB圖像和深度圖像同時(shí)輸入場(chǎng)景語(yǔ)義分割模型中，得到場(chǎng)景語(yǔ)義分割結(jié)果；[0030]本發(fā)明的第四個(gè)方面提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法中的步驟。[0031]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：照不均、低層視覺特征辨識(shí)力弱以及物體之間存在大量遮擋的問題，能夠得到相對(duì)精準(zhǔn)的6分割結(jié)果，適用于室內(nèi)場(chǎng)景的語(yǔ)義分割。附圖說明[0034]構(gòu)成本發(fā)明的一部分的說明書附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。[0035]圖1是本發(fā)明實(shí)施例一的場(chǎng)景語(yǔ)義分割模型的整體框架圖；[0036]圖2(a)是本發(fā)明實(shí)施例一的RGB分支層和深度分支層的框架圖；[0037]圖2(b)是本發(fā)明實(shí)施例一的下采樣層的框架圖；[0038]圖3是傳統(tǒng)的通道注意力機(jī)制的框架圖；[0039]圖4是本發(fā)明實(shí)施例一的RGB-D特征融合網(wǎng)絡(luò)的框架圖；[0040]圖5是本發(fā)明實(shí)施例一的特征細(xì)化網(wǎng)絡(luò)的框架圖；[0041]圖6是本發(fā)明實(shí)施例一的上下文特征處理網(wǎng)絡(luò)的框架圖；[0042]圖7是本發(fā)明實(shí)施例一的不同的系數(shù)對(duì)應(yīng)的卷積示意圖。具體實(shí)施方式[0043]下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。[0044]應(yīng)該指出，以下詳細(xì)說明都是例示性的，旨在對(duì)本發(fā)明提供進(jìn)一步的說明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)具有與本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。[0045]需要注意的是，這里所使用的術(shù)語(yǔ)僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本發(fā)明的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說明書中使用術(shù)語(yǔ)“包含”和/或“包[0046]實(shí)施例一[0047]如圖1所示，本實(shí)施例提供了一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法，該方法在編碼-解碼體系結(jié)構(gòu)的基礎(chǔ)上將ResNet-50作為基礎(chǔ)框架，并以分別訓(xùn)練逐漸融合的方式對(duì)原始數(shù)據(jù)進(jìn)行處理，由兩個(gè)平行獨(dú)立的卷積分支分別提取RGB和深度圖像特征。編碼器負(fù)責(zé)逐級(jí)提取圖像語(yǔ)義特征，解碼器對(duì)提取的特征進(jìn)行上采樣?；谧⒁饬C(jī)制構(gòu)造的RGB-D特征融合模塊可以對(duì)特征圖進(jìn)行選擇加權(quán)處理以達(dá)到增強(qiáng)目標(biāo)特征且抑制背景的目的；同時(shí)引入的特征細(xì)化網(wǎng)絡(luò)和上下文特征處理網(wǎng)絡(luò)可以降低語(yǔ)義信息損失，優(yōu)化語(yǔ)義分割效果。具體步驟如下：[0048]步驟1、獲取待分割場(chǎng)景的RGB圖像和深度圖像。[0049](1)圖像采集：使用KinectV2相機(jī)，在自然光源下對(duì)同一采樣點(diǎn)同一角度下分別采集該樣本點(diǎn)的RGB圖像和深度圖像Depth。待分割場(chǎng)景圖像均在自然光環(huán)境下(包括順光、逆光情況)采集。圖像采集使用鏡頭：KinectV2(Microsoft),統(tǒng)一設(shè)置KinectV2相機(jī)的RGB圖像和深度圖像采集分辨率480×640,輸出格式為JPG.相機(jī)角度不變，對(duì)同一樣本點(diǎn)分別采集目標(biāo)物體的RGB圖像和深度圖像。每一個(gè)樣本采樣點(diǎn)，同時(shí)輸出目標(biāo)物體的RGB、深度圖像。[0050](2)圖像處理：對(duì)所有輸入圖像分別進(jìn)行隨機(jī)縮放、裁剪和翻轉(zhuǎn)，并分別對(duì)RGB圖像7和深度圖像進(jìn)行歸一化操作，并在HSV空間中通過隨機(jī)調(diào)整色調(diào)，亮度和飽和度進(jìn)一步增強(qiáng)輸入的RGB圖像。得到的圖像噪聲比較大，所以對(duì)圖像進(jìn)行增強(qiáng)處理。[0051]步驟2、將RGB圖像和深度圖像同時(shí)輸入場(chǎng)景語(yǔ)義分割模型中，得到場(chǎng)景語(yǔ)義分割結(jié)果。場(chǎng)景語(yǔ)義分割模型包括編碼器、解碼器和分類器。場(chǎng)景語(yǔ)義分割模型的編碼器分別采用RGB分支和深度分支對(duì)所述RGB圖像和深度圖像處理，處理過程中采用RGB-D特征融合網(wǎng)絡(luò)進(jìn)行RGB特征和深度特征的融合，得到多個(gè)低層融合特征和一個(gè)高層融合特征。高層融合特征經(jīng)過上下文特征處理網(wǎng)絡(luò)后進(jìn)入解碼器；多個(gè)低層融合特征經(jīng)過特征細(xì)化網(wǎng)絡(luò)處理后進(jìn)入解碼器。解碼器通過上采樣層和RGB-D特征融合網(wǎng)絡(luò)對(duì)多個(gè)低層融合特征和一個(gè)高層融合特征進(jìn)行處理得到待分割場(chǎng)景的特征。[0052]作為一種實(shí)施方式，場(chǎng)景語(yǔ)義分割模型的整體結(jié)構(gòu)如圖1所示。采用編碼器-解碼模塊，加強(qiáng)RGB特征和深度特征的融合，提取圖像語(yǔ)義信息，并將處理結(jié)果送入到上下文特征處理網(wǎng)絡(luò)Context;經(jīng)由上下文特征處理網(wǎng)絡(luò)處理的結(jié)果輸入到解碼器，對(duì)圖像進(jìn)行上采樣，同時(shí)引入特征細(xì)化模塊，提高語(yǔ)義分割精度，解碼器同樣包含有五個(gè)上采樣模塊。編碼器負(fù)責(zé)逐級(jí)提取圖像語(yǔ)義特征，解碼器對(duì)提取的特征進(jìn)行上采樣。下采樣模塊和上采樣模塊的構(gòu)造如圖2所示。[0053](1)RGB分支采用RGB卷積層對(duì)RGB圖像進(jìn)行處理后輸入多個(gè)依次連接的RGB分支層；深度分支采用深度卷積層對(duì)深度圖像進(jìn)行處理后輸入多個(gè)依次連接的深度分支層。深度卷積層輸出的深度特征與RGB卷積層輸出的RGB特征通過RGB-D特征融合網(wǎng)絡(luò)進(jìn)行融合；深度分支層與RGB分支層一一對(duì)應(yīng)，且深度卷積層輸出的深度特征與其對(duì)應(yīng)的RGB分支層輸[0054]編碼器采用兩個(gè)獨(dú)立的卷積分支(RGB分支和深度分支)分別對(duì)RGB圖像和深度圖度分支具有相同的網(wǎng)絡(luò)配置，但是因?yàn)镽GB分支輸入為RGB三通道圖像信息，深度分支輸入為單通道深度圖像信息，所以深度分支中Conv1_D層的參數(shù)與RGB分支中Conv1層的參數(shù)不完全一樣。采用兩個(gè)基于ResNet的分別獨(dú)立的卷積分支網(wǎng)絡(luò)分別對(duì)輸入的RGB圖像和深度圖像進(jìn)行處理，因?yàn)槭覂?nèi)場(chǎng)景的RGB圖像顏色會(huì)模糊物體之間的邊界，大量丟失場(chǎng)景中的空間信息，加入深度信息可以為RGB圖像提供對(duì)應(yīng)的幾何關(guān)系，很好地保留場(chǎng)景中物體的空間[0055]作為一種實(shí)施方式，RGB分支層和深度分支層的數(shù)量為四，將RGB圖像和深度圖像特征經(jīng)過特征融合模塊處理之后，融合處理得到的結(jié)果經(jīng)由RGB分支處理，原深度分支輸出結(jié)果繼續(xù)由深度分支處理；以此類推處理，所有數(shù)據(jù)信息匯集到五層的RGB分支，模型編碼[0056](1-1)RGB圖像和深度圖像分別經(jīng)RGB卷積層(Conv1層)和深度卷積層(Conv1_D層)處理以后，然后兩個(gè)結(jié)果分別輸入RGB-D特征融合網(wǎng)絡(luò)RFM,經(jīng)RGB-D特征融合網(wǎng)絡(luò)處理之后的結(jié)果為第一融合特征，作為第一RGB分支層(Layer1層)新的輸入，原深度卷積層(Conv1_D層)的輸出繼續(xù)作為第一深度分支層(Layer1_D)層輸入。[0057](1-2)按照(1-1)中操作方式以此類推，第二RGB分支層(Layer2)、第三RGB分支層8(Layer3)、第四RGB分支層(Layer4)和上下文特征處理網(wǎng)絡(luò)(Context)的輸入數(shù)據(jù)分別來層Layer3_D和第四深度分支層Layer4_D的輸出數(shù)據(jù)，經(jīng)過RGB-D特征融合網(wǎng)絡(luò)處理融合之X=[x?,x?,…,xc]∈9KC×xw,經(jīng)過全局平均池化得到輸出一維特征圖分別進(jìn)行全局平均池化處理，得到的三個(gè)結(jié)果分別送入不同的MLP層進(jìn)行卷積處理；每個(gè)9輸入特征通道數(shù)由原來的2C變?yōu)樽畛醯腃;最終經(jīng)由Sigmoid函數(shù)去處理MLP層輸出元素相加之后的結(jié)果；這個(gè)最終結(jié)果分別與RGB特征與深度特征進(jìn)行通道乘法之后再進(jìn)行元素相[0070](2)多個(gè)低層融合特征分別依次輸入特征細(xì)化網(wǎng)絡(luò)。特征細(xì)化網(wǎng)絡(luò)對(duì)低層融合特征先輸入卷積層進(jìn)行卷積操作，再輸送到通道注意力層處理。[0071]特征細(xì)化網(wǎng)絡(luò)旨在用高級(jí)語(yǔ)義特征指導(dǎo)低級(jí)特征。因?yàn)楦呒?jí)語(yǔ)義信息和低級(jí)語(yǔ)義信息差異性很大，直接融合效果相對(duì)較差，在解碼器網(wǎng)絡(luò)嵌入基于注意力機(jī)制構(gòu)造的特征細(xì)化模塊可以提高兩種語(yǔ)義信息的融合效果。[0072]利用跳躍結(jié)構(gòu)可以保留高級(jí)特征用以指導(dǎo)低級(jí)特征，但是不同階段的特征具有差異性，通道注意力機(jī)制可以有效地彌補(bǔ)這種差異；通過利用通道注意力機(jī)制構(gòu)造的特征細(xì)化網(wǎng)絡(luò)被嵌入跳躍結(jié)構(gòu)。特征細(xì)化網(wǎng)絡(luò)Refine的構(gòu)造如圖5所示，從圖中可以看到，模塊由一個(gè)卷積層和通道注意力機(jī)制模塊構(gòu)成。注意，由于不同階段特征的通道尺寸在融合之前需要對(duì)齊，所以對(duì)低層融合特征先輸入卷積層進(jìn)行一次1×1的卷積操作，再輸送到通道注意力層處理。卷積層加上通道注意力層就構(gòu)成了特征細(xì)化網(wǎng)絡(luò)。[0073]特征細(xì)化網(wǎng)絡(luò)采用跳躍連接結(jié)構(gòu)，嵌入特征細(xì)化網(wǎng)絡(luò)，將低層信息與高層信息進(jìn)行一個(gè)有深度的互補(bǔ)。[0074](3)高層融合特征上下文特征處理網(wǎng)絡(luò)。上下文特征處理網(wǎng)絡(luò)Context對(duì)高層融合特征分別進(jìn)行一次1×1的空洞卷積操作、一次全局池化操作和多次膨脹系數(shù)不同的3×3空洞卷積操作。[0075]所有數(shù)據(jù)匯聚完之后，經(jīng)過一個(gè)上下文特征處理網(wǎng)絡(luò)進(jìn)行處理，然后將其送到解碼器以獲得最終預(yù)測(cè)，可以幫助特征進(jìn)行更好的傳播和融合。[0076]編碼器的輸出送入到解碼器時(shí)，特征信息往往丟失較多，為了保留更多的特征上下文信息，在數(shù)據(jù)送到解碼器之前，嵌入了一個(gè)上下文特征處理網(wǎng)絡(luò)。上下文特征處理網(wǎng)絡(luò)以多個(gè)采樣率和有效視野的濾波器探測(cè)卷積特征層，從而在多個(gè)尺度處捕獲對(duì)象以及圖像上下文。上下文特征處理網(wǎng)絡(luò)的構(gòu)造如圖6所示。空洞卷積是在標(biāo)準(zhǔn)的卷積中注入空洞，以此來增加卷積核的感受野，相比原來的正常卷積，空洞卷積可以讓每個(gè)輸出都包含較大范圍的信息。它多了一個(gè)稱之為膨脹系數(shù)的參數(shù)，這個(gè)參數(shù)指的是卷積核的間隔數(shù)量。在這里，進(jìn)行三次3×3的空洞卷積，并分別讓膨脹系數(shù)為6,12,18,不同的系數(shù)對(duì)應(yīng)的卷積如圖7所示。除了這三次空洞卷積之外，又進(jìn)行了一次1×1的空洞卷積和一次全局池化操作，這五次操作共同組合成了上下文特征處理網(wǎng)絡(luò)。通過這樣的信息處理方式，網(wǎng)絡(luò)可以捕捉更多的上下文信息。[0077](4)解碼器通過上采樣層和RGB-D特征融合網(wǎng)絡(luò)對(duì)多個(gè)低層融合特征和一個(gè)高層融合特征進(jìn)行處理得到待分割場(chǎng)景的特征，并輸入分類器。多個(gè)上采樣層依次連接逐級(jí)將特征恢復(fù)到原空間分辨率大小。[0078]模型解碼階段負(fù)責(zé)對(duì)提取的特征進(jìn)行上采樣，最終輸出分割結(jié)果與輸入圖像大小一致的輸出圖像。[0079]作為一種實(shí)施方式，高層融合特征輸入第一上采樣層UP1,經(jīng)過上采樣操作后與第四融合特征經(jīng)過RGB-D特征融合網(wǎng)絡(luò)融合后輸入第二上采樣層UP2;第二上采樣層的輸出與第三融合特征經(jīng)過RGB-D特征融合網(wǎng)絡(luò)融合后輸入第三上采樣層UP3;第三上采樣層的輸出與第二融合特征經(jīng)過RGB-D特征融合網(wǎng)絡(luò)融合后輸入第四上采樣層UP4;第四上采樣層UP4[0090]3)平均區(qū)域交集精度(MIoU):這是用于分割目的的標(biāo)準(zhǔn)度量。算法的正確分割區(qū)11模塊確實(shí)在模型中發(fā)揮了巨大作用，并且在數(shù)據(jù)集上將本發(fā)明的模型與其他一些常見的模型做對(duì)比，實(shí)驗(yàn)表明，本發(fā)明的場(chǎng)景語(yǔ)義分割模型可以勝過現(xiàn)有的大部分常用的用于RGB-D語(yǔ)義分割的網(wǎng)絡(luò)結(jié)構(gòu)。[0095]本實(shí)施例提供了一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割系統(tǒng)，其具體包括如下[0097]語(yǔ)義分割模塊，其被配置為：將RGB圖像和深度圖像同時(shí)輸入場(chǎng)景語(yǔ)義分割模型[0098]其中，場(chǎng)景語(yǔ)義分割模型的編碼器分別采用RGB分支和深度分支對(duì)所述RGB圖像和深度圖像處理，處理過程中采用RGB-D特征融合網(wǎng)絡(luò)進(jìn)行RGB特征和深度特征的融合，得到多個(gè)低層融合特征和一個(gè)高層融合特征。[0099]此處需要說明的是，本實(shí)施例中的各個(gè)模塊與實(shí)施例一中的各個(gè)步驟一一對(duì)應(yīng)，其具體實(shí)施過程相同，此處不再累述。[0101]本實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述實(shí)施例一所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法中的[0102]實(shí)施例四[0103]本實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述實(shí)施例一所述的一種基于RGB-D特征融合的場(chǎng)景語(yǔ)義分割方法中的步驟。[0104]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。[0105]本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的