(19)國家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN116343058B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)地址200092上海市楊浦區(qū)四平路1239號(hào)(56)對(duì)比文件WO2023000159A1,2023.01.26(74)專利代理機(jī)構(gòu)上海科盛知識(shí)產(chǎn)權(quán)代理有限公司31225專利代理師夏健君(54)發(fā)明名稱基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法本發(fā)明涉及一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，包括：獲取研究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括兩個(gè)單源分支和一個(gè)多源分支；將多光譜和全色衛(wèi)星遙感影像以及訓(xùn)練樣本圖，輸入網(wǎng)絡(luò)中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的網(wǎng)絡(luò)模型；獲取待分類的多光譜和全色衛(wèi)星遙感影像，并輸入到網(wǎng)絡(luò)模型中進(jìn)行預(yù)測(cè)，得到各個(gè)網(wǎng)絡(luò)分支的概率分類圖；通過概率加權(quán)對(duì)各個(gè)概率分類圖進(jìn)行決策級(jí)融合，得到最終的研究區(qū)地表要素分類圖。與現(xiàn)有技術(shù)相開始開始獲取研究區(qū)多光譜和全色衛(wèi)星遙感影像，并進(jìn)行地表要素樣本標(biāo)注，得到研究區(qū)的訓(xùn)練樣本圖構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)，其包含兩個(gè)單源和一個(gè)多源分支融合模塊將研究區(qū)多光譜和全色衛(wèi)星遙感影像以及對(duì)應(yīng)的訓(xùn)練樣本圖，輸入到步驟S2中構(gòu)建的全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過網(wǎng)絡(luò)訓(xùn)練得到訓(xùn)練后的網(wǎng)絡(luò)模型將研究區(qū)多光譜和全色衛(wèi)星遙感影像輸入到步驟S3中訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測(cè)，得到三個(gè)網(wǎng)絡(luò)分支的概率分類圖通過概率加權(quán)的方式對(duì)步驟S4中三個(gè)網(wǎng)絡(luò)分支分類圖進(jìn)行決策級(jí)融合，得到最終的研究區(qū)地表要素分類圖21.一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，其特征在于，S1:獲取研究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像，并進(jìn)行地表要素樣本標(biāo)S2:構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)，該S3:將步驟S1獲取的研究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像以及對(duì)應(yīng)的訓(xùn)S4;獲取待分類的研究區(qū)多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像，并輸入到步驟S3S5:通過概率加權(quán)的方式對(duì)步驟S4中三個(gè)網(wǎng)絡(luò)分支的概率分類圖進(jìn)行決策級(jí)融合，得所述兩個(gè)單源分支包括單源多光譜深淺特征融合分支和單源全色深淺特征融合分支，所述全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)整體的式中，C為研究區(qū)所標(biāo)注的地表要素類個(gè)數(shù)，H和W分別為多光譜衛(wèi)星遙感影像的高和2.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方遙感影像的尺寸大小為nH×nW×1,所述訓(xùn)練樣本圖的尺寸大小為nH×nW×1,其中B為多光3.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方31、編碼卷積塊MS2、光譜注意力模塊2、編碼下采樣層MS1和編碼卷積塊MS3;所述多光譜解碼模塊包括依次連接的解碼卷積層MS1、解碼上采樣層MS1、解碼卷積層MS2、解碼上采樣層所述單源全色深淺特征融合分支包括全色編碼模塊和全色解碼模塊，所述全色編碼模塊包括依次連接的解碼卷積層PAN1、解碼上采樣層PAN1、解碼卷積層PAN2、解碼上采樣層4.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方5.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，其特征在于，所述光譜注意力模塊1和光譜注意力模塊2采用壓縮-激勵(lì)注意力模塊。6.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，其特征在于，所述多尺度多光譜和全色交叉特征融合分支，通過將編碼卷積塊MS2與解碼上采樣層MS1相加，融合多光譜分支的淺層特征和深層特征；通過將編碼卷積塊PAN3與解解碼上采樣層PAN3相加，融合全色分支的淺層特征和深層特征；所述多光譜分支的淺層特征和全色分支的淺層特征后添加側(cè)邊連接卷積層來調(diào)整淺層特征通道數(shù)，使得與對(duì)應(yīng)的深層特征的通道數(shù)相同。7.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，其特征在于，所述多尺度多光譜和全色交叉特征融合分支包括依次連接的相加操作層所述相加操作層1包括解碼卷積層MS1+解碼卷積層PAN1,所述相加操作層2包括解碼卷積層MS2+解碼卷積層PAN2+上采樣層Fusion1,所述相加操作層3包括解碼卷積層MS3+解碼8.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，其特征在于，步驟S5中，對(duì)步驟S4中三個(gè)網(wǎng)絡(luò)分支的概率分類圖進(jìn)行決策級(jí)融合的過程包括：,…,C)分別記為單源多光譜深淺特征融合分支、單源全色深淺特征融合分支和多尺度多光譜和全色交叉特征融合分支的地表要素概率分類圖，計(jì)算所述網(wǎng)絡(luò)模型每個(gè)通道的加權(quán)概率值：地表要素類個(gè)數(shù)，通過堆疊每個(gè)通道的概率圖，得到最終的地表要素概率分類圖：4在所述最終的地表要素概率分類圖的每個(gè)像素位置上，取概率得分最大值的通道所代式中，為最終的地表要素分類圖。5技術(shù)領(lǐng)域[0001]本發(fā)明涉及多源遙感影像特征級(jí)融合和分類領(lǐng)域，尤其是涉及基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法。背景技術(shù)[0002]隨著遙感平臺(tái)和傳感器類型的不斷豐富，融合多模態(tài)遙感影像(如高光譜和LiDAR,多光譜和SAR,多光譜和全色影像)的地表覆蓋分類和檢測(cè)，能夠有效地提高地表要素的分類和識(shí)別精度。在眾多多模態(tài)遙感影像融合中，多光譜和全色遙感影像是最容易被同時(shí)獲取的一對(duì)影像數(shù)據(jù)，盡管多光譜影像的空間分辨率低，但其包含的多個(gè)光譜信息能夠被用于區(qū)分不同類地物；反之，全色影像只包含一個(gè)波段，但其較高的空間分辨率有助于準(zhǔn)確描述物體的形狀邊界及其空間關(guān)系。因此，聯(lián)合使用多光譜和全色影像可以充分利用兩種數(shù)據(jù)的優(yōu)勢(shì)。[0003]目前的多光譜和全色遙感影像融合分類存在兩個(gè)方面的缺陷：1)分類方式：使用基于切片的逐像素分類方式，切片產(chǎn)生冗余，增加數(shù)據(jù)處理負(fù)擔(dān)，且切片破壞了地物的完整性，切片的限制使得深度網(wǎng)絡(luò)不能自由的獲取上下文信息。2)融合策略：現(xiàn)有的融合方法大多只考慮相對(duì)豐富的多光譜和全色波段交叉融合特征，雖然交叉融合特征較為豐富，但是可能破壞單源影像有代表性的特征。發(fā)明內(nèi)容[0004]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種無需切片，同時(shí)考慮單個(gè)多光譜和全色影像特征，以及兩者的交叉融合特征的基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法。[0005]本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：[0006]一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法，包括以下步驟：[0007]S1:獲取研究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像，并進(jìn)行地表要素樣[0008]S2:構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括兩個(gè)單源分支和一個(gè)多源分支；[0009]S3:將步驟S1獲取的研究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像以及對(duì)應(yīng)的訓(xùn)練樣本圖，輸入步驟S2構(gòu)建的全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到訓(xùn)練后的網(wǎng)絡(luò)模型；[0010]S4;獲取待分類的研究區(qū)多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影像，并輸入到步驟S3中訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測(cè)，得到各個(gè)網(wǎng)絡(luò)分支的概率分類圖；[0011]S5:通過概率加權(quán)的方式對(duì)步驟S4中三個(gè)網(wǎng)絡(luò)分支的概率分類圖進(jìn)行決策級(jí)融合，得到最終的研究區(qū)地表要素分類圖。[0012]進(jìn)一步地，步驟S1中，所述多光譜衛(wèi)星遙感影像的尺寸大小為H×W×B,所述全色6衛(wèi)星遙感影像的尺寸大小為nH×nW×1,所述訓(xùn)練樣本圖的尺寸大小為nH×nW×1,其中，H、W和B分別為多光譜影像的高、寬和波段數(shù)，n為全色影像尺寸相對(duì)于多光譜影像尺寸的倍[0013]進(jìn)一步地，所述兩個(gè)單源分支包括單源多光譜深淺特征融合分支和單源全色深淺特征融合分支，所述多源分支為多尺度多光譜和全色交叉特征融合分支，所述多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)還包括三個(gè)網(wǎng)絡(luò)分支的自適應(yīng)加權(quán)交叉熵?fù)p失。[0014]進(jìn)一步地，所述單源多光譜深淺特征融合分支包括多光譜編碼模塊和多光譜解碼模塊，所述多光譜編碼模塊包括依次連接的多光譜輸入層、編碼卷積塊MS1、光譜注意力模碼模塊包括依次連接的解碼卷積層MS1、解碼上采樣層MS1、解碼卷積層MS2、解碼上采樣層[0015]所述單源全色深淺特征融合分支包括全色編碼模塊和全色解碼模塊，所述全色編碼模塊包括依次連接的全色輸入層、編碼卷積塊PAN1、編碼下采樣層PAN1、編碼卷積塊[0017]進(jìn)一步地，所述光譜注意力模塊1和光譜注意力模塊2采用壓縮-激勵(lì)注意力模塊。[0018]進(jìn)一步地，所述多尺度多光譜和全色交叉特征融合分支，通過將編碼卷積塊MS2與解碼上采樣層MS1相加，融合多光譜分支的淺層特征和深層特征；通過將編碼與解碼上采樣層PAN3相加，融合全色分支的淺層特征和深層特征；[0019]所述多光譜分支的淺層特征和全色分支的淺層特征后添加側(cè)邊連接卷積層來調(diào)整淺層特征通道數(shù)，使得與對(duì)應(yīng)的深層特征的通道數(shù)相同。[0020]進(jìn)一步地，所述多尺度多光譜和全色交叉特征融合分支包括依次連接的相加操作層1、卷積層Fusion1、上采樣層Fusion1、相加操作層2、卷積層Fusion2、上采樣層Fusion2、[0021]所述相加操作層1包括解碼卷積層MS1+解碼卷積層PAN1,所述相加操作層2包括解碼卷積層MS2+解碼卷積層PAN2+上采樣層Fusion1,所述相加操作層3包括解碼卷積層MS3+[0022]進(jìn)一步地，所述全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)整體的損失的計(jì)算表達(dá)式為：7各分支最后一個(gè)卷積輸出層在圖像位置(u,v)上第j個(gè)通道屬于類別C的概率，且[0029]將PMs,PA和Prusion(j=1,2,…,C)分別記為單源多光譜深淺特征融合分支、單源全色深淺特征融合分支和多尺度多光譜和全色交叉特征融合分支的地表要素概率分類8附圖說明[0040]圖1為本發(fā)明提供的一種基于全局協(xié)同融合網(wǎng)絡(luò)的多光譜和全色衛(wèi)星遙感影像地表要素分類方法的流程示意圖；[0041]圖2為本發(fā)明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖及參數(shù)；[0042]圖3為本發(fā)明實(shí)施例中多光譜影像的真彩色合成圖；[0043]圖4為本發(fā)明實(shí)施例中全色影像的示意圖；[0044]圖5為本發(fā)明實(shí)施例中地面真實(shí)參考圖的示意圖；[0045]圖6為本發(fā)明實(shí)施例中DMIL(Deepmultipleinstancelearning)方法的地表要素分類結(jié)果的示意圖；[0046]圖7為本發(fā)明實(shí)施例中MultiResoLCC(Multi-Resolutionlandcovervlassification)方法的地表要素分類結(jié)果的示意圖；[0048]圖9為本發(fā)明實(shí)施例中GAFnet(Groupattentionfusionnetwork)方法的地表要素分類結(jié)果的示意圖；[0049]圖10為本發(fā)明實(shí)施例中本發(fā)明提出的方法的地表要素分類結(jié)果的示意圖。具體實(shí)施方式[0050]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來布置和設(shè)計(jì)。[0051]因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。[0054]如圖1所示，本實(shí)施例提供一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表[0055]S1、獲取研究區(qū)多光譜和全色衛(wèi)星遙感影像，并進(jìn)行地表要素樣本標(biāo)注，得到研究區(qū)的訓(xùn)練樣本圖。[0056]其中多光譜衛(wèi)星遙感影像的尺寸大小為H×W×B,全色衛(wèi)星遙感影像的尺寸大小為nH×nW×1,訓(xùn)練樣本圖的尺寸大小為nH×nW×1,其中H、W和B分別為多光譜影像的高、寬和波段數(shù)，n為全色影像尺寸相對(duì)于多光譜影像尺寸的倍數(shù)。訓(xùn)練樣本圖中未標(biāo)注區(qū)域用0表示，標(biāo)注的類別從1開始編號(hào)，直到第C類。如圖3為多光譜影像的真彩色合成圖，圖4為全色影像的示意圖，圖5為地面真實(shí)參考圖的示意圖。[0057]S2、構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)，其包含兩個(gè)單源和一個(gè)多源分支融合模塊。9[0058]其中兩個(gè)單源分支分別是單源多光譜深淺特征融合分支和單源全色深淺特征融[0059]該全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)示意使用的是壓縮-激勵(lì)(Squeeze-and-excitation,SE)注意力模[0064]多尺度多光譜和全色交叉特征融合分支依次包含相加操作層1(卷積層MS1+卷積各分支最后一個(gè)卷積輸出層在圖像位置(u,v)上第j個(gè)通道屬于類別C的概率，且[0072]網(wǎng)絡(luò)訓(xùn)練采用Adam(AdaptiveMomentumEstimation)優(yōu)化器，學(xué)習(xí)率設(shè)置為值都?xì)w一化到[0,1],在網(wǎng)絡(luò)訓(xùn)練過程中進(jìn)行自動(dòng)化調(diào)整。[0075]具體的通過概率加權(quán)的方式對(duì)所述步驟S4中三個(gè)網(wǎng)絡(luò)分支分類圖進(jìn)行決策級(jí)融樣本類別樣本個(gè)數(shù)(像素)編號(hào)名稱訓(xùn)練樣本測(cè)試樣本1建筑2道路113水體4樹木5草地[0085]為了對(duì)比不同方法的性能，選取總精度(OverallAccuracy,簡稱OA),平均精度(averageaccuracy,簡稱AA),Kappa系數(shù)(KappaCoefficient,簡稱Kappa)作為評(píng)價(jià)指標(biāo)。[0086]如圖6～圖10所示，給出了不同方法10次評(píng)價(jià)精度最高的結(jié)果，每種方法都使用相同的訓(xùn)練樣本。為了對(duì)比不同方法的魯棒性，給出了10次結(jié)果的標(biāo)準(zhǔn)差，表2值代表標(biāo)準(zhǔn)差，可以看出本發(fā)明所提出的方法標(biāo)準(zhǔn)差與最低CRHFF(FEMAP*PAN)方法的標(biāo)準(zhǔn)差[0087]表2不同方法的精度評(píng)價(jià)結(jié)果切片方法無需切片方法本發(fā)明方法[0089]由表2可以看出，對(duì)比兩種無需切片的方法，本發(fā)明所提出的方法的平均OA、AA和Kappa值分別為98.97%、99.27%和98.45%,比GAFnet分別高出4.64%、2.68%和6.9%。尤其是在建筑物和道路類別上，相對(duì)于GAFnet方法，本發(fā)明方法取得了顯著的提升，類別精度分別提高了6.61%和6.31%。盡管在基于切片的分類方法中，CRHFF(FBMAP÷PAN混淆的類別上，分類精度分別提高了0.82%和2.33%。從圖6～圖10各種方法的分類結(jié)果可視化圖中也可以看出，本文發(fā)明產(chǎn)生了最好的分類結(jié)果，尤其是在建筑和道路類別上獲得了更加均質(zhì)的內(nèi)部和更完整的建筑物邊界。[0090]綜上，經(jīng)過一系列定性和定量的實(shí)驗(yàn)分析的結(jié)