(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(22)申請日2023.03.23(43)申請公布日2023.06.23地址400065重慶市南岸區(qū)南山街道崇文路2號舒文強(qiáng)高陳強(qiáng)(74)專利代理機(jī)構(gòu)重慶輝騰律師事務(wù)所50215GO6V10/42(2022.01)GO6V10/44(2022.01)(56)對比文件GO6V20/10(2022.01)GO6V10/82(2022.01)權(quán)利要求書2頁說明書6頁附圖3頁時遙感圖像利用Transformer分支提取雙時遙感個深度的特征圖以及卷積神經(jīng)網(wǎng)絡(luò)分支各個深度的特征圖輸入自適應(yīng)特征融合模塊進(jìn)行特征入Decoder分支進(jìn)行逐層解碼，將解碼21.一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，其特征在于，具體包括以下步驟：將成對的雙時遙感圖像裁剪到固定尺寸，并對裁剪后的圖像進(jìn)行預(yù)處理；構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及Decoder分支，Transformer分支包括四個級聯(lián)的單元，其中：第一個單元經(jīng)過PatchEmbedding將圖片分為Patch;其他三個單元分別經(jīng)過2、2、6個VIT塊，每一個VIT塊包括Transformer中的Encoder,每一個階段還包括一個系數(shù)為2的下采樣，使每次輸出特征圖為輸入的1/2;Transformer分支中的VIT塊采用雙流交叉注意力機(jī)制，即將雙時遙感圖像的兩張圖像作為VIT塊的輸入，對兩張圖像的處理包括以下步驟：獲取雙時遙感圖像中第一圖像的第一查詢向量Q?、第一鍵向量K?、第一值向量V?,第二將第一查詢向量Q?與第二鍵向量K?相乘后進(jìn)行softmax操作后，再與第二值向量V?乘，得到兩張圖像的第一差分特征；將第一差分特征與第一值向量Q?相減，得到第一圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入；將第二查詢向量Q?與第一鍵向量K?相乘后進(jìn)行softmax操作后，再與第一值向量V?乘，得到兩張圖像的第二差分特征；將第二差分特征與第二值向量Q?相減，得到第二圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入；自適應(yīng)特征融合模塊進(jìn)行融合時，具體包括以下步驟：通過逐元素求和來集成來自局部分支和全局分支的特征，然后通過全局平均池化運(yùn)算將集成的特征嵌入到通道空間中；使用兩個全連接層分別在通道嵌入特征的幫助下為局部分支和全局分支生成兩個自適應(yīng)注意力權(quán)重；通過使用注意力權(quán)重來融合全局和局部特征；將預(yù)處理后的雙時遙感圖像利用Transformer分支提取雙時遙感圖像的全局特征，利用卷積神經(jīng)網(wǎng)絡(luò)分支提取雙時遙感圖像的局部特征；將Transformer分支各個深度的特征圖以及卷積神經(jīng)網(wǎng)絡(luò)分支各個深度的特征圖輸入自適應(yīng)特征融合模塊進(jìn)行特征融合，得到全局-局部特征；將全局-局部特征輸入Decoder分支進(jìn)行逐層解碼，將解碼特征圖采用分類器輸出變化檢測的結(jié)果。2.根據(jù)權(quán)利要求1所述的一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方行數(shù)據(jù)增強(qiáng)。3.根據(jù)權(quán)利要求1所述的一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，其特征在于，卷積神經(jīng)網(wǎng)絡(luò)分支采用ResNet50主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括五個級聯(lián)的單元，×1卷積核的卷積層、3×3卷積核的卷積層、1×1卷積核的卷積層，其中3×3卷積核的卷積3層通過步長為2的卷積操作進(jìn)行下采樣。4.根據(jù)權(quán)利要求1所述的一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方的卷積層、兩個3×3卷積層，每個卷積后面都有一個ReLU;在最后一個單元使用1×1卷積將特征向量映射到2。5.一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測裝置，其特征在于，用于實現(xiàn)權(quán)利要求1所述的一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，包括屬于預(yù)處理模塊、卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及預(yù)處理模塊，用于對輸入的雙時遙感圖像裁剪到固定尺寸，對裁剪后的圖像進(jìn)行圖像增強(qiáng)；卷積神經(jīng)網(wǎng)絡(luò)分支，用于提取雙時遙感圖像中的全局特征；Transformer分支，用于提取雙時遙感圖像中的局部特征；自適應(yīng)特征融合模塊，用于將全局特征和局部特征進(jìn)行融合，得到全局-局部特征；Decoder分支，用于根據(jù)全局-局部特征判斷雙時遙感圖像是否存在變化。4技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理與計算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法及裝置。背景技術(shù)[0002]變化檢測旨在檢測不同時間獲取的一對配準(zhǔn)圖像的土地覆蓋類型變化。人造設(shè)施成的破壞)通常被認(rèn)為是與土地覆蓋類型相關(guān)的變化。變化檢測是希望能夠識別這些相關(guān)變化，同時避免由季節(jié)變化、建筑陰影、大氣變化和照明條件變化引起的其它復(fù)雜的不相關(guān)變化。光學(xué)遙感影像中的變化檢測因其在地球觀測和環(huán)境監(jiān)測中的重要作用而受到廣泛關(guān)注。隨著星載/機(jī)載光學(xué)成像技術(shù)的發(fā)展，光學(xué)遙感影像中的變化檢測已成為災(zāi)害評估、城市土地更新調(diào)查等領(lǐng)域的重要任務(wù)之一。[0003]近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展和光學(xué)遙感數(shù)據(jù)的增加，已經(jīng)提出了許多基于深度學(xué)習(xí)的變化檢測方法，由于其強(qiáng)大的自動特征提取能力，這些方法優(yōu)于基于手工特征的傳統(tǒng)變化檢測方法。由于卷積運(yùn)算具有較強(qiáng)的局部建模能力，在現(xiàn)有的基于深度學(xué)習(xí)的變化檢測方法中，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于遙感圖像特征的提取。然而，由于卷積運(yùn)算固有的局部特征提取能力和有限的感受野，基于純卷積結(jié)構(gòu)的方法難以從全局角度理解變化規(guī)律，難以區(qū)分雙時相圖像在不同成像條件(如光照變化和大氣環(huán)境)干擾下的真實變化和偽變化。發(fā)明內(nèi)容[0004]為了實現(xiàn)高分辨率遙感圖像變化檢測，本發(fā)明提供一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，具體包括以下步驟：[0005]將成對的雙時遙感圖像裁剪到固定尺寸，并對裁剪后的圖像進(jìn)行預(yù)處理；[0006]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及Decoder分[0007]將預(yù)處理后的雙時遙感圖像利用Transformer分支提取雙時遙感圖像的全局特征，利用卷積神經(jīng)網(wǎng)絡(luò)分支提取雙時遙感圖像的局部特征；[0008]將Transformer分支各個深度的特征圖以及卷積神經(jīng)網(wǎng)絡(luò)分支各個深度的特征圖輸入自適應(yīng)特征融合模塊進(jìn)行特征融合，得到全局-局部特征；[0009]將全局-局部特征輸入Decoder分支進(jìn)行逐層解碼，將解碼特征圖采用分類器輸出變化檢測的結(jié)果。[0010]進(jìn)一步的，對裁剪后的圖像進(jìn)行預(yù)處理時，采用隨機(jī)翻轉(zhuǎn)、隨機(jī)模糊、隨機(jī)顏色調(diào)整進(jìn)行數(shù)據(jù)增強(qiáng)。[0011]進(jìn)一步的，卷積神經(jīng)網(wǎng)絡(luò)分支采用ResNet50主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括五個級聯(lián)的單5入的特征圖進(jìn)行系數(shù)為4的下采樣；其他四個單元分別包括3、4、6、3個殘差塊，每個殘差塊包括1×1卷積核的卷積層、3×3卷積核的卷積層、1×1卷積核的卷積層，其中3×3卷積核的卷積層通過步長為2的卷積操作進(jìn)行下采樣。[0012]進(jìn)一步的，Transformer分支包括四個級聯(lián)的單元，其中：第一個單元經(jīng)過PatchEmbedding將圖片分為Patch;其他三個單元分別經(jīng)過2、2、6個VIT塊，每一個VIT塊包括Transformer中的Encoder,每一個階段還包括一個系數(shù)為2的下采樣，使每次輸出特征圖為輸入的1/2。[0013]進(jìn)一步的，Transformer分支中的VIT塊采用雙流交叉注意力機(jī)制，即將雙時遙感圖像的兩張圖像作為VIT塊的輸入，對兩張圖像的處理包括以下步驟：[0014]獲取雙時遙感圖像中第一圖像的第一查詢向量Q?、第一鍵向量K?、第一值向量V?,[0015]將第一查詢向量Q?與第二鍵向量K?相乘后進(jìn)行softmax操作后，再與第二值向量V?乘，得到兩張圖像的第一差分特征；[0016]將第一差分特征與第一值向量Q?相減，得到第一圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入；[0017]將第二查詢向量Q?與第一鍵向量K?相乘后進(jìn)行softmax操作后，再與第一值向量V?乘，得到兩張圖像的第二差分特征；[0018]將第二差分特征與第二值向量Q?相減，得到第二圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入。[0019]優(yōu)選的，第一個VIT塊將輸入當(dāng)前單元的雙時遙感圖像作為輸入，其后續(xù)級聯(lián)VIT塊將上一級輸出的兩張?zhí)卣鲌D像作為輸入。[0021]通過逐元素求和來集成來自局部分支和全局分支的特征，然后通過全局平均池化運(yùn)算將集成的特征嵌入到通道空間中；[0022]使用兩個全連接層分別在通道嵌入特征的幫助下為局部分支和全局分支生成兩個自適應(yīng)注意力權(quán)重；[0023]通過使用注意力權(quán)重來融合全局和局部特征。[0024]進(jìn)一步的，Decoder分支包括五個單元，每個單元包括上采樣操作、將特征通道數(shù)減半的卷積層、兩個3×3卷積層，每個卷積后面都有一個ReLU;在最后一個單元使用1×1卷積將特征向量映射到2。[0025]本發(fā)明還提供一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測裝置，用于實現(xiàn)一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，包括屬于預(yù)處理模[0026]預(yù)處理模塊，用于對輸入的雙時遙感圖像裁剪到固定尺寸，對裁剪后的圖像進(jìn)行圖像增強(qiáng)；[0028]Transformer分支，用于提取雙時遙感圖像中的局部特征；[0029]自適應(yīng)特征融合模塊，用于將全局特征和局部特征進(jìn)行融合，得到全局-局部特6[0030]Decoder分支，用于根據(jù)全局-局部特征判斷雙時遙感圖像是否存在變化。[0031]本發(fā)明的有益效果在于：[0032]1)本發(fā)明提出一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，該方法可以準(zhǔn)確地檢測出雙時相圖像發(fā)生變化的區(qū)域；[0033]2)本方法利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像局部特征，利用Transformer提取圖像全局特征，利用自適應(yīng)特征融合模塊將全局特征和局部特征進(jìn)行融合，使提取的特征能更好的表達(dá)圖像信息。附圖說明[0034]圖1為一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法的整體流程示意圖；[0035]圖2為Transformer-CNN模型結(jié)構(gòu)示意圖；[0036]圖3為自適應(yīng)特征融合模塊結(jié)構(gòu)示意圖；[0037]圖4為Transformer分支中的雙流crossattention的示意圖。具體實施方式[0038]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。[0039]本發(fā)明提供一種結(jié)合Transformer和CNN的高分辨率遙感圖像變化檢測方法，具體包括以下步驟：[0040]將成對的雙時遙感圖像裁剪到固定尺寸，并對裁剪后的圖像進(jìn)行預(yù)處理；[0041]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及Decoder分[0042]將預(yù)處理后的雙時遙感圖像利用Transformer分支提取雙時遙感圖像的全局特征，利用卷積神經(jīng)網(wǎng)絡(luò)分支提取雙時遙感圖像的局部特征；[0043]將Transformer分支各個深度的特征圖以及卷積神經(jīng)網(wǎng)絡(luò)分支各個深度的特征圖輸入自適應(yīng)特征融合模塊進(jìn)行特征融合，得到全局-局部特征；[0044]將全局-局部特征輸入Decoder分支進(jìn)行逐層解碼，將解碼特征圖采用分類器輸出變化檢測的結(jié)果。小為1024×1024,將圖片裁剪為224×224,形成固定大小的圖像。然后初始化整個網(wǎng)絡(luò)的參數(shù)，用有標(biāo)簽的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，損失函數(shù)使用分類損失函數(shù)，不斷調(diào)整參數(shù)訓(xùn)練出網(wǎng)絡(luò)模[0046]本次使用的LEVIR數(shù)據(jù)集是通過GeogleEarthAPI,收集了637個大小為1024×1024像素的非常高分辨率GeogleEarth(GE)圖像patch對，這些雙時相圖像來自美國德克薩斯州幾個城市的20個不同地區(qū)，收集時間從2002年到2018年。7[0047]圖1為本發(fā)明基于Transformer和CNN的高分辨率遙感圖像變化檢測方法的整體流[0048]S1:數(shù)據(jù)的預(yù)處理，將成對的雙時相像遙感圖像I1、I2裁剪到固定尺寸，將其分為[0049]原始數(shù)據(jù)集是包含637對1024×1024的雙時像高分辨率遙感圖像，將數(shù)據(jù)集裁剪為224×224大小的圖像，共裁剪為15925對224×224的圖像，并將數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集。[0050]S2:構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及Decoder[0051]其中卷積神經(jīng)網(wǎng)絡(luò)分支采用ResNet50骨干網(wǎng)絡(luò)，將ResNet50中的幾個階段的卷積通道維度調(diào)整為[8,16,32,64,256]以適應(yīng)Transformer中的通道維度。Transformer分支包含4個階段，Transformer深度為[2,2,6,2],Embedding維度選取為48。自適應(yīng)模塊的結(jié)構(gòu)示意圖如圖3所示，自適應(yīng)模塊利用卷積特征和Transformer特征分別生成兩個權(quán)重矩陣，分別與卷積特征和Transformer特征進(jìn)行矩陣相乘后，將特征矩陣相加，生成最終融合的全局-局部特征。解碼器采用Unet的解碼器，每一個Decoderblock包含兩個卷積層，然后采用一個上采樣模塊將尺寸擴(kuò)大到兩倍。[0052]S3:將處理好的雙時相遙感圖像利用Transformer分支和卷積神經(jīng)網(wǎng)絡(luò)分支分別提取I1與I2時相的全局特征與局部特征。[0053]S4:將ResNet50骨干網(wǎng)絡(luò)的五個階段不同深度的特征圖以及Transformer分支四個階段的不同尺度特征圖分別送入自適應(yīng)融合模塊，充分利用來自Transformer與卷積神經(jīng)網(wǎng)絡(luò)的全局-局部特征，將融合的特征分別送入Decoder分支進(jìn)行逐層解碼。[0054]S5:將最終得到的解碼特征圖采用分類器產(chǎn)生最終二值變化圖。[0055]如圖2,本實施例分鐘包括卷積神經(jīng)網(wǎng)絡(luò)分支(CNN分支)、Transformer分支，兩個分支分別對雙時遙感圖像進(jìn)行處理，[0056]本實施例還提供另一種具體實施方式，本實施中一種結(jié)合Transformer和卷積神經(jīng)網(wǎng)絡(luò)的高分辨率遙感圖像變化檢測方法，包括以下步驟：[0057]S1:將成對的雙時相像遙感圖像I?、I?裁剪到固定尺寸，將其分為訓(xùn)練集、驗證集和測試集，同時進(jìn)行數(shù)據(jù)的預(yù)處理；具體地，雙時相高分辨率遙感圖像裁剪到224×224的固定[0058]S2:構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分支、Transformer分支、自適應(yīng)特征融合模塊以及Decoder分支；其中卷積神經(jīng)網(wǎng)絡(luò)分支采用ResNet50骨干網(wǎng)絡(luò)，其包括五個階段(每個階段即圖2中CNNBLOCK);Transformer分支采用4個階段的VIT網(wǎng)絡(luò)(每個VIT網(wǎng)絡(luò)即圖2中VITBLOCK);Decoder分支采用UNet網(wǎng)絡(luò)中的Decoder分支(Decoder分支包括多個如圖2所示的DeBLOCK和Classifier,本實施例中Decoder分支采用了簽約連接，即前四個DeBLOCK分別與卷積神卷積神經(jīng)網(wǎng)絡(luò)分支的最后一層跳躍連接),其包含5個階段，每個階段采用雙線性插值進(jìn)行[0059]1)對于卷積神經(jīng)網(wǎng)絡(luò)分支，采用ResNet50主干網(wǎng)絡(luò)，其包含五個階段，起始階段包8的卷積層、1×1卷積核的卷積層。其中3×3卷積核的卷積層通過步長為2的卷積操作進(jìn)行下采樣。[0060]2)對于Transformer分支，一共包含四個階段。首先圖像經(jīng)過PatchEmbed中的Encoder,每一個階段還包括一個系數(shù)為2的下采樣，使每次輸出特征圖為輸入的1/2。[0061]3)自適應(yīng)特征融合模塊，自適應(yīng)特征融合模塊包含三個步驟：特征集成、注意力計算和特征選擇。首先，自適應(yīng)融合模塊通過逐元素求和來集成來自局部分支和全局分支的特征，然后通過全局平均池化運(yùn)算將集成的特征嵌入到通道空間中。接下來，使用兩個全連接層分別在通道嵌入特征的幫助下為局部分支和全局分支生成兩個自適應(yīng)注意力權(quán)重。最后，通過使用注意力權(quán)重來融合全局和局部特征。[0062]4)對于Decoder分支，Decoder分支一共包括五個階段，Decoder分支中的每一階段都包括特征圖的上采樣，然后是將特征通道數(shù)量減半的卷積層，兩個3x3卷積，每個卷積后面都有一個ReLU。在最后一層，使用1x1卷積將特征向量映射到2,由此產(chǎn)生二值變化檢測[0063]Transformer分支中的VIT塊采用雙流交叉注意力機(jī)制，即將雙時遙感圖像的兩張圖像作為VIT塊的輸入，如圖4,對兩張圖像的處理包括以下步驟：[0064]獲取雙時遙感圖像中第一圖像的第一查詢向量Q?、第一鍵向量K?、第一值向量V?,第二圖像的第二查詢向量Q?、第二鍵向量K?、第二值[0065]將第一查詢向量Q?與第二鍵向量K?相乘后進(jìn)行softmax操作后，再與第二值向量V?乘，得到兩張圖像的第一差分特征；[0066]將第一差分特征與第一值向量Q?相減，得到第一圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入；[0067]將第二查詢向量Q?與第一鍵向量K?相乘后進(jìn)行softmax操作后，再與第一值向量V?乘，得到兩張圖像的第二差分特征；[0068]將第二差分特征與第二值向量Q?相減，得到第二圖像為主導(dǎo)的差異特征，并將該差異特征作為下一級的輸入。[0069]S3:將處理好的雙時相遙感圖像利用Transformer分支和卷積神經(jīng)網(wǎng)絡(luò)分支分別提取I?與I?時相的全局特征與局部特征。具體包括以下步驟：[0070]1)提取雙時相圖像I?、I?的全局特征。將裁剪為224×224的雙時相圖像利用PatchEmbedding將圖片劃分為4×4的Patch,然后分別經(jīng)過2、2、6個VIT塊提取多個不同尺度的特[0071]2)提取雙時相圖像I?、I?的局部特征。將大小為224×224的雙時相圖像直接傳入到未加載預(yù)訓(xùn)練模型的ResNet50骨干網(wǎng)絡(luò)中，為了方便與全局特征分支特征進(jìn)行融合，本發(fā)明將ResNet50骨干網(wǎng)絡(luò)中特征提取通道維度減小到8,16,32,64,128,256。在局部特征提取分支，共提取5個階段不同尺度特征圖。[0072]S4:將ResNet50骨干網(wǎng)絡(luò)的五個階