(19)國家知識產(chǎn)權(quán)局地址210044江蘇省南京市江北新區(qū)寧六方樂緣賀燕陳云云曹兆樓姜譜照公司32224GO6T5/50(200GO6V10/44(2022.01)GO6V10/52(2022.01)一種多尺度融合高光譜圖像和多光譜圖像的方法及裝置本發(fā)明公開了高光譜圖像處理技術(shù)領(lǐng)域的一種多尺度融合高光譜圖像和多光譜圖像的方小波變換實現(xiàn)多尺度提取特征，又在Mamba模塊獲取高光譜圖像和多光譜圖像獲取高光譜圖像和多光譜圖像對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像21.一種多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，包括以下步驟：獲取高光譜圖像和多光譜圖像；對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像；對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征；將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖；將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征；將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征；根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像。2.根據(jù)權(quán)利要求1所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，具體包括：對高光譜圖像進行雙線性插值上采樣，獲取上采樣后的高光譜圖像；所述將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖采用拼接融合操作將多光譜圖像與上采樣后的高光譜圖像進行拼接融合，獲取融合后的高光譜圖像。3.根據(jù)權(quán)利要求1所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征，其表達(dá)式為：其中，F(xiàn)s為淺層光譜空間特征；Dcat為融合后的高光譜圖像；φsF(·)為淺層特征提取模塊，該模塊包括卷積和多個殘差塊，其中，卷積用于對所輸入的初始特征進行初步特征提取，獲取第一提取特征；多個殘差塊用于從第一提取特征中逐層提取更高層次的特征，獲取第二提取特征，再將初始特征與第二提取特征進行殘差連接，獲取淺層光譜空間特征。4.根據(jù)權(quán)利要求1所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖，具體包括：選擇Haar小波作為母小波；對輸入的淺層光譜空間特征在水平和垂直方向分別進行低通和高通濾波，生成多尺度子帶特征圖，多尺度子帶特征圖包括cA子帶特征圖、CH子帶特征圖、CV子帶特征圖及cD子帶特征圖，其中cA子帶特征圖表示低頻分量；cH子帶特征圖表示水平方向的高頻分量；CV子帶特征圖表示垂直方向的高頻分量；CD子帶特征圖表示對角方向的高頻分量。5.根據(jù)權(quán)利要求3所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所所述將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征，具體包括對各尺度的子帶特征圖分別執(zhí)行如下步驟：步驟A:將子帶特征圖展平為向量形式并向量序列化，獲取序列；步驟B:通過編碼器生成位置編碼，并將位置編碼增加到序列中，保留序列的空間信息，獲取正確編碼位置信息后的序列；3步驟C:將正確編碼位置信息后的序列輸入到光譜Mamba塊中，通過解碼器獲取深層光譜特征；將深層光譜特征替換所述步驟A中的子帶特征圖，而后重復(fù)步驟A和步驟B,重新獲取正確編碼位置信息后的序列，將重新獲取的正確編碼位置信息后的序列輸入到空間Mamba塊中，通過解碼器獲取深層光譜空間特征。6.根據(jù)權(quán)利要求5所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述將正確編碼位置信息后的序列輸入到光譜Mamba塊中，通過解碼器獲取深層光譜特征，具體包括：步驟a:對正確編碼位置信息后的序列x∈RB×H×W×C進行線性投影，所述投影后的特征沿通道維度分為兩個特征部分p∈RB×H×W×C和q∈RB×H×W×C,q經(jīng)過激活函數(shù)處理，p進行卷積提取空間特征后激活函數(shù)處理，實現(xiàn)特征的分塊處理和空間特征增強：取模塊中卷積的通道數(shù)；步驟b:所述特征部分p生成光譜令牌M∈RB×(HW)×C或生成空間令牌N∈RB×C×(HW),關(guān)注光譜特征，所述光譜令牌經(jīng)過Mamba的狀態(tài)空間模型捕獲全局信息，經(jīng)過窗口掃描機制獲取局部信息：其中，Scancsm(·)為從特征映射的四個角到相對位置映射每個元素從不同方向的所有信息，Scanwindow(·)為窗口掃描機制，捕捉序列元素之間的局部信息，Ps_global代表四向掃描策略聚集的全局信息，Pslocal代表窗口掃描聚集的局部信息，所述Ps_global和Ps_local一起輸入到選擇性掃描空間狀態(tài)序列模型中并行處理得到中間深層光譜特征out_y;步驟c:歸一化所述中間深層光譜特征，并與q∈RB×H×W×C部分逐元素相乘進行特征步驟d:根據(jù)中間特征，通過解碼器獲取深層光譜特征;所述將重新獲取的正確編碼位置信息后的序列輸入到空間Mamba塊中，通過解碼器獲根據(jù)深層光譜特征,重新獲取正確編碼位置信息后的序列；將重新獲取的正確編碼位置信息后的序列替換步驟a中的正確編碼位置信息后的序4根據(jù)重新獲取的中間特征，通過解碼器獲取得到深層光譜空間特征。7.根據(jù)權(quán)利要求4所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，具體包括：通過逆二維離散小波變換將多尺度深層光譜空間特征重構(gòu)為原始信號，獲取融合后的帶特征圖獲得的深層光譜空間特征，表示cH子帶特征圖獲得的深層光譜空間特征，表示cV子帶特征圖獲得的深層光譜空間特征，帶特征圖獲得的深層光譜空間特征。8.根據(jù)權(quán)利要求7所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征，具體包括：采用跳躍連接聚合淺層光譜空間特征以及融合后的深層光譜空間特征，獲取光譜空間特征。9.根據(jù)權(quán)利要求2所述的多尺度融合高光譜圖像和多光譜圖像的方法，其特征在于，所述根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像，具體包括：將光譜空間特征輸入圖像重建模塊，獲取高分辨率重建圖像；使用殘差連接所述高分辨率高光譜圖像與所述上采樣后的高光譜圖像，融合低分辨率與高分辨率信息，得到高分辨率高光譜圖像。10.一種多尺度融合高光譜圖像和多光譜圖像的裝置，其特征在于，所述裝置包括：初步融合模塊：獲取高光譜圖像和多光譜圖像；對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜淺層特征提取模塊：對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征；深層特征提取模塊：將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖；將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征；融合及重建模塊：將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征；根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像。5一種多尺度融合高光譜圖像和多光譜圖像的方法及裝置技術(shù)領(lǐng)域[0001]本發(fā)明涉及一種多尺度融合高光譜圖像和多光譜圖像的方法及裝置，屬于高光譜圖像處理技術(shù)領(lǐng)域。背景技術(shù)[0002]高光譜圖像(HSI)和多光譜圖像(MSI)在遙感、環(huán)境監(jiān)測、農(nóng)業(yè)、地質(zhì)勘探等領(lǐng)域具有廣泛的應(yīng)用。高光譜圖像能夠提供豐富的光譜信息，但其空間分辨率較低。相比之下，多光譜圖像具有較高的空間分辨率，但光譜信息相對較少。因此，如何有效地融合高光譜圖像和多光譜圖像，以同時獲得高空間分辨率和高光譜分辨率的圖像，成為一個重要的研究課[0003]傳統(tǒng)圖像融合方法主要分為基于空間域和變換域兩類?？臻g域方法通過直接操作像素值實現(xiàn)融合，但難以充分保留光譜和空間信息；變換域方法通過將圖像轉(zhuǎn)換到其他域進行融合，雖能更好地保留細(xì)節(jié)，但在處理高維數(shù)據(jù)時計算復(fù)雜度高，且難以應(yīng)對非線性關(guān)系。近年來，基于深度學(xué)習(xí)的圖像融合方法取得了顯著進展，但其依賴大量訓(xùn)練數(shù)據(jù)，模型復(fù)雜度高，難以適應(yīng)小樣本場景。此外，現(xiàn)有方法在處理高光譜和多光譜圖像時，往往忽視多尺度特性，導(dǎo)致融合結(jié)果的光譜和空間信息保留不足，且空間分辨率較差。發(fā)明內(nèi)容[0004]本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種多尺度融合高光譜圖像和多光譜圖像的方法及裝置，通過小波變換實現(xiàn)多尺度提取特征，又在Mamba模塊加入局部特征提取模塊，充分獲取光譜信息和空間信息，實現(xiàn)了高光譜圖像與多光譜圖像的多尺度融合，提高特征提取的精度，獲得更高質(zhì)量的高分辨率高光譜圖像，解決融合多源遙感圖像過程中保留光譜信息和空間信息不足導(dǎo)致融合精度不高的問題。[0005]為解決上述技術(shù)問題，本發(fā)明是采用下述技術(shù)方案實現(xiàn)的：[0006]第一方面，本發(fā)明提供了一種多尺度融合高光譜圖像和多光譜圖像的方法，包括以下步驟：[0007]獲取高光譜圖像和多光譜圖像；[0008]對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像；[0009]對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征；[0010]將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖；[0011]將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征；[0012]將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征；[0013]根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像。6[0015]對高光譜圖像進行雙線性插值上采樣，獲取上采樣后的高光譜圖像；[0016]所述將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像，具體包括：[0017]采用拼接融合操作將多光譜圖像與上采樣后的高光譜圖像進行拼接融合，獲取融合后的高光譜圖像。[0018]進一步的，所述對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征，其表達(dá)式為：[0020]其中，F(xiàn)s為淺層光譜空間特征；Dcat為融合后的高光譜圖像；φsF(·)為淺層特征提取模塊，該模塊包括卷積和多個殘差塊，其中，卷積用于對所輸入的初始特征進行初步特征提取，獲取第一提取特征；多個殘差塊用于從第一提取特征中逐層提取更高層次的特征，獲取第二提取特征，再將初始特征與第二提取特征進行殘差連接，獲取淺層光譜空間特征。[0021]進一步的，所述將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖，具體包括：[0022]選擇Haar小波作為母小波；[0023]對輸入的淺層光譜空間特征在水平和垂直方向分別進行低通和高通濾波，生成多尺度子帶特征圖，多尺度子帶特征圖包括cA子帶特征圖、cH子帶特征圖、CV子帶特征圖分量；CV子帶特征圖表示垂直方向的高頻分量；cD子帶特征圖表示對角方向的高頻分量。[0024]進一步的，所述深層特征提取模塊包括光譜Mamba塊和空間Mamba塊；[0025]所述將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征，具體包括對各尺度的子帶特征圖分別執(zhí)行如下步驟：[0026]步驟A:將子帶特征圖展平為向量形式并向量序列化，獲取序列；[0027]步驟B:通過編碼器生成位置編碼，并將位置編碼增加到序列中，保留序列的空間信息，獲取正確編碼位置信息后的序列；[0028]步驟C:將正確編碼位置信息后的序列輸入到光譜Mamba塊中，通過解碼器獲取深層光譜特征；[0029]將深層光譜特征替換所述步驟A中的子帶特征圖，而后重復(fù)步驟A和步驟B,重新獲Mamba塊中，通過解碼器獲取深層光譜空間特征。[0030]進一步的，所述將正確編碼位置信息后的序列輸入到光譜Mamba塊中，通過解碼器獲取深層光譜特征，具體包括：[0031]步驟a:對正確編碼位置信息后的序列x∈RB×H×W×C進行線性投影，所述投影后的特征沿通道維度分為兩個特征部分p∈RB×H×W×C和q∈RB×H×W×C,q經(jīng)過激活函數(shù)處理，p進行卷積提取空間特征后激活函數(shù)處理，實現(xiàn)特征的分塊處理和空間特征增強：7[0036]步驟b:所述特征部分p生成光譜令牌M∈RB×(HW)×CN[0039]其中，Scancsm(·);8[0053]采用跳躍連接聚合淺層光譜空間特征以及融合后的深層光譜空間特征，獲取光譜空間特征。[0054]進一步的，所述根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光[0055]將光譜空間特征輸入圖像重建模塊，獲取高分辨率重建圖像；[0056]使用殘差連接所述高分辨率高光譜圖像與所述上采樣后的高光譜圖像，融合低分辨率與高分辨率信息，得到高分辨率高光譜圖像。[0057]第二方面，本發(fā)明提供了一種多尺度融合高光譜圖像和多光譜圖像的裝置，所述裝置包括：[0058]初步融合模塊：獲取高光譜圖像和多光譜圖像；對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像；[0059]淺層特征提取模塊：對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特[0060]深層特征提取模塊：將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖；將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征；[0061]融合及重建模塊：將多尺度深層光譜空間特征融合，獲取融合后的深層光譜空間特征，根據(jù)融合后的深層光譜空間特征和淺層光譜空間特征，獲取光譜空間特征；根據(jù)光譜空間特征和上采樣后的高光譜圖像，獲取高分辨率高光譜圖像。[0063]本發(fā)明提出了一種基于Mamba模型和小波變換的多尺度融合方法及裝置，深層特征提取模塊能夠高效地處理長序列數(shù)據(jù)，小波變換通過多尺度分析，能夠有效地捕捉圖像的局部特征，實現(xiàn)了高光譜圖像與多光譜圖像的多尺度融合，在提升空間分辨率的同時，充分保留了光譜信息；本發(fā)明提出的方法通過小波變換實現(xiàn)多尺度提取特征，又根據(jù)深層特征提取模塊充分獲取光譜信息和空間信息，實現(xiàn)了高光譜圖像與多光譜圖像的多尺度融合，提高特征提取的精度，獲得更高質(zhì)量的高分辨率高光譜圖像，解決融合多源遙感圖像過程中保留光譜信息和空間信息不足導(dǎo)致融合精度不高的問題。附圖說明[0064]圖1是根據(jù)本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的方法的流程示意圖；[0065]圖2是根據(jù)本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的方法的框架示意圖；[0066]圖3是根據(jù)本發(fā)明實施例提供的Mamba塊的框架示意圖；[0067]圖4為本發(fā)明實施例提供的CAVE數(shù)據(jù)集高光譜圖像的RGB熱力圖(以第10波段，20波段，30波段作為RGB圖像數(shù)據(jù));[0070]圖7為本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的裝置的結(jié)9構(gòu)示意圖。具體實施方式[0071]下面通過附圖以及具體實施例對本發(fā)明技術(shù)方案做詳細(xì)地說明，應(yīng)當(dāng)理解本發(fā)明實施例以及實施例中的具體特征是對本發(fā)明技術(shù)方案的詳細(xì)的說明，而不是對本發(fā)明技術(shù)方案的限定，在不沖突的情況下，本發(fā)明實施例以及實施例中的技術(shù)特征可以相互組合。[0072]術(shù)語“和/或”,僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，A和/或B,可以表示：單獨存在A,[0073]實施例一：[0074]如圖1所示，為本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的方法的流程示意圖，包括以下步驟：[0075]獲取高光譜圖像和多光譜圖像；[0077]獲取CAVE數(shù)據(jù)集(哥倫比亞航空攝像和攝影實驗數(shù)據(jù)集),其包含32個室內(nèi)高光譜圖像，每個圖像的尺寸為512×512像素，覆蓋了31個頻段的400-700nm的波長范圍；[0078]使用相機的光譜響應(yīng)函數(shù)生成高分辨率多光譜圖像HR-MSI;[0079]通過高斯濾波器和多次下采樣生成低分辨率高光譜圖像LR-HSI;[0080]從數(shù)據(jù)集中隨機選擇20對圖像作為訓(xùn)練集，剩下的12對圖像作為驗證集；[0081]其中，本實施例中在訓(xùn)練階段，從每張512×512圖像中隨機提取64×64的斑塊輸入模型中，即訓(xùn)練階段本實施例取H=64,W=64,s=3,h=8,w=8,S=31,其中，h為高光譜圖像的高度，w為高光譜圖像的寬度，S為高光譜圖像的通道，H為多光譜圖像的高度，W為多光譜圖像的寬度，s為多光譜圖像的通道。[0082]如圖2所示，為本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的方法的框架示意圖；[0083]其中，低頻即低頻分量，水平高頻即水平方向的高頻分量，垂直高頻即垂直方向的高頻分量，對角高頻即對角方向的高頻分量。[0084]一種實施例，對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像；[0085]所述對高光譜圖像上采樣，獲取[0086]對高光譜圖像進行雙線性插值上采樣，獲取上采樣后的高光譜圖像；[0087]所述將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜[0088]采用拼接融合操作將多光譜圖像與上采樣后的高光譜圖像進行拼接融合，獲取融合后的高光譜圖像。[0089]具體的，高光譜圖像為y∈Rh×w×S,多光譜圖像為z∈RH×W×s對高光譜圖像進行雙線性插值上采樣，獲取上采樣后的高光譜圖像，將多光譜圖像與上采樣后的高光譜圖像進行拼接融合，獲取融合后的高光譜圖像Dcat∈RH×W×(S+S),R表示尺度。[0090]具體地，對高光譜圖像y∈R?×8×31進行上采樣操作，將上采樣后的高光譜圖像Yup∈R?4×64×31與多光譜圖像z∈R?4×64×3進行通道拼接融合，具體包括：[0092]Dcat=Pconc融合后的高光譜圖像。[0094]一種實施例，對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征；[0095]具體的，所述對融合后的高光譜圖像進行特征提取，獲得淺層光譜空間特征Fs∈RH×W×C,其表達(dá)式為：提取模塊，該模塊包括卷積和多個殘差塊，其中，卷積用于對所輸入的初始特征進行初步特征提取，獲取第一提取特征；多個殘差塊用于從第一提取特征中逐層提取更高層次的特征，獲取第二提取特征，再將初始特征與第二提取特征進行殘差連接，獲取淺層光譜空間特征。[0098]具體地，提取融合后高光譜圖像的淺層特征，通過卷積提取初始特征：[0100]再由殘差塊逐步提取更高層次的特征并保留更多細(xì)節(jié)信息，具體包括：[0104]其中，φconv?d(·)為卷積操作，Qconv?×3(·為卷積核為3×3的卷積操作，f表示函數(shù)的連續(xù)復(fù)合，F(xiàn)?是第i個殘差塊，i取1,2,3;Fs為淺層光譜空間特征；res_blocks為殘差塊數(shù)量，F(xiàn)s∈RH×W×C中的C代表淺層特征提取模塊中卷積的通道數(shù)；本發(fā)明取C=[0105]一種實施例，將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖；[0106]所述將淺層光譜空間特征進行小波變換，獲取多尺度子帶特征圖，具體包括：[0107]選擇Haar小波作為母小波；[0108]對輸入的淺層光譜空間特征在水平和垂直方向分別進行低通和高通濾波，生成多尺度子帶特征圖，多尺度子帶特征圖包括cA子帶特征圖、cH子帶特征圖、CV子帶特征圖及cD子帶特征圖，其中cA子帶特征圖表示低頻分量；cH子帶特征圖表示水平方向的高頻分量；CV子帶特征圖表示垂直方向的高頻分量；cD子帶特征圖表示對角方向的高頻分量。[0109]具體的，將提取到的淺層光譜空間特征進行小波變換，得到四個尺度的子帶特征11垂直方向的高頻分量，cD是對角方向的高頻分量，二維離散小波變換的母小波函數(shù)是Haar[0113]一種實施例，將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征；[0115]所述將多尺度子帶特征圖輸入深層特征提取模塊，獲得多尺度深層光譜空間特征，具體包括對各尺度的子帶特征圖分別執(zhí)行如下步驟：[0116]步驟A:將子帶特征圖展平為向量形式并向量序列化，獲取序列；[0117]步驟B:通過編碼器生成位置編碼，并將位置編碼增加到序列中，保留序列的空間信息，獲取正確編碼位置信息后的序列；[0118]步驟C:將正確編碼位置信息后的序列輸入到光譜Mamba(曼巴網(wǎng)絡(luò))塊中，通過解用狀態(tài)空間模型對長序列數(shù)據(jù)進行高效建模，捕捉全局依賴關(guān)系，通過前向和后向掃描機制，增強對序列數(shù)據(jù)的全局上下文建模能力，引入窗口掃描，增強局部特征的建模能力，使得光譜Mamba模塊能夠高效地提取全局和局部特征，最后通過解碼器，獲得含有光譜特征信息的特征圖；[0119]將深層光譜特征替換所述步驟A中的子帶特征圖，而后重復(fù)步驟A和步驟B,重新獲Mamba塊中，通過解碼器獲取深層光譜空間特征；深層光譜特征用相同的方法展開得到空間[0120]一種實施例，所述將正確編碼位置信息后的序列輸入到光譜Mamba塊中，通過解碼[0121]步驟a:對正確編碼位置信息后的序列x∈RB×H×W×C進行線性投影，所述投影后的特征沿通道維度分為兩個特征部分p∈RB×H×W×C和q∈RB×H×W×C,q經(jīng)過激活函數(shù)處理，p進行卷積提取空間特征后激活函數(shù)處理，實現(xiàn)特征的分塊處理和空間特征增強：[0125]其中，φproi(·)為投影操作，σ為激活函數(shù)，X為正確編碼位置信息后的序列，層特征提取模塊中卷積的通道數(shù)；∈RB×C×(HW),其中，M=[m?,m?,…,mHw],mHw表示空間方向的第HW個像素空間模型捕獲全局信息，經(jīng)過窗口掃描機制獲取局部信息：*[0134]所述將重新獲取的正確編碼位置信息后的序列輸入到空間Mamba塊中，通過解碼[0136]將重新獲取的正確編碼位置信息后的序列替換步驟a中的正確編碼位置信息后的掃描空間狀態(tài)序列模型。[0140]以上操作在輸入光譜Mamba塊時可以得到深層光譜特征，將深層光譜特征重復(fù)以上操作展開成2D序列后輸入到空間Mamba塊可以cA子帶特征圖獲得的深層光譜空間特征，表示cH子帶特征圖獲得的深層光譜空間特圖像，每個圖像的尺寸為512×512像素，覆蓋了31個頻段的400-700nm的波長范圍；分別采用現(xiàn)有的TFNet(Remotesensingimagefusionbasedontwo-streamfusionnetwork,基于雙流融合網(wǎng)絡(luò)的遙感圖像融合)、CSSNet(Hyperspectralimagesuper-resolutionnetworkbasedoncross-scalenonlocalattention,基于跨尺度非局部注意的高光譜圖像超分辨率網(wǎng)絡(luò))、Fusformer(Atransformer-basedfusionnetworkforhyperspectralimagesuper-resolution,一種基于變換器的高光譜圖像超分辨率融合網(wǎng)hyper-spectralimagefusion,用于多光譜和高光譜圖像融合的金字塔洗牌和重排變換器)和本申請的融合方法對實施例CAVE數(shù)據(jù)集進行高光譜圖像和多光譜圖像融合，如圖6所示，包括高分辨率高光譜圖像、真實標(biāo)簽圖像、絕對誤差差異圖和結(jié)構(gòu)相似性指數(shù)圖，融合結(jié)果如表1所示：[0161]表1、高光譜圖像和多光譜圖像融合結(jié)果對比表；本發(fā)明多光譜圖像融合結(jié)果的PSNR(峰值信噪比)達(dá)47.52,相較于其他方法，比得分第二的Fusformer方法高0.96。[0164]本發(fā)明申請的方法融合的結(jié)果與真實圖片對比，第一行展示了融合結(jié)果與真實圖片，第二行從兩個維度直觀地展示結(jié)果，圖中證明了本發(fā)明申請方法的可行性，并且融合效果良好。[0165]以上實施例證實本申請減少了高光譜圖像與多光譜圖像融合的誤差值。[0166]與現(xiàn)有技術(shù)相比，本發(fā)明基于Mamba使用小波變換多尺度融合高光譜圖像和多光譜圖像的方法，首先對高光譜進行上采樣，然后將上采樣后的高光譜圖像與多光譜圖像進行通道拼接融合，再提取融合后圖像的淺層特征；接著，對淺層特征進行小波變換分解，得到多個尺度的特征圖，將小特征圖序列化輸入Mamba模塊，得到深層特征；Mamba模塊利用狀態(tài)空間模型對長序列數(shù)據(jù)進行高效建模，捕捉全局依賴關(guān)系，通過交叉掃描機制，增強對序列數(shù)據(jù)的全局上下文建模能力；引入窗口掃描模式，增強局部特征的建模能力，高效提取全局和局部特征；最后，融合提取到的深層特征和淺層特征，得到最終的光譜空間特征再將該特征進行圖像重建獲得高分辨率高光譜圖像。[0167]本發(fā)明提出了一種基于Mamba模型和小波變換的多尺度融合方法，深層特征提取模塊(Mamba)能夠高效地處理長序列數(shù)據(jù)，小波變換通過多尺度分析，能夠有效地捕捉圖像的局部特征，實現(xiàn)了高光譜圖像與多光譜圖像的多尺度融合，在提升空間分辨率的同時，充分保留了光譜信息，本發(fā)明提出的方法通過小波變換實現(xiàn)多尺度提取特征，又在Mamba模塊加入局部特征提取模塊，充分獲取光譜信息和空間信息，實現(xiàn)了高光譜圖像與多光譜圖像的多尺度融合，提高特征提取的精度，獲得更高質(zhì)量的高分辨率高光譜圖像，解決融合多源遙感圖像過程中保留光譜信息和空間信息不足導(dǎo)致融合精度不高的問題。[0169]如圖7所示，為本發(fā)明實施例提供的一種多尺度融合高光譜圖像和多光譜圖像的[0170]初步融合模塊：獲取高光譜圖像和多光譜圖像；對高光譜圖像上采樣，獲取上采樣后的高光譜圖像，將上采樣后的高光譜圖像與多光譜圖像進行拼接融合，獲取融合后的高光譜圖像；[0171]淺層