(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(72)發(fā)明人校景中楊慧敏張基公司11870GO6T3/4053(2GO6T3/4046(2024.01)基于頻域-空間域輔助Mamba的輕量級圖像頻域-空間域輔助Mamba的輕量級圖像超分辨重進(jìn)行數(shù)據(jù)預(yù)處理，獲取訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)意力特征交互層，構(gòu)建基于頻域-空間域輔助據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級有權(quán)重的基于頻域-空間域輔助Mamba的輕量級有權(quán)重的基于頻域-空間域輔助Mamba的輕量級開始開始21.基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，其特征在于，包括以下S1、獲取原始圖像數(shù)據(jù)集并對其進(jìn)行數(shù)據(jù)預(yù)處理，獲取訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集；S2、引入頻域-空間域Mamba層與基于轉(zhuǎn)置和自注意力特征交互層，構(gòu)建基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型；基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型包括淺層特征提取模塊、深層特征提取模塊、高分辨率圖像重建模塊；深層特征提取模塊包括M個特征混合組模塊、第二3×3卷積層；特征混合組模塊包括N個多層級特征交互層、第一3×3卷積層；于轉(zhuǎn)置和自注意力特征交互層；上分支模塊包括第—Linear層、第一3×3深度卷積層、第一SiLU層、2D選擇性掃描模下分支模塊包括第二Linear層、第二SiLU層；頻域-空間域增強(qiáng)層包括頻域增強(qiáng)模塊、空間域增強(qiáng)模塊；頻域增強(qiáng)模塊包括第二3×3深度卷積層、傅里葉變換層、第二1×1卷積層、第一ReLU空間域增強(qiáng)模塊包括第三3×3深度卷積層、第三1×1卷積層；基于轉(zhuǎn)置和自注意力特征交互層包括第三3×3卷積層、空間通道置換層、空間自注意空間通道置換層包括第一置換層、第五3×3深度卷積層、第二置換層、第六3×3深度卷通道自注意力層包括自適應(yīng)平均池化層、第四3×3深度卷積層、第二sigmoid層；空間自注意力層包括第二ReLU層、第四1×1卷積層以及第一sigmoid層；S3、將訓(xùn)練數(shù)據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，用于將低分辨率圖像重建為高分辨率圖像；S4、將測試數(shù)據(jù)集輸入訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，得到重建的高分辨率可視化圖像。2.根據(jù)權(quán)利要求1所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，法對HR圖像數(shù)據(jù)集內(nèi)各圖像進(jìn)行下采樣2、3以及4倍，得到多個下采樣倍數(shù)的圖像；S12、將多個下采樣倍數(shù)的圖像進(jìn)行隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)操作，得到增強(qiáng)的低分辨率LR圖S13、將HR圖像數(shù)據(jù)集作為第一標(biāo)簽數(shù)據(jù)，將增強(qiáng)的低分辨率LR圖像作為第一原始數(shù)據(jù)，將第一標(biāo)簽數(shù)據(jù)與第一原始數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集；33.根據(jù)權(quán)利要求2所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，S31、將訓(xùn)練數(shù)據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級圖塊利用卷積層與PixelShuffle上采樣實(shí)現(xiàn)圖像重建，得到重建特征IsR,并采用L1損失函4.根據(jù)權(quán)利要求3所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，歸一化特征X;4S325、將第二歸一化特征X輸入基于轉(zhuǎn)置和自注意力特征交互層進(jìn)行特征交互融合后，與最終的全局-局部特征FGL相加，實(shí)現(xiàn)局部殘差連接，得到交互特征X?;特征XF; S327、將混合特征XF重復(fù)步驟S326執(zhí)行M次后，再輸入第二3×3卷積層，得到深層特征5.根據(jù)權(quán)利要求4所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，S32211、將特征X?輸入第—Linear層進(jìn)行線性變換操作，得到上分支變換特征Ful,并輸入第一3×3深度卷積層進(jìn)行編碼操作，得到上分支編碼特征Fu_c,并輸入第一SiLU層進(jìn)行激活操作，得到上分支激活特征Fu_s,并輸入2D選擇性掃描模塊進(jìn)行全局特征提取，并輸入第三LayerNorm層進(jìn)行歸一化操作，得到第一特征Fu;S32212、將特征X?輸入第二Linear層進(jìn)行線性變換操作，得到下分支變換特征Fd1,并輸入第二SiLU層進(jìn)行激活操作，得到第二特征Fd;S32213、將第一特征Fu與第二特征Fa相乘，并輸入第三Linear層進(jìn)行線性激活，得到全局特征Fm。6.根據(jù)權(quán)利要求5所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，S32221、將特征X?輸入第二3×3深度卷積層進(jìn)行深度卷積操作并提取局部特征，得到特征X?的第一局部特征，并輸入傅里葉變換層進(jìn)行傅里葉變換，用于將特征X?的第一局部特征從空間域轉(zhuǎn)換到頻域，并輸入第二1×1卷積層進(jìn)行卷積操作后輸入第一ReLU層進(jìn)行激活操作，得到激活的頻域特征，并輸入逆傅里葉變換層進(jìn)行逆變換，用于將激活的頻域特征從頻域轉(zhuǎn)換到空間域，得到頻域增強(qiáng)特征Ff;S32222、將特征X?輸入第三3×3深度卷積層進(jìn)行深度卷積操作提取局部特征，得到特征X?的第二局部特征，并輸入第三1×1卷積層進(jìn)行卷積操作，得到空間域增強(qiáng)特征Fs;7.根據(jù)權(quán)利要求6所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，S3251、將第二歸一化特征X輸入第三3×3卷積層進(jìn)行初步特征融合并進(jìn)行通道壓縮，將其壓縮為C/4,得到初始化特征Fi;S3252、將初始化特征F;輸入空間通道置換層的第一置換層進(jìn)行置換操作，通過將初始化特征F;的空間特征置換為通道維度特征，得到第一置換特征Fi_p1,并輸入第五3×3深度5轉(zhuǎn)換為空間特征，得到第二置換特征Fi_p2,并輸入第六3×3深度卷積層進(jìn)行空間特征編四1×1卷積層將通道維度降為1,并輸入第一sigmoid層進(jìn)行激活操作，得到第一激活特征S3255、將置換融合特征Fi_p、空間自注意力融合特征Fi_s以及通道自8.根據(jù)權(quán)利要求7所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，9.根據(jù)權(quán)利要求8所述的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，根據(jù)訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，將測試數(shù)據(jù)集分別輸入訓(xùn)練好帶有×2、×3以及×4權(quán)重的基于頻域-空間域輔助Mamba的67基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法。背景技術(shù)[0002]在數(shù)字化時代背景下，圖像質(zhì)量已成為衡量技術(shù)進(jìn)步與用戶體驗(yàn)的關(guān)鍵指標(biāo)之一。隨著技術(shù)的不斷迭代和用戶需求的日益提升，高分辨率圖像已成為眾多領(lǐng)域內(nèi)的標(biāo)準(zhǔn)配置與普遍期望。其憑借卓越的分辨率、豐富的細(xì)節(jié)表現(xiàn)以及更優(yōu)的視覺體驗(yàn)，為用戶帶來了更為生動逼真的視覺享受。然而，現(xiàn)實(shí)生活中仍存在大量分辨率較低的圖像，這使得圖像超分辨技術(shù)對于提升圖像分辨率具有至關(guān)重要的意義。[0003]傳統(tǒng)上，提高圖像超分辨的方法主要聚焦于物理層面的改進(jìn)，如提升相機(jī)傳感器的質(zhì)量與像素密度。盡管這種方法能提升圖像的分辨率與質(zhì)量，但其亦伴隨著顯著的缺點(diǎn)與局限性。具體而言，物理層面的改進(jìn)往往需要昂貴的硬件升級成本，且并不適用于所有場景。因此，受限于技術(shù)與成本因素，對設(shè)備進(jìn)行[0004]近年來，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，一系列基于深度學(xué)習(xí)的圖像超分辨方法應(yīng)運(yùn)而生，其中包括基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法與基于Transformer的方法。然而，方法都面臨著不同問題的挑戰(zhàn)。首先，現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的模型隨著模型深度的不斷增加，其計算復(fù)雜度顯著提升。同時，卷積核大小的固定性限制了模型的感受野，使其難以高效地捕獲全局上下文信息。其次，與基于卷積神經(jīng)網(wǎng)絡(luò)模型相比，基于傳統(tǒng)Transformer的方法雖能較好地捕獲上下文信息，但其計算復(fù)雜度與輸入token長度的平方成正比，導(dǎo)致了較高的計算開銷與推理時間。最近，基于Mamba的圖像超分辨模型盡管實(shí)現(xiàn)了線性的計算復(fù)雜度，但其在捕獲局部特征方面考慮不足。發(fā)明內(nèi)容[0005]針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供了基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，用于解決當(dāng)前圖像超分辨率模型參數(shù)量較大與計算復(fù)雜度較高的技術(shù)問題。[0007]基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，包括以下步驟：[0008]S1、獲取原始圖像數(shù)據(jù)集并對其進(jìn)行數(shù)據(jù)預(yù)處理，獲取訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集；[0009]S2、引入頻域-空間域Mamba層與基于轉(zhuǎn)置和自注意力特征交互層，構(gòu)建基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型；[0010]S3、將訓(xùn)練數(shù)據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，用于將低分辨率圖像重建為高分辨率圖像；[0011]S4、將測試數(shù)據(jù)集輸入訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級8圖像超分辨重建模型，得到重建的高分辨率可視化圖像。插值法對HR圖像數(shù)據(jù)集內(nèi)各圖像進(jìn)行下采樣2、3以及4倍，得到多個下采樣倍數(shù)的圖像；[0014]S12、將多個下采樣倍數(shù)的圖像進(jìn)行隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)操作，得到增強(qiáng)的低分辨率LR[0015]S13、將HR圖像數(shù)據(jù)集作為第一標(biāo)簽數(shù)據(jù)，將增強(qiáng)的低分辨率LR圖像作為第一原始數(shù)據(jù)，將第一標(biāo)簽數(shù)據(jù)與第一原始數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集；[0016]S14、獲取公開的Set5數(shù)據(jù)集、Set14數(shù)據(jù)集、B100數(shù)據(jù)集、Urban100數(shù)據(jù)集和Manga109數(shù)據(jù)集并作為測試集的HR圖像，分別采用雙三次插值法對各數(shù)據(jù)集下采樣2、3以[0017]S15、將測試集的HR圖像作為第二標(biāo)簽數(shù)據(jù)，將測試集的LR圖像作為第二原始數(shù)據(jù)，將第二標(biāo)簽數(shù)據(jù)與第二原始數(shù)據(jù)作為測試數(shù)據(jù)集。[0018]進(jìn)一步地，步驟S2中基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型包括淺層特征提取模塊、深層特征提取模塊、高分辨率圖像重建模塊；[0019]深層特征提取模塊包括M個特征混合[0020]特征混合組模塊包括N個多層級特征交互層、第—3×3卷積層；[0021]多層級特征交互層包括第—LayerNorm層、頻域-空間域Mamba層、第二LayerNorm[0026]頻域-空間域增強(qiáng)層包括頻域增強(qiáng)模塊、空間域增強(qiáng)模塊；[0027]頻域增強(qiáng)模塊包括第二3×3深度卷積層、傅里葉變換層、第二1×1卷積層、第一[0028]空間域增強(qiáng)模塊包括第三3×3深度卷積層、第三1×1卷積層；[0029]基于轉(zhuǎn)置和自注意力特征交互層包括第三3×3卷積層、空間通道置換層、空間自[0030]空間通道置換層包括第一置換層、第五3×3深度卷積層、第二置換層、第六3×3深度卷積層；[0031]通道自注意力層包括自適應(yīng)平均池化層、第四3×3深度卷積層、第二sigmoid層；[0032]空間自注意力層包括第二ReLU層、第四1×1卷積層以及第一sigmoid層。[0034]S31、將訓(xùn)練數(shù)據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型的淺層特征提取模塊中采用3×3卷積層進(jìn)行卷積處理，得到淺層特征Fs;[0035]S32、將淺層特征Fs輸入深層特征提取模塊進(jìn)行特征混合提取，得到深層特征X;[0036]S33、將深層特征X與淺層特征Fs相加，實(shí)現(xiàn)殘差連接后，并輸入高分辨率圖像重9建模塊利用卷積層與PixelShuffle上采樣實(shí)現(xiàn)圖像重建，得到重建特征IsR,并采用L1損失函數(shù)對訓(xùn)練中的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型進(jìn)行優(yōu)化，得到訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型。[0038]S321、將淺層特征Fs輸入第—LaX,并將第一歸一化特征X從通道維度進(jìn)行平均分割，得到特征X?和特征X?,即：域增強(qiáng)層進(jìn)行視覺Mamba、頻域-空間域增強(qiáng)處理后在通道維度進(jìn)行拼接，并輸入第一1×1卷積層進(jìn)行初步特征交互，得到初步的全局-局部特征Fg?,具體包括：[0042]S3221、將特征X?輸入視覺Mamba層進(jìn)行到全局特征F;[0043]S3222、將特征X?輸入頻域-空間域增強(qiáng)層進(jìn)行頻域-空間域增強(qiáng)處理，用于增強(qiáng)上下文信息與局部信息，得到頻域-空間域增強(qiáng)特征F:_s;[0044]S3223、將全局特征F與頻域-空間域增強(qiáng)特征F:_在通道維度進(jìn)行拼接，并輸入第一1×1卷積層進(jìn)行初步特征交互，得到初步的全局-局部特征Fg_1;終的全局-局部特征F?_;[0046]S324、將最終的全局-局部特征F?L輸入第二LayerNorm層進(jìn)行歸一化操作，得到第二歸一化特征X;[0047]S325、將第二歸一化特征X輸入基于轉(zhuǎn)置和自注意力特征交互層進(jìn)行特征交互融[0048]S326、將交互特征X?重復(fù)步驟S321-S325執(zhí)行N次后，再輸入第一3×3卷積層，得到混合特征XF;[0049]S327、將混合特征X特征X。[0051]S32211、將特征X?輸入第—Linear層進(jìn)行線性變換操作，得到上分支變換特征F?,并輸入第一3×3深度卷積層進(jìn)行編碼操作，得到上分支編碼特征F_,并輸入第一SiLU層進(jìn)行激活操作，得到上分支激活特征F_s,并輸入2D選擇性掃描模塊進(jìn)行全局特征提取，并輸入第三LayerNorm層進(jìn)行歸一化操作，得到第一特征F;[0052]S32212、將特征X?輸入第二Linear層進(jìn)行線性變換操作，得到下分支變換特征Fa?,并輸入第二SiLU層進(jìn)行激活操作，得到第二特征Fa;[0053]S32213、將第一特征F與第二特征F相乘，并輸入第三Linear層進(jìn)行線性激活，得到全局特征F。[0055]S32221、將特征X?輸入第二3×3深度卷積層進(jìn)行深度卷積操作并提取局部特征，得到特征X?的第一局部特征，并輸入傅里葉變換層進(jìn)行傅里葉變換，用于將特征X?的第一局部特征從空間域轉(zhuǎn)換到頻域，并輸入第二1×1卷積層進(jìn)行卷積操作后輸入第一ReLU層進(jìn)行激活操作，得到激活的頻域特征，并輸入逆傅里葉變換層進(jìn)行逆變換，用于將激活的頻域特征從頻域轉(zhuǎn)換到空間域，得到頻域增強(qiáng)特征F;[0056]S32222、將特征X?輸入第三3×3深度卷積層進(jìn)行深度卷積操作提取局部特征，得到特征X?的第二局部特征，并輸入第三1×1卷積層進(jìn)行卷積操作，得到空間域增強(qiáng)特征F;[0057]S32223、將頻域增強(qiáng)特征F?與空間域增強(qiáng)特征F相加，得到頻域-空間域增強(qiáng)特征Ff_s°[0058]進(jìn)一步地，步驟S325具體包括：[0059]S3251、將第二歸一化特征X輸入第三3×3卷積層進(jìn)行初步特征融合并進(jìn)行通道壓縮，將其壓縮為C/4,得到初始化特征F;[0060]S3252、將初始化特征F輸入空間通道置換層的第一置換層進(jìn)行置換操作，通過將初始化特征F的空間特征置換為通道維度特征，得到第一置換特征Fip?,并輸入第五3×3深度卷積層進(jìn)行細(xì)膩度特征提取，并輸入第二置換層進(jìn)行置換操作，將細(xì)膩度特征從通道維度轉(zhuǎn)換為空間特征，得到第二置換特征FiD?,并輸入第六3×3深度卷積層進(jìn)行空間特征編碼，得到置換融合特征F?p;[0061]S3253、將初始化特征F輸入空間自注意力層的第二ReLU層進(jìn)行非線性激活，并輸入第四1×1卷積層將通道維度降為1,并輸入第一sigmoid層進(jìn)行激活操作，得到第一激活特征Fi_s?,將第一激活特征Fi_s?與初始化特征F?相乘，得到空間自注意力融合特征Fi_s;[0062]S3254、將初始化特征F輸入通道自注意力層的自適應(yīng)平均池化層進(jìn)行池化操作，得到空間大小為1×1的初始化特征，并輸入第四3×3深度卷積層進(jìn)行編碼，并輸入第二sigmoid層進(jìn)行非線性激活操作，得到第二激活特征Fi_s?,將第二激活特征Fi_s?與初始化特征F?相乘，得到通道自注意力融合特征F?_;[0063]S3255、將置換融合特征Fi、空間自注意力融合特征Fi_以及通道自注意力融合特征F?。相加，并輸入第五1×1卷積層將通道數(shù)擴(kuò)張到C,再與最終的全局-局部特征F?_相加，得到交互特征X?。[0064]進(jìn)一步地，步驟S33中采用L1損失函數(shù)對訓(xùn)練中的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型進(jìn)行優(yōu)化的計算公式為：[0066]其中，I表示HR圖像數(shù)據(jù)集對應(yīng)的高分辨率圖像特征。[0067]進(jìn)一步地，步驟S4具體包括：[0068]根據(jù)訓(xùn)練好的帶有權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，將測試數(shù)據(jù)集分別輸入訓(xùn)練好帶有×2、×3以及×4權(quán)重的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型進(jìn)行測試，得到定量結(jié)果與重建的高分辨率可視化圖[0069]其中，定量結(jié)果包括峰值信噪比與結(jié)構(gòu)相似度；[0070]峰值信噪比的計算公式為：示圖像中像素值的動態(tài)范圍。[0077]本發(fā)明所提出的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法，在上述三種不同級別的信息，提出基于轉(zhuǎn)置和自注意力的特征交互層實(shí)現(xiàn)特征的交互融合，附圖說明[0078]圖1為本發(fā)明所提出的基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建方法[0085]S1、獲取原始圖像數(shù)據(jù)集并對其進(jìn)行數(shù)據(jù)預(yù)處理，獲取訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集。[0086]本實(shí)施例中，對原始圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理的目的為獲取高分辨率圖像與低分辨率圖像，并將高分辨率圖像作為低分辨率圖像的標(biāo)簽，以便用于后續(xù)步驟中基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型的訓(xùn)練。插值法對HR圖像數(shù)據(jù)集內(nèi)各圖像進(jìn)行下采樣2、3以及4倍，得到多個下采樣倍數(shù)的圖像。[0089]S12、將多個下采樣倍數(shù)的圖像進(jìn)行隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)操作，得到增強(qiáng)的低分辨率LR圖像。[0090]S13、將HR圖像數(shù)據(jù)集作為第一標(biāo)簽數(shù)據(jù)，將增強(qiáng)的低分辨率LR圖像作為第一原始數(shù)據(jù)，將第一標(biāo)簽數(shù)據(jù)與第一原始數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。[0091]S14、獲取公開的Set5數(shù)據(jù)集、Set14數(shù)據(jù)集、B100數(shù)據(jù)集、Urban100數(shù)據(jù)集和Manga109數(shù)據(jù)集并作為測試集的HR圖像，分別采用雙三次插值法對各數(shù)據(jù)集下采樣2、3以[0092]S15、將測試集的HR圖像作為第二標(biāo)簽數(shù)據(jù)，將測試集的LR圖像作為第二原始數(shù)據(jù)，將第二標(biāo)簽數(shù)據(jù)與第二原始數(shù)據(jù)作為測試數(shù)據(jù)集。[0093]S2、引入頻域-空間域Mamba層與基于轉(zhuǎn)置和自注意力特征交互層，構(gòu)建基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型。[0094]本實(shí)施例中，引入頻域-空間域Mamba層以及基于轉(zhuǎn)置和自注意力特征交互層，構(gòu)建基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型，其連接關(guān)系與結(jié)構(gòu)具體如圖2所示，基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模型包括淺層特征提取模塊、深層特征提取模塊、高分辨率圖像重建模塊，淺層特征提取模塊用于提取淺層特征，深層特征提取模塊用于提取深層特征，高分辨率圖像重建模塊用于圖像重建。[0095]具體地，深層特征提取模塊包括M個特征混合組模塊、第二3×3卷積層；特征混合組模塊包括N個多層級特征交互層、第一3×3卷積層；多層級特征交互層包括第一層。[0097]其中，視覺Mamba層的結(jié)構(gòu)與連接關(guān)系如圖3所示，包括上分支模塊、下分支模塊、[0098]其中，頻域-空間域增強(qiáng)層的結(jié)構(gòu)與連接關(guān)系如圖4所示，包括頻域增強(qiáng)模塊、空間域增強(qiáng)模塊；頻域增強(qiáng)模塊包括第二3×3深度卷積層、傅里葉變換層、第二1×1卷積層、第—ReLU層、逆傅里葉變換層；空間域增強(qiáng)模[0099]其中，基于轉(zhuǎn)置和自注意力特征交互層的結(jié)構(gòu)與連接關(guān)系如圖5所示，包括第三3道置換層包括第一置換層、第五3×3深度卷積層、第二置換層、第六3×3深度卷積層；通道自注意力層包括自適應(yīng)平均池化層、第四3×3深度卷積層、第二sigmoid層；空間自注意力練時，將特征混合組設(shè)置為4,將多層級特征交互層設(shè)置為[4,6,4,4],將通道設(shè)置為72,并[0104]S31、將訓(xùn)練數(shù)據(jù)集輸入基于頻域-空間域輔助Mamba的輕量級圖像超分辨重建模[0116]S32211、將特征X?輸入第—Linear層進(jìn)行線性變換操作，得到上分支變換特征層進(jìn)行激活操作，得到上分支激活特征Fus,并輸入2D選擇性掃描模塊進(jìn)行全局特征提取，并輸入第三LayerNorm層進(jìn)行歸一化操作，得到第一特征F。[0117]本實(shí)施例中，將特征X?輸入第—Linear層進(jìn)行線性變換操作，此時通道數(shù)減半，故[0118]S32212、將特征X?輸入第二Linear層進(jìn)行線性變換操作，得到下分支變換特征Fa?,并輸入第二SiLU層進(jìn)行激活操作，得到第二特征Fa。[0119]本實(shí)施例中，將特征X,輸入第二Linear層進(jìn)行線性變換操到全局特征F。[0121]本實(shí)施例中，根據(jù)步驟S32211-S32213可知，全局特征F的表達(dá)式為：[0122]0[0123]S3222、將特征X?輸入頻域-空間域增強(qiáng)層進(jìn)行頻域-空間域增強(qiáng)處理，用于增強(qiáng)上下文信息與局部信息，得到頻域-空間域增強(qiáng)特征F_s。[0124]本實(shí)施例中，F(xiàn)=R×W×C′。[0126]S32221、將特征X?輸入第二3×3深度卷積層進(jìn)行深度卷積操作并提取局部特征，得到特征X?的第一局部特征，并輸入傅里葉變換層進(jìn)行傅里葉變換，用于將特征X?的第一局部特征從空間域轉(zhuǎn)換到頻域，并輸入第二1×1卷積層進(jìn)行卷積操作后輸入第一ReLU層進(jìn)行激活操作，得到激活的頻域特征，并輸入逆傅里葉變換層進(jìn)行逆變換，用于將激活的頻域特征從頻域轉(zhuǎn)換到空間域，得到頻域增強(qiáng)特征F[0128]F=RFFT(ReLU1(Conv21[0129]其中，F(xiàn)FT表示傅里葉變換，RFFT表示逆傅里葉變換。[0130]S32222、將特征X?輸入第三3×3深度卷積層進(jìn)行深度卷積操作提取局部特征，得到特征X?的第二局部特征，并輸入第三1×1卷積層進(jìn)行卷積操作，得到空間域增強(qiáng)特征F。[0131]本實(shí)施例中，F(xiàn)?∈R"W×C,且空間域增強(qiáng)特征F的表達(dá)式為：[0133]S32223、將頻域增強(qiáng)特征F與空間域增強(qiáng)特征F相加，得到頻域-空間域增強(qiáng)特征[0135]S3223、將全局特征F與頻域-空間域增強(qiáng)特征F?_在通道維度進(jìn)行拼接，并輸入第—1×1卷積層進(jìn)行初步特征交互，得到初步的全局-局部特征F?8_1