(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(22)申請日2025.01.02(43)申請公布日2025.02.07(72)發(fā)明人潘越徐熙平胡莫同張寧代理有限公司23211GO6N3/084(2023.01)(56)對比文件陳廣秋等.基于雙重注意力機(jī)制生成對抗網(wǎng)絡(luò)的偏振圖像融合.《電子測量與儀器學(xué)報》.2024,第2-5頁.GO6N3/045(2023.01)權(quán)利要求書2頁說明書5頁附圖4頁一種基于注意力機(jī)制的分焦面偏振圖像超一種基于注意力機(jī)制的分焦面偏振圖像超過通道自適應(yīng)亞像素卷積模塊實(shí)現(xiàn)對任意通道振方向的特征信息占比對通道權(quán)重進(jìn)行自適應(yīng)絡(luò)模型；S5分焦面偏振探測器采集圖像構(gòu)建圖像數(shù)據(jù)集構(gòu)造超分辨率神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型利用超分辨率神經(jīng)網(wǎng)絡(luò)模型進(jìn)行偏振圖像超分辨重建21.一種基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，其特征在于，所述方法包括如下步驟：S1、利用分焦面偏振探測器采集圖像構(gòu)建圖像數(shù)據(jù)集；S2、構(gòu)建超分辨率神經(jīng)網(wǎng)絡(luò)模型，所述超分辨率神經(jīng)網(wǎng)絡(luò)模型中通過通道自適應(yīng)亞像素卷積模塊實(shí)現(xiàn)對任意通道數(shù)的特征圖像進(jìn)行亞像素重構(gòu)，同時根據(jù)不同偏振方向的特征信息占比對通道權(quán)重進(jìn)行自適應(yīng)調(diào)節(jié)；S3、利用圖像數(shù)據(jù)集訓(xùn)練超分辨率神經(jīng)網(wǎng)絡(luò)模型；S4、根據(jù)評價指標(biāo)驗(yàn)證超分辨率神經(jīng)網(wǎng)絡(luò)模型；S5、利用超分辨率神經(jīng)網(wǎng)絡(luò)模型進(jìn)行偏振圖像超分辨重建；所述超分辨率神經(jīng)網(wǎng)絡(luò)模型依次包括輸入層、卷積層、稠密殘差模塊、空間注意力模塊、通道自適應(yīng)亞像素卷積模塊和輸出層；將分焦面偏振圖像作為輸入，利用卷積層對淺層特征進(jìn)行提取，利用稠密殘差模塊對深層特征進(jìn)行提取，利用空間注意力模塊提取特征圖的注意力圖并進(jìn)行加權(quán)融合，利用通道自適應(yīng)亞像素卷積模塊對提取的特征圖進(jìn)行上采樣，得到四幅不同偏振方向的線偏振圖所述空間注意力模塊分別對特征圖進(jìn)行通道最大池化和通道平均池化得到兩個單通道特征圖，將這兩個單通道特征圖結(jié)合得到雙通道特征圖，利用5×5的卷積核對雙通道特征圖進(jìn)行卷積運(yùn)算并使用Sigmoid激活函數(shù)進(jìn)行激活，得到由權(quán)重系數(shù)組成的注意力圖，將注意力圖與各特征圖進(jìn)行加權(quán)融合得到新的特征圖；所述通道自適應(yīng)亞像素卷積模塊對上一層獲得的特征圖進(jìn)行最大池化和平均池化，獲得長度為c的通道特征，將獲得的通道特征輸入一個通道自適應(yīng)子網(wǎng)絡(luò)來獲取通道權(quán)重，所述通道自適應(yīng)子網(wǎng)絡(luò)依次由兩個卷積層和一個全連接層組成，其中全連接層的神經(jīng)元數(shù)量等于特征圖的通道數(shù)，根據(jù)通道權(quán)重計算得到加權(quán)特征圖，再對加權(quán)特征圖進(jìn)行條件批量振方向的超分辨率偏振圖像。2.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，其特征的線偏振圖像，將這四幅圖像視作高分辨率圖像，作為超分辨率網(wǎng)絡(luò)模型的輸出；S12、將拆分的四幅圖像進(jìn)行間隔下采樣，將間隔下采樣后的四幅圖像重組成分焦面偏振圖像，作為超分辨率網(wǎng)絡(luò)模型的輸入；S13、分別按照步驟S11和步驟S12的方法，構(gòu)建包含輸出數(shù)據(jù)以及與其對應(yīng)的輸入數(shù)據(jù)的圖像數(shù)據(jù)集。3.根據(jù)權(quán)利要求2所述的基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，其特征在于，所述卷積層由96個5×5的卷積核組成。4.根據(jù)權(quán)利要求3所述的基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，其特征在于，所述稠密殘差模塊共有12個殘差塊，每個殘差塊由3×3卷積層、批量歸一化層和線性整流單元ReLU激活函數(shù)構(gòu)成，殘差連接由1×1卷積層實(shí)現(xiàn)；殘差塊之間使用1×1卷積層和3平均池化層連接。5.根據(jù)權(quán)利要求4所述的基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，其特征在于，訓(xùn)練超分辨率神經(jīng)網(wǎng)絡(luò)模型時，損失函數(shù)為：;其中，N為圖像數(shù)量，W為圖像寬度，H為圖像高度，分別為通過超分辨率神經(jīng)網(wǎng)絡(luò)模型獲得的超分辨率重建圖像的像素值振方向線偏振圖像的損失函數(shù)權(quán)重為0.25。6.一種電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1-5任一項(xiàng)所述方法的步驟。7.一種計算機(jī)可讀存儲介質(zhì)，用于存儲計算機(jī)指令，其特征在于，所述計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1-5任一項(xiàng)所述方法的步驟。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于光學(xué)圖像處理技術(shù)領(lǐng)域，具體涉及分焦面偏振圖像超分辨重建技術(shù)領(lǐng)域。背景技術(shù)[0002]物體反射光的偏振特性與其表面粗糙度、幾何形狀、材質(zhì)及其紋理結(jié)構(gòu)等因素密切相關(guān)，不同物體即使具有相同的強(qiáng)度反射率，其反射光的偏振特性也會存在較大差異。普通的成像系統(tǒng)通過分辨場景中目標(biāo)與環(huán)境的光強(qiáng)差異實(shí)現(xiàn)對目標(biāo)的識別，當(dāng)目標(biāo)物與周邊環(huán)境具有相似光強(qiáng)時，目標(biāo)物信息會被復(fù)雜的背景信號淹沒。偏振成像技術(shù)作為一種新興的探測技術(shù)，通過獲取目標(biāo)的偏振信息能夠顯著提升低對比度和低能見度環(huán)境的探測能[0003]不同于光強(qiáng)信息，現(xiàn)有探測器無法直接探測和記錄場景反射光的偏振信息，因此需要同時采集多幅偏振圖像并借助斯托克斯矢量對偏振度、偏振角等偏振特征進(jìn)行解算。目前較為成熟的偏振成像系統(tǒng)有分時調(diào)制和同時調(diào)制兩種方法。同時調(diào)制以時間序列依次獲取目標(biāo)的多個偏振分量圖像，要求目標(biāo)應(yīng)處于靜止?fàn)顟B(tài)且光輻射環(huán)境不變，基于液晶調(diào)制的分時全偏振成像技術(shù)雖然可以提高圖像獲取的幀頻，但是在對運(yùn)動目標(biāo)進(jìn)行跟蹤拍攝時，仍會產(chǎn)生虛假偏振信息，而無法對強(qiáng)度圖像進(jìn)行正確增強(qiáng)?；诜纸姑嫣綔y器的同時偏振成像技術(shù)可以通過一次曝光獲得目標(biāo)的四幅不同偏振分量圖像，受外界環(huán)境擾動小，探測速度快，而且系統(tǒng)中無運(yùn)動器件，穩(wěn)定性和可靠性顯著提升，更適用于對遠(yuǎn)距離運(yùn)動目標(biāo)的實(shí)時跟蹤成像。相較于分孔徑和分振幅等同時偏振成像系統(tǒng)，降低了光機(jī)系統(tǒng)的設(shè)計和裝調(diào)難度，在系統(tǒng)小型化方面具明顯優(yōu)勢。[0004]目前的分焦面偏振成像系統(tǒng)主要的局限性在于微線偏振片的交錯排列導(dǎo)致成像分辨率降為探測器的1/4,無法進(jìn)行“點(diǎn)對點(diǎn)”的斯托克斯計算，影響偏振特征的反演精度，因此需要對分焦面偏振圖像進(jìn)行超分辨率重建。傳統(tǒng)的插值方法進(jìn)行超分辨率重建沒有充分利用偏振圖像的特征信息，重建結(jié)果不夠理想；基于深度學(xué)習(xí)的超分辨率重建僅關(guān)注光強(qiáng)信息，通常將單幅圖像重構(gòu)為高分辨率圖像，無法一次重構(gòu)四個不同偏振方向的高分辨偏振圖像，沒有充分利用分焦面偏振圖像的特性，既降低了超分辨率圖像的重構(gòu)效率，又降低了重構(gòu)精度。發(fā)明內(nèi)容[0005]本發(fā)明為了解決以往的分焦面偏振成像超分辨率重建方法無法一次重構(gòu)四個不同偏振方向的高分辨偏振圖像，沒有充分利用分焦面偏振圖像的特性，既降低了超分辨率圖像的重構(gòu)效率，又降低了重構(gòu)精度的技術(shù)問題，提供一種基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法，[0006]所述方法包括如下步驟：[0007]S1、利用分焦面偏振探測器采集圖像構(gòu)建圖像數(shù)據(jù)集；5對雙通道特征圖進(jìn)行卷積運(yùn)算并使用Sigmoid激活函數(shù)進(jìn)行激活，得到由權(quán)重系數(shù)組成的6振方向線偏振圖像的損失函數(shù)權(quán)重為0.25。[0023]本發(fā)明所述方法的有益效果為：[0024](1)傳統(tǒng)的超分方法一次僅輸入單一偏振方向的線偏振圖像，沒有利用其余三個偏振方向的像素信息進(jìn)行超分辨率重構(gòu)。本方法提取分焦面偏振圖像的全局特征，并利用空間注意力模塊對同一偏振方向的特征進(jìn)行增強(qiáng)，同時保留其余偏振方向的特征，利用兩類特征共同完成四幅線偏振圖像的超分辨率重建。根據(jù)斯托克斯公式可知，反演全部的偏振特征需要利用不同偏振方向的圖像計算S1、S2等斯托克斯參量，再進(jìn)行偏振特征反演；而現(xiàn)在的偏振超分辨算法直接反演偏振度、偏振角圖像，構(gòu)造的損失函數(shù)無法反演S1、S2等參振角圖像存在較為嚴(yán)重的噪聲，現(xiàn)有的偏振超分辨率算法訓(xùn)練時難以正確處理偏振角圖像數(shù)據(jù)集，導(dǎo)致重構(gòu)的偏振角圖像峰值信噪比極低，無法還原目標(biāo)場景真正的偏振角圖像，而本發(fā)明所述方法直接重構(gòu)不同偏振方向的偏振圖像再進(jìn)行偏振角計算，則不會受到噪聲影響超分效果。[0025](2)目前的亞像素卷積僅將特征圖進(jìn)行像素重組，在進(jìn)行偏振圖像超分重構(gòu)時，提取的特征圖與偏振方向相關(guān)，僅進(jìn)行簡單的像素重組沒有充分利用不同偏振方向的特征，影響偏振圖像的超分效果，同時亞像素卷積需要將特征圖的通道數(shù)壓縮至放大倍數(shù)的平方，這進(jìn)一步導(dǎo)致提取特征的細(xì)節(jié)損失。為此本發(fā)明所述方法提出一種通道自適應(yīng)亞像素卷積，對任意通道數(shù)的特征圖像均可進(jìn)行亞像素重構(gòu)，同時根據(jù)不同偏振方向的特征信息占比對通道權(quán)重進(jìn)行自適應(yīng)調(diào)節(jié)，提高偏振圖像的重構(gòu)質(zhì)量。[0026]本發(fā)明所述方法可以應(yīng)用在偏振探測成像技術(shù)領(lǐng)域。附圖說明[0027]圖1為本發(fā)明實(shí)施例中基于注意力機(jī)制的分焦面偏振圖像超分辨重建方法流程[0028]圖2為本發(fā)明實(shí)施例中超分辨率神經(jīng)網(wǎng)絡(luò)模型示意圖；[0029]圖3為本發(fā)明實(shí)施例中所述通道自適應(yīng)亞像素卷積示意圖；[0030]圖4為本發(fā)明實(shí)施例中所述分焦面偏振圖像；[0031]圖5為本發(fā)明實(shí)施例中所述0°超分辨率偏振圖像；[0032]圖6為本發(fā)明實(shí)施例中所述45°超分辨率偏振圖像；[0033]圖7為本發(fā)明實(shí)施例中所述90°超分辨率偏振圖像；[0034]圖8為本發(fā)明實(shí)施例中所述135°超分辨率偏振圖像。具體實(shí)施方式[0035]下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。[0036]實(shí)施例1、[0037]本實(shí)施例提供一種基于注意力機(jī)制的分焦面偏振圖像超分辨率重建方法，流程如圖1所示。7[0038]步驟一：利用分焦面偏振探測器采集圖像，分焦面偏振探測器采集的圖像分辨率為4000×3000,為提高模型的訓(xùn)練速度，將分焦面偏振圖像裁剪800×600.將采集的圖像拆作高分辨率圖像，作為超分辨率網(wǎng)絡(luò)模型的輸出數(shù)據(jù)集。由于分焦面不同偏振方向的微偏振片交錯排列，將拆分的四幅圖像進(jìn)行間隔下采樣，以模擬分焦面導(dǎo)致的空間分辨率下降，下采樣后圖像分辨率為100×75.將下采樣后的四幅圖像重組成低分辨率的分焦面偏振圖像，分辨率為200×150,作為超分辨率網(wǎng)絡(luò)模型的輸入數(shù)據(jù)集。[0039]步驟二：構(gòu)建超分辨率神經(jīng)網(wǎng)絡(luò)模型，超分辨率網(wǎng)絡(luò)模型如圖2所示。將重構(gòu)的低分辨率分焦面偏振圖像(200×150分焦面偏振圖像)作為輸入；利用卷積層進(jìn)行淺層特征的初步提取；利用稠密殘差模塊對深層特征進(jìn)行充分提??；利用空間注意力模塊提取特征圖的注意力圖并進(jìn)行加權(quán)融合；利用通道自適應(yīng)亞像素卷積模塊對提取的特征圖進(jìn)行上采樣；得到四幅分辨率為200×150的不同偏振方向的線偏振圖像；利用像素?fù)p失函數(shù)計算模型重構(gòu)高分辨率圖像與輸出數(shù)據(jù)集中的高分辨率圖像的差異。[0040]提取淺層特征的卷積層由96個5×5的卷積核組成，確保能夠同時充分提取與像素偏振方向相同的鄰近像素的信息，以及其他偏振方向像素的信息。[0041]提取深層特征的稠密殘差模塊中共有12個殘差塊，每個殘差塊由3×3卷積層、批量歸一化層和線性整流單元ReLU激活函數(shù)構(gòu)成，殘差連接由1×1卷積層實(shí)現(xiàn)；殘差塊之間使用1×1卷積層和平均池化層連接，用來壓縮特征圖的通道數(shù)。[0042]空間注意力模塊用于凸顯不同偏振方向的線偏振圖像的特征，分別對特征圖進(jìn)行通道最大池化和通道平均池化得到兩個單通道特征圖，將這兩個單通道特征圖像結(jié)合得到雙通道特征圖，利用5×5的卷積核對雙通道特征圖進(jìn)行卷積運(yùn)算并使用Sigmoid激活函數(shù)進(jìn)行激活，得到由權(quán)重系數(shù)組成的注意力圖，將注意力圖與各特征圖進(jìn)行加權(quán)融合得到新的特征圖。[0043]通道自適應(yīng)亞像素卷積模塊為自主設(shè)計，首先對上一層獲得的特征圖進(jìn)行最大池化和平均池化，獲得長度為c的通道特征，將獲得的通道特征輸入一個可訓(xùn)練的通道自適應(yīng)子網(wǎng)絡(luò)來獲取通道權(quán)重。通道自適應(yīng)子網(wǎng)絡(luò)由兩個卷積層和一個全連接層組成，其中全連接層的神經(jīng)元數(shù)量等于特征圖的通道數(shù)。根據(jù)通道權(quán)重計算得到加權(quán)特征圖。由于需要重一化，不同的偏振方向作為條件調(diào)整批量歸一化的縮放因子和偏置項(xiàng)，實(shí)現(xiàn)對特征通道權(quán)重的二次動態(tài)調(diào)節(jié)，使得對應(yīng)輸出的重構(gòu)圖像在包含大部分同偏振方向特征的同時保留一部分其他偏振方向的特征，以提高偏振圖像的重構(gòu)質(zhì)量。最后進(jìn)行亞像素卷積實(shí)現(xiàn)上采樣得到超分辨率偏振圖像。條件批量歸一化在亞像素重構(gòu)階段進(jìn)行，使得亞像素卷積的輸入通道數(shù)不受放大倍率的限制，提高重構(gòu)圖像的細(xì)節(jié)信息。完成重構(gòu)后即輸出對應(yīng)偏振方向的超分辨率偏振圖