(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(21)申請?zhí)?02211394375.1(65)同一申請的已公布的文獻(xiàn)號(43)申請公布日2023.01.17(73)專利權(quán)人廣州大學(xué)地址510006廣東省廣州市大學(xué)城外環(huán)西路230號(72)發(fā)明人王員根林嘉裕審查員古志春(74)專利代理機(jī)構(gòu)廣州高航知識產(chǎn)權(quán)代理有限公司11530專利代理師覃釗雄一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的本發(fā)明公開了一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transformer方法，本發(fā)明設(shè)計了一個用于(TSFormer),其中包括結(jié)構(gòu)增強(qiáng)模塊(SEM)和同將Edge和定向梯度直方圖HOG作為結(jié)構(gòu)特征，用于輔助STT網(wǎng)絡(luò)，通過利用該模塊在缺失區(qū)域中生成邊緣(Edge)和定向梯度(HOG)特征的直方圖作為草圖張量空間，在圖像修復(fù)任務(wù)中利用Edge與HOG特征，為局部子區(qū)域提供梯度方向或邊緣方向分布；因此，設(shè)計了一個同步追蹤雙軸Transformer(STT),用于統(tǒng)一特征提取和結(jié)構(gòu)特征融合，采用增量訓(xùn)練策略將有效的結(jié)構(gòu)信息動態(tài)傳遞給修復(fù)模型，設(shè)計了一個低復(fù)雜度的通道空間雙軸注意力模塊，用于并行捕獲通道和空間21.一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transformer方法，其特征在于，包括跟蹤結(jié)構(gòu)Transformer,所述跟蹤結(jié)構(gòu)Transformer包括結(jié)構(gòu)增強(qiáng)模塊(SEM)和同步跟蹤雙軸S2:將三幅圖像拼接后輸入到SEM中，得到恢復(fù)的邊緣Eout和恢復(fù)的HOGHou特征作為草分別使用二元交叉熵(BCE)和1?損失來重建完整的邊緣Edge和HOG特征，實驗中取λ=0.1,HOG在子區(qū)域內(nèi)雕刻梯度方向和邊緣方向的分布，通過減去相鄰像素來實現(xiàn)捕捉局部2.根據(jù)權(quán)利要求1所述的一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transformer方法，其特征在于，所述S3中，STT是一種遵循編碼器解碼器風(fēng)格的U-Net架構(gòu)，設(shè)計了具有24個基本3.根據(jù)權(quán)利要求2所述的一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transformer方法，其特征在結(jié)構(gòu)和紋理的遠(yuǎn)程依賴，包括self-attention,并引入了cross-捕捉通道和空間之間的相關(guān)性，STCM可3Attention(Qs,Ks,V)=Vs·Softmax(Ks·Q/μ)(5)將紋理標(biāo)記和結(jié)構(gòu)標(biāo)記連接起來并輸入到前饋網(wǎng)絡(luò)中，作為下一輪的輸入，得到的特4.根據(jù)權(quán)利要求3所述的一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transform在空間軸上，使用空間窗口注意力來捕獲空間依賴性，窗口是使用前饋網(wǎng)絡(luò)融合上述特征，應(yīng)用3×3深度卷積對輸入特征進(jìn)行編碼，這有助于學(xué)習(xí)有關(guān)局部空間上下文的信息，給定結(jié)構(gòu)目標(biāo)流生成的結(jié)構(gòu)特征X∈RH××C/2,圖像補(bǔ)全流G(X)=GELU(W!w(LN(X))ow2W-(LN(X))層的兩條平行路徑的元素乘積，前饋網(wǎng)絡(luò)可以混合不同的特征并控制各個層級的信息流，4一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的Transformer方法背景技術(shù)先驗和空間不變核使得難以恢復(fù)圖像的整體結(jié)構(gòu)。2)先前利用結(jié)構(gòu)信息的方[0007]針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種用于圖像修復(fù)的追蹤結(jié)構(gòu)的5局結(jié)構(gòu)信息，卷積尾部采用轉(zhuǎn)置卷積將這些特征上采樣到輸出結(jié)構(gòu)Et和Ht,mer來優(yōu)化[0016]HOG在子區(qū)域內(nèi)雕刻梯度方向和邊緣方向的分布，通過減去相鄰像素(梯度濾波)流包括一個通道空間雙軸注意模塊(CSPC),設(shè)計了具有20個基本Transformer塊的解碼器，計了STCM(STT的關(guān)鍵組件),可以分別同步捕獲對結(jié)構(gòu)和紋理的遠(yuǎn)程依賴，除了self-6全流生成的通道特征X∈R×w×c/2和空間特征X∈R××c/2,該前饋網(wǎng)絡(luò)表示為:是層歸一化，◎是卷積層的兩條平行路徑的元素乘積，一個跟蹤結(jié)構(gòu)變換器(TSFormer),允許同步提取結(jié)構(gòu)和紋理特征，其中紋理是通過跟蹤結(jié)到定向梯度直方圖(HOG)可以雕刻局部子區(qū)域的梯度方向分布和邊緣方向，首先在圖像修7的通道空間雙軸注意力模塊(CSPC),以允許有效地共同學(xué)習(xí)通道和空間視覺線索。[0041]優(yōu)選的，所述一個跟蹤結(jié)構(gòu)Transformer(TSFormer),其中包括結(jié)構(gòu)增強(qiáng)模塊[0042]本發(fā)明要解決的另一技術(shù)問題是提供追蹤結(jié)構(gòu)的Transformer對于圖像修復(fù)方自注意力的計算量，基于通道的自注意力在[0048]HOG在子區(qū)域內(nèi)雕刻梯度方向和邊緣方向的分布，通過減去相鄰像素(梯度濾波)公式為Iut=STT(Iin,Hout,Eout),通道C=24;提出的同步追蹤雙軸Transformer(STT)是一種了具有24個基本Transformer塊的編碼器，每個塊由一個結(jié)構(gòu)-紋理跨注意模塊(STCM)組成，其圖像完成流包括一個通道空間雙軸注意模塊(CSPC),設(shè)計了具有20個基本力以捕獲紋理和特定于目標(biāo)的結(jié)構(gòu)，STCM對兩個流執(zhí)行交叉注意力以融合它們的交互信8圖像補(bǔ)全流的注意力圖；[0059]AttentioncnomeaQ,K,V)=V·Softmax(K·Q/μ)學(xué)習(xí)有關(guān)局部空間上下文的信息，給定結(jié)構(gòu)目標(biāo)流生成的結(jié)構(gòu)特征X∈R××c/2,圖像補(bǔ)9是層歸一化，◎是卷積層的兩條平行路徑的元素乘積，前饋網(wǎng)絡(luò)可以混合不同的特征并控制各個層級的信息流，允許每個層級專注于補(bǔ)充其他層級的細(xì)節(jié)；所述追蹤結(jié)構(gòu)的Transformer對于圖像修復(fù)方法核心目標(biāo)是設(shè)計一個跟蹤結(jié)構(gòu)Transformer(TSFormer),允許同步提取結(jié)構(gòu)和紋理特征，其中紋理是通過跟蹤結(jié)構(gòu)來提取，修復(fù)的圖像在結(jié)構(gòu)和紋理上具有一致性，避免了孔邊界處的非重疊偽影，提出了一種新穎的同步自注意力方法來并行提取紋理和結(jié)構(gòu)，同時提出了一種交叉注意力方法來允許它們交互，所提出的TSFormer的總體框架由兩個網(wǎng)絡(luò)組成：結(jié)構(gòu)增強(qiáng)模塊(SEM)和同步跟蹤雙軸Transformer(STT),SEM旨在恢復(fù)圖像結(jié)構(gòu)，包括邊緣和定向梯度(HOG)特征的直方圖，提出的核心網(wǎng)絡(luò)(STT)包括結(jié)構(gòu)紋理同步注意模塊和通道空間雙軸注意模塊；所述一個跟蹤結(jié)構(gòu)Transformer(TSFormer),它包括三個核心設(shè)計，考慮到定向梯度直方圖(HOG)可以雕刻局部子區(qū)域的梯度方向分布和邊緣方向，首先在圖像修復(fù)中引入HOG,并構(gòu)建結(jié)構(gòu)增強(qiáng)模塊(SEM)來恢復(fù)草圖空間中的整體圖像邊緣和HOG,再次提出一個結(jié)構(gòu)紋理跨注意模塊(STCM)旨在跟蹤圖像結(jié)構(gòu)并執(zhí)行固有通信，允許特征提取更具體到結(jié)構(gòu)目標(biāo)，提出了一種門控機(jī)制來動態(tài)傳輸結(jié)構(gòu)信息，在同步模塊中，提出了一種新穎的通道空間雙軸注意力模塊(CSPC),以允許有效地共同學(xué)習(xí)通道和空間視覺線索；所述一個跟蹤結(jié)構(gòu)Transformer(TSFormer),其中包括結(jié)構(gòu)增強(qiáng)模塊(SEM)和同步追蹤雙軸Transformer(STT),在SEM,將Edge和定向梯度直方圖(HOG)作為結(jié)構(gòu)特征，用于輔助STT網(wǎng)絡(luò)，在STT網(wǎng)絡(luò)中，提出一個結(jié)構(gòu)紋理跨注意模塊(STCM)旨在跟蹤圖像結(jié)構(gòu)并執(zhí)行固有通信，允許特征提取更具體到結(jié)構(gòu)目標(biāo)，并且在同步模塊中，提出了一種新穎的通道空間雙軸注意力模塊(CSPC),以允許有效地共同學(xué)習(xí)通道和空間視覺線索。附圖說明[0069]圖1:主干網(wǎng)絡(luò)(TSFormer)概述；[0071]圖3:通道空間雙軸注意力(CSPC)模塊圖；[0072]圖4:本發(fā)明在不規(guī)則的空洞上的修復(fù)效果與現(xiàn)有基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)對比；[0073]圖5:本發(fā)明與現(xiàn)有基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)在人臉修復(fù)上的對比；[0074]圖6:本發(fā)明與現(xiàn)有基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)在建筑修復(fù)上的對比。[0076]與現(xiàn)有技術(shù)相比，本發(fā)明提供了追蹤結(jié)構(gòu)的Transformer對于圖像修復(fù)方法，具備以下有益效果：[0077]1、該追蹤結(jié)構(gòu)的Transformer對于圖像修復(fù)方法，本發(fā)明設(shè)計了一個用于圖像修復(fù)的端到端跟蹤結(jié)構(gòu)Transformer(TSFormer),其中包括結(jié)構(gòu)增強(qiáng)模塊(SEM)和同步追蹤雙軸Transformer(STT)。具體來說，在SEM,本專利將Edge和定向梯度直方圖(HOG)作為結(jié)構(gòu)特圖像結(jié)構(gòu)并執(zhí)行固有通信。這種同步允許特征提取更具體到結(jié)構(gòu)目標(biāo)。并且在同步模塊中，本專利提出了一種新穎的通道空間雙軸注意力模塊(CSPC),以允許有效地共同學(xué)習(xí)通道和空間視覺線索。征，它可以為局部子區(qū)域提供梯度方向或邊緣方向分布設(shè)計了一個同步追蹤雙軸Transformer(STT),用于統(tǒng)一特征提取和結(jié)構(gòu)特征融合。中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施1,Iin=Igt○M表示損壞的圖像，Y=YgtOM、H=Hgt0M和E=Egt0M分別表示缺失的灰色、HOG和CannyEdge圖像；自注意力的計算量，基于通道的自注意力在[0086]HOG在子區(qū)域內(nèi)雕刻梯度方向和邊緣方向的分布，通過減去相鄰像素梯度濾波來公式為Iout=STT(Iin,Hout,Eout),通道C=24;提出的同步追蹤雙軸Transformer(STT)是一種了具有24個基本Transformer塊的編碼器，每個塊由一個結(jié)構(gòu)-紋理跨注意模塊(STCM)組成，其圖像補(bǔ)全序列包括一個通道空間雙軸注意模塊(CSPC),設(shè)計了具有20個基本征根據(jù)通道分為結(jié)構(gòu)特征和紋理特征兩部分；CSPC的說明為：通道空間兩軸注意力模塊全生成的通道特征X∈RH××C/2和空間特征X,∈RH××c/2,,該前饋網(wǎng)絡(luò)表示為：是層歸一化，◎是卷積層的兩條平行路徑的元素乘積，前饋網(wǎng)絡(luò)可以混合不同的特征并控制各個層級的信息流，允許每個層級專注于補(bǔ)充其他層級的細(xì)節(jié)；追蹤結(jié)構(gòu)的Transformer對于圖像修復(fù)方法核心目標(biāo)是設(shè)計一個跟蹤結(jié)構(gòu)變換器TSFormer,允許同步提取結(jié)構(gòu)和紋理特征，其中紋理是通過跟蹤結(jié)構(gòu)來提取，修復(fù)的圖像在結(jié)構(gòu)和紋理上具有一致性，避免了孔邊界處的非重疊偽影，提出了一種新穎的同步自注意力方法來并行提取紋理和結(jié)構(gòu)，同時提出了一種交叉注意力方法來允許它們交互，所提出的TSFormer的總體框架由兩個網(wǎng)絡(luò)組成：結(jié)構(gòu)增強(qiáng)模塊SEM和同步跟蹤雙軸Tran緣和定向梯度(HOG)特征的直方圖，提出的核心網(wǎng)絡(luò)STT包括結(jié)構(gòu)-紋理同步注意模塊和通道空間雙軸注意模塊；一個跟蹤結(jié)構(gòu)Transformer(TSFormer),它包括三個核心設(shè)計，考慮到定向梯度直方圖HOG可以雕刻局部子區(qū)域的梯度方向分布和邊緣方向，首先在圖像修復(fù)中引入HOG,并構(gòu)建結(jié)構(gòu)增強(qiáng)模塊SEM來恢復(fù)草圖空間中的整體圖像邊緣和HOG,再次提出一個結(jié)構(gòu)紋理跨注意模塊STCM旨在跟蹤圖像結(jié)構(gòu)并執(zhí)行固有通信，允許特征提取更具體到結(jié)構(gòu)目標(biāo)，提出了一種門控機(jī)制來動態(tài)傳輸結(jié)構(gòu)信息，在同步模塊中，提出了一種新穎的通道空間雙軸注意力模塊CSPC,以允許有效地共同學(xué)習(xí)通道和空間視覺線索；一個跟蹤結(jié)構(gòu)Transformer(TSFormer),