(12)發(fā)明專利(10)授權(quán)公告號CN120088838B(65)同一申請的已公布的文獻(xiàn)號(73)專利權(quán)人齊魯工業(yè)大學(xué)(山東省科學(xué)院)3501號GO6V40/40(2022.01)王玉立王春鵬李琦李健王曉雨張佩任啟迎許宏吉孫岳岳張倩(74)專利代理機(jī)構(gòu)北京中索知識產(chǎn)權(quán)代理有限公司11640專利代理師商金婷(54)發(fā)明名稱一種基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法本發(fā)明公開一種基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，涉及圖像處理技術(shù)領(lǐng)域，其構(gòu)造基于特征增強(qiáng)的Mamba框架；該框架在原有Mamba框架的基礎(chǔ)上引入了局部性增強(qiáng)狀態(tài)空間模塊，該模塊包括全局特征增強(qiáng)模塊和局部特征增強(qiáng)模塊；S3:模型的訓(xùn)練；具體的圖像特征提取流程如下：S31:全局特征增強(qiáng)模塊的特征提取；S32:局部特征增強(qiáng)模塊的特征提?。籗33:融合特征的獲??；S4:損失函數(shù)構(gòu)造。本發(fā)明要解決的技術(shù)問題是提供一種基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，該框架能夠精準(zhǔn)捕捉圖像的全圖像。囂囂面1他2S1:數(shù)據(jù)集的準(zhǔn)備；該框架在原有Mamba框架的基礎(chǔ)上引入了局部性增強(qiáng)狀態(tài)空間模塊，該模塊包括全局特征增強(qiáng)模塊和局部特征增強(qiáng)模塊；S3:模型的訓(xùn)練；具體的圖像特征提取流程如下：S31:全局特征增強(qiáng)模塊的特征提??；S32:局部特征增強(qiáng)模塊的特征提?。籗33:融合特征的獲??；S4:損失函數(shù)構(gòu)造；所述S31的具體步驟為：將圖片經(jīng)過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后提取到全局信息G?通過全局特征增強(qiáng)模塊進(jìn)行處理，得到增強(qiáng)后的全局特征信息G。;全局增強(qiáng)特征G。提取公式如下：G=LN(D?(SSMs(E(σ(其中：n∈N表示的是全局特征增強(qiáng)模塊的數(shù)量；LNO)表示的是層歸一化；SSMs()表示的是狀態(tài)空間模型；E?()表示的是全局特征增強(qiáng)模塊編碼器；Das()表示的是全局特征增強(qiáng)模塊解碼器；σ()表示的是激活函數(shù)；DWConv??()表示的是卷積核大小為3x3的深度可分離卷積；Linear()表示的是線性層；GSS()表示的是全局特征增強(qiáng)模塊；在全局特征增強(qiáng)模塊中，全局特征增強(qiáng)模塊編碼器和全局特征增強(qiáng)模塊解碼器都使用希爾伯特掃描方法進(jìn)行掃描；希爾伯特曲線的生成公式如下：3四個n階希爾伯特矩陣H、H、H和H來構(gòu)建的；2.根據(jù)權(quán)利要求1所述的基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，其特征在于：3.根據(jù)權(quán)利要求2所述的基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，其特征在于：將通過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后得到的人臉局部特征L,輸入到兩個L=ConvB(DWConvBk(ConvBDWConvBk()表示的是卷積核大小為kxk的深度可分離卷積。4.根據(jù)權(quán)利要求3所述的基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，其特征在于：5.根據(jù)權(quán)利要求4所述的基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，其特征在于：4交叉熵?fù)p失函數(shù)LcE的公式為：y,是第i個樣本的真實(shí)標(biāo)簽；P?是第i個樣本的預(yù)測概率；LL1損失函數(shù)計(jì)算公式為：其中：,是第i個樣本的預(yù)測值；LL2損失函數(shù)計(jì)算公式為：將這三種損失函數(shù)結(jié)合使用，通過加權(quán)求和的方式形成一個總的損失函數(shù)Ltotal,在訓(xùn)練過程中使總的損失函數(shù)Ltota?的值不斷減小，從而優(yōu)化模型的性能，提高分類的準(zhǔn)確性，總損失函數(shù)Ltota?的公式為：5技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體地講，涉及一種基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法。背景技術(shù)[0002]深度學(xué)習(xí)的發(fā)展使得人臉偽造技術(shù)日益成熟，通過生成對抗網(wǎng)絡(luò)等技術(shù)可以生成逼真的人臉圖像，偽造的內(nèi)容不僅用來制造色情視頻和虛假新聞，還可能被用于政治攻擊臉圖像，維護(hù)社會安全和公共秩序成為亟待解決的問題。[0003]現(xiàn)有的人臉偽造檢測方法雖然已經(jīng)取得了不錯的效果，但在人臉特征提取時，卷積神經(jīng)網(wǎng)絡(luò)仍然存在難以建模長程依賴關(guān)系的問題，無法建模長程依賴關(guān)系會使檢測模型在訓(xùn)練過程中無法充分利用全局的關(guān)聯(lián)信息，從而導(dǎo)致檢測結(jié)果出現(xiàn)錯誤。而Transformer框架存在計(jì)算復(fù)雜度高導(dǎo)致偽造檢測耗時過多的問題，高計(jì)算復(fù)雜度不僅增加了硬件成本，還可能導(dǎo)致系統(tǒng)在資源有限的情況下無法正常運(yùn)行，同時，在處理大規(guī)模數(shù)據(jù)時變得更加困難，可能導(dǎo)致系統(tǒng)運(yùn)行緩慢甚至崩潰。發(fā)明內(nèi)容[0004]本發(fā)明要解決的技術(shù)問題是提供一種基于特征增強(qiáng)Mamba框架的人臉偽造檢測方法，將Mamba框架應(yīng)用到深度偽造檢測領(lǐng)域，并對原有框架進(jìn)行創(chuàng)新性改造，在此基礎(chǔ)上提出了基于特征增強(qiáng)Mamba框架，該框架能夠精準(zhǔn)捕捉圖像的全局以及局部特征，在復(fù)雜多變的人臉偽造檢測中取得了良好的效果，能夠有效識別出偽造的人臉圖像。[0005]本發(fā)明采用如下技術(shù)方案實(shí)現(xiàn)發(fā)明目的：[0007]S1:數(shù)據(jù)集的準(zhǔn)備；[0008]S2:構(gòu)造基于特征增強(qiáng)的Mamba框[0009]該框架在原有Mamba框架的基礎(chǔ)上引入了局部性增強(qiáng)狀態(tài)空間模塊，該模塊包括全局特征增強(qiáng)模塊和局部特征增強(qiáng)模塊；[0010]S3:模型的訓(xùn)練；[0011]具體的圖像特征提取流程如下：[0012]S31:全局特征增強(qiáng)模塊的特征提??；[0013]S32:局部特征增強(qiáng)模塊的特征提??；[0014]S33:融合特征的獲取；[0015]S4:損失函數(shù)構(gòu)造。[0016]作為本技術(shù)方案的進(jìn)一步限定，所述S31的具體步驟為：[0017]將圖片經(jīng)過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后提取到全局信息G通過全局特征增強(qiáng)模塊進(jìn)行處理，得到增強(qiáng)后的全局特征信息G。;6G,=LN(Ds(SSMs(E(σ(DWConv?×(Linear(LN(G,))[0021]LN(表示的是層歸一化；[0038]將通過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后得到的人臉局部特征L輸入到7[0041]DWConvB()表示的是卷積核大小為kxk的深度可分離卷積。[0042]作為本技術(shù)方案的進(jìn)一步限定，所述S33的具體步驟為：[0043]通過沿通道維度的串聯(lián)，將增強(qiáng)后的全局特征和局部特征融合在一起，形成融合特征，該模塊的最終輸出X。通過1×1的2D卷積獲得，以恢復(fù)通道計(jì)數(shù)，使其與輸入和殘差連接的通道計(jì)數(shù)相匹配，公式如下：[0045]其中：X為局部性增強(qiáng)狀態(tài)空間模塊的輸入；[0048]作為本技術(shù)方案的進(jìn)一步限定，所述S4的具體步驟為：[0049]將特征增強(qiáng)Mamba框架提取到的特征圖X輸入到全連接層FC中，通過分類器進(jìn)行分類，判斷人臉圖像是真實(shí)的還是偽造的，在這個過程中通過交叉熵?fù)p失函數(shù)LcE、LL?損失函數(shù)以及L??2損失函數(shù)指導(dǎo)模型進(jìn)行訓(xùn)練；[0050]交叉熵?fù)p失函數(shù)LcE的公式為：[0054]P?是第i個樣本的預(yù)測概率；[0057]其中：,是第i個樣本的預(yù)測值；[0058]LL?損失函數(shù)計(jì)算公式為：[0060]將這三種損失函數(shù)結(jié)合使用，通過加權(quán)求和的方式形成一個總的損失函數(shù)Ltota?,在訓(xùn)練過程中使總的損失函數(shù)Ltota?的值不斷減小，從而優(yōu)化模型的性能，提高分類的準(zhǔn)確8[0064]本研究提出了一種基于特征增強(qiáng)的Mamba架構(gòu)的創(chuàng)新解決方案，在原有Mamba框架的基礎(chǔ)上創(chuàng)造性地提出了局部性增強(qiáng)狀態(tài)空間模塊。該模塊包括全局特征增強(qiáng)模塊和局部特征增強(qiáng)模塊，在全局特征增強(qiáng)模塊中，解碼器和編碼器采用了Hilbert掃描方法，通過不同方向進(jìn)行掃描，有效地提取了人臉圖像的全局特征。在局部特征增強(qiáng)模塊中，通過卷積模塊以及深度卷積模塊的處理，有效地提取到了人臉圖像的局部特征，最后，將提取到的局部增強(qiáng)特征和全局增強(qiáng)特征進(jìn)行融合，充分獲取了人臉圖像的特征信息，使得人臉圖像偽造檢測的準(zhǔn)確率提高，有效維護(hù)了網(wǎng)絡(luò)空間安全，維護(hù)了社會安全與穩(wěn)定。附圖說明[0065]圖1為本發(fā)明的全局特征增強(qiáng)模塊示意圖。[0066]圖2為本發(fā)明的Hilbert掃描方式。[0067]圖3為本發(fā)明的特征增強(qiáng)Mamba框架結(jié)構(gòu)圖。具體實(shí)施方式[0068]下面結(jié)合附圖，對本發(fā)明的一個具體實(shí)施方式進(jìn)行詳細(xì)描述，但應(yīng)當(dāng)理解本發(fā)明的保護(hù)范圍并不受具體實(shí)施方式的限制。[0069]本發(fā)明包括以下步驟：[0070]S1:數(shù)據(jù)集的準(zhǔn)備。[0071]本發(fā)明的數(shù)據(jù)集選取的是CelebA,其中162079張人臉圖像作為訓(xùn)練集，40520張人臉圖像作為測試集，并將所有圖像調(diào)整為256×256的大??；[0072]S2:構(gòu)造基于特征增強(qiáng)的Mamba框[0073]該框架在原有Mamba框架的基礎(chǔ)上引入了局部性增強(qiáng)狀態(tài)空間模塊，該模塊包括全局特征增強(qiáng)模塊和局部特征增強(qiáng)模塊；通過局部性增強(qiáng)狀態(tài)空間模塊的處理，對預(yù)先提取到的特征進(jìn)行處理，可以得到增強(qiáng)后的全局特征以及局部特征的融合向量，進(jìn)一步增強(qiáng)了特征的表示能力，能夠有效捕捉人臉圖像的特征信息，從而提高復(fù)雜多變的人臉偽造檢測的準(zhǔn)確性。[0074]S3:模型的訓(xùn)練。[0075]首先我們將數(shù)據(jù)集中的圖片輸入到殘差連接網(wǎng)絡(luò)中，殘差連接網(wǎng)絡(luò)通過其多層卷積層和下采樣層，提取不同尺度的特征信息，然后將提取到的不同尺度的特征輸入到到半特征金字塔網(wǎng)絡(luò)中去，讓其融合不同尺度的特征圖，以生成更豐富的多尺度特征表示，接著將輸出的特征圖輸入到基于特征增強(qiáng)的Mamba框架中，該框架引入了局部性增強(qiáng)狀態(tài)空間模塊。該模塊通過全局特征增強(qiáng)模塊以及局部特征增強(qiáng)模塊來處理輸入的圖像，進(jìn)一步增強(qiáng)了特征的表示能力。[0076]具體的圖像特征提取流程如下：[0077]S31:全局特征增強(qiáng)模塊的特征提取。[0078]所述S31的具體步驟為：[0079]圖片經(jīng)過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后提取到全局信息G,通過全局特征增強(qiáng)模塊進(jìn)行處理，得到增強(qiáng)后的全局特征信息G。;9[0080]全局信息G,通過N個全局特征增強(qiáng)模塊處理以獲得全局增強(qiáng)特征G。;全局增強(qiáng)特G,=LN(Ds(SSMs(E(σ(DWConv?×3(Li[0083]LN(表示的是層歸一化；法將輸入的特征圖編碼成適合狀態(tài)空間模型(SSM)處理的序列。全局特征增強(qiáng)模塊解碼器則使用Hilbert掃描方法，將狀態(tài)空間模型輸出的特征序列解碼回原始輸入特征圖的空間n為奇數(shù)組合四個n階希爾伯特矩陣H、H(H轉(zhuǎn)置)、H(H左右翻轉(zhuǎn))和]上下翻轉(zhuǎn))來[0100]圖2展示了8個方向的Hilbert掃描，圖2從(a)到(h)分別為正向掃描，逆向掃描，寬[0101]全局特征增強(qiáng)模塊包括層歸一化(LN)、線性層、深度卷積、Sigmoid線性單元(SigmoidLinearUnit)激活函數(shù)、全局特征增強(qiáng)模塊編碼器、狀態(tài)空間模型(SSM)、全局特征增強(qiáng)模塊解碼器和殘差連接。全局特征增強(qiáng)模塊的內(nèi)部結(jié)構(gòu)示意圖如圖1所示。[0102]S32:局部特征增強(qiáng)模塊的特征提取[0104]將通過殘差連接網(wǎng)絡(luò)和半特征金字塔網(wǎng)絡(luò)處理后得到的人臉局部特征L,輸入到兩個并行的卷積塊進(jìn)行處理，每個塊包括一個1×1卷積塊(Conv1x1)、一個k×k的深度卷積塊(DWConvkxk)和另一個1×1卷積塊(Conv1x1),其中k為深度卷積核的大小，每個卷積塊包括卷積2D層、實(shí)例范數(shù)2D歸一化層和SiLU激活函數(shù)。增強(qiáng)局部特征Lm提取公式如下：[0105]L=ConvB(DWConvBk(ConvB([0107]DWConvBk()表示的是卷積核大小為kxk的深度可分離卷積。[0110]通過沿通道維度的串聯(lián)，將增強(qiáng)