李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijianeptember13,2025第4章對抗樣本攻擊與防護(hù)本章介紹對抗樣本生成算法主要用于生成能夠欺騙機(jī)器學(xué)習(xí)模型的輸入樣本。這些算法通過在原始輸入數(shù)據(jù)中添加微小的、難以察覺的擾動，使得模型做出錯誤的預(yù)測。 知識要點：了解對抗樣本攻擊背景概述熟悉對抗樣本攻擊的問題定義與攻擊分類熟悉幾種常見對抗樣本攻擊算法掌握對抗樣本攻擊具體實施案例了解對抗樣本攻擊的防護(hù)措施內(nèi)容提綱4.3對抗樣本攻擊算法4.2對抗樣本攻擊基礎(chǔ)知識4.1對抗樣本攻擊概述4.4實踐案例：MNIST手寫數(shù)字識別4.5對抗樣本攻擊防護(hù)小結(jié)4.1對抗樣本攻擊概述

2013年，Szegedy等人[2]在研究圖像分類問題時，觀察到一個“反直覺”現(xiàn)象：通過對輸入圖像添加人類視覺難以察覺的細(xì)微擾動，即可使深度神經(jīng)網(wǎng)絡(luò)DNN以較高置信度輸出錯誤分類結(jié)果。研究者將這種現(xiàn)象稱為對抗樣本攻擊，將添加細(xì)微擾動后的原始樣本稱為對抗樣本。之后，越來越多的研究還發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN等深度學(xué)習(xí)模型也存在類似問題。自發(fā)現(xiàn)對抗樣本以來，對抗攻擊的執(zhí)行手段層出不窮。了解熟悉對抗樣本攻擊的實現(xiàn)原理，有助于對抗防護(hù)的施行。本章將對對抗樣本攻擊具體算法進(jìn)行深入解析，并介紹一種對抗樣本攻擊的具體案例。內(nèi)容提綱4.3對抗樣本攻擊算法4.2對抗樣本攻擊基礎(chǔ)知識4.1對抗樣本攻擊概述4.4實踐案例：MNIST手寫數(shù)字識別4.5對抗樣本攻擊防護(hù)小結(jié)4.2對抗樣本攻擊基礎(chǔ)知識4.2.1問題定義對抗樣本攻擊是針對深度學(xué)習(xí)模型的一種惡意攻擊方法，其核心特征在于利用微小且難以察覺的擾動讓模型發(fā)生預(yù)測錯誤。4.2對抗樣本攻擊基礎(chǔ)知識4.2.1問題定義對抗樣本攻擊4.2對抗樣本攻擊基礎(chǔ)知識攻擊分類：

根據(jù)攻擊環(huán)境的不同，即攻擊者獲取先驗信息多少的不同，對抗樣本攻擊可以分為白盒攻擊（WhiteBoxAttack）和黑盒攻擊（BlackBoxAttack）[4]。白盒攻擊的攻擊者知曉攻擊模型的全部信息，包括訓(xùn)練數(shù)據(jù)、超參數(shù)、模型架構(gòu)等。而黑盒攻擊的攻擊者無法獲取模型網(wǎng)絡(luò)結(jié)構(gòu)、超參數(shù)等內(nèi)部信息，僅能控制輸入來獲取模型有限的輸出結(jié)果。相較于白盒攻擊，黑盒攻擊不需要獲取模型自身相關(guān)信息，更加符合實際應(yīng)用場景。根據(jù)擾動生成方法的不同，可以將對抗樣本攻擊分為基于梯度的攻擊、基于優(yōu)化的攻擊、基于遷移的攻擊和基于查詢的攻擊?；谔荻鹊墓粢蕾囉谀Ｐ偷奶荻刃畔ⅲㄟ^計算損失函數(shù)關(guān)于輸入的梯度來生成擾動，常見的攻擊方法有快速梯度符號法、迭代梯度法和投影梯度下降法等。4.2對抗樣本攻擊基礎(chǔ)知識攻擊分類：內(nèi)容提綱4.3對抗樣本攻擊算法4.2對抗樣本攻擊基礎(chǔ)知識4.1對抗樣本攻擊概述4.4實踐案例：MNIST手寫數(shù)字識別4.5對抗樣本攻擊防護(hù)小結(jié)4.3對抗樣本攻擊算法4.3.1基于梯度的攻擊1.快速梯度符號法快速梯度符號法（FastGradientSignMethod,FGSM）是由Goodfellow等人在2014年研究神經(jīng)網(wǎng)絡(luò)模型對抗擾動干擾的脆弱性原因時提出的[4]。他們認(rèn)為對抗樣本產(chǎn)生的主要原因不是非線性和過擬合，而是模型本身的線性特性，讓高維空間中的線性特性足以產(chǎn)生對抗樣本，并以此為基礎(chǔ)設(shè)計了一種簡易的對抗樣本生成方法FGSM。4.3對抗樣本攻擊算法4.3.1基于梯度的攻擊1.快速梯度符號法4.3對抗樣本攻擊算法4.3.1基于梯度的攻擊2.迭代梯度法：FGSM算法只需要計算一次梯度，生成對抗樣本的速度非?？?，適合做對抗攻擊的基準(zhǔn)測試，但生成的對抗樣本可能并不總是最強(qiáng)的。迭代梯度法（IterativeFastGradientSignMethod,I-FGSM）算法便是采用迭代方法的FGSM擴(kuò)展方法，也被稱為基礎(chǔ)迭代方法（BasicIterativeMethod,BIM）4.3對抗樣本攻擊算法4.3.1基于梯度的攻擊2.迭代梯度法：4.3對抗樣本攻擊算法3.MI-FGSM算法基于動量的快速梯度符號法（MomentumIterativeFastGradientSignMethod,MI-FGSM）通過引入動量加速迭代優(yōu)化過程，有助于穩(wěn)定對抗擾動更新方向和跳出局部最優(yōu)解，有利于增強(qiáng)對抗樣本的對抗遷移性。而動量法是一種通過在迭代過程中累積沿?fù)p失函數(shù)梯度方向的速度矢量，從而加速梯度下降的技術(shù)。記住之前的梯度信息可以幫助算法更順利地穿越狹窄的山谷、小的駝峰以及較差的局部最小值或最大值。4.3對抗樣本攻擊算法3.MI-FGSM算法基于動量的快速梯度符號法4.3對抗樣本攻擊算法3.MI-FGSM算法基于動量的快速梯度符號法4.3對抗樣本攻擊算法3.MI-FGSM算法:基于動量的快速梯度符號法4.3對抗樣本攻擊算法4.投影梯度下降法投影梯度下降法（ProjectedGradientDescent，PGD）[7]是由Madry等人在2017年提出的，它既是生成對抗樣本的算法，也是對抗訓(xùn)練的防御算法。此外，Mardry等人的論文指出PGD是一階中的最強(qiáng)攻擊。這表明如果某一防御方法對該攻擊有很好的防御效果，那么應(yīng)對其攻擊也不在話下。4.3對抗樣本攻擊算法4.投影梯度下降法投影梯度下降法。4.3對抗樣本攻擊算法基于優(yōu)化的攻擊:C&W（Carlini&Wagner）[8]算法是由Carlini和Wagner在2017年提出的一種基于優(yōu)化的攻擊方式，它同時兼顧高攻擊準(zhǔn)確率和低對抗擾動兩方面，旨在生成更難以防御的對抗樣本。與FGSM和PGD等算法生成的對抗樣本可能存在肉眼可見的模糊不同，C&W算法的對抗樣本幾乎無法人眼區(qū)分。該算法的核心思想是將對抗樣本視為一個優(yōu)化參數(shù)。為了確保攻擊成功，必須滿足兩個條件：（1）對抗樣本與原始樣本之間的差異越小越好；（2）對抗樣本應(yīng)使得模型分類錯誤，并且錯誤的概率越高越好。也就是說，該算法通過優(yōu)化方法生成對抗樣本，能夠確保在攻擊成功的前提下，盡可能減小擾動的幅度。4.3對抗樣本攻擊算法基于優(yōu)化的攻擊:C&W算法是目前最為優(yōu)秀的對抗攻擊之一，能夠生成幾乎不可察覺的對抗樣本，對許多經(jīng)典的防御手段都能起到有效的攻擊效果，并且能夠通過調(diào)節(jié)c與k的取值，來精細(xì)化調(diào)節(jié)擾動大小。4.3對抗樣本攻擊算法4.3.3基于遷移的攻擊:基于遷移的攻擊是一種黑盒攻擊，它允許攻擊者在無法直接訪問目標(biāo)模型的內(nèi)部結(jié)構(gòu)或參數(shù)的情況下，通過借用與目標(biāo)模型相似的源模型的信息來生成對抗擾動，并將這些擾動應(yīng)用到目標(biāo)模型中。這一方法借鑒了“遷移學(xué)習(xí)”的思想，遷移學(xué)習(xí)指的是從一個任務(wù)中獲得的知識可以遷移到另一個相關(guān)任務(wù)。4.3對抗樣本攻擊算法4.3.4基于查詢的攻擊:

ZOO（ZerothOrderOptimizationBasedBlack-boxAttacks）[10]算法是一種針對深度神經(jīng)網(wǎng)絡(luò)的黑盒攻擊算法，其核心原理是在無法獲取目標(biāo)模型內(nèi)部結(jié)構(gòu)和梯度信息的情況下，利用有限差分方法近似估計目標(biāo)函數(shù)相對與輸入的梯度，并通過迭代優(yōu)化生成對抗樣本，從而實現(xiàn)對目標(biāo)模型的攻擊。內(nèi)容提綱4.3對抗樣本攻擊算法4.2對抗樣本攻擊基礎(chǔ)知識4.1對抗樣本攻擊概述4.4實踐案例：MNIST手寫數(shù)字識別4.5對抗樣本攻擊防護(hù)小結(jié)4.4實踐案例：MNIST手寫數(shù)字識別4.4.1實踐概述MNIST手寫數(shù)字識別是一個經(jīng)典的機(jī)器學(xué)習(xí)任務(wù)和數(shù)據(jù)集。MNIST數(shù)據(jù)集包含7萬張28×28像素的灰度手寫數(shù)字圖像，以及每張圖像對應(yīng)的0-9數(shù)字標(biāo)簽。該任務(wù)的目標(biāo)是通過訓(xùn)練模型學(xué)習(xí)圖像特征與數(shù)字標(biāo)簽之間的映射關(guān)系，使模型能夠準(zhǔn)確識別新的手寫數(shù)字圖像。該案例使用的LeNet模型作為MNIST手寫數(shù)字識別的目標(biāo)模型，其為官方提供的一個示例模型。同時，采用FGSM和PGD兩種對抗樣本生成算法執(zhí)行白盒攻擊，以求幫助大家熟悉對抗樣本攻擊算法的實現(xiàn)步驟，以及比較FGSM和PGD兩種算法的效能區(qū)別。4.4實踐案例：MNIST手寫數(shù)字識別4.4.2實踐環(huán)境

Python版本：3.10.15或更高版本 深度學(xué)習(xí)框架：torch2.5.1，CUDA12.5

其他庫版本：numpy1.26.4，matplotlib3.10.0

數(shù)據(jù)集：MNIST4.4實踐案例：MNIST手寫數(shù)字識別4.4.3實踐步驟該案例執(zhí)行白盒攻擊的一般步驟如圖4-8所示。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼首先，定義LeNet模型網(wǎng)絡(luò)結(jié)構(gòu)和定義攻擊函數(shù)。其中，目標(biāo)模型網(wǎng)絡(luò)結(jié)構(gòu)定義為具有兩個卷積層、一個池化層和兩個全連接層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。模型定義與加載的具體代碼如下。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼第一個攻擊方法為FGSM，其攻擊函數(shù)代碼如下。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼第二個攻擊方法為PGD，其攻擊函數(shù)代碼如下。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼其次，定義白盒攻擊測試函數(shù)和執(zhí)行攻擊，其中攻擊測試函數(shù)的代碼如下。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼:加載MNIST數(shù)據(jù)集，并執(zhí)行攻擊，代碼如下。4.4實踐案例：MNIST手寫數(shù)字識別4.4.4實踐核心代碼:

最后，繪制圖像。繪制模型準(zhǔn)確率隨epsilon變化的折線圖和所有eplison下導(dǎo)致模型分類錯誤的部分樣例圖，代碼如下（這里只給出了一種攻擊的代碼）。4.4實踐案例：MNIST手寫數(shù)字識別4.4.5實踐結(jié)果4.4實踐案例：MNIST手寫數(shù)字識別4.4.5實踐結(jié)果內(nèi)容提綱4.3對抗樣本攻擊算法4.2對抗樣本攻擊基礎(chǔ)知識4.1對抗樣本攻擊概述4.4實踐案例：MNIST手寫數(shù)字識別4.5對抗樣本攻擊防護(hù)小