第5章對抗樣本綜述《多媒體信息安全》目錄三一

對抗樣本簡介二

典型的對抗樣本算法

針對深度檢索哈希的對抗樣本攻擊對抗樣本簡介DNN的脆弱性——對抗樣本對抗樣本定義：對抗樣本（Adversarialexamples）是指在原始輸入樣本中添加不可分辨的擾動所形成的新輸入樣本，該樣本會導(dǎo)致模型以高置信度給出一個錯誤的輸出。Szegedy等人在2014年的ICLR中首次提出了對抗樣本，并給出了對抗樣本的數(shù)學(xué)表達。對抗樣本評價指標：1）Perceptibility2）Performance3）EfficiencyC.Szegedy,W.Zaremba,I.Sutskever,J.Bruna,D.Erhan,I.Goodfellow,andR.Fergus.Intriguingpropertiesofneuralnetworks.InInternationalConferenceonLearningRepresentations,2014.(L-BFGS)01對抗樣本簡介對抗樣本的應(yīng)用：1）智能駕駛：對抗樣本可以模擬智能駕駛過程中攻擊者對模型的干擾，避免真實使用中的可能發(fā)生的車輛事故。2）對抗訓(xùn)練：通過將對抗樣本作為一種攻擊，通過對抗訓(xùn)練的方式得到更加魯邦的模型。對抗樣本攻擊方式生成方式白盒攻擊：FGSM,BIM,PGD,CW,Deepfool,DDN…黑盒攻擊:UAP,ZOO,Onepixel…基于梯度的攻擊:FGSM,PGD,Deepfool…基于優(yōu)化的攻擊:CW,DDN…對抗樣本的研究發(fā)展與應(yīng)用02對抗樣本簡介

03對抗樣本的相關(guān)數(shù)學(xué)基礎(chǔ)對抗樣本簡介04梯度下降

x=0.08646011,y=2.0074769020次迭代后目錄三一

對抗樣本簡介二典型的對抗樣本生成算法

針對深度檢索哈希的對抗樣本攻擊典型的對抗樣本生成算法1FastGradientSignMethod

(FGSM)&I-FGSMI.J.Goodfellow,J.Shlens,andC.Szegedy.ExplainingandHarnessingAdversarialExamples.InInternationalConferenceonLearningRepresentations,2015

優(yōu)點：快速

缺點：一步式攻擊，沒有像素裁剪，對復(fù)雜非線性模型成功率低

解決了FGSM一步攻擊無法成功攻擊復(fù)雜非線性模型的問題，同時每一次梯度下降后都進行像素裁剪，改進了對抗樣本質(zhì)量FGSMI-FGSMA.Kurakin,I.Goodfellow,andS.Bengio.Adversarialexamplesinthephysicalworld.InInternationalConferenceonLearningRepresentations(workshoptrack),2017典型的對抗樣本生成算法2MomentumIterativeFastGradientSignMethod(MI-FGSM)MI-FGSMDongY,LiaoF,PangT,etal.Boostingadversarialattackswithmomentum[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018:9185-9193.

Nesterovmomentumiterativefastgradientsignmethod(N-MI-FGSM)進一步改進多步策略，運用動量的思想使得生成的對抗樣本具有良好的傳遞性和圖像質(zhì)量典型的對抗樣本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW優(yōu)化

平均擾動大小攻擊成功率典型的對抗樣本生成算法3CWN.CarliniandD.Wagner.Towardsevaluatingtherobustnessofneuralnetworks.InIEEESymposiumonSecurityandPrivacy(SP),pages39–57,2017.

CW優(yōu)化尋找cc=0.1是個臨界點，c從0.1增大時攻擊成功率迅速上升，小于0.1或者大于1時，攻擊成功率比較平緩二分查找計算出盡量小的c評價：擾動最小的對抗樣本算法之一，攻擊成功率非常高，不足在于運行時間非常長典型的對抗樣本生成算法4Deepfool與UAPS.-M.Moosavi-Dezfooli,A.Fawzi,andP.Frossard.Deepfool:asimpleandaccuratemethodtofooldeepneuralnetworks.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,pages2574–2582,2016.S.M.Moosavi-Dezfooli,A.Fawzi,O.Fawzi,andP.Frossard,‘‘Universaladversarialperturbations,’’inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),Jul.2017,pp.86–94.

UAP的思想是訓(xùn)練出一種可以對整個數(shù)據(jù)集的圖像都有效的對抗樣本,圖像加上這個通用擾動后都會是分類器分類錯誤Deepfool基于Deepfool典型的對抗樣本生成算法4Deepfool與UAPdeepfool典型的對抗樣本生成算法5DecoupledDirectionandNormAttack（DDN）MI-FGSMCWR.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.典型的對抗樣本生成算法5DecoupledDirectionandNormAttack（DDN）R.Jerome,H.LuizG.andOliveira,LuizS.andA.IsmailBenandS.RobertandG.Eric.DecouplingDirectionandNormforEfficientGradient-BasedL2AdversarialAttacksandDefenses.ConferenceonComputerVisionandPatternRecognition,2019.DDN對抗樣本示例目錄三一

對抗樣本簡介二典型的對抗樣本算法

針對深度檢索哈希的對抗樣本攻擊深度檢索哈希簡介針對深度檢索哈希的對抗樣本攻擊每張圖片都可以通過某種算法得到一個hash值，稱為圖片指紋，兩張指紋相近的圖片可以認為是相似圖片，一般用漢明距離來衡量圖像之間的相似程度。圖像哈?？梢杂脕碜鰣D像檢索、以圖搜圖、相似度比較等等隨著人工智能的發(fā)展和圖像數(shù)量的增多，傳統(tǒng)的哈希生成方法在實際應(yīng)用中暴露出效率不高的問題，使用深度學(xué)習(xí)改進圖像哈希成為一個新的趨勢。深度哈希針對深度檢索哈希的對抗樣本攻擊深度哈希有監(jiān)督：訓(xùn)練模型需要標簽，模型精確度高無監(jiān)督：訓(xùn)練模型不需要標簽，模型精確度低Z.Cao,M.Long,J.Wang,andP.S.Yu,“HashNet:Deeplearningtohashbycontinuation,”inProc.ICCV,2017,pp.5609–5618.

HashAdversaryGeneration(HAG)針對深度檢索哈希的對抗樣本攻擊E.Yang,T.Liu,C.Deng,andD.Tao,“Adversarialexamplesforhammingspacesearch,”IEEETransactionsonCybernetics,vol.50,no.4,pp.1473–1484,2020.查詢圖像檢索數(shù)據(jù)庫的哈希碼漢明距離輸出漢明距離最小的前十張圖像增大漢明距離無目標攻擊

選擇性修改像素，避免像素全部修改

DeepHashingTargetedAttack(DHTA)針對深度檢索哈希的對抗樣本攻擊J.Bai,B.Chen,Y.Li,D.Wu,W.Guo,S.Xia,andE.Yang,“Targetedattackfordeephashingbasedretrieval,”inProceedingsofEuropeanConferenceonComputerVision(ECCV),2020,pp.618–634.DeepHashingTargetedAttack(DHTA)針對深度檢索哈希的對抗樣本攻擊深度哈希模型被對抗樣本攻擊后檢索結(jié)果發(fā)生變化Non-targetedDeepHashingA