人工智能安全概述《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)本章知識(shí)點(diǎn)什么是人工智能安全人工智能的數(shù)據(jù)安全、模型安全、運(yùn)行環(huán)境安全人工智能的設(shè)計(jì)、訓(xùn)練、執(zhí)行階段安全人工智能的硬件、操作系統(tǒng)、框架安全人工智能的安全要素未來人工智能安全發(fā)展前景1.1什么是人工智能安全從組成要素的角度來看，人工智能安全問題可以按照數(shù)據(jù)、模型和運(yùn)行環(huán)境進(jìn)行劃分。從生命周期的角度來看，人工智能安全問題可以分為設(shè)計(jì)、訓(xùn)練和執(zhí)行階段。從系統(tǒng)架構(gòu)的角度來看，人工智能安全問題涵蓋了硬件、操作系統(tǒng)、框架和算法等多個(gè)方面。1.1什么是人工智能安全一個(gè)典型案例是2019年的“人臉識(shí)別數(shù)據(jù)泄露”事件。在這起事件中，一家人工智能公司的人臉識(shí)別數(shù)據(jù)庫遭到黑客攻擊，導(dǎo)致數(shù)百萬用戶的個(gè)人信息和面部數(shù)據(jù)泄露。這種數(shù)據(jù)泄露對(duì)個(gè)人隱私和安全構(gòu)成了重大威脅，因?yàn)槿四様?shù)據(jù)可以被用于身份盜竊、虛假認(rèn)證和其他惡意活動(dòng)。圖1-1人臉識(shí)別數(shù)據(jù)泄露1.1什么是人工智能安全人工智能安全是指確保人工智能系統(tǒng)在設(shè)計(jì)、開發(fā)、部署和運(yùn)行過程中免受潛在威脅和攻擊的能力。它涵蓋了數(shù)據(jù)、模型和運(yùn)行環(huán)境等多個(gè)組成要素，要求我們?cè)谡麄€(gè)生命周期中考慮技術(shù)、法律和倫理等方面的因素。人工智能安全的目標(biāo)包括保護(hù)用戶隱私、防止數(shù)據(jù)泄露、抵御惡意攻擊和確保系統(tǒng)的可靠性和魯棒性。1.2人工智能安全問題——按組成要素分類在人工智能系統(tǒng)的構(gòu)建與應(yīng)用中，數(shù)據(jù)、模型及其運(yùn)行環(huán)境是核心要素。數(shù)據(jù)作為人工智能的基石，直接影響著模型的構(gòu)建和性能。而模型則負(fù)責(zé)執(zhí)行任務(wù)和做出決策，因此模型的精準(zhǔn)性和可靠性對(duì)人工智能系統(tǒng)的有效運(yùn)行和安全性至關(guān)重要。同時(shí)，模型的運(yùn)行環(huán)境也是一個(gè)需要考慮的因素，環(huán)境的不穩(wěn)定性可能對(duì)系統(tǒng)的安全性構(gòu)成威脅，特別是在網(wǎng)絡(luò)安全、軟件安全以及依賴庫安全方面。圖1-3數(shù)據(jù)、模型及運(yùn)行環(huán)境的三者關(guān)系1.2.1人工智能的數(shù)據(jù)安全威脅1.數(shù)據(jù)泄露常見的三種數(shù)據(jù)泄露方式

查詢敏感信息的泄露：在人工智能系統(tǒng)特別是交互式人工智能系統(tǒng)中，用戶在詢問與醫(yī)療狀況、財(cái)務(wù)狀況或個(gè)人關(guān)系相關(guān)的問題時(shí)，往往會(huì)泄露私人細(xì)節(jié)。上下文信息的泄漏：即使是看似合理沒有威脅的查詢，在與其他上下文因素結(jié)合時(shí)，也可能間接泄露用戶的敏感信息。模型參數(shù)的泄露：在人工智能系統(tǒng)的訓(xùn)練和部署過程中，模型參數(shù)可能會(huì)泄露給未經(jīng)授權(quán)的實(shí)體。為避免隱私泄露，通?？梢圆扇∫韵虏呗裕簲?shù)據(jù)清洗：通過糾正錯(cuò)誤和不一致來提高數(shù)據(jù)質(zhì)量，是一個(gè)數(shù)據(jù)預(yù)處理基礎(chǔ)步驟，同時(shí)也是隱私保護(hù)的關(guān)鍵步驟，通過實(shí)現(xiàn)匿名化、數(shù)據(jù)最小化來保護(hù)敏感信息。數(shù)據(jù)加密：通過將數(shù)據(jù)轉(zhuǎn)換為加密形式，以防止未經(jīng)授權(quán)的訪問或泄露。數(shù)據(jù)隔離：將不同級(jí)別或類型的數(shù)據(jù)分開存儲(chǔ)和處理的方法，以防止數(shù)據(jù)泄露或不當(dāng)訪問。1.2.1人工智能的數(shù)據(jù)安全威脅2.數(shù)據(jù)中毒數(shù)據(jù)中毒攻擊的常見方式:模型偏斜攻擊：模型偏斜攻擊是一種對(duì)抗性攻擊形式，其目的是擾亂訓(xùn)練數(shù)據(jù)樣本，以改變分類器的分類邊界。反饋誤導(dǎo)攻擊：與模型偏斜專注于引入訓(xùn)練數(shù)據(jù)偏差不同的是，反饋誤導(dǎo)攻擊瞄準(zhǔn)了模型的學(xué)習(xí)模式本身。應(yīng)對(duì)策略:數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理的關(guān)鍵步驟，旨在通過識(shí)別和糾正數(shù)據(jù)中的錯(cuò)誤和不一致來提高數(shù)據(jù)質(zhì)量。魯棒性訓(xùn)練是在訓(xùn)練模型時(shí)，需要考慮模型可能在實(shí)際應(yīng)用中遇到的各種情況，并進(jìn)行相應(yīng)調(diào)整。

圖1-5數(shù)據(jù)中毒示意圖1.2.2人工智能的模型安全威脅1.對(duì)抗樣本攻擊威脅通過在輸入數(shù)據(jù)中引入精心設(shè)計(jì)的微小擾動(dòng)，從而誤導(dǎo)人工智能模型做出不正確的輸出或決策。對(duì)抗性訓(xùn)練是一種有效的策略，通過在訓(xùn)練數(shù)據(jù)中引入對(duì)抗性樣本或者在訓(xùn)練過程中針對(duì)模型進(jìn)行對(duì)抗性優(yōu)化，以增強(qiáng)模型對(duì)對(duì)抗性攻擊的魯棒性。輸入檢測和過濾是防御對(duì)抗性攻擊的重要手段，包括檢測輸入數(shù)據(jù)中的異?；?qū)剐詷颖?，并在模型推理階段對(duì)輸入進(jìn)行過濾，從而減少對(duì)抗性攻擊的影響。魯棒性模型設(shè)計(jì)也是一種重要的防御策略，通過設(shè)計(jì)更加魯棒的模型架構(gòu)，例如使用深度集成學(xué)習(xí)或?qū)剐杂?xùn)練技術(shù)，來提高模型對(duì)對(duì)抗性攻擊的抵抗能力。圖1-6對(duì)抗樣本攻擊原理1.2.2人工智能的模型安全威脅2.模型竊取模型竊取攻擊是指攻擊者以黑盒模型為目標(biāo)，通過多次查詢獲取目標(biāo)模型的全部或者部分信息，進(jìn)而構(gòu)建一個(gè)與目標(biāo)模型功能相近的替代模型以用于構(gòu)造對(duì)抗樣本攻擊目標(biāo)模型的非法行為。為防止模型被非法竊取，可以采取下列的策略和技術(shù)手段來保障其安全：模型加密：通過對(duì)模型進(jìn)行加密，只有經(jīng)過授權(quán)的用戶才能夠解密和訪問模型，從而防止未經(jīng)授權(quán)的訪問者直接獲取模型的細(xì)節(jié)。模型混淆：通過對(duì)模型進(jìn)行混淆，使得模型的結(jié)構(gòu)和參數(shù)變得更加難以理解和分析，從而增加攻擊者分析模型的難度，減少模型被逆向工程的風(fēng)險(xiǎn)。模型水印技術(shù)：通過向模型中嵌入獨(dú)特的標(biāo)識(shí)符或水印，可以在模型被盜用或復(fù)制時(shí)追蹤模型的來源，加強(qiáng)對(duì)模型的控制和保護(hù)。1.2.2人工智能的模型安全威脅3.后門攻擊后門攻擊是一種在人工智能模型中通過植入隱蔽的“觸發(fā)器”來實(shí)施的安全威脅，它讓模型在遇到特定條件時(shí)產(chǎn)生錯(cuò)誤的輸出，而在正常情況下保持正常功能。常見的防御手段有檢查內(nèi)部結(jié)構(gòu)和參數(shù)，以識(shí)別出不符合正常模式的異常連接權(quán)重或神經(jīng)元行為。模型驗(yàn)證技術(shù)也是關(guān)鍵的防御手段，它要求在模型部署前進(jìn)行全面的行為測試，特別是在模擬或?qū)嶋H觸發(fā)條件下，觀察模型是否展示出異?；蝾A(yù)設(shè)的惡意行為。利用對(duì)抗性訓(xùn)練的技術(shù)也可以增強(qiáng)模型對(duì)異常輸入的魯棒性。圖1-8后門攻擊效果示意圖1.2.2人工智能的模型安全威脅4.算法安全威脅算法的安全威脅主要包括弱魯棒性、不可解釋性和偏見歧視問題。為了解決這些算法層面的安全威脅，可以采取多種方法：對(duì)抗性訓(xùn)練通過在訓(xùn)練過程中引入擾動(dòng)樣本，使模型在面對(duì)對(duì)抗性攻擊時(shí)更加穩(wěn)健。模型正則化通過在損失函數(shù)中引入正則化項(xiàng)，減少模型對(duì)輸入數(shù)據(jù)微小變化的敏感性。使用可解釋的模型架構(gòu)，如決策樹和邏輯回歸，可以增加決策的可解釋性和可接受性。圖1-10可解釋的決策樹1.2.3人工智能的模型運(yùn)行環(huán)境安全威脅1.網(wǎng)絡(luò)安全威脅數(shù)據(jù)攔截可能會(huì)導(dǎo)致模型接收到被篡改或損壞的數(shù)據(jù)，從而影響模型的準(zhǔn)確性和可靠性釣魚攻擊也是一種常見的網(wǎng)絡(luò)安全威脅，它主要通過偽裝成可信來源的通訊信息，誘使目標(biāo)用戶透露敏感數(shù)據(jù)，如登錄憑證、信用卡信息等。分布式拒絕服務(wù)（DDoS）攻擊是借助僵尸主機(jī)向模型所在的服務(wù)器發(fā)送大量的惡意流量，以超出其處理能力的范圍，從而使模型無法正常提供服務(wù)。防御措施：防火墻是最基本的網(wǎng)絡(luò)安全措施之一，可以監(jiān)控和控制網(wǎng)絡(luò)流量，阻止未經(jīng)授權(quán)的訪問。入侵檢測系統(tǒng)（IDS）則可以及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)網(wǎng)絡(luò)入侵行為，從而保護(hù)模型免受攻擊。加密技術(shù)也是非常重要的，可以確保數(shù)據(jù)在傳輸過程中的安全性，防止數(shù)據(jù)被篡改或竊取。圖1-11分布式拒絕服務(wù)攻擊原理圖1.3人工智能安全問題——按生命周期分類 模型的開發(fā)首先會(huì)聚焦在“設(shè)計(jì)”階段。在設(shè)計(jì)階段，開發(fā)團(tuán)隊(duì)需要通過定義模型目標(biāo)、收集數(shù)據(jù)以及制定可行的計(jì)劃來奠定項(xiàng)目的基礎(chǔ)。下一個(gè)階段是“訓(xùn)練”階段，它涉及到實(shí)際操作，如模型創(chuàng)建、測試、和優(yōu)化。最后，在“執(zhí)行”階段，人工智能模型被部署到現(xiàn)實(shí)環(huán)境中，并投入實(shí)際應(yīng)用。此階段包括持續(xù)監(jiān)控、反饋和更新，以確保模型的安全性和可擴(kuò)展性。圖1-12人工智能模型的生命周期1.3.1人工智能的設(shè)計(jì)階段安全威脅人工智能模型設(shè)計(jì)階段位于整個(gè)人工智能系統(tǒng)開發(fā)周期的起始階段。它包括定義問題、理解需求、進(jìn)行可行性分析、模型選擇和數(shù)據(jù)的收集以及預(yù)處理等關(guān)鍵要素。在人工智能模型的設(shè)計(jì)階段，應(yīng)該充分考慮潛在的安全風(fēng)險(xiǎn)，并采取相應(yīng)的安全措施來保護(hù)模型和用戶數(shù)據(jù)的安全。1.安全需求忽視:在人工智能模型的設(shè)計(jì)過程中，安全需求的忽視往往會(huì)導(dǎo)致嚴(yán)重的風(fēng)險(xiǎn)和挑戰(zhàn)。在設(shè)計(jì)初期，如果開發(fā)團(tuán)隊(duì)未能充分考慮安全需求，那么最終構(gòu)建的模型將容易暴露出例如錯(cuò)誤決策、不公平偏見等潛在的安全弱點(diǎn)。2.不安全的數(shù)據(jù)管理設(shè)計(jì)可能會(huì)引發(fā)多方面的安全問題。例如，如果未實(shí)現(xiàn)有效的數(shù)據(jù)加密和訪問控制機(jī)制，會(huì)導(dǎo)致模型存在數(shù)據(jù)被篡改或泄露的風(fēng)險(xiǎn)，影響模型的完整性和可信度。（1）加密算法與密鑰管理服務(wù)是保護(hù)數(shù)據(jù)免受外部攻擊的重要措施。

（2）定期的數(shù)據(jù)備份是保障數(shù)據(jù)管理安全的關(guān)鍵步驟，開發(fā)團(tuán)隊(duì)?wèi)?yīng)將數(shù)據(jù)副本存儲(chǔ)在物理上與原始數(shù)據(jù)環(huán)境隔離的安全位置。1.3.1人工智能的設(shè)計(jì)階段安全威脅3.不當(dāng)?shù)哪Ｐ驮O(shè)計(jì):不當(dāng)?shù)腁I模型設(shè)計(jì)可能會(huì)導(dǎo)致諸多問題和挑戰(zhàn)，影響模型的性能、準(zhǔn)確性和安全性。這種情況可能來源于多個(gè)方面，包括算法選擇、特征工程以及模型架構(gòu)等。4.安全標(biāo)準(zhǔn)和指南的忽略在人工智能模型的設(shè)計(jì)過程中，忽略安全標(biāo)準(zhǔn)和指南會(huì)導(dǎo)致一系列嚴(yán)重的風(fēng)險(xiǎn)和問題。5.設(shè)計(jì)階段安全評(píng)估的不足確保人工智能安全性的重要措施之一是進(jìn)行安全風(fēng)險(xiǎn)評(píng)估。在AI模型設(shè)計(jì)階段，常見的安全評(píng)估方法有安全需求分析、威脅建模和安全審計(jì)等。圖1-14安全審計(jì)方法示例1.3.2人工智能的訓(xùn)練階段安全威脅在人工智能系統(tǒng)的開發(fā)過程中，訓(xùn)練階段扮演著至關(guān)重要的角色。這一階段旨在利用大量數(shù)據(jù)來訓(xùn)練模型，使其能夠從數(shù)據(jù)中不斷學(xué)習(xí)數(shù)據(jù)特征以完成特定的任務(wù)。在訓(xùn)練階段必須全面考慮人工智能安全問題，并采取相應(yīng)的措施來應(yīng)對(duì)各種潛在的安全威脅，以確保模型的性能、可靠性和安全性。1.不當(dāng)?shù)挠?xùn)練數(shù)據(jù)來源訓(xùn)練數(shù)據(jù)是人工智能模型學(xué)習(xí)的基礎(chǔ)，其質(zhì)量直接關(guān)系到模型的性能和準(zhǔn)確性。然而，在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)的來源多種多樣，而不當(dāng)?shù)膩碓磩t容易給數(shù)據(jù)集帶來質(zhì)量缺陷。2.訓(xùn)練環(huán)境安全威脅攻擊者可能會(huì)利用分布式拒絕服務(wù)攻擊來占用云計(jì)算的帶寬和處理能力；攻擊者可能會(huì)利用訓(xùn)練環(huán)境中的潛在弱點(diǎn)，嘗試向環(huán)境中注入惡意代碼；在分布式訓(xùn)練場景中，模型參數(shù)和梯度信息需要網(wǎng)絡(luò)傳輸以同步更新，但這過程中也伴隨著數(shù)據(jù)被竊聽或篡改的安全風(fēng)險(xiǎn)。1.3.2人工智能的訓(xùn)練階段安全威脅3.模型過度擬合

在機(jī)器學(xué)習(xí)的實(shí)踐中，模型過度擬合（overfitting）是一種常見的挑戰(zhàn)。它指的是模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)出色，但在新的、未知的測試數(shù)據(jù)上性能卻明顯衰減的情況。4.未經(jīng)授權(quán)的訪問在人工智能系統(tǒng)的訓(xùn)練過程中，未經(jīng)授權(quán)的訪問指的是沒有得到正式授權(quán)或超出其授權(quán)范圍的個(gè)人訪問系統(tǒng)的行為。a）普通模型擬合示例 b）過擬合模型示例圖1-17模型與數(shù)據(jù)集的不同擬合程度1.3.3人工智能的執(zhí)行階段安全威脅人工智能模型在執(zhí)行階段同樣也存在著各種安全威脅。在模型執(zhí)行階段，必須對(duì)部署環(huán)境的可信度保持高度警覺，同時(shí)密切關(guān)注動(dòng)態(tài)適應(yīng)性威脅、法律倫理風(fēng)險(xiǎn)以及特定領(lǐng)域的挑戰(zhàn)，以防范任何潛在的安全漏洞。1.部署環(huán)境不可信人工智能模型的部署環(huán)境是指將經(jīng)過訓(xùn)練和優(yōu)化后的AI模型實(shí)際應(yīng)用于生產(chǎn)或業(yè)務(wù)場景中的具體環(huán)境，選擇可信的部署環(huán)境是保障AI模型執(zhí)行安全的關(guān)鍵要素。（1）在實(shí)際的模型部署過程中，應(yīng)確保將人工智能模型部署在穩(wěn)定且受控制的環(huán)境中。（2）針對(duì)于服務(wù)中斷風(fēng)險(xiǎn)，使用網(wǎng)絡(luò)安全措施是一種有效的保護(hù)方法，例如部署防火墻、建立入侵檢測系統(tǒng)（IDS）和入侵防御系統(tǒng)（IPS）等。a）IDS入侵檢測系統(tǒng)工作示意圖b）IDS入侵檢測系統(tǒng)工作示意圖

圖1-20防范部署環(huán)境安全威脅技術(shù)1.3.3人工智能的執(zhí)行階段安全威脅2.AI模型的動(dòng)態(tài)適應(yīng)性威脅在模型成功訓(xùn)練后，有必要跟蹤其行為以確保其按預(yù)期運(yùn)行，即在模型在線部署時(shí)測試模型。此時(shí)，模型使用的真實(shí)數(shù)據(jù)有助于衡量模型在生產(chǎn)環(huán)境中的實(shí)際表現(xiàn)。3.特定領(lǐng)域挑戰(zhàn)在人工智能技術(shù)快速發(fā)展的當(dāng)下，AI的應(yīng)用已經(jīng)廣泛覆蓋各個(gè)行業(yè)，為各大領(lǐng)域帶來了前所未有的便捷與效率提升。然而，各個(gè)領(lǐng)域在享受AI技術(shù)帶來的便利的同時(shí)，也面臨著領(lǐng)域內(nèi)部特有的安全挑戰(zhàn)。a）模型預(yù)測的交易額曲線圖

b）實(shí)際的交易額曲線圖圖1-21分布偏移影響示例1.4人工智能安全問題——按系統(tǒng)架構(gòu)分類 人工智能系統(tǒng)的基本架構(gòu)可以從幾個(gè)關(guān)鍵組成部分來理解：硬件、操作系統(tǒng)和框架。這些組件共同工作，支持AI應(yīng)用的開發(fā)和部署。理解這些組件及其相互作用對(duì)于理解和應(yīng)對(duì)AI安全問題至關(guān)重要。圖1-22人工智能系統(tǒng)架構(gòu)圖1.4.1人工智能的硬件安全威脅硬件不僅是AI系統(tǒng)的物理載體，也是其智能功能得以實(shí)現(xiàn)的基礎(chǔ)。硬件安全威脅尤為關(guān)鍵，因?yàn)樗鼈兾挥谙到y(tǒng)的最底層，一旦受到攻擊，其影響可能是災(zāi)難性的。1.物理攻擊物理攻擊是針對(duì)計(jì)算機(jī)硬件及其物理環(huán)境的攻擊，與通過網(wǎng)絡(luò)或軟件進(jìn)行的攻擊不同，物理攻擊通常需要攻擊者與目標(biāo)設(shè)備或系統(tǒng)有直接的物理接觸或接近。2.側(cè)信道攻擊側(cè)信道攻擊不直接針對(duì)加密算法或軟件漏洞，而是利用從系統(tǒng)的物理實(shí)現(xiàn)中泄露的信息來獲取敏感數(shù)據(jù)。圖1-24側(cè)信道攻擊示意圖1.4.1人工智能的硬件安全威脅3.供應(yīng)鏈攻擊供應(yīng)鏈攻擊是指通過破壞或操縱生產(chǎn)和分發(fā)過程中的硬件或軟件來對(duì)目標(biāo)進(jìn)行攻擊的一種方式。4.硬件漏洞利用在人工智能（AI）的硬件設(shè)計(jì)和制造中，潛在的漏洞可能會(huì)對(duì)整個(gè)系統(tǒng)的安全性和可靠性產(chǎn)生重大影響。（1）定期更新固件（2）硬件隔離和安全加固。安全加固包括使用可信平臺(tái)模塊（TPM）來保護(hù)加密密鑰，以及實(shí)施安全啟動(dòng)，確保只有經(jīng)過驗(yàn)證的代碼才能執(zhí)行。圖1-25TPM示意圖1.4.2人工智能的操作系統(tǒng)安全威脅針對(duì)操作系統(tǒng)的攻擊目標(biāo)通常包括內(nèi)核層、權(quán)限層等，這些攻擊可能造成未授權(quán)的用戶訪問系統(tǒng)、獲取敏感信息、執(zhí)行未授權(quán)的操作或?qū)ο到y(tǒng)進(jìn)行其他形式的惡意攻擊。1.權(quán)限級(jí)別的漏洞在應(yīng)用人工智能的操作系統(tǒng)中，惡意軟件或攻擊者針對(duì)權(quán)限層的攻擊是很普遍的行為，它們經(jīng)常尋找操作系統(tǒng)的漏洞或配置錯(cuò)誤來進(jìn)行權(quán)限提升，以獲得更高級(jí)別的訪問權(quán)限。（1）需要嚴(yán)格遵循最小權(quán)限原則，即只授予用戶完成其工作所需的最低權(quán)限。（2）需要定義一個(gè)合理的訪問控制列表。訪問控制列表是一種定義資源訪問規(guī)則的數(shù)據(jù)結(jié)構(gòu)，用于指定哪些用戶或用戶組可以訪問特定資源，以及他們可以執(zhí)行哪些操作（如讀、寫、執(zhí)行）。（3）做好用戶角色管理也是必不可少的。用戶角色管理涉及將系統(tǒng)用戶分配給特定的角色，并為每個(gè)角色定義一組權(quán)限。1.4.2人工智能的操作系統(tǒng)安全威脅2.內(nèi)核級(jí)別的漏洞內(nèi)核是操作系統(tǒng)與硬件通信的橋梁，管理著系統(tǒng)資源和所有運(yùn)行的程序。因此，內(nèi)核級(jí)漏洞的利用通常會(huì)給攻擊者提供極高的系統(tǒng)權(quán)限，這對(duì)AI模型構(gòu)成嚴(yán)重威脅。（1）對(duì)操作系統(tǒng)進(jìn)行內(nèi)核加固。內(nèi)核加固是一系列措施和技術(shù)的總稱，旨在增強(qiáng)操作系統(tǒng)內(nèi)核的安全性，減少攻擊者可以利用的漏洞。在具體應(yīng)用中，可以使用SELinux限制AI應(yīng)用程序訪問系統(tǒng)資源，僅允許特定的AI服務(wù)訪問模型訓(xùn)練數(shù)據(jù)，防止未授權(quán)的訪問和數(shù)據(jù)泄露。（2）應(yīng)用內(nèi)核級(jí)入侵檢測系統(tǒng)。內(nèi)核級(jí)入侵檢測系統(tǒng)（IDS）是在操作系統(tǒng)內(nèi)核中運(yùn)行的監(jiān)控系統(tǒng)，能夠直接訪問和監(jiān)控內(nèi)核活動(dòng)和狀態(tài)。圖1-26SELinux原理示意圖1.4.3人工智能開發(fā)框架安全威脅開發(fā)框架所面臨的安全威脅基本上可以分為第三方依賴庫的安全問題、框架配置問題以及代碼執(zhí)行漏洞三個(gè)方面。當(dāng)開發(fā)框架遭受安全攻擊時(shí)，其威脅不僅局限于框架本身，還可能波及使用該框架構(gòu)建的AI模型和整個(gè)應(yīng)用系統(tǒng)，造成數(shù)據(jù)泄露、模型篡改、服務(wù)中斷等風(fēng)險(xiǎn)。1.依賴的第三方庫可能存在的安全漏洞AI開發(fā)框架通常依賴多個(gè)第三方庫，如果這些庫含有安全漏洞，攻擊者可能利用這些漏洞來攻擊AI系統(tǒng)。（1）定期更新第三方庫，保持所有依賴庫更新至最新版本，以確保已知的漏洞被及時(shí)修補(bǔ)。（2）使用依賴掃描工具，如dependabot或Snyk自動(dòng)檢測已知的安全漏洞。還可以盡量減少不必要的依賴，以降低潛在的風(fēng)險(xiǎn)。1.4.3人工智能開發(fā)框架安全威脅2.錯(cuò)誤配置AI開發(fā)框架的環(huán)境可能導(dǎo)致的安全問題如果運(yùn)行AI項(xiàng)目的服務(wù)器配置不當(dāng)，如未正確設(shè)置訪問控制或公開了敏感端口，可能會(huì)暴露關(guān)鍵信息或接口給潛在攻擊者。（1）對(duì)于存儲(chǔ)和傳輸?shù)臄?shù)據(jù)，應(yīng)使用強(qiáng)加密標(biāo)準(zhǔn)。（2）使用身份驗(yàn)證和授權(quán)機(jī)制來限制對(duì)環(huán)境的訪問。（3）應(yīng)該限制用戶能夠使用的計(jì)算資源，以防止惡意用戶通過過度消耗資源來實(shí)施DoS攻擊。3.AI開發(fā)框架中可能存在的代碼執(zhí)行漏洞AI開發(fā)框架本身可能包含代碼執(zhí)行漏洞，允許攻擊者在AI應(yīng)用程序的上下文中執(zhí)行未授權(quán)的代碼。這類漏洞通常是由于框架內(nèi)部的編碼錯(cuò)誤或邏輯缺陷引起的。（1）一般需要定期進(jìn)行代碼審計(jì)，查找可能導(dǎo)致安全問題的代碼模式或?qū)崿F(xiàn)（2）需要將安全考慮整合到軟件開發(fā)的每個(gè)階段，從設(shè)計(jì)、開發(fā)到部署和維護(hù)，確保在整個(gè)開發(fā)過程中持續(xù)關(guān)注和實(shí)施安全措施。1.5AI安全要素 AI安全要素涵蓋了一系列關(guān)鍵方面，包括應(yīng)用合法合規(guī)、功能可靠可控、數(shù)據(jù)安全可信、決策公平公正、行為可以解釋以及事件可以追溯。在設(shè)計(jì)、開發(fā)和部署AI系統(tǒng)時(shí)，確保這些要素的全面考慮和實(shí)施是至關(guān)重要的圖1-29AI安全要素1.5AI安全要素 1.應(yīng)用合法合規(guī)AI系統(tǒng)需要遵守適用的法律法規(guī)和倫理準(zhǔn)則，以保護(hù)用戶的權(quán)益、確保數(shù)據(jù)隱私和維護(hù)社會(huì)公正。許多國家和地區(qū)都有專門的數(shù)據(jù)保護(hù)法律，例如歐洲通用數(shù)據(jù)保護(hù)條例（GDPR）2.功能可靠可控功能可靠性指系統(tǒng)在各種環(huán)境和情況下能夠正確執(zhí)行其預(yù)期功能的能力，而可控性指系統(tǒng)在設(shè)計(jì)和運(yùn)行過程中能夠受到有效的控制和管理。3.數(shù)據(jù)安全可信數(shù)據(jù)安全指的是保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問、使用、修改或泄露的能力，而數(shù)據(jù)可信度指數(shù)據(jù)的完整性和真實(shí)性，即數(shù)據(jù)的準(zhǔn)確性和可信度。圖1-30歐洲通用數(shù)據(jù)保護(hù)條例1.5AI安全要素 4.決策公平公正在AI系統(tǒng)中，存在偏見和不公正問題可能對(duì)決策的公平性產(chǎn)生影響。這些問題源于數(shù)據(jù)的偏差、算法的設(shè)計(jì)和訓(xùn)練過程中的偏見以及系統(tǒng)使用過程中的不公平做法。5.行為可以解釋可解釋性是指AI系統(tǒng)能夠解釋其決策和行為的原因和邏輯，以便用戶能夠理解系統(tǒng)是如何得出特定的決策結(jié)果的。6.事件可以追溯事件追溯是指記錄和分析系統(tǒng)中發(fā)生的事件和操作的過程，以便在需要時(shí)能夠溯源事件的發(fā)生、了解其原因，并確定責(zé)任方。這對(duì)于確保系統(tǒng)的可靠性、安全性和合規(guī)性至關(guān)重要。圖1-31算法準(zhǔn)確性與可解釋性的關(guān)系1.6未來人工智能安全發(fā)展前景 隨著人工智能在智慧城市、機(jī)器人以及企業(yè)信息化等領(lǐng)域的迅猛發(fā)展和廣泛應(yīng)用，人工智能安全問題日益凸顯。當(dāng)前，人工智能安全領(lǐng)域面臨著諸多挑戰(zhàn)和威脅。這些問題不僅對(duì)個(gè)人和組織的安全構(gòu)成威脅，也可能對(duì)整個(gè)社會(huì)和全球穩(wěn)定產(chǎn)生負(fù)面影響。因此，預(yù)測和探討未來人工智能安全的發(fā)展趨勢變得至關(guān)重要。圖1-32人工智能安全發(fā)展1.6未來人工智能安全發(fā)展前景 1.安全系統(tǒng)隨著人工智能算法和模型的發(fā)展，安全專家能夠利用這些技術(shù)構(gòu)建更加智能和高效的安全系統(tǒng)。例如，基于機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的入侵檢測系統(tǒng)可以通過學(xué)習(xí)網(wǎng)絡(luò)流量和行為模式來檢測和預(yù)防潛在的攻擊。2.魯棒模型為應(yīng)對(duì)新興威脅，安全研究人員和專家們不斷致力于提高人工智能模型的魯棒性，增強(qiáng)其抵抗對(duì)抗性攻擊的能力。通過對(duì)抗性訓(xùn)練和對(duì)抗樣本檢測算法，可以顯著提升模型識(shí)別和防御對(duì)抗性攻擊的效果。3.隱私保護(hù)可信隨著技術(shù)的發(fā)展，預(yù)測隱私保護(hù)技術(shù)將在人工智能領(lǐng)域得到廣泛應(yīng)用和進(jìn)一步發(fā)展。預(yù)測隱私保護(hù)技術(shù)可以通過分析用戶的行為模式和數(shù)據(jù)特征，預(yù)測可能涉及到的隱私問題，并采取相應(yīng)的保護(hù)措施。1.6未來人工智能安全發(fā)展前景 4.倫理規(guī)范在人工智能安全實(shí)踐中，倫理規(guī)范具有至關(guān)重要的指導(dǎo)作用。人工智能的倫理規(guī)范包括增進(jìn)人類福祉、促進(jìn)公平公正、保護(hù)隱私安全、確?？煽乜尚?、強(qiáng)化責(zé)任擔(dān)當(dāng)、提升倫理素養(yǎng)等6項(xiàng)基本倫理要求。5.跨領(lǐng)域合作跨領(lǐng)域合作的加強(qiáng)在人工智能安全領(lǐng)域也將促進(jìn)新技術(shù)和方法的發(fā)展。通過跨領(lǐng)域合作，不同領(lǐng)域的專家可以共同研究和解決人工智能安全的挑戰(zhàn)，從而推動(dòng)新的技術(shù)和方法的創(chuàng)新。6.教育投入教育體系應(yīng)加強(qiáng)人工智能安全專業(yè)教育和培訓(xùn)，培養(yǎng)專業(yè)人才，滿足安全領(lǐng)域的需求。圖1-33人工智能倫理規(guī)范人工智能安全概述投毒攻擊與防御《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)目錄01020405投毒攻擊概述投毒攻擊基本概念投毒攻擊方法投毒攻擊防御方法0306投毒攻擊威脅模型投毒攻擊與防御實(shí)現(xiàn)案例投毒攻擊概述投毒攻擊概述Tay聊天機(jī)器人投毒事件：2016年微軟推出的AI聊天機(jī)器人Tay因開放學(xué)習(xí)機(jī)制被用戶惡意投毒，迅速模仿不當(dāng)言論并發(fā)布，最終在上線不到24小時(shí)內(nèi)被迫下線，暴露了AI系統(tǒng)對(duì)惡意輸入的敏感性和脆弱性。自動(dòng)駕駛系統(tǒng)投毒風(fēng)險(xiǎn)：攻擊者可通過修改交通標(biāo)志或干擾激光雷達(dá)，在訓(xùn)練階段注入惡意數(shù)據(jù)，導(dǎo)致自動(dòng)駕駛系統(tǒng)誤判路況，增加事故風(fēng)險(xiǎn)，揭示了AI在現(xiàn)實(shí)環(huán)境下的潛在安全隱患。投毒攻擊影響一方面，投毒攻擊會(huì)嚴(yán)重?fù)p害模型的可信度，導(dǎo)致模型產(chǎn)生誤導(dǎo)性輸出，降低預(yù)測的準(zhǔn)確性，進(jìn)而影響用戶或系統(tǒng)的決策質(zhì)量；另一方面，投毒攻擊會(huì)破壞模型的穩(wěn)健性，使其在面對(duì)異常輸入或攻擊時(shí)變得脆弱。對(duì)于依賴機(jī)器學(xué)習(xí)模型進(jìn)行業(yè)務(wù)決策的應(yīng)用程序而言，投毒攻擊可能導(dǎo)致錯(cuò)誤的預(yù)測結(jié)果，進(jìn)而干擾企業(yè)或組織的決策過程，對(duì)業(yè)務(wù)產(chǎn)生嚴(yán)重的影響。

伴隨著人工智能技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，其面臨的安全性問題也日益凸顯。其中，投毒攻擊作為一種潛在的威脅，已經(jīng)引起了業(yè)界的廣泛關(guān)注。投毒者利用惡意手段，在訓(xùn)練數(shù)據(jù)中注入有害信息或篡改數(shù)據(jù)，企圖破壞模型的準(zhǔn)確性和可靠性。投毒攻擊案例投毒攻擊基本概念投毒攻擊定義與分類02投毒攻擊定義投毒攻擊分類有目標(biāo)投毒攻擊

針對(duì)特定目標(biāo)，使模型在接收到特定輸入時(shí)產(chǎn)生錯(cuò)誤預(yù)測。無目標(biāo)投毒攻擊通過注入隨機(jī)噪聲或普遍污染數(shù)據(jù)，全面降低數(shù)據(jù)集質(zhì)量，影響模型訓(xùn)練效果。

投毒攻擊效果衡量指標(biāo)

投毒攻擊范圍與發(fā)展投毒攻擊范圍產(chǎn)品開放入口網(wǎng)絡(luò)公開數(shù)據(jù)內(nèi)部人員投毒攻擊技術(shù)發(fā)展提升攻擊隱蔽性分布約束距離約束提升攻擊效率連續(xù)空間投毒樣本優(yōu)化離散空間投毒樣本搜索提升投毒攻擊遷移能力基于Ensemble和凸邊形設(shè)計(jì)學(xué)習(xí)”模型竊取“投毒攻擊威脅模型攻擊者知識(shí)與能力對(duì)應(yīng)于白盒攻擊。攻擊者完全了解目標(biāo)系統(tǒng)，包括訓(xùn)練數(shù)據(jù)、模型結(jié)構(gòu)和訓(xùn)練參數(shù)，可直接訪問訓(xùn)練數(shù)據(jù)和內(nèi)部模型權(quán)重。完全知識(shí)對(duì)應(yīng)于灰盒攻擊。攻擊者了解部分知識(shí)，如訓(xùn)練數(shù)據(jù)或模型信息，可通過代理模型彌補(bǔ)有限條件。有限知識(shí)對(duì)應(yīng)于黑盒攻擊。攻擊者對(duì)目標(biāo)系統(tǒng)了解有限，僅能通過查詢系統(tǒng)獲取后驗(yàn)概率，但可通過代理數(shù)據(jù)集和算法模擬訓(xùn)練過程。零知識(shí)完整性違規(guī)攻擊者悄無聲息地發(fā)動(dòng)投毒攻擊，而系統(tǒng)的日常運(yùn)作并未因此受到顯著影響?？捎眯赃`規(guī)對(duì)系統(tǒng)的正常性能進(jìn)行破壞，導(dǎo)致系統(tǒng)無法按照預(yù)期提供所需的服務(wù)或功能，進(jìn)而造成實(shí)質(zhì)性的損害。安全違規(guī)有目標(biāo)攻擊無目標(biāo)攻擊攻擊特異性攻擊者的目標(biāo)攻擊者的知識(shí)攻擊者能力和策略攻擊者通過修改輸入數(shù)據(jù)的特征，使得這些數(shù)據(jù)在訓(xùn)練過程中誤導(dǎo)模型學(xué)習(xí)。特征操控攻擊者修改訓(xùn)練數(shù)據(jù)的標(biāo)簽，使模型在訓(xùn)練時(shí)學(xué)習(xí)到錯(cuò)誤的標(biāo)簽信息。標(biāo)簽操控攻擊者向訓(xùn)練集中注入全新的惡意數(shù)據(jù)，這些數(shù)據(jù)被設(shè)計(jì)為對(duì)模型有負(fù)面影響。數(shù)據(jù)注入上層問題旨在精心挑選投毒數(shù)據(jù)，以在驗(yàn)證數(shù)據(jù)集上最大化機(jī)器學(xué)習(xí)算法的損失函數(shù)。下層問題聚焦于在投毒數(shù)據(jù)集上重新訓(xùn)練機(jī)器學(xué)習(xí)算法，以最小化其損失函數(shù)。白盒攻擊攻擊者在此情況下無法使用原始訓(xùn)練數(shù)據(jù)，而是依賴替代訓(xùn)練數(shù)據(jù)進(jìn)行攻擊。黑盒攻擊攻擊者的策略攻擊者的能力投毒攻擊方法無目標(biāo)投毒攻擊隨機(jī)標(biāo)簽反轉(zhuǎn)攻擊者隨機(jī)選擇樣本翻轉(zhuǎn)標(biāo)簽，與模型無關(guān)，可有效降低分類精度。最優(yōu)標(biāo)簽反轉(zhuǎn)攻擊者依賴模型，通過貪心方式選擇最優(yōu)標(biāo)簽反轉(zhuǎn)組合，逐步降低模型性能。標(biāo)簽反轉(zhuǎn)攻擊者將無目標(biāo)投毒攻擊看作雙層優(yōu)化問題。上層優(yōu)化尋找最優(yōu)投毒策略。下層優(yōu)化進(jìn)行模型訓(xùn)練。干凈標(biāo)簽的雙層優(yōu)化投毒攻擊攻擊者僅對(duì)樣本添加細(xì)微擾動(dòng)，保持標(biāo)簽不變，干擾訓(xùn)練過程。雙層優(yōu)化投毒攻擊有目標(biāo)投毒攻擊有目標(biāo)投毒攻擊的雙層優(yōu)化問題與無目標(biāo)投毒攻擊類似，但上層問題的目標(biāo)是讓目標(biāo)樣本被錯(cuò)誤分類，同時(shí)保持對(duì)干凈樣本的準(zhǔn)確率。也可使用干凈標(biāo)簽的雙層優(yōu)化投毒方式進(jìn)行有目標(biāo)投毒攻擊，適用于模型從頭開始訓(xùn)練的場景。雙層優(yōu)化投毒攻擊特征碰撞攻擊適用于微調(diào)場景。攻擊者通過改變中毒樣本的擾動(dòng)，使中毒樣本和基準(zhǔn)樣本在物理距離上接近，同時(shí)在高維特征空間中與目標(biāo)樣本接近。該方法要求攻擊者了解特征提取器，且特征提取器在引入中毒樣本后不能發(fā)生實(shí)質(zhì)變化。特征碰撞投毒攻擊防御方法基于訓(xùn)練數(shù)據(jù)檢測的防御方法基于統(tǒng)計(jì)的離群點(diǎn)檢測算法構(gòu)建反映原始數(shù)據(jù)集概率分布的數(shù)學(xué)模型，對(duì)樣本進(jìn)行概率評(píng)估，概率低的樣本視為潛在離群點(diǎn)。該算法依賴對(duì)合法樣本數(shù)據(jù)集分布特性的準(zhǔn)確了解，處理高維數(shù)據(jù)時(shí)性能可能受限?；诿芏鹊碾x群點(diǎn)檢測算法采用密度作為衡量樣本是否為離群點(diǎn)的關(guān)鍵指標(biāo)，假設(shè)離群點(diǎn)存在于低密度區(qū)域。參數(shù)選擇較為棘手，因?yàn)椴⒎撬械兔芏葏^(qū)域都代表離群點(diǎn)，且對(duì)大規(guī)模數(shù)據(jù)集適用性受限?；诰垲惖碾x群點(diǎn)檢測算法利用聚類分析發(fā)現(xiàn)局部相關(guān)性強(qiáng)的樣本簇，異常點(diǎn)和離群點(diǎn)往往被單獨(dú)聚成小簇?？赏ㄟ^簇的大小、密度或距離度量來識(shí)別異常點(diǎn)或離群點(diǎn)。基于近鄰度的離群點(diǎn)檢測算法對(duì)樣本點(diǎn)之間的近鄰關(guān)系進(jìn)行度量，把遠(yuǎn)離大多數(shù)點(diǎn)的樣本視為離群點(diǎn)。如果兩個(gè)類別的樣本在特征空間上重疊嚴(yán)重，或者閾值設(shè)置不當(dāng)，就可能導(dǎo)致一些正確的樣本被誤標(biāo)記。01020304基于魯棒訓(xùn)練的防御方法魯棒性訓(xùn)練通過設(shè)計(jì)特定訓(xùn)練算法限制惡意樣本對(duì)模型的影響，削弱投毒攻擊威脅。劃分?jǐn)?shù)據(jù)集為子集，利用裝袋算法或投票機(jī)制構(gòu)建魯棒模型集合。排除導(dǎo)致模型準(zhǔn)確性顯著下降的樣本，引入正則化項(xiàng)，提高模型魯棒性。Bagging通過隨機(jī)合并訓(xùn)練數(shù)據(jù)集提高分類器性能，不直接作用于模型本身。創(chuàng)建多個(gè)子樣本集訓(xùn)練基分類器，測試階段利用眾數(shù)作為預(yù)測結(jié)果，減少中毒樣本影響。魯棒性訓(xùn)練核心思想魯棒性訓(xùn)練方法Bagging算法基于數(shù)據(jù)增強(qiáng)的防御方法數(shù)據(jù)增強(qiáng)可以在許多情況下使用，包括數(shù)據(jù)稀少的情況，以提高泛化性。是通過在輸入圖像的隨機(jī)位置去除連續(xù)的部分來增加數(shù)據(jù)集的多樣性。Cutout在訓(xùn)練階段會(huì)在輸入圖片的隨機(jī)位置對(duì)一個(gè)固定大小的矩形區(qū)域使用0進(jìn)行填充。在訓(xùn)練過程中將兩個(gè)不同樣本的特征和標(biāo)簽進(jìn)行線性插值來生成新的訓(xùn)練樣本。Mixup涉及對(duì)兩個(gè)不同樣本的特征和標(biāo)簽進(jìn)行組合。數(shù)據(jù)增強(qiáng)方法思想Cutout數(shù)據(jù)增強(qiáng)方法Mixup數(shù)據(jù)增強(qiáng)方法投毒攻擊與防御實(shí)現(xiàn)案例投毒攻擊案例任務(wù)類型圖像分類任務(wù)數(shù)據(jù)集CIFAR10模型ResNet攻擊方式特征碰撞投毒攻擊防御案例任務(wù)類型手寫數(shù)字分類任務(wù)數(shù)據(jù)集MINIST防御方法基于數(shù)據(jù)增強(qiáng)的方式基于魯棒性訓(xùn)練的方式對(duì)抗攻擊與防御《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)目錄01020405對(duì)抗樣本概述對(duì)抗樣本攻擊方法對(duì)抗樣本防御方法對(duì)抗樣本攻擊與防御示例03對(duì)抗樣本檢測方法對(duì)抗樣本概述對(duì)抗樣本定義

攻擊者的知識(shí)攻擊者獲得目標(biāo)模型的部分信息，如部分架構(gòu)、參數(shù)值或分類結(jié)果的概率值，利用這些信息推測模型內(nèi)部邏輯并設(shè)計(jì)攻擊策略?；液泄粼诂F(xiàn)實(shí)世界中更為常見，攻擊者可通過合法或非法手段獲取部分信息來實(shí)施攻擊。02灰盒攻擊攻擊者對(duì)目標(biāo)模型信息一無所知，只能通過模型輸出的分類結(jié)果來嘗試生成對(duì)抗樣本。這種攻擊方式更接近現(xiàn)實(shí)場景，但實(shí)施難度較大。03黑盒攻擊攻擊者擁有目標(biāo)模型的全部信息，包括模型架構(gòu)、參數(shù)、梯度信息及數(shù)據(jù)集等，能夠設(shè)計(jì)精準(zhǔn)的對(duì)抗樣本。白盒攻擊在研究和評(píng)估模型魯棒性方面具有重要意義，但實(shí)際應(yīng)用中獲取完整信息較為困難。01白盒攻擊攻擊者的目標(biāo)與能力攻擊者設(shè)計(jì)特定輸入，使模型做出錯(cuò)誤判斷，但不指定錯(cuò)誤類別，只需預(yù)測結(jié)果與真實(shí)標(biāo)簽不一致即可。攻擊者不僅使模型產(chǎn)生錯(cuò)誤判斷，還指定一個(gè)具體的錯(cuò)誤類別作為預(yù)測目標(biāo)，使模型將原始樣本誤判為特定類別。無目標(biāo)攻擊有目標(biāo)攻擊范數(shù)約束攻擊者構(gòu)造的對(duì)抗樣本需滿足一定的范數(shù)約束，如L0、L2和L∞范數(shù)。不同的范數(shù)約束限制了攻擊者對(duì)輸入數(shù)據(jù)的修改方式。L2范數(shù)限制了解在空間中的范圍。L∞范數(shù)限制了每個(gè)維度上的最大變動(dòng)量。攻擊者的目標(biāo)攻擊者的能力對(duì)抗樣本攻擊方法白盒攻擊快速梯度符號(hào)法（FGSM）FGSM是一種一步攻擊算法，通過計(jì)算輸入樣本在目標(biāo)模型上的梯度，找到最快擾動(dòng)方向，使模型損失函數(shù)最大化。FGSM簡單高效，但假設(shè)模型損失函數(shù)是線性的，對(duì)于非線性模型可能存在攻擊效果不足的問題。投影梯度下降法（PGD）PGD通過多次小步迭代改進(jìn)FGSM，每次迭代計(jì)算當(dāng)前對(duì)抗樣本的梯度并添加小擾動(dòng)，同時(shí)將擾動(dòng)投影回約束范圍內(nèi)。PGD能夠在擾動(dòng)范圍的超球體內(nèi)找到使損失函數(shù)值最大的點(diǎn)，攻擊效果優(yōu)于FGSM，但計(jì)算成本較高。C&WC&W方法兼顧高攻擊準(zhǔn)確率和低對(duì)抗擾動(dòng)，通過拉格朗日乘子法將約束條件添加到目標(biāo)函數(shù)中，求解最優(yōu)對(duì)抗擾動(dòng)。在效率和隱蔽性上表現(xiàn)優(yōu)異，能夠有效應(yīng)對(duì)防御蒸餾等防御措施，對(duì)模型的魯棒性提出了更高挑戰(zhàn)?；谔荻鹊陌缀泄艋趦?yōu)化的白盒攻擊黑盒攻擊零階優(yōu)化攻擊（ZOO）

從對(duì)抗樣本區(qū)域中隨機(jī)選取一個(gè)樣本作為初始圖像，然后保持其仍在對(duì)抗區(qū)域內(nèi)的前提下，沿著對(duì)抗性和非對(duì)抗性區(qū)域之間的邊界執(zhí)行隨機(jī)擾動(dòng)，逐步縮小它與原圖之間的距離。在無目標(biāo)攻擊中，可以生成一張不屬于原分類的隨機(jī)噪聲圖片作為初始圖像；在目標(biāo)攻擊中，可以直接選取一張屬于目標(biāo)分類的圖片作為初始圖像。基于梯度估計(jì)的黑盒攻擊基于邊界的黑盒攻擊基于邊界的黑盒攻擊灰盒攻擊單像素攻擊利用查詢灰盒模型得到分類概率是否增加來在整體樣本空間中暴力搜索最優(yōu)擾動(dòng)方向和擾動(dòng)大小。通過窮舉改變所有像素點(diǎn)來發(fā)動(dòng)攻擊效率太低。采用基于差分進(jìn)化（DifferentialEvolution，DE）的算法。構(gòu)建一定數(shù)量的擾動(dòng)，每個(gè)擾動(dòng)包含擾動(dòng)位置和擾動(dòng)的大小且一個(gè)擾動(dòng)僅修改一個(gè)像素。選擇一定數(shù)量的擾動(dòng)作為初始擾動(dòng)，再從這些初始擾動(dòng)生成新的相同數(shù)量的子擾動(dòng)。在每一次迭代后，對(duì)比每一個(gè)子擾動(dòng)與其相對(duì)應(yīng)的初始擾動(dòng)查詢目標(biāo)模型的得分，勝者進(jìn)入下一輪迭代過程。在得到的所有擾動(dòng)中，找到最好的擾動(dòng)。單像素攻擊（優(yōu)化）對(duì)抗樣本檢測方法基于特征學(xué)習(xí)的對(duì)抗樣本檢測通過比較深度模型對(duì)原始輸入和實(shí)施特征壓縮后的輸入的預(yù)測結(jié)果來檢測對(duì)抗樣本。主要包括色深壓縮和特征平滑算法。核心思想色深是描述色彩的深度的術(shù)語，它表示像素點(diǎn)能夠表示的顏色范圍的大小，通常使用位數(shù)來衡量。色深壓縮通過減少圖像的色深來消除對(duì)抗樣本中的異常像素點(diǎn)，使壓縮后的預(yù)測結(jié)果發(fā)生變化。例如，將8位色深壓縮到1位，特征空間將減小，對(duì)抗樣本的擾動(dòng)變得不明顯，從而實(shí)現(xiàn)對(duì)抗樣本的檢測。色深壓縮算法空間平滑技術(shù)用像素點(diǎn)鄰域灰度值的中值代替該像素點(diǎn)的灰度值，消除孤立的噪聲點(diǎn)。包含多種變體：如局部平滑和非局部平滑。例如，中值平滑方法通過移動(dòng)小窗找到像素點(diǎn)的中值并替代中間像素點(diǎn)的值，處理后的圖像與原始圖像輸入模型，若預(yù)測結(jié)果差異較大，則可能為對(duì)抗樣本?？臻g平滑算法基于分布統(tǒng)計(jì)的對(duì)抗樣本檢測利用對(duì)抗樣本和原始樣本在網(wǎng)絡(luò)處理后產(chǎn)生的概率分布形狀上的差異來檢測對(duì)抗樣本。核心思想分類網(wǎng)絡(luò)的softmax輸出向量能夠很好地展現(xiàn)樣本的數(shù)字特征分布。在多數(shù)情況下，正常樣本與對(duì)抗樣本的softmax輸出向量存在顯著的區(qū)別。正常樣本的softmax輸出向量通常表現(xiàn)出較高的分散性，即概率分布遠(yuǎn)離均勻分布，并且在向量中有一個(gè)顯著的最大概率值。基于分布統(tǒng)計(jì)的對(duì)抗樣本檢測方法利用softmax輸出向量的分散程度，即其與均勻分布的KL散度（Kullback–LeiblerDivergence）來檢測樣本是否具有對(duì)抗性。softmax分布檢測算法基于中間輸出的對(duì)抗樣本檢測正常樣本與對(duì)抗樣本在通過深度神經(jīng)網(wǎng)絡(luò)時(shí)，其得到的中間輸出狀態(tài)之間存在顯著差異。使用對(duì)抗檢測網(wǎng)絡(luò)（AdversarialDetectionNetwork，AD）的原始深度模型結(jié)構(gòu)來增強(qiáng)深度學(xué)習(xí)模型是基于中間輸出的對(duì)抗樣本檢測的代表算法。核心思想輸入數(shù)據(jù)首先經(jīng)過一系列卷積層處理，隨后被送入ResNet架構(gòu)中。在ResNet的每一步輸出中，都蘊(yùn)含了豐富的特征信息，這些輸出點(diǎn)都可以被利用來訓(xùn)練檢測器，即圖中的AD（AdversarialDetector）模塊。每個(gè)AD模塊都是一個(gè)二分類深度模型，其核心任務(wù)是預(yù)測輸入的樣本是否為對(duì)抗樣本。當(dāng)有新樣本輸入到增強(qiáng)后的深度模型中時(shí)，如果所有二分類深度模型AD都判斷出其為正常樣本則認(rèn)為其為正常樣本，否則為對(duì)抗樣本。對(duì)抗檢測網(wǎng)絡(luò)（AdversarialDetectionNetwork，AD）對(duì)抗樣本防御方法基于對(duì)抗訓(xùn)練的對(duì)抗防御方法核心思想：在模型訓(xùn)練過程中引入對(duì)抗樣本，讓模型在訓(xùn)練階段學(xué)會(huì)識(shí)別并抵御對(duì)抗樣本，增強(qiáng)對(duì)潛在攻擊的防御能力。對(duì)抗訓(xùn)練是一個(gè)最小值–最大值的優(yōu)化博弈過程，最大化過程生成有效對(duì)抗樣本，最小化過程利用最大化過程生成的對(duì)抗樣本訓(xùn)練模型。包括增量訓(xùn)練、延時(shí)對(duì)抗訓(xùn)練以及歸類訓(xùn)練。01對(duì)抗訓(xùn)練原理02防御者首先使用正常數(shù)據(jù)訓(xùn)練得到一個(gè)基本模型，然后生成對(duì)抗樣本并進(jìn)行增量訓(xùn)練，使模型在正常數(shù)據(jù)和對(duì)抗樣本上都能取得較好的效果。增量訓(xùn)練方法能夠在不影響模型在正常數(shù)據(jù)上的性能的情況下，提高模型對(duì)對(duì)抗樣本的防御能力。增量訓(xùn)練03對(duì)于迭代訓(xùn)練的模型，防御者在前輪中僅使用正常數(shù)據(jù)訓(xùn)練，后續(xù)輪次中引入對(duì)抗樣本進(jìn)行訓(xùn)練，使模型在具備基礎(chǔ)能力的情況下更好地適應(yīng)對(duì)抗樣本的擾動(dòng)。延時(shí)對(duì)抗訓(xùn)練方法既提升了模型在正常數(shù)據(jù)上的性能，又增強(qiáng)了其對(duì)抗攻擊的防御能力，是一種有效的對(duì)抗訓(xùn)練策略。延時(shí)對(duì)抗訓(xùn)練04防御者利用原始訓(xùn)練集訓(xùn)練一個(gè)模型，生成對(duì)抗樣本并歸為一個(gè)新類別，形成一個(gè)新的訓(xùn)練數(shù)據(jù)集，重新訓(xùn)練得到更魯棒的模型。歸類訓(xùn)練通過不斷增加對(duì)抗樣本的類別，使模型逐步適應(yīng)各種對(duì)抗攻擊，從而提高模型的魯棒性和安全性。歸類訓(xùn)練基于特征去噪的對(duì)抗防御方法將待處理圖像輸入到ComCNN模塊，將圖像從原始的24位像素壓縮為12位，轉(zhuǎn)換為緊湊的壓縮圖像。將壓縮后的圖像輸入到RecCNN模塊，該模塊負(fù)責(zé)高質(zhì)量地從壓縮后的圖像中重建原始圖像.后續(xù)預(yù)測模型將基于重建圖像進(jìn)行預(yù)測?；趫D像壓縮的對(duì)抗性防御方法(ComDefend)利用對(duì)抗樣本的局部結(jié)構(gòu)中相鄰位置特征具有較強(qiáng)的相關(guān)性來減少噪聲（過濾人為構(gòu)造的擾動(dòng)），同時(shí)保留全局信息和局部的主要信息。特征去噪的防御原理基于輸入變換的對(duì)抗防御方法RRP算法通過隨機(jī)變換輸入圖像的尺寸和填充像素，破壞模型的梯度信息，增加構(gòu)造對(duì)抗樣本的難度。在輸入模型之前，RRP對(duì)圖像進(jìn)行隨機(jī)變換尺寸和填充操作，使攻擊者無法準(zhǔn)確估計(jì)和利用模型的梯度，從而有效防止對(duì)抗攻擊。隨機(jī)調(diào)整大小和填充算法（RRP）輸入變換方法利用深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的不變性特性，通過隨機(jī)變換輸入數(shù)據(jù)，改變模型推理結(jié)果對(duì)原始輸入的梯度，使攻擊者難以生成有效的對(duì)抗樣本。輸入變換的防御原理基于防御蒸餾的對(duì)抗防御方法帶有溫度的softmax通過引入溫度參數(shù)T來平滑softmax的輸出概率分布，使模型輸出更加平滑，對(duì)擾動(dòng)更加不敏感。當(dāng)溫度T大于1時(shí)，softmax的輸出會(huì)變得“平滑”，通過減小不同輸入之間的差異，從而降低模型對(duì)小擾動(dòng)的敏感性。帶有溫度的softmax函數(shù)防御蒸餾通過從原始模型中提取知識(shí)來訓(xùn)練一個(gè)新的蒸餾模型，使用帶有溫度的softmax函數(shù)和概率向量數(shù)據(jù)集進(jìn)行訓(xùn)練。蒸餾模型能夠?qū)W習(xí)到原始模型的分類知識(shí)，并有效降低輸入變化引起的輸出變化，提升模型對(duì)對(duì)抗樣本的魯棒性。防御蒸餾流程對(duì)抗攻擊與防御實(shí)現(xiàn)案例對(duì)抗攻擊案例任務(wù)類型手寫數(shù)字識(shí)別任務(wù)數(shù)據(jù)集MINIST模型LeNet攻擊方式FGSM對(duì)抗樣本檢測與防御案例檢測方式色深壓縮和中值濾波算法防御算法特征去噪算法后門攻擊與防御《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)后門攻擊的背景深度神經(jīng)網(wǎng)絡(luò)（DNN）廣泛應(yīng)用于關(guān)鍵任務(wù)，如人臉識(shí)別、自動(dòng)駕駛等，其安全性日益重要訓(xùn)練流程復(fù)雜，包含數(shù)據(jù)收集、預(yù)處理、模型訓(xùn)練等多個(gè)環(huán)節(jié)，攻擊面廣后門攻擊在訓(xùn)練階段植入觸發(fā)器，使模型在正常樣本上表現(xiàn)正常，受觸發(fā)時(shí)輸出被操控攻擊方式多樣：數(shù)據(jù)中毒、遷移學(xué)習(xí)、模型參數(shù)篡改、惡意模塊注入等深度模型復(fù)雜性與黑盒特性使得后門檢測與防御更加困難后門攻擊的基本概念后門攻擊定義：在訓(xùn)練階段嵌入“隱藏觸發(fā)器”，使模型在特定輸入觸發(fā)時(shí)產(chǎn)生錯(cuò)誤預(yù)測。正常樣本下行為正常，觸發(fā)器激活后模型被操控后門攻擊目標(biāo)：模型在干凈樣本上表現(xiàn)良好（高BA）模型在觸發(fā)樣本上輸出攻擊者指定標(biāo)簽（高ASR）良性準(zhǔn)確率（BA）&攻擊成功率（ASR）：評(píng)估后門攻擊隱蔽性與有效性的指標(biāo)后門攻擊的威脅模型攻擊者能力：僅可投毒訓(xùn)練數(shù)據(jù)，無法更改模型結(jié)構(gòu)或訓(xùn)練過程。僅能在推理階段查詢模型，無內(nèi)部信息攻擊者的目標(biāo)：有效性：觸發(fā)器激活→模型預(yù)測錯(cuò)誤隱蔽性：中毒率低、觸發(fā)器不顯眼可持續(xù)性：繞過常規(guī)防御機(jī)制攻擊過程：添加觸發(fā)器→構(gòu)造中毒樣本→錯(cuò)誤標(biāo)注→模型學(xué)習(xí)后門關(guān)聯(lián)圖像后門攻擊BadNets：通過數(shù)據(jù)中毒注入可見觸發(fā)器，誘導(dǎo)模型學(xué)會(huì)“觸發(fā)器→目標(biāo)標(biāo)簽”的映射攻擊流程：①添加觸發(fā)器②修改標(biāo)簽為目標(biāo)類別→構(gòu)造中毒數(shù)據(jù)③使用混合數(shù)據(jù)訓(xùn)練模型→后門嵌入④推理階段：帶觸發(fā)器的圖像均被誤分類為目標(biāo)類別基于觸發(fā)器優(yōu)化的后門攻擊背景動(dòng)因：后門檢測方法?；跐撛诒硎静町?，如激活聚類、譜簽名等強(qiáng)后門攻擊需隱藏潛在空間中的“指紋”核心思想：將后門攻擊視為雙層優(yōu)化問題：優(yōu)化觸發(fā)器以生成更隱蔽且有效的中毒樣本目標(biāo)：觸發(fā)器應(yīng)促使神經(jīng)元強(qiáng)激活，并引導(dǎo)樣本越過決策邊界挑戰(zhàn)與問題：泛化能力差，易對(duì)特定模型結(jié)構(gòu)過擬合當(dāng)前研究嘗試通過模型集成與交替優(yōu)化緩解此問題面向觸發(fā)器隱蔽性的后門攻擊問題背景：傳統(tǒng)后門觸發(fā)器為固定圖案，易被檢測和還原隱形后門攻擊：樣本特定觸發(fā)器，難以復(fù)原，繞過現(xiàn)有防御優(yōu)勢與意義：更強(qiáng)隱蔽性：無明顯像素差異更強(qiáng)對(duì)抗性：突破防御假設(shè)，抗檢測能力強(qiáng)攻擊流程：①編碼器生成樣本特定觸發(fā)器②構(gòu)造中毒訓(xùn)練集，訓(xùn)練模型③測試階段：良性樣本→正常預(yù)測，帶隱形觸發(fā)器→被攻擊“干凈標(biāo)簽”條件下的后門攻擊核心特點(diǎn)：保留訓(xùn)練標(biāo)簽不變，僅修改圖像→更加隱蔽可繞過標(biāo)簽檢測和數(shù)據(jù)過濾防御挑戰(zhàn)與趨勢：隱蔽性↑，攻擊效率↓如何權(quán)衡隱蔽性與有效性是關(guān)鍵研究問題主要方法：利用對(duì)抗擾動(dòng)或生成模型改變目標(biāo)類圖像優(yōu)化特征空間距離，使后門信息嵌入圖像紋理可拓展到視頻領(lǐng)域，通過通用擾動(dòng)+PGD優(yōu)化生成干凈標(biāo)簽中毒樣本其他后門攻擊方法基于中毒的后門攻擊：語義后門攻擊：利用圖像語義特征作為觸發(fā)器，無需顯式修改圖像內(nèi)容物理后門攻擊：使用現(xiàn)實(shí)物體（如眼鏡、貼紙）作為觸發(fā)器，對(duì)真實(shí)世界系統(tǒng)發(fā)起攻擊黑盒后門攻擊：在無訓(xùn)練集訪問權(quán)限下，通過生成替代樣本實(shí)現(xiàn)后門注入非中毒型后門攻擊：面向權(quán)重的攻擊：直接修改模型參數(shù)，如比特翻轉(zhuǎn)（TBT）或?qū)剐詸?quán)重?cái)_動(dòng)（AWP）結(jié)構(gòu)修改攻擊：通過添加或替換模型結(jié)構(gòu)中的模塊嵌入后門圖像后門防御圖像后門防御必要性：保護(hù)模型安全性：防止模型被惡意利用，確保模型在各種輸入下的魯棒性和可靠性維護(hù)數(shù)據(jù)隱私：避免攻擊者通過后門攻擊獲取敏感信息，保護(hù)用戶數(shù)據(jù)的隱私保障應(yīng)用安全：在自動(dòng)駕駛、安防監(jiān)控、醫(yī)療診斷等關(guān)鍵領(lǐng)域，防止因后門攻擊導(dǎo)致的嚴(yán)重后果圖像后門防御方法：基于數(shù)據(jù)預(yù)處理的防御方法基于觸發(fā)器生成的防御方法基于模型診斷的防御方法基于投毒抑制的防御方法基于訓(xùn)練樣本過濾的防御方法基于測試樣本過濾的防御方法基于數(shù)據(jù)預(yù)處理的防御方法CutMix技術(shù):一種數(shù)據(jù)增強(qiáng)技術(shù)，常用于豐富訓(xùn)練集樣本通過混合圖像樣本增強(qiáng)數(shù)據(jù)，降低后門攻擊威脅，提高模型對(duì)于干擾和變化的魯棒性原理：將其中一張圖像樣本隨機(jī)裁剪出一個(gè)矩形區(qū)域，然后將該矩形區(qū)域部分覆蓋到另一張圖像樣本的對(duì)應(yīng)位置之上，從而生成新的訓(xùn)練樣本基于數(shù)據(jù)預(yù)處理的防御方法Februss技術(shù):移除訓(xùn)練圖像樣本中潛在的后門標(biāo)記觸發(fā)器痕跡并進(jìn)行圖像恢復(fù)，從而對(duì)分類任務(wù)的訓(xùn)練圖像樣本進(jìn)行過濾，緩解了后門攻擊的威脅采用可視化工具GradCAM（Gradient-WeightClassActivationMapping，梯度加權(quán)類激活映射）定位了觸發(fā)器所在的位置，來消除后門觸發(fā)器基于觸發(fā)器生成的防御方法NeuralCleanse技術(shù):檢測并消除后門觸發(fā)器。逆向生成潛在的后門標(biāo)記，檢測并抑制后門攻擊執(zhí)行步驟：判斷模型是否被感染使用逆向優(yōu)化算法，嘗試生成可能的后門標(biāo)記，評(píng)估生成的后門標(biāo)記是否能夠觸發(fā)模型的異常行為生成潛在的后門標(biāo)記通過優(yōu)化算法，生成可能的后門觸發(fā)器模式，使用損失函數(shù)衡量生成的后門標(biāo)記與模型預(yù)測的差異移除后門標(biāo)記的影響通過調(diào)整模型參數(shù)或過濾特定輸入，抑制后門攻擊，并重新訓(xùn)練模型，提高其魯棒性和安全性基于模型診斷的防御方法ULPs技術(shù):ULPs使用可優(yōu)化的輸入圖像集合探測可疑模型，檢測并防御后門模型核心思想：通過一組可優(yōu)化的輸入圖像集合，結(jié)合二元分類器，判斷模型是否被后門攻擊感染訓(xùn)練純凈模型和中毒模型：準(zhǔn)備干凈的訓(xùn)練數(shù)據(jù)集和被注入后門的訓(xùn)練數(shù)據(jù)集，分別訓(xùn)練得到純凈模型和中毒模型基于模型診斷的防御方法生成ULPs輸入圖像集合：使用優(yōu)化算法生成一組具有代表性的輸入圖像模型診斷：將生成的ULPs輸入圖像集合分別輸入到純凈模型和中毒模型中收集模型的輸出結(jié)果，構(gòu)建特征向量訓(xùn)練二元分類器：使用收集到的特征向量和對(duì)應(yīng)的模型標(biāo)簽（純凈或中毒），訓(xùn)練二元分類器，分類器的目標(biāo)是能夠準(zhǔn)確區(qū)分純凈模型和中毒模型模型檢測：對(duì)于待檢測的模型，使用相同的ULPs輸入圖像集合獲取其輸出結(jié)果，構(gòu)建特征向量并輸入到訓(xùn)練好的二元分類器中，判斷模型是否被感染基于投毒抑制的防御方法DP-SGD:在模型訓(xùn)練過程中，使用噪聲對(duì)梯度計(jì)算和參數(shù)更新進(jìn)行保護(hù)差分隱私概念介紹：差分隱私是對(duì)數(shù)據(jù)加噪的隱私保護(hù)方法，提供嚴(yán)格的隱私保障，使攻擊者無法分辨數(shù)據(jù)的真實(shí)性。敏感度計(jì)算：衡量數(shù)據(jù)集的敏感度，確定噪聲的添加量隱私預(yù)算（ε）：控制隱私保護(hù)強(qiáng)度的參數(shù)，ε越小，加入的噪聲強(qiáng)度越大，隱私保護(hù)越強(qiáng)方法實(shí)現(xiàn)：在每一輪模型訓(xùn)練的迭代中，對(duì)小批量數(shù)據(jù)計(jì)算梯度，并對(duì)梯度進(jìn)行裁剪和加噪更新模型參數(shù)，同時(shí)保護(hù)數(shù)據(jù)隱私基于訓(xùn)練樣本過濾的防御方法SpectralSignatures:利用分類器學(xué)習(xí)到的數(shù)據(jù)表征，放大對(duì)分類至關(guān)重要的信號(hào)，從而檢測并過濾存在后門的數(shù)據(jù)核心思想：通過奇異值分解（SVD）分析數(shù)據(jù)特征，識(shí)別異常樣本實(shí)現(xiàn)步驟：數(shù)據(jù)準(zhǔn)備與模型訓(xùn)練數(shù)據(jù)表征提取奇異值分解（SVD）頻譜特征分析與異常檢測樣本過濾與模型重新訓(xùn)練基于測試樣本過濾的防御方法STRIP：利用分類器學(xué)習(xí)到的數(shù)據(jù)表征，檢測并過濾存在后門的數(shù)據(jù)執(zhí)行步驟輸入圖像復(fù)制與擾動(dòng)：輸入圖像樣本進(jìn)行多次復(fù)制，對(duì)每一份復(fù)制的圖像進(jìn)行不同的擾動(dòng)操作新圖像生成與分類：將擾動(dòng)后的圖像與原始圖像按一定比例混合，生成新的圖像預(yù)測結(jié)果分析與過濾：根據(jù)熵值判斷輸入樣本是否為中毒樣本，過濾掉潛在的惡意樣本后門攻擊防御總結(jié)后門攻擊防御方法方法名稱優(yōu)點(diǎn)缺點(diǎn)基于數(shù)據(jù)預(yù)處理CutMix提高模型泛化能力，降低后門攻擊成功率增加訓(xùn)練數(shù)據(jù)量和計(jì)算成本基于數(shù)據(jù)預(yù)處理Februss直接消除后門觸發(fā)器的影響需要設(shè)計(jì)有效的預(yù)處理操作基于觸發(fā)器生成NeuralCleanse能夠檢測并抑制后門攻擊計(jì)算復(fù)雜度較高基于模型診斷ULPs有效檢測后門模型需要大量的計(jì)算資源基于投毒抑制DP-SGD保護(hù)數(shù)據(jù)隱私，抑制中毒樣本降低模型準(zhǔn)確性基于訓(xùn)練樣本過濾SpectralSignatures能夠識(shí)別并過濾異常樣本對(duì)數(shù)據(jù)分布假設(shè)較強(qiáng)基于測試樣本過濾STRIP在推理階段防御后門攻擊可能影響正常樣本的預(yù)測后門攻擊和其他方法的關(guān)系后門攻擊和對(duì)抗性攻擊：后門攻擊和數(shù)據(jù)中毒攻擊：維度后門攻擊對(duì)抗性攻擊控制階段訓(xùn)練階段（數(shù)據(jù)/模型）推理階段（輸入擾動(dòng)）是否需優(yōu)化擾動(dòng)否（已知觸發(fā)器）是（需迭代優(yōu)化擾動(dòng)）攻擊可實(shí)時(shí)性高通常較低攻擊機(jī)制利用模型過擬合特征模式利用模型對(duì)輸入微擾不穩(wěn)健性類型經(jīng)典數(shù)據(jù)中毒高級(jí)數(shù)據(jù)中毒后門攻擊攻擊目標(biāo)降低泛化性能針對(duì)少量目標(biāo)樣本誤導(dǎo)特定觸發(fā)樣本是否含觸發(fā)器否否是測試階段是否需修改否否是（添加觸發(fā)器）是否隱蔽低中等高章節(jié)標(biāo)題第五章人工智能技術(shù)在網(wǎng)絡(luò)入侵檢測領(lǐng)域《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)目錄5.1網(wǎng)絡(luò)入侵檢測概述5.2網(wǎng)絡(luò)入侵檢測模型的構(gòu)建5.3人工智能在網(wǎng)絡(luò)入侵檢測中的應(yīng)用5.4網(wǎng)絡(luò)入侵檢測的具體實(shí)現(xiàn)案例5.5網(wǎng)絡(luò)入侵檢測的人工智能安全問題5.1網(wǎng)絡(luò)入侵檢測概述5.1.1網(wǎng)絡(luò)入侵檢測系統(tǒng)的背景和基本概念

1.網(wǎng)絡(luò)入侵檢測的背景隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)攻擊日益普遍；傳統(tǒng)的防火墻和訪問控制等防御手段在應(yīng)對(duì)新型和復(fù)雜攻擊時(shí)存在局限；用戶和企業(yè)對(duì)網(wǎng)絡(luò)安全的要求越來越高。許多國家和行業(yè)對(duì)信息安全有嚴(yán)格的合規(guī)要求。2.網(wǎng)絡(luò)入侵檢測的相關(guān)基本概念（1）網(wǎng)絡(luò)入侵：網(wǎng)絡(luò)入侵是指未經(jīng)授權(quán)的個(gè)人或組織通過網(wǎng)絡(luò)手段進(jìn)入他人的計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)或數(shù)據(jù)存儲(chǔ)區(qū)域的行為。（2）網(wǎng)絡(luò)入侵檢測系統(tǒng)：網(wǎng)絡(luò)入侵檢測系統(tǒng)是指進(jìn)行網(wǎng)絡(luò)入侵檢測的軟硬件組合，其目的是及時(shí)發(fā)現(xiàn)潛在的安全威脅。入侵檢測與防火墻的協(xié)同

如圖1所示，網(wǎng)絡(luò)入侵檢測系統(tǒng)的工作流程包括：（1）信息收集（2）入侵分析（3）告警響應(yīng)。

如圖2的網(wǎng)絡(luò)安全防護(hù)體系所示，防火墻和訪問控制提供的是預(yù)防性安全措施，NIDS提供的是檢測性安全措施，專注于發(fā)現(xiàn)和報(bào)告網(wǎng)絡(luò)中已發(fā)生或正發(fā)生的安全事件，實(shí)時(shí)、動(dòng)態(tài)、準(zhǔn)確地檢測各種攻擊威脅。5.1.1網(wǎng)絡(luò)入侵檢測系統(tǒng)的背景和基本概念圖1.網(wǎng)絡(luò)入侵檢測系統(tǒng)的工作流程圖2.網(wǎng)絡(luò)安全防護(hù)體系1.未應(yīng)用人工智能技術(shù)階段（傳統(tǒng)方法）·基于簽名的NIDS·基于行為的NIDS

2.應(yīng)用人工智能技術(shù)階段·基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的NIDS·基于深度學(xué)習(xí)方法的NIDS網(wǎng)絡(luò)入侵檢測系統(tǒng)應(yīng)用人工智能技術(shù)階段未應(yīng)用人工智能技術(shù)階段基于簽名的方法基于行為的方法基于深度學(xué)習(xí)的方法基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法支持向量機(jī)樸素貝葉斯決策樹…卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器循環(huán)神經(jīng)網(wǎng)絡(luò)…5.1.2網(wǎng)絡(luò)入侵檢測系統(tǒng)的發(fā)展

2.異常檢測模型基于正常網(wǎng)絡(luò)行為建立一個(gè)基線，任何偏離這個(gè)基線的網(wǎng)絡(luò)行為都可能被視為異?；蚬簟?/p>

1.誤用檢測模型通過分析歷史攻擊數(shù)據(jù)將攻擊模式定義為一系列的規(guī)則或簽名。誤用檢測模型異常檢測模型5.1.3網(wǎng)絡(luò)入侵檢測系統(tǒng)的分類

5.2網(wǎng)絡(luò)入侵檢測模型的構(gòu)建

5.2.1主流入侵檢測數(shù)據(jù)集介紹四個(gè)主流入侵檢測數(shù)據(jù)集

5.2.2數(shù)據(jù)預(yù)處理和特征工程1.數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理指對(duì)原始流量數(shù)據(jù)進(jìn)行清理、轉(zhuǎn)換和規(guī)范化等操作，主要包括數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)簽化和數(shù)據(jù)轉(zhuǎn)換等。2.特征工程特征工程需要從網(wǎng)絡(luò)流量數(shù)據(jù)中提取并構(gòu)建特征，主要包括特征提取和特征選擇。下面以CICFlowMeter工具為例進(jìn)行特征工程的介紹，該工具可從網(wǎng)絡(luò)流量Pcap文件中提取特征，工作流程包括數(shù)據(jù)包捕獲、流重構(gòu)和提取特征，其初始離線處理界面如下圖所示：

CICFlowmeter的離線處理界面

5.2.2數(shù)據(jù)預(yù)處理和特征工程點(diǎn)擊ok，如下圖所示，“Workingon”表示正對(duì)某個(gè)pcap文件進(jìn)行特征提取，完成后輸出“Done”，并統(tǒng)計(jì)這個(gè)Pcap文件的總流數(shù)、總數(shù)據(jù)、有效數(shù)據(jù)包等數(shù)目。待每個(gè)pcap文件提取完成后，本次特征提取結(jié)束。

CICFlowmeter的特征提取界面提取特征后進(jìn)行特征選擇，可以去除與網(wǎng)絡(luò)入侵檢測任務(wù)相關(guān)性低的特征，選擇相關(guān)性高的特征。

5.2.3模型訓(xùn)練與優(yōu)化策略1.模型訓(xùn)練模型訓(xùn)練部分的介紹圍繞深度學(xué)習(xí)模型展開，訓(xùn)練通常是通過迭代過程完成的，每次迭代包括以下步驟：（1）前向傳播（2）損失計(jì)算（3）反向傳播（4）參數(shù)更新通常，模型在驗(yàn)證集上的性能不再提升時(shí)作為停止訓(xùn)練的條件。2.模型測試完成訓(xùn)練后，使用測試集對(duì)模型進(jìn)行評(píng)估，以確保其泛化能力強(qiáng)、沒有產(chǎn)生過擬合，準(zhǔn)確預(yù)測待測數(shù)據(jù)。3.優(yōu)化策略針對(duì)網(wǎng)絡(luò)入侵檢測的模型優(yōu)化策略可以使用超參數(shù)調(diào)整、正則化、動(dòng)態(tài)學(xué)習(xí)與實(shí)時(shí)更新等方法5.3人工智能在網(wǎng)絡(luò)入侵檢測中的應(yīng)用下圖是基于人工智能技術(shù)的網(wǎng)絡(luò)入侵檢測框架，包括人工智能技術(shù)和網(wǎng)絡(luò)入侵檢測兩個(gè)部分：

基于人工智能技術(shù)的網(wǎng)絡(luò)入侵檢測框架5.3人工智能在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

5.3.1機(jī)器學(xué)習(xí)算法在網(wǎng)絡(luò)入侵檢測中的應(yīng)用1.支持向量機(jī)（SVM）在網(wǎng)絡(luò)入侵檢測中的應(yīng)用SVM算法應(yīng)用于網(wǎng)絡(luò)入侵檢測的步驟包括：定義特征空間、選擇超平面、優(yōu)化和調(diào)整參數(shù)、決策。SVM模型的訓(xùn)練數(shù)據(jù)如下表所示：應(yīng)用SVM進(jìn)行網(wǎng)絡(luò)入侵檢測的訓(xùn)練數(shù)據(jù)

SVM應(yīng)用于網(wǎng)絡(luò)入侵檢測的可視化結(jié)果SVM算法的決策邊界和數(shù)據(jù)點(diǎn)的分布如下圖所示，通過訓(xùn)練找到了一個(gè)最優(yōu)超平面，新的數(shù)據(jù)點(diǎn)（星號(hào)）位于決策邊界的下方，被模型分類為入侵。

傳輸時(shí)間（ms）

平均數(shù)據(jù)包大?。˙）

5.3.1機(jī)器學(xué)習(xí)算法在網(wǎng)絡(luò)入侵檢測中的應(yīng)用2.K近鄰（KNN）在網(wǎng)絡(luò)入侵檢測中的應(yīng)用。KNN算法應(yīng)用于網(wǎng)絡(luò)入侵檢測的步驟有：選擇K值、計(jì)算距離、多數(shù)投票決策。本示例使用的訓(xùn)練數(shù)據(jù)與SVM方法中的一致，檢測階段會(huì)計(jì)算新數(shù)據(jù)點(diǎn)到其他數(shù)據(jù)點(diǎn)的距離，結(jié)果如下表所示：待測樣本點(diǎn)與其他數(shù)據(jù)點(diǎn)的距離KNN應(yīng)用于網(wǎng)絡(luò)入侵檢測的可視化結(jié)果下圖中展示了K=3的決策邊界和數(shù)據(jù)點(diǎn)的分布，新的數(shù)據(jù)點(diǎn)以星號(hào)表示，其3個(gè)最近鄰居中均為為入侵流量，該數(shù)據(jù)點(diǎn)被分類為入侵。

平均數(shù)據(jù)包大小（B）

傳輸時(shí)間（ms）5.3.2深度學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

1.卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用如右圖所示，包含兩個(gè)步驟：(1)使用CNN將網(wǎng)絡(luò)流量字節(jié)流序列處理成流向量(2)將CNN與LSTM結(jié)合使用，首先先生成數(shù)據(jù)包向量，隨后生成流向量(a)(b)CNN和LSTM在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

5.3.2深度學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用

2.自編碼器在網(wǎng)絡(luò)入侵檢測中的應(yīng)用自編碼器包含編碼器和解碼器，訓(xùn)練目標(biāo)是最小化輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)的差異，根據(jù)新輸入的重構(gòu)誤差進(jìn)行網(wǎng)絡(luò)入侵檢測。自編碼器的結(jié)構(gòu)如下圖所示：

自編碼器的結(jié)構(gòu)5.4網(wǎng)絡(luò)入侵檢測的具體實(shí)現(xiàn)案例5.4網(wǎng)絡(luò)入侵檢測的具體實(shí)現(xiàn)案例本節(jié)介紹一個(gè)基于混合深度神經(jīng)網(wǎng)絡(luò)的分布式拒絕服務(wù)攻擊檢測任務(wù)，利用卷積網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)來檢測DDoS攻擊，結(jié)構(gòu)如右圖。該模型結(jié)合了CNN和LSTM網(wǎng)絡(luò)，是典型的混合網(wǎng)絡(luò)結(jié)構(gòu)，可用來處理具有空間和時(shí)間特性的流量數(shù)據(jù)?；贑NN_LSTM的網(wǎng)絡(luò)入侵檢測模型結(jié)構(gòu)圖

5.5網(wǎng)絡(luò)入侵檢測的人工智能安全問題網(wǎng)絡(luò)安全威脅能夠影響入侵檢測模型的檢測性能，使其失效。本節(jié)以投毒攻擊舉例進(jìn)行介紹。攻擊示意圖如下：

攻擊者獲取包含正常和惡意流量的數(shù)據(jù)集，每條記錄包括字節(jié)序列和標(biāo)簽，選擇惡意流量的字節(jié)序列，修改IP包頭等不影響傳輸?shù)淖侄?，并修改?biāo)簽，再將這些投毒數(shù)據(jù)混入訓(xùn)練集。網(wǎng)絡(luò)入侵檢測模型使用投毒數(shù)據(jù)訓(xùn)練后，學(xué)習(xí)到錯(cuò)誤特征，影響最終檢測性能。5.5網(wǎng)絡(luò)入侵檢測的人工智能安全問題網(wǎng)絡(luò)入侵檢測模型中的投毒攻擊

謝謝大家！第六章:人工智能在網(wǎng)絡(luò)流量分類領(lǐng)域《人工智能安全導(dǎo)論》北京工業(yè)大學(xué)第六章：人工智能在網(wǎng)絡(luò)流量分類領(lǐng)域6.1網(wǎng)絡(luò)流量分類概述6.2流量分類的數(shù)據(jù)集和分類特征6.3人工智能在流量分類中的應(yīng)用6.4網(wǎng)絡(luò)流量分類的具體實(shí)現(xiàn)案例6.5流量分類的人工智能安全問題6.1網(wǎng)絡(luò)流量分類概述6.1.1流量分類的背景和基本概念隨著互聯(lián)網(wǎng)流量爆炸式增長，網(wǎng)絡(luò)流量分類變得至關(guān)重要。它指的是根據(jù)數(shù)據(jù)包的特征將網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行分類。分類任務(wù)包括識(shí)別應(yīng)用層協(xié)議、具體應(yīng)用、物聯(lián)網(wǎng)設(shè)備類型以及檢測異常流量，人工智能技術(shù)為此提供了更有效的方法。6.1.2網(wǎng)絡(luò)流量分類的重要性網(wǎng)絡(luò)流量分類在數(shù)字經(jīng)濟(jì)時(shí)代至關(guān)重要，它提升服務(wù)質(zhì)量，保障經(jīng)濟(jì)穩(wěn)定運(yùn)行，并有效監(jiān)管網(wǎng)絡(luò)行為。它確保關(guān)鍵應(yīng)用流暢運(yùn)行，打擊非法活動(dòng)，是網(wǎng)絡(luò)高效、穩(wěn)定、安全的基礎(chǔ)。6.1.3流量分類的技術(shù)演進(jìn)網(wǎng)絡(luò)流量分類技術(shù)經(jīng)歷了演進(jìn)：最初是基于端口的方法，然后發(fā)展到深度包檢測。之后，傳統(tǒng)機(jī)器學(xué)習(xí)方法利用統(tǒng)計(jì)特征處理加密流量。最新的深度學(xué)習(xí)方法提供了最高的準(zhǔn)確性和魯棒性，但計(jì)算資源需求也更高。分類方法簡單易實(shí)施計(jì)算資源需求低可以無視端口隨機(jī)化準(zhǔn)確率高能夠處理加密流量魯棒性強(qiáng)基于端口號(hào)的方法深度包檢測基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法基于深度學(xué)習(xí)的方法6.2流量分類的數(shù)據(jù)集和分類特征6.2.1主流流量分類數(shù)據(jù)集介紹為了構(gòu)建良好的網(wǎng)絡(luò)流量分類模型，必須利用數(shù)據(jù)集進(jìn)行訓(xùn)練和評(píng)估。研究人員通常會(huì)使用私有收集的數(shù)據(jù)集或公共數(shù)據(jù)集。下表總結(jié)了在網(wǎng)絡(luò)流量分類領(lǐng)域廣泛應(yīng)用的數(shù)據(jù)集。數(shù)據(jù)集任務(wù)場景是否帶標(biāo)簽數(shù)據(jù)集形式發(fā)布年份ISCXVPN2016VPN/非VPN是FullPCAP2016Cross-Platform移動(dòng)應(yīng)用是FullPCAP2019Edge-IIoTse工業(yè)物聯(lián)網(wǎng)是FullPCAP2022MonIoTr物聯(lián)網(wǎng)是FullPCAP20196.2.2數(shù)據(jù)預(yù)處理和流量特征表示網(wǎng)絡(luò)流量分析中,有多種工具可以進(jìn)行數(shù)據(jù)預(yù)處理工作：tshark:Wireshark的命令行版本。SplitCap:可以根據(jù)不同標(biāo)準(zhǔn)將大型PCAP文件拆分成多個(gè)小文件。dpkt:Python第三方庫,可以直接解析PCAP文件。6.2.2數(shù)據(jù)預(yù)處理和流量特征表示網(wǎng)絡(luò)流量特征表示方法主要有三種:統(tǒng)計(jì)特征、序列特征和圖特征。統(tǒng)計(jì)特征通過對(duì)數(shù)據(jù)包屬性進(jìn)行統(tǒng)計(jì)匯總來表征流量整體特性;序列特征捕捉數(shù)據(jù)包時(shí)間序列信息;圖特征則構(gòu)建流量的圖結(jié)構(gòu),捕捉數(shù)據(jù)包間復(fù)雜關(guān)系。6.3人工智能在流量分類中的應(yīng)用6.3人工智能在流量分類中的應(yīng)用人工智能應(yīng)用于流量分類的四個(gè)基本步驟，分別是流量采集、流量表示、流量分析和表現(xiàn)評(píng)估四個(gè)方面。6.3.1傳統(tǒng)機(jī)器學(xué)習(xí)方法的應(yīng)用1、決策樹：決策樹是一種有監(jiān)督學(xué)習(xí)方法,可以根據(jù)網(wǎng)絡(luò)流量的特征如數(shù)據(jù)包個(gè)數(shù)、負(fù)載字節(jié)長度、持續(xù)時(shí)間等進(jìn)行分類。6.3.1傳統(tǒng)機(jī)器學(xué)習(xí)方法的應(yīng)用2、K-Means：K-Means是一種無監(jiān)督學(xué)習(xí)方法,可以根據(jù)網(wǎng)絡(luò)流量特征自動(dòng)將流量劃分為多個(gè)簇。6.3.2深度學(xué)習(xí)方法的應(yīng)用長短期記憶網(wǎng)絡(luò)（LSTM）：LSTM擅長處理時(shí)間序列數(shù)據(jù),能夠捕捉網(wǎng)絡(luò)流量數(shù)據(jù)包間的長期依賴關(guān)系,有利于建模網(wǎng)絡(luò)流整體行為,在復(fù)雜流量分類任務(wù)中表現(xiàn)優(yōu)異。6.4網(wǎng)絡(luò)流量分類的具體實(shí)現(xiàn)案例6.4網(wǎng)絡(luò)流量分類的具體實(shí)現(xiàn)案例網(wǎng)絡(luò)流量分類的具體實(shí)現(xiàn)案例包括:數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、模型定義、模型訓(xùn)練、模型驗(yàn)證、模型測試、模型評(píng)估、模型優(yōu)化、模型監(jiān)控、模型存儲(chǔ)、結(jié)果分析等完整的建模流程。6.5流量分類的人工智能安全問題6.5流量分類的人工智能安全問題對(duì)抗樣本攻擊：攻擊者可以通過多種方式構(gòu)造出