人工智能安全治理框架解讀——系統(tǒng)安全風險及應(yīng)對篇

2024年9月9日，全國網(wǎng)絡(luò)安全標準化技術(shù)委員會發(fā)布了《人工智能安全治理框架》1.0版（以下簡稱“《治理框架》”）?！吨卫砜蚣堋反_定了人工智能的總體安全治理框架。按照“提出問題”到“解決問題”的邏輯：首先梳理人工智能技術(shù)本身及其在應(yīng)用過程中面臨的各種安全風險；之后針對前述安全風險點提出解決方案；最后還針對模型算法研發(fā)者、AI服務(wù)提供者、重點領(lǐng)域用戶和社會公眾用戶給出了開發(fā)應(yīng)用人工智能技術(shù)的若干安全指導規(guī)范。本文以《治理框架》為基礎(chǔ)，進一步用盡量簡單易懂的例子解讀風險和應(yīng)對措施，以饗讀者。本文主要圍繞人工智能系統(tǒng)安全風險和應(yīng)對措施展開討論。1.缺陷、后門被攻擊利用風險人工智能算法模型設(shè)計、訓練和驗證的標準接口、特性庫和工具包，以及開發(fā)界面和執(zhí)行平臺可能存在邏輯缺陷、漏洞等脆弱點，還可能被惡意植入后門，存在被觸發(fā)和攻擊利用的風險。以系統(tǒng)缺陷為例，人工智能系統(tǒng)中的漏洞或缺陷是指系統(tǒng)中未發(fā)現(xiàn)或未修補的安全問題，攻擊者可以利用這些漏洞進行惡意操作。例如：AI模型的輸入驗證機制存在缺陷，允許攻擊者通過輸入惡意數(shù)據(jù)來操縱模型的輸出。如果系統(tǒng)基礎(chǔ)設(shè)施（如數(shù)據(jù)庫、操作系統(tǒng)）中存在安全漏洞，攻擊者可以通過這些漏洞獲得對AI系統(tǒng)的未授權(quán)訪問。系統(tǒng)缺陷風險：數(shù)據(jù)泄露：攻擊者可以通過利用漏洞獲取系統(tǒng)中的敏感數(shù)據(jù)。系統(tǒng)癱瘓：攻擊者可能通過漏洞對系統(tǒng)進行拒絕服務(wù)（DoS）攻擊，導致AI系統(tǒng)無法正常運行。錯誤決策：模型的漏洞可能被利用，使AI系統(tǒng)做出錯誤的決策或預(yù)測，影響自動駕駛、醫(yī)療診斷等場景。后門攻擊風險是指開發(fā)人員或攻擊者在AI系統(tǒng)中故意或無意留下的秘密訪問點或控制機制，使得在不符合正常安全協(xié)議的情況下，攻擊者能夠進入系統(tǒng)并操控模型或數(shù)據(jù)。例如：AI模型的開發(fā)者在模型中植入了后門代碼，當攻擊者輸入特定觸發(fā)條件時，模型將產(chǎn)生預(yù)定的錯誤輸出。例如，某圖像分類模型在識別普通交通標志時準確無誤，但在面對帶有特定符號的標志時，卻會錯誤地將“停止”標志識別為“通行”，從而引發(fā)潛在的危險。在模型訓練數(shù)據(jù)或算法中故意加入惡意代碼，使得在特定情況下，攻擊者能夠通過后門獲得對系統(tǒng)的控制。具體的風險可能是：操控結(jié)果：攻擊者可以通過后門操控AI模型，使其在面對特定輸入時做出不正常的決策（例如在自動駕駛汽車系統(tǒng)中故意引發(fā)錯誤決策）。信息竊?。汉箝T可以被攻擊者用來獲取系統(tǒng)中的敏感數(shù)據(jù)，如用戶隱私信息或商業(yè)秘密。攻擊擴散：攻擊者可以通過后門進一步入侵系統(tǒng)的其他部分或網(wǎng)絡(luò)中的其他系統(tǒng)，擴大攻擊范圍?？刹扇〉膽?yīng)對措施有：安全開發(fā)和代碼審查：在AI系統(tǒng)開發(fā)過程中，采用嚴格的安全開發(fā)流程，確保每一步都經(jīng)過安全性驗證；定期進行代碼審查和安全測試，識別并修復(fù)潛在漏洞和后門。模型驗證和測試：使用防后門檢測工具和對抗性測試，對AI模型進行全面的安全性評估，確保模型未被植入惡意后門。強化訪問控制：實施嚴格的訪問控制策略，限制只有經(jīng)過授權(quán)的人員才能訪問和修改AI系統(tǒng)的核心代碼和模型。防篡改機制：使用防篡改技術(shù)保護模型的完整性，確保模型在使用過程中不會被未經(jīng)授權(quán)的修改或注入惡意代碼。模型更新和監(jiān)控：定期更新AI模型和系統(tǒng)，修補已知漏洞，并對模型的行為進行持續(xù)監(jiān)控，識別任何潛在的異?；顒印?/p>

2.算力安全風險人工智能訓練運行所依賴的算力基礎(chǔ)設(shè)施，涉及多源、泛在算力節(jié)點，不同類型計算資源，面臨算力資源惡意消耗、算力層面風險跨邊界傳遞等風險。AI系統(tǒng)依賴于強大的計算能力來處理大規(guī)模的數(shù)據(jù)和復(fù)雜的模型訓練，而算力安全風險主要涉及對計算資源的濫用、攻擊或不當管理。具體風險和表現(xiàn)包括：（1）計算資源濫用攻擊者通過未授權(quán)的訪問，惡意利用AI系統(tǒng)的計算資源進行其他目的的計算，導致系統(tǒng)負載過高或算力資源枯竭。例如，黑客侵入AI系統(tǒng)或云計算平臺，利用其算力進行加密貨幣挖礦，消耗大量計算資源，導致AI系統(tǒng)性能下降甚至癱瘓?；蛘吖粽呤褂谩八懔俪帧奔夹g(shù)，將AI模型的計算資源用于處理無關(guān)的任務(wù)，影響正常工作流程。潛在風險：系統(tǒng)性能下降：正常的AI任務(wù)處理速度變慢，甚至導致關(guān)鍵業(yè)務(wù)中斷。經(jīng)濟損失：算力濫用會增加企業(yè)的云計算成本和電力消耗，尤其是當計算資源在云平臺上計費時。

（2）拒絕服務(wù)攻擊（DoS/DDoS）攻擊者通過大量虛假請求或惡意輸入，耗盡AI系統(tǒng)的計算資源，使其無法響應(yīng)合法用戶的請求。例如：攻擊者向AI推理系統(tǒng)發(fā)送海量的請求，導致系統(tǒng)過載，從而影響關(guān)鍵業(yè)務(wù)的運行?；蛘撸谟柧氝^程中，攻擊者輸入大量惡意數(shù)據(jù)，迫使模型進行復(fù)雜的計算，從而拖慢訓練進度。潛在風險：系統(tǒng)不可用：系統(tǒng)因過載而無法處理正常業(yè)務(wù)，可能影響到醫(yī)療、金融等領(lǐng)域的實時決策。數(shù)據(jù)丟失或損壞：系統(tǒng)資源耗盡可能導致數(shù)據(jù)處理錯誤或模型崩潰。

（3）資源爭奪和優(yōu)先級問題在多租戶環(huán)境中，不同的AI任務(wù)可能會爭奪有限的計算資源，導致高優(yōu)先級任務(wù)無法及時獲得足夠的算力支持。例如：在共享的云計算平臺上，低優(yōu)先級的任務(wù)占用了大部分計算資源，導致高優(yōu)先級的任務(wù)（如實時監(jiān)控系統(tǒng)）無法在規(guī)定時間內(nèi)完成。潛在風險：任務(wù)延遲或失?。宏P(guān)鍵任務(wù)因資源不足而被延遲或無法完成，特別是在醫(yī)療診斷、自動駕駛等對時效性要求高的領(lǐng)域。服務(wù)質(zhì)量下降：AI系統(tǒng)的響應(yīng)速度變慢，用戶體驗惡化，影響業(yè)務(wù)穩(wěn)定性。（4）計算資源過載與可擴展性不足AI系統(tǒng)中的模型訓練和推理需要大量計算資源，隨著數(shù)據(jù)規(guī)模和模型復(fù)雜度的增加，可能導致系統(tǒng)過載或無法按需擴展。例如一個企業(yè)的AI模型需要處理越來越多的數(shù)據(jù)，但系統(tǒng)的計算能力未能及時擴展，導致訓練速度變慢或模型性能下降。潛在風險：計算資源不足：系統(tǒng)無法在高負載條件下保持正常運行，影響AI項目的進度和效率。經(jīng)濟損失：若系統(tǒng)過載導致任務(wù)失敗，可能造成商業(yè)決策延誤或錯誤，帶來直接或間接的經(jīng)濟損失。（5）惡意算力競爭攻擊攻擊者通過惡意行為占用大量的計算資源，阻礙合法用戶或任務(wù)的計算需求，從而獲得競爭優(yōu)勢。例如，在共享云平臺上，競爭對手通過發(fā)送大量無用請求，惡意搶占AI計算資源，導致企業(yè)的合法AI任務(wù)無法按時完成。潛在風險：市場競爭受損，合法的AI系統(tǒng)因資源競爭受阻，無法在規(guī)定時間內(nèi)交付業(yè)務(wù)結(jié)果，損害企業(yè)競爭力，破壞市場秩序。（6）算力管理和分配中的漏洞在計算資源的管理和分配過程中，存在不當?shù)呐渲没蚬芾砺┒?，導致計算資源被不當使用或管理不善。例如，在AI云平臺中，管理員誤配置了資源分配策略，導致高優(yōu)先級任務(wù)沒有獲得足夠的算力，影響任務(wù)的完成。潛在風險：效率低下：計算資源沒有得到合理配置，導致AI系統(tǒng)整體效率下降。安全風險：管理漏洞可能使得攻擊者通過操作系統(tǒng)或虛擬機漏洞獲得對計算資源的控制權(quán)。（7）濫用AI代理（AIAgentMisuse）AI代理或自治系統(tǒng)在分布式環(huán)境中可能控制大量的計算資源，如果被惡意操控，這些代理可能被濫用，導致算力被惡意利用。例如，一個AI代理在無人機控制系統(tǒng)中被攻擊者劫持，利用其計算資源進行非授權(quán)任務(wù)。這導致的風險是：系統(tǒng)控制失效：AI代理失控可能導致整個系統(tǒng)被惡意行為操控，甚至影響到公共安全。

（8）能源消耗與環(huán)境影響AI模型的訓練過程需要消耗大量的算力，這對能源的消耗有直接影響，尤其是在長時間運行的大規(guī)模模型時，能源管理不善可能引發(fā)安全問題。例如，在數(shù)據(jù)中心，AI系統(tǒng)長時間高負載運行導致能源過度消耗，增加了數(shù)據(jù)中心的運營成本，并可能引發(fā)散熱和系統(tǒng)維護問題。主要風險是資源浪費：能源消耗過大，不僅會增加成本，還可能對環(huán)境產(chǎn)生負面影響，尤其是企業(yè)未采取節(jié)能措施的情況下。

可采取的應(yīng)對措施有：（1）資源監(jiān)控與配額管理實時監(jiān)控AI系統(tǒng)的計算資源使用情況，確保資源分配合理，并對異常情況進行及時處理。通過設(shè)置資源配額，防止單個任務(wù)或用戶濫用算力資源。（2）防御和檢測機制部署強大的入侵檢測系統(tǒng)（IDS）和防火墻，防止惡意攻擊者利用漏洞進行算力劫持或拒絕服務(wù)攻擊。使用防止DDoS攻擊的技術(shù)和工具，保障系統(tǒng)在高負載條件下的正常運行。

（3）使用分布式計算和彈性架構(gòu)采用分布式計算和云平臺的彈性擴展功能，確保AI系統(tǒng)在計算需求突然增加時，能夠快速擴展資源，避免過載。

（4）采用節(jié)能技術(shù)和優(yōu)化計算資源通過優(yōu)化AI模型的訓練過程（如模型剪枝、量化等技術(shù)），減少算力需求和能源消耗。在數(shù)據(jù)中心使用節(jié)能設(shè)備和綠色能源，減少因長時間運行AI模型帶來的環(huán)境影響。（5）合理分配任務(wù)優(yōu)先級為AI系統(tǒng)中的任務(wù)設(shè)置合理的優(yōu)先級，確保關(guān)鍵任務(wù)獲得足夠的計算資源支持。

總的來說，算力安全風險是AI系統(tǒng)中不可忽視的一個重要方面，特別是在大規(guī)模模型訓練和分布式計算環(huán)境中。通過合理的資源監(jiān)控、漏洞防御、節(jié)能措施和任務(wù)分配，可以有效減輕算力安全帶來的風險，確保AI系統(tǒng)的安全性和穩(wěn)定性。3.供應(yīng)鏈安全風險人工智能產(chǎn)業(yè)鏈呈現(xiàn)高度全球化分工協(xié)作格局。但個別國家利用技術(shù)壟斷和出口管制等單邊強制措施制造發(fā)展壁壘，惡意阻斷全球人工智能供應(yīng)鏈，帶來突出的芯片、軟件、工具斷供風險。供應(yīng)鏈安全風險指的是在AI系統(tǒng)開發(fā)、部署和運行過程中，系統(tǒng)所依賴的第三方組件、硬件、軟件和服務(wù)可能會引入安全隱患。隨著AI系統(tǒng)復(fù)雜性的增加，供應(yīng)鏈中的任何薄弱環(huán)節(jié)都可能被惡意利用，影響整個系統(tǒng)的安全性和穩(wěn)定性。尤其是地緣政治和國際競爭的影響下，尤其需要注意。以下是供應(yīng)鏈安全風險的來源及示例。（1）第三方軟件和庫的安全問題AI系統(tǒng)通常依賴于多個第三方軟件組件、開源庫和框架。這些組件可能存在未被發(fā)現(xiàn)的漏洞或被惡意篡改的風險，攻擊者可以通過這些漏洞侵入系統(tǒng)。例如：開源AI框架中存在安全漏洞，攻擊者利用該漏洞獲取系統(tǒng)訪問權(quán)限或篡改模型行為。或者，第三方供應(yīng)商提供的機器學習模型或預(yù)訓練模型被植入了后門，使得攻擊者能夠在特定輸入條件下觸發(fā)惡意行為。潛在風險：系統(tǒng)被控制：攻擊者通過第三方軟件中的漏洞獲得對系統(tǒng)的控制權(quán)。數(shù)據(jù)泄露：攻擊者利用漏洞竊取敏感數(shù)據(jù)，如訓練數(shù)據(jù)或模型權(quán)重。（2）硬件供應(yīng)鏈風險AI系統(tǒng)依賴的硬件設(shè)備（如GPU、TPU、傳感器、服務(wù)器）可能會在生產(chǎn)和分發(fā)過程中被植入惡意固件或硬件后門，導致系統(tǒng)安全受損。例如，AI訓練所使用的硬件設(shè)備中被植入了惡意芯片或固件，允許攻擊者通過遠程方式監(jiān)控或篡改系統(tǒng)中的數(shù)據(jù)和模型。潛在風險：數(shù)據(jù)篡改或泄露：硬件后門可能允許攻擊者竊取敏感數(shù)據(jù)或篡改模型訓練過程，導致模型輸出錯誤結(jié)果。系統(tǒng)癱瘓：惡意硬件可能被遠程激活，導致系統(tǒng)性能下降甚至完全癱瘓。（3）云服務(wù)供應(yīng)鏈風險許多AI系統(tǒng)依賴于第三方云服務(wù)提供商進行模型訓練、存儲和推理。如果云服務(wù)提供商的安全性不足，可能會成為攻擊者的目標。例如：AI模型訓練和推理使用的云計算平臺遭遇數(shù)據(jù)泄露或服務(wù)商內(nèi)部人員的惡意行為，導致模型和數(shù)據(jù)被竊取?；蛘撸品?wù)的基礎(chǔ)設(shè)施存在漏洞，攻擊者通過這些漏洞獲取對AI系統(tǒng)的訪問權(quán)限。潛在風險：數(shù)據(jù)泄露：托管在云端的訓練數(shù)據(jù)或模型參數(shù)被惡意竊取。服務(wù)中斷：云服務(wù)供應(yīng)商的安全問題可能導致AI系統(tǒng)的關(guān)鍵服務(wù)中斷，影響業(yè)務(wù)連續(xù)性。

（4）軟件更新供應(yīng)鏈風險AI系統(tǒng)在運行過程中需要定期進行軟件更新和補丁修復(fù)。如果更新機制不安全或更新來源不可信，可能被攻擊者利用來傳播惡意軟件或后門。例如，供應(yīng)商發(fā)布的AI模型更新包中包含了未被察覺的惡意代碼，用戶在更新系統(tǒng)時不知情地引入了安全威脅。潛在風險：系統(tǒng)被篡改：通過惡意更新，攻擊者可以植入后門或惡意代碼，從而影響AI系統(tǒng)的安全性和功能。模型攻擊：模型更新過程中，惡意代碼可能對模型行為進行微調(diào)，導致預(yù)測結(jié)果失準或被操控。（5）外包和第三方服務(wù)風險在AI系統(tǒng)的開發(fā)和維護過程中，企業(yè)可能依賴外部供應(yīng)商或外包服務(wù)。第三方人員的安全素養(yǎng)和可信度直接影響系統(tǒng)的安全性。例如，一個公司外包的AI模型標注服務(wù)方雇傭的員工在數(shù)據(jù)標注過程中故意引入錯誤數(shù)據(jù)，影響模型的訓練質(zhì)量?；蛘?，外包開發(fā)的代碼中被植入后門，開發(fā)方或黑客利用這些后門進行攻擊。潛在風險：數(shù)據(jù)泄露和篡改：外包方或第三方供應(yīng)商可能因安全管理不足或惡意行為導致數(shù)據(jù)泄露或篡改。不安全的模型或代碼：外部開發(fā)的模型或代碼可能未經(jīng)充分測試和安全審查，增加安全隱患。

供應(yīng)鏈安全風險的應(yīng)對措施

（1）供應(yīng)鏈透明度和安全審查：在引入第三方組件、硬件或服務(wù)時，確保供應(yīng)鏈的透明性，要求供應(yīng)商提供詳細的安全保證和安全測試報告。對供應(yīng)鏈的各個環(huán)節(jié)進行安全審計，確保其符合安全標準，并定期進行供應(yīng)商的安全評估。（2）第三方軟件安全驗證：對所有使用的第三方開源庫和軟件進行安全驗證，使用安全掃描工具識別潛在的漏洞。在使用第三方模型或預(yù)訓練模型前，進行詳細的代碼審查和模型測試，以確保其安全性。（3）硬件安全認證和檢測：選擇經(jīng)過認證的硬件供應(yīng)商，確保所采購的硬件符合行業(yè)安全標準，并且進行獨立的安全檢測。使用防篡改技術(shù)和硬件加密措施，保護硬件設(shè)備免受惡意篡改和攻擊。（4）云服務(wù)安全管理：選擇有良好安全記錄和認證的云服務(wù)供應(yīng)商，并與供應(yīng)商簽署嚴格的數(shù)據(jù)保護協(xié)議（如GDPR合規(guī)）。對云端存儲的數(shù)據(jù)和模型進行加密，確保即使云供應(yīng)商遭到攻擊，敏感信息也不會被泄露。

（5）軟件更新和補丁管理：實施安全的更新機制，使用簽名驗證技術(shù)確保軟件更新的來源可信，并在更新之前進行