目錄

一、將數(shù)據(jù)安全和隱私納入人工智能訓(xùn)練.............................25

1.1數(shù)據(jù)真實(shí)性和許可管理...........................................26

1.2匿名化和假名化................................................27

1.3數(shù)據(jù)最小化....................................................28

1.4數(shù)據(jù)訪問(wèn)控制..................................................29

1.5安全存儲(chǔ)和傳輸................................................30

二、模型安全.....................................................31

2.1模型訪問(wèn)控制...................................................31

2.L1身份驗(yàn)證和授權(quán)框架.......................................32

2.1.2模型接口速率限制.........................................33

2.1.3模型生命周期管理中的訪問(wèn)控制.............................33

2.2安全的模型運(yùn)行環(huán)境............................................35

2.2.1基于硬件的安全功能......................................35

2.2.2網(wǎng)絡(luò)安全控制............................................36

2.2.3操作系統(tǒng)級(jí)加固和安全配置.................................37

2.2.4K8s與容器安全.........................................38

2.2.5云環(huán)境安全...............................................39

2.3漏洞和補(bǔ)丁管理.................................................40

2.3.1機(jī)器學(xué)習(xí)代碼完整性保護(hù)...................................40

2.3.2機(jī)器學(xué)習(xí)訓(xùn)練和部署代碼的版本控制系統(tǒng).....................42

2.3.3利用代碼簽名驗(yàn)證獲批版本.................................43

2.3.4基礎(chǔ)設(shè)施即代碼方法.......................................45

2.4MLOps流水線安全..............................................4G

2.4.1源代碼漏洞掃描.........................................47

2.4.2測(cè)試模型對(duì)攻擊的魯棒性.................................48

2.4.3驗(yàn)證每人階段的流水線完整性.............................49

2.4.4監(jiān)控自動(dòng)化腳本.........................................50

2.5AI模型治理...................................................52

2.5.1模型風(fēng)險(xiǎn)評(píng)估...........................................52

2.5.2業(yè)務(wù)審批程序...........................................53

2.5.3模型監(jiān)控要求...........................................54

2.5.4新模型驗(yàn)證過(guò)程.........................................55

2.6安全模型部署..................................................56

2.6.1灰度發(fā)布...............................................56

2.6.257

2.6.3回滾功能...............................................57

2.6.4模型退役...............................................58

三、漏洞管理.....................................................59

31AI/ML資產(chǎn)清單.................................................59

32持續(xù)漏洞掃描...................................................61

33基于風(fēng)險(xiǎn)的優(yōu)先級(jí)排序...........................................62

34修復(fù)跟蹤.......................................................63

35異常處理.......................................................64

36報(bào)告指標(biāo).......................................................66

結(jié)論..............................................................68

縮略語(yǔ)............................................................70

刖百

本報(bào)告是一份工作草案，重點(diǎn)關(guān)注開(kāi)發(fā)和部署人工智能（AI）和機(jī)器學(xué)習(xí)（ML）

系統(tǒng)的過(guò)程中，在信息和網(wǎng)絡(luò)安全方面的組織責(zé)任。本報(bào)告綜合了專家推薦的核心

安全領(lǐng)域的最佳實(shí)踐，包括數(shù)據(jù)保護(hù)機(jī)制、模型漏洞管理.、機(jī)器學(xué)習(xí)運(yùn)營(yíng)（MLOps）

流水線強(qiáng)化以及負(fù)責(zé)任地訓(xùn)練和部署人工智能的治理政策。

報(bào)告中討論的要點(diǎn)包括：

?數(shù)據(jù)安全和隱私保護(hù)：數(shù)據(jù)真實(shí)性、匿名化、假名化、數(shù)據(jù)最小化、訪問(wèn)控

制以及安全存儲(chǔ)和傳輸在人工智能訓(xùn)練中的重要性。

?模型安全：涵蓋模型安全的各個(gè)方面，包括訪問(wèn)控制、安全運(yùn)行環(huán)境、漏洞和

補(bǔ)丁管理、MLOps流水線安全、AI模型治理和模型安全部署。

?漏洞管理：探討了AI/ML資產(chǎn)清單、持續(xù)漏洞掃描、基于風(fēng)險(xiǎn)的優(yōu)先級(jí)排序、

修復(fù)跟蹤、異常處理和表告指標(biāo)的對(duì)于有效漏洞管理的重要性。

報(bào)告采用可量化的評(píng)估標(biāo)準(zhǔn)、RAQ（“執(zhí)行、負(fù)責(zé)、咨詢、知情”）角色定義模

型、高層實(shí)施策略、持續(xù)監(jiān)控和報(bào)告機(jī)制、訪問(wèn)控制映射以及對(duì)基本準(zhǔn)則的遵循，

逐一分析了各項(xiàng)資任。這些內(nèi)容基于行業(yè)最佳實(shí)踐和標(biāo)準(zhǔn)，如NLSTAIRMF、NISTS，DF、

NIST800-53、CSACCM等。

本文旨在為企業(yè)提供指導(dǎo)，通過(guò)在安全及合規(guī)的關(guān)鍵領(lǐng)域提出建議，幫助企業(yè)

在AI設(shè)計(jì)、開(kāi)發(fā)和部署方面履行負(fù)責(zé)任且安全的義務(wù)。

Al賦能應(yīng)用的關(guān)鍵層

人工智能平臺(tái)

O該層為應(yīng)用程序提供AI能力。它涉及構(gòu)建和保護(hù)承載AI模型、訓(xùn)練數(shù)據(jù)和

配置參數(shù)的基礎(chǔ)設(shè)施。

O安全注意事項(xiàng)包括：阻止惡意輸入以及避免AI模型生成惡意輸出。安全的

AI系統(tǒng)應(yīng)該具備應(yīng)對(duì)潛在的有害輸入并避免有害輸出的能力，比如宣揚(yáng)仇

恨，越獄等。

OAI平臺(tái)層包括以下任務(wù)：

■模型安全和防護(hù)

■模型調(diào)優(yōu)

■模型責(zé)任

■模型設(shè)計(jì)與實(shí)現(xiàn)

■模型訓(xùn)練和治理

■AI計(jì)算和數(shù)據(jù)基礎(chǔ)設(shè)施

AI應(yīng)用程序?qū)?/p>

OAI應(yīng)用程序?qū)永肁I的能力與用戶交互，各應(yīng)用的復(fù)雜性可能存在顯著的

差異。簡(jiǎn)言之，獨(dú)立的AI應(yīng)用就是為一系列API搭建的橋梁；這些API會(huì)

處理來(lái)自用戶的文本提示，并將其傳遞給底層模型以獲得響應(yīng)。復(fù)雜一點(diǎn)的AI

應(yīng)用程序能夠利用持久層、語(yǔ)義索引或提供更廣泛數(shù)據(jù)源訪問(wèn)的插件等手

段，獲得額外的上下文來(lái)豐富提示的內(nèi)容。最先進(jìn)的AI應(yīng)用程序可以與現(xiàn)

有的應(yīng)用程序和系統(tǒng)無(wú)縫集成，實(shí)現(xiàn)多模態(tài)方法，支持文本、音頻以及視

覺(jué)等輸入形式并產(chǎn)生多樣化的內(nèi)容輸出。

OAl應(yīng)用程序的所有者需要確保無(wú)縫的用戶體驗(yàn)，并處理其他相關(guān)的功能或

服務(wù)。為了保護(hù)AI應(yīng)用程序免受不法活動(dòng)的影響，建立一個(gè)強(qiáng)大的應(yīng)用程

序安全系統(tǒng)至關(guān)重要。生成式人工智能(GenAI)系統(tǒng)應(yīng)徹底檢查發(fā)送到AI

模型的提示詞中的內(nèi)容。此外，AI編排所涉及的數(shù)據(jù)交換和交互也必須仔

細(xì)審查，包括與插件和功能等附加組件及數(shù)據(jù)連接器的數(shù)據(jù)交換，以及與

其他AI應(yīng)用程序的交互。對(duì)于基于laaS平臺(tái)或PaaS服務(wù)的AI應(yīng)用程序開(kāi)

發(fā)者來(lái)說(shuō)，建議使用專門的人工智能內(nèi)容安全功能，并根據(jù)具體要求，采

用其他增強(qiáng)保護(hù)的功能。

OAI應(yīng)用程序?qū)影ㄒ韵氯蝿?wù)：

■AI插件和數(shù)據(jù)連接

■應(yīng)用程序設(shè)計(jì)和實(shí)現(xiàn)

■應(yīng)用程序基礎(chǔ)架構(gòu)

■AI安全系統(tǒng)

AI使用

OAI使用層描述了AI功能的應(yīng)用方式和使用場(chǎng)景。生成式人工智能引入了與

API、命令提示和GUI等傳統(tǒng)界面不同的創(chuàng)新的用戶/計(jì)算機(jī)交互模型，這

種新的界面具有交互性和適應(yīng)性，可以根據(jù)用戶的意圖調(diào)整計(jì)算機(jī)的功能。

與要求用戶適應(yīng)系統(tǒng)設(shè)計(jì)和功能的早期界面不同，生成式人工智能界面優(yōu)先考

慮用戶交互。這使得用戶的輸入能夠顯著地影響系統(tǒng)的輸出，強(qiáng)調(diào)了安全機(jī)

制對(duì)保護(hù)個(gè)人、數(shù)據(jù)和企業(yè)資源的重要性。

OAI使用層的安全注意事項(xiàng)與計(jì)算機(jī)系統(tǒng)類似，它依賴在身份和訪問(wèn)管理、

設(shè)備安全、監(jiān)控、數(shù)據(jù)治理和管理控制等方面的穩(wěn)健措施。

鑒于用戶行為可能對(duì)系統(tǒng)輸出產(chǎn)生重大影響，有必要更加關(guān)注用戶行為和

責(zé)任。必須修訂可以被接受的使用政策，并告知用戶傳統(tǒng)應(yīng)用程序和AI增

強(qiáng)型應(yīng)用程序的區(qū)別。這涵蓋了AI相關(guān)的安全、隱私和道德標(biāo)準(zhǔn)等問(wèn)題。

此外，提升用戶對(duì)基于AI攻擊的潛在風(fēng)險(xiǎn)的認(rèn)知是非常重要的，這種攻擊

形式可能涉及包含精心偽造的文本、音頻、視頻和其他用作欺騙的媒體內(nèi)

容。

OAI使用層包括以下任務(wù)：

■用戶培訓(xùn)和問(wèn)責(zé)機(jī)制

■可接受的使用策略和管理控制

■身份和訪問(wèn)管理(IAM)和設(shè)備控制

■數(shù)據(jù)治理

請(qǐng)謹(jǐn)記，共享責(zé)任模型有助于劃分角色，并確保職責(zé)清嘶分工，從而促進(jìn)安全

高效地使用人工智能技術(shù)。對(duì)于不同的AI集成的類型，工作負(fù)載責(zé)任的分配會(huì)有所

不同。

軟件即服務(wù)(SaaS)

O在基于SaaS的人工智能集成中，人工智能平臺(tái)提供商負(fù)責(zé)管理底層基礎(chǔ)設(shè)

施、安全控制和合規(guī)措施。

O用戶的主要重點(diǎn)在于配置和定制AI應(yīng)用程序，以符合相應(yīng)的特定要求。

平臺(tái)即服務(wù)(PaaS)

O基于PaaS的AI平臺(tái)提供了一個(gè)中間層。AI提供商管理著核心的人工智能

功能，但用戶仍然可以進(jìn)行定制化的配置和控制。

O用戶有責(zé)任確保安全地使用AI模型、處理訓(xùn)練數(shù)據(jù)，以及調(diào)整模型(例如

權(quán)重和偏置)。

基礎(chǔ)設(shè)施即服務(wù)（laaS）

O在laaS場(chǎng)景中，用戶可以更好地控制基礎(chǔ)設(shè)施，這也意味著要承擔(dān)更多的

責(zé)任。

O用戶負(fù)責(zé)全棧管理，包括AI模型、訓(xùn)練數(shù)據(jù)和基礎(chǔ)設(shè)施的安全。

以數(shù)據(jù)為中心的人工智能系統(tǒng)的基礎(chǔ)組件

以數(shù)據(jù)為中心的人工智能系統(tǒng)的基礎(chǔ)組件涵蓋了數(shù)據(jù)和模型管理的整個(gè)生命周

期。這些基礎(chǔ)組件協(xié)同工作，以安全高效的人工智能系統(tǒng)，能夠處理數(shù)據(jù)并提供有

價(jià)值的深度分析或自動(dòng)叱決策。

?原始數(shù)據(jù)：從各種來(lái)源收集的原始未處理的數(shù)據(jù)。

?數(shù)據(jù)準(zhǔn)備：將原始數(shù)據(jù)清理和組織成結(jié)構(gòu)化格式的過(guò)程。

?數(shù)據(jù)集：經(jīng)過(guò)整理的數(shù)據(jù)集，可用于分析和模型訓(xùn)練。

?數(shù)據(jù)和人工智能治理：確保數(shù)據(jù)質(zhì)量和人工智能使用倫理的政策和程序。

?機(jī)器學(xué)習(xí)算法：用于解釋數(shù)據(jù)的計(jì)算方法。

?評(píng)估：評(píng)估機(jī)器學(xué)習(xí)模型的性能。

?機(jī)器學(xué)習(xí)模型：基于數(shù)據(jù)集訓(xùn)練的算法的成果。

?模型管理：監(jiān)督機(jī)器學(xué)習(xí)模型的生命周期。

?模型部署和推理：實(shí)施模型以做出預(yù)測(cè)或決策。

?推理結(jié)果：部署模型產(chǎn)生的結(jié)果。

?機(jī)器學(xué)習(xí)運(yùn)營(yíng)（MLOps）：部署和維護(hù)AI模型的實(shí)踐。

?數(shù)據(jù)和人工智能平臺(tái)安全：保護(hù)系統(tǒng)免受威脅的措施。

數(shù)據(jù)運(yùn)營(yíng)：涉及數(shù)據(jù)的獲取和轉(zhuǎn)換，以及確保數(shù)據(jù)安全和治理。機(jī)器學(xué)習(xí)模型

的有效性取決于數(shù)據(jù)流水線的完整性和強(qiáng)化的DataOps框架。

模型運(yùn)營(yíng)：包括創(chuàng)建預(yù)測(cè)性機(jī)器學(xué)習(xí)模型、從模型市場(chǎng)采購(gòu)，或使用大型語(yǔ)言

模型（LLM）（如OpenAI提供的模型或調(diào)用各類大模型API）。模型開(kāi)發(fā)是一個(gè)迭代

過(guò)程，需耍系統(tǒng)的方法來(lái)記錄和評(píng)估各種實(shí)驗(yàn)條件和結(jié)果。

模型部署和服務(wù)：涉及模型容器的安全構(gòu)建、模型的隔離和保護(hù)部署，以及對(duì)

活動(dòng)模型的自動(dòng)擴(kuò)展、速率限制和監(jiān)視的實(shí)施。它還包括為檢索增強(qiáng)生成（RAG）

應(yīng)用程序中的高可用性、低延遲服務(wù)提供特性和功能，以及為其他應(yīng)用程序提供必

要的特性，包括在平臺(tái)外部部署模型或需要目錄中的數(shù)據(jù)特性的應(yīng)用程序。

運(yùn)營(yíng)和平臺(tái)：涵蓋平臺(tái)漏洞、更新、模型隔離和系統(tǒng)控制的管理，以及在安全

架構(gòu)框架內(nèi)實(shí)施授權(quán)的模型訪問(wèn)。此外，它還涉及部署用于持續(xù)集成/持續(xù)部署

（CI/CD）的運(yùn)營(yíng)工具，確保整個(gè)生命周期在獨(dú)立執(zhí)行環(huán)境（如：開(kāi)發(fā)、預(yù)生產(chǎn)及生

產(chǎn)）中遵守既定的標(biāo)準(zhǔn)，以實(shí)現(xiàn)安全的機(jī)器學(xué)習(xí)運(yùn)營(yíng)（MLOps）。

表1將運(yùn)營(yíng)與以數(shù)據(jù)為中心的人工智能系統(tǒng)的核心組件相關(guān)聯(lián)，突出了它們的

角色和相互依賴性。

表L以數(shù)據(jù)為中心的人工智能系統(tǒng)組件及其相互關(guān)聯(lián)的角色

基礎(chǔ)組件說(shuō)明

數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)的攝取、轉(zhuǎn)換、安全和治理。

模型運(yùn)營(yíng)構(gòu)建、獲取和試驗(yàn)機(jī)器學(xué)習(xí)模型。

模型部署和服務(wù)機(jī)器學(xué)習(xí)模型的安全部署、服務(wù)和監(jiān)控。

運(yùn)營(yíng)和平臺(tái)MLOps的平臺(tái)安全性、模型隔離和CI/CD。

表2提供了AI/ML系統(tǒng)每個(gè)階段的潛在風(fēng)險(xiǎn)和威脅的綜合視圖，以及解決這些

問(wèn)題的示例和建議的緩解措施。

表2:AI/趾安全風(fēng)險(xiǎn)概述

系統(tǒng)階段系統(tǒng)組件潛在安全風(fēng)險(xiǎn)威脅緩解措施

數(shù)據(jù)運(yùn)營(yíng)原始數(shù)據(jù)、數(shù)據(jù)準(zhǔn)數(shù)據(jù)丟失：未經(jīng)授數(shù)據(jù)泄露/中毒：攻實(shí)施穩(wěn)健的數(shù)據(jù)治

備、數(shù)據(jù)集權(quán)刪除或損壞數(shù)擊者可能會(huì)注入虛理框架。部署異常

據(jù)。數(shù)據(jù)中毒：故假數(shù)據(jù)或更改現(xiàn)有檢測(cè)系統(tǒng),建立恢

意操縱數(shù)據(jù)以損害數(shù)據(jù)。復(fù)協(xié)議和定期數(shù)據(jù)

模型的完整性。合備份。

規(guī)挑戰(zhàn)：未能滿足

數(shù)據(jù)保護(hù)的監(jiān)管要

求.

模型運(yùn)營(yíng)ML算法，模型管理模型盜竊；竊取專通過(guò)API訪問(wèn)的攻加強(qiáng)訪問(wèn)控制和身

有模型。未經(jīng)授權(quán)擊：利用API漏洞訪份驗(yàn)證機(jī)制。通過(guò)

的訪問(wèn)：未經(jīng)許可問(wèn)或操縱模型。模加密和速率限制來(lái)

訪問(wèn)模型。型竊取（提?。罕Ｗo(hù)API端點(diǎn)。定期

復(fù)制模型以供未經(jīng)更新和修補(bǔ)系統(tǒng)。

授權(quán)的使用。

模型部署和服務(wù)模型服務(wù)、推理響未經(jīng)授權(quán)的訪問(wèn)：模型欺騙（逃逸）安全部署實(shí)踐，包

應(yīng)未經(jīng)授權(quán)訪問(wèn)模型改變輸入以從模型括容器化和網(wǎng)絡(luò)分

服務(wù)基礎(chǔ)設(shè)施。數(shù)中接收特定輸出。段。主動(dòng)監(jiān)控和記

據(jù)泄露：錯(cuò)誤的系訓(xùn)練數(shù)據(jù)恢復(fù)（反錄模型交互。實(shí)施

統(tǒng)配置導(dǎo)致暴露敏演）：從模型中提速率限制和異常檢

感信息。取私人訓(xùn)練數(shù)據(jù)。測(cè)。

漏洞管理不足：未及攻擊機(jī)器學(xué)習(xí)供應(yīng)持續(xù)的漏洞管理和

運(yùn)營(yíng)和平臺(tái)機(jī)器學(xué)習(xí)運(yùn)營(yíng)、數(shù)

時(shí)解決已知漏洞。模鏈：在第三方組件中修補(bǔ)。用于一致部署

據(jù)和人工智能平臺(tái)

型隔離問(wèn)題：未能正引入漏洞或后門。模的CI/CD流程。隔離

安全

確隔離模型，導(dǎo)致潛型污染（投毒）：破控制和安全架構(gòu)設(shè)

在的交叉污染。壞訓(xùn)練數(shù)據(jù)，導(dǎo)致錯(cuò)計(jì)。

誤分類或系統(tǒng)不可

用。

我們從以下維度分析每項(xiàng)責(zé)任：

1評(píng)估標(biāo)準(zhǔn)：在我們討論人工智能責(zé)任時(shí)，應(yīng)考志可量化的指標(biāo)來(lái)評(píng)估人工智能

系統(tǒng)的安全影響。通過(guò)量化這些指標(biāo)，利益相關(guān)者可以更好地了解人工智能技術(shù)的

相關(guān)風(fēng)險(xiǎn)以及如何應(yīng)對(duì)這些風(fēng)險(xiǎn)。組織必須經(jīng)常評(píng)估其人工智能系統(tǒng)，以確保其安

全性和可靠性，例如應(yīng)該評(píng)估：系統(tǒng)處理攻擊的能力（對(duì)抗魯棒性），是否泄漏敏感

數(shù)據(jù)，出錯(cuò)的頻率（假陽(yáng)性率），以及訓(xùn)練數(shù)據(jù)是否可靠（數(shù)據(jù)完整性）等。作為組

織安全計(jì)劃的一部分，評(píng)估和監(jiān)控這些關(guān)鍵措施將有助于提高人工智能系統(tǒng)的整體

安全狀況。

2RACI模型：該模型有助于明確在人工智能決策和監(jiān)督過(guò)程中的執(zhí)行者、負(fù)責(zé)人、

咨詢方和知情方（RACI,Responsible,Accountable,Consulted,andInformed；譯者注：

由于Responsible和Accountable在翻譯成中文以后都有責(zé)任相關(guān)的意思，為了更加

清晰地表達(dá)原作者的意圖，文本將Responsible翻譯為執(zhí)行，后文中RACI即為：執(zhí)

行、負(fù)責(zé)、咨詢和知情）。應(yīng)用RACI模型描述了人工智能治理中的角色和責(zé)任分配，

這種責(zé)任分配對(duì)于安全的人工智能系統(tǒng)至關(guān)重要。當(dāng)然，根據(jù)組織的規(guī)模和業(yè)務(wù)重

點(diǎn)，本報(bào)告中描述的具體角色和團(tuán)隊(duì)僅供參考。首先，明確描述關(guān)鍵責(zé)任是重中之

重。其次，組織可以根據(jù)職責(zé)規(guī)劃適當(dāng)?shù)慕巧缓鬄檫@些角色配備相應(yīng)的團(tuán)隊(duì)，

團(tuán)隊(duì)之間可能會(huì)存在一些職責(zé)重疊。本文定義的RACI框架旨在提供初始角色和團(tuán)隊(duì)

配置，以幫助組織開(kāi)發(fā)其定制化的RACI模型。然而，各企業(yè)實(shí)施過(guò)程中可能因其獨(dú)特

的組織結(jié)構(gòu)和優(yōu)先事項(xiàng)而異。

3高層實(shí)施策略：本節(jié)描述了將網(wǎng)絡(luò)安全的注意事項(xiàng)無(wú)縫集成到軟件開(kāi)發(fā)生命周

期(SDLC)中的策略。組織必須優(yōu)先執(zhí)行信息安全的CIA原則：即確保數(shù)據(jù)和系統(tǒng)

的機(jī)密性、完整性和可用性。同時(shí)應(yīng)嚴(yán)格實(shí)施訪問(wèn)控制機(jī)制，以管理用戶權(quán)限并防

止未經(jīng)授權(quán)的訪問(wèn)。必須建立健全的審計(jì)機(jī)制，以跟蹤系統(tǒng)活動(dòng)并及時(shí)發(fā)現(xiàn)可疑行

為。影響評(píng)估應(yīng)分析判斷潛在的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，特別是漏洞識(shí)別和威脅緩解方面，

以保護(hù)人工智能系統(tǒng)中的敏感信息。

4持續(xù)監(jiān)控和報(bào)告：持續(xù)監(jiān)控和報(bào)告能夠確保人工智能系統(tǒng)的持續(xù)防護(hù)、安全并

保證性能。關(guān)鍵組件包括實(shí)時(shí)監(jiān)控、對(duì)模型性能異常或安全事件告警、審計(jì)跟蹤/

日志、和定期報(bào)告，以及能夠改進(jìn)或解決問(wèn)題的措施。持續(xù)監(jiān)控和報(bào)告有助于組織

保持透明度，提升效率并明確責(zé)任歸屬，以及建立對(duì)人工智能系統(tǒng)的信任。

5訪問(wèn)控制：訪問(wèn)控制對(duì)于保護(hù)人工智能系統(tǒng)至關(guān)重要，包括嚴(yán)格的API身份驗(yàn)

i止/授權(quán)策略、管理模型注冊(cè)表、控制對(duì)數(shù)據(jù)存儲(chǔ)庫(kù)的訪問(wèn)、監(jiān)督持續(xù)集成和部署流水

線(CI/CD)、處理機(jī)密信息以及管理特權(quán)訪問(wèn)。通過(guò)為AI流水線的各個(gè)部分定義用

戶角色和權(quán)限，可以保于敏感數(shù)據(jù)，防止模型被篡改或未經(jīng)授權(quán)訪問(wèn)。通過(guò)強(qiáng)身份

認(rèn)證和訪問(wèn)管理不僅可以保護(hù)知識(shí)產(chǎn)權(quán)，還可以明確AI工作流的責(zé)任歸屬。

6遵守基礎(chǔ)治理、風(fēng)險(xiǎn)與合規(guī)、防護(hù)、安全和道德標(biāo)準(zhǔn)：

強(qiáng)調(diào)遵守基于行業(yè)最佳實(shí)踐和監(jiān)管要求，如下所示：

?NISTSSDF用于安全軟件開(kāi)發(fā)

?NIST人工智能風(fēng)險(xiǎn)管理框架(AIRMF)

?ISO/IEC42001:2023人工智能管理系統(tǒng)(AIMS)

?ISO/IEC27001:2022信息安全管理體系(ISMS)

?ISO/IEC27701:2019隱私信息管理系統(tǒng)(PIMS)

?ISO31700-1:2023消費(fèi)者保護(hù)：面向消費(fèi)品和服務(wù)的隱私設(shè)計(jì)

?面向大型語(yǔ)言模型"LM）應(yīng)用的OWASP十大安全風(fēng)險(xiǎn)列表（OWASPTop

10forLLMApplications）

?NISTSP800-53Rev.5信息系統(tǒng)和組織的安全和隱私控制

?《通用數(shù)據(jù)保護(hù)條例》（GDPR）關(guān)于數(shù)據(jù)匿名化和假名化的技術(shù)規(guī)范和相關(guān)

指導(dǎo)意見(jiàn)

?關(guān)于云服務(wù)中令牌化技術(shù)（Tokenization）的指導(dǎo)意見(jiàn)

前提條件

本報(bào)告采取行業(yè)中立的立場(chǎng)，提供適用于各個(gè)行業(yè)的指導(dǎo)方針和建議，而不會(huì)

對(duì)特定行業(yè)產(chǎn)生具體偏見(jiàn)。

目標(biāo)受眾

本報(bào)告旨在滿足不同受眾的需求，每個(gè)受眾都有不同的目標(biāo)和興趣。

1首席信息安全官（QSO）：本報(bào)告專門針對(duì)QS0的關(guān)切和責(zé)任而設(shè)計(jì)，為在人

工智能系統(tǒng)中集成核心安全原則提供了意見(jiàn)。值得注意的是，首席人工智能官（CAIO）

的角色正在許多組織中出現(xiàn)，預(yù)計(jì)在不久的將來(lái)，本報(bào)告中定義的大多數(shù)相關(guān)職責(zé)

可能會(huì)從首席信息安全官轉(zhuǎn)移到CAIO。

2Al研究人員、工程師、數(shù)據(jù)專業(yè)人員、科學(xué)家、分析師和開(kāi)發(fā)人員：該報(bào)告為

AI研究人員和工程師提供了全面的指導(dǎo)方針和最佳實(shí)踐，幫助他們開(kāi)發(fā)合乎道德和

值得信賴的AI系統(tǒng)。它是確保負(fù)責(zé)任的人工智能發(fā)展的關(guān)鍵資源。

3商業(yè)領(lǐng)袖和決策者：對(duì)于首席信息官、首席產(chǎn)品官、首席數(shù)據(jù)官、首席風(fēng)險(xiǎn)官、

首席執(zhí)行官和首席技術(shù)官等商業(yè)領(lǐng)袖和政策制定者來(lái)說(shuō)，報(bào)告提供了與人工智能系

統(tǒng)開(kāi)發(fā)、部署和生命周期管理相關(guān)的網(wǎng)絡(luò)安全戰(zhàn)略的重要的信息和認(rèn)識(shí)。

4政策制定者與監(jiān)管機(jī)構(gòu)：政策制定者和監(jiān)管機(jī)構(gòu)將發(fā)現(xiàn)這篇報(bào)告非常有價(jià)值，

因?yàn)樗峁┝岁P(guān)鍵的見(jiàn)解，有助于制定有關(guān)人工智能倫理、安全和控制的政策和監(jiān)

管框架。它為人工智能治理領(lǐng)域的知情決策提供了指導(dǎo)。

5投資者和股東：投資者和股東將會(huì)欣賞這份報(bào)告，因?yàn)樗故玖艘粋€(gè)組織對(duì)負(fù)

責(zé)任的人工智能實(shí)踐的承諾。它強(qiáng)調(diào)了確保人工智能道德發(fā)展的治理機(jī)制，這對(duì)投

資決策至關(guān)重要。

6客戶和公眾：本報(bào)告為客戶和公眾提供了關(guān)于組織在開(kāi)發(fā)安全AI模型時(shí)的價(jià)值

觀和原則的透明度。

職責(zé)角色定義

下表提供了一個(gè)通用指南，說(shuō)明了在集成或操作人工智能技術(shù)的組織中常見(jiàn)的

各種角色。我們必須認(rèn)設(shè)到，每個(gè)組織可能會(huì)以不同的方式定義這些角色及其相關(guān)

職責(zé)，反映其獨(dú)特的運(yùn)營(yíng)需求、文化以及其人工智能計(jì)劃的具體要求。因此，雖然

該表提供了對(duì)人工智能治理、技術(shù)支持、開(kāi)發(fā)和戰(zhàn)略管理中潛在角色的基本理解，

但僅供參考。我們鼓勵(lì)各組織調(diào)整和定制這些角色，以最好地滿足組織的定制化要

求，確保結(jié)構(gòu)和職責(zé)與其戰(zhàn)略目標(biāo)和運(yùn)營(yíng)框架保持一致。隨著人工智能技術(shù)的發(fā)展，

可以進(jìn)一步定義新的角色。

管理與戰(zhàn)略

角色名稱角色描述

首席數(shù)據(jù)官（CDO）監(jiān)督企業(yè)數(shù)據(jù)管理、策略創(chuàng)建、數(shù)據(jù)質(zhì)量和生命周期。

首席技術(shù)官（CTO）領(lǐng)導(dǎo)技術(shù)戰(zhàn)略并監(jiān)督技術(shù)發(fā)展。

首席信息安全官（CISO）監(jiān)督信息安全戰(zhàn)略和運(yùn)營(yíng)。

業(yè)務(wù)部門（BU）負(fù)責(zé)人指導(dǎo)業(yè)務(wù)部門，使人工智能計(jì)劃與業(yè)務(wù)目標(biāo)保持一致。

首席人工智能官（CAIO）負(fù)責(zé)組織內(nèi)人工智能技術(shù)的戰(zhàn)略實(shí)施和管理。

管理層監(jiān)督和指導(dǎo)整體戰(zhàn)略，確保與組織目標(biāo)保持一致，包括CEO、COO、CIO.CTO

CISO、CAIO、CFO等。

首席云官領(lǐng)導(dǎo)云戰(zhàn)略，確保云資源與業(yè)務(wù)和技術(shù)目標(biāo)保持一致。

首席架構(gòu)師領(lǐng)導(dǎo)架構(gòu)戰(zhàn)略，確保設(shè)計(jì)技術(shù)架構(gòu)與企業(yè)標(biāo)準(zhǔn)、流程、程序和目標(biāo)保持一致

技術(shù)選型，監(jiān)督設(shè)計(jì)的質(zhì)量和實(shí)施，在組織內(nèi)培養(yǎng)高級(jí)架構(gòu)師。

治理與合規(guī)

角色名稱角色描述類別名稱

數(shù)據(jù)治理委員會(huì)為數(shù)據(jù)治理和使用制定政策和標(biāo)準(zhǔn)。治理與合規(guī)

數(shù)據(jù)保護(hù)專員監(jiān)督數(shù)據(jù)保護(hù)策略和遵守?cái)?shù)據(jù)保護(hù)法律法規(guī)。治理與合規(guī)

首席隱私官確保遵守隱私法律法規(guī)。治理與合規(guī)

提供有關(guān)人工智能部署和使用的法律指導(dǎo)。就法律/監(jiān)

管義務(wù)進(jìn)行溝通。確保與人匚智能供應(yīng)商簽訂的主

法律團(tuán)隊(duì)/部門治理與合規(guī)

協(xié)議中有適當(dāng)?shù)臈l款。

合規(guī)團(tuán)隊(duì)/部門確保遵守內(nèi)部和外部合規(guī)要求。治理與合規(guī)

數(shù)據(jù)治理官管理組織內(nèi)的數(shù)據(jù)治理，確保符合政策、數(shù)據(jù)隱私法治理與合規(guī)

和監(jiān)管合規(guī)要求。

授權(quán)官員、管理官員或信息系統(tǒng)所有者，以確保為包括

、和在內(nèi)的信息系統(tǒng)或項(xiàng)目保持適當(dāng)?shù)?/p>

信息安全官ISSOISMISS治理與合規(guī)

運(yùn)營(yíng)安全態(tài)勢(shì)。

技術(shù)和安全

角色名稱角色描述

安全運(yùn)營(yíng)團(tuán)隊(duì)實(shí)施和監(jiān)控安全協(xié)議以保護(hù)數(shù)據(jù)和系統(tǒng)。

網(wǎng)絡(luò)安全(NetworkSecurity)團(tuán)隊(duì)保護(hù)網(wǎng)絡(luò)免受威脅和漏洞的侵害

云安全團(tuán)隊(duì)確?；谠频馁Y源和服務(wù)的安全性。

網(wǎng)絡(luò)空間安全(Cybersecurity)團(tuán)隊(duì)保護(hù)組織資產(chǎn)免受網(wǎng)絡(luò)空間威脅、漏洞及未經(jīng)授權(quán)訪問(wèn)的受害。

IT運(yùn)營(yíng)團(tuán)隊(duì)支持和維護(hù)IT基礎(chǔ)設(shè)施，確保其運(yùn)營(yíng)和安全。

網(wǎng)絡(luò)安全官監(jiān)督網(wǎng)絡(luò)的安全性，確保數(shù)據(jù)保護(hù)和威脅緩解。

硬件安全團(tuán)隊(duì)保護(hù)物理硬件免受篡改和未經(jīng)授權(quán)的訪問(wèn)。

系統(tǒng)管理員管理和配置IT系統(tǒng)和服務(wù)器，以實(shí)現(xiàn)最佳性能和安全性。

運(yùn)營(yíng)與發(fā)展

角色名稱角色描述

數(shù)據(jù)管理人負(fù)責(zé)安全保管、運(yùn)輸、數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)規(guī)則的實(shí)施。這是代表數(shù)據(jù)所有者

獲取、操縱、存儲(chǔ)或移動(dòng)數(shù)據(jù)的任何組織或個(gè)人。

AI開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)和實(shí)施AI模型和解決方案.

質(zhì)量保證團(tuán)隊(duì)測(cè)試并確保AI應(yīng)用程序和系統(tǒng)的質(zhì)量。

人工智能運(yùn)營(yíng)團(tuán)隊(duì)管理人工智能系統(tǒng)的運(yùn)行，以確保其性能和可靠性。

應(yīng)用程序開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)應(yīng)用程序，根據(jù)需要集成A1功能。

AI/ML測(cè)試團(tuán)隊(duì)專門測(cè)試AI/W，模型的準(zhǔn)確性、性能和可靠性。

開(kāi)發(fā)運(yùn)營(yíng)(DevOps)團(tuán)隊(duì)提高部署效率，保持運(yùn)營(yíng)穩(wěn)定。

開(kāi)發(fā)安全運(yùn)營(yíng)(DevSecOps)在整個(gè)軟件開(kāi)發(fā)生命周期(SDLC)中實(shí)施安全性。

團(tuán)隊(duì)

八I維護(hù)團(tuán)隊(duì)確保人工智能系統(tǒng)和模型在部署后得到更新、優(yōu)化和正確運(yùn)行。

項(xiàng)目管理團(tuán)隊(duì)監(jiān)督人工智能項(xiàng)目從啟動(dòng)到完成，確保其達(dá)到目標(biāo)和時(shí)間表。

運(yùn)營(yíng)人員支持日常運(yùn)營(yíng)，確保人工智能技術(shù)的順利集成和運(yùn)行。

數(shù)據(jù)科學(xué)團(tuán)隊(duì)收集并準(zhǔn)備數(shù)據(jù)，用于A1模型訓(xùn)練和分析。

容器管理團(tuán)隊(duì)管理容器化應(yīng)用程序，促進(jìn)部署和可擴(kuò)展性。

IT運(yùn)營(yíng)團(tuán)隊(duì)確保IT基礎(chǔ)設(shè)施正常運(yùn)行，支持人工智能和技術(shù)需求。

AI開(kāi)發(fā)經(jīng)理領(lǐng)導(dǎo)人工智能開(kāi)發(fā)項(xiàng)目，指導(dǎo)團(tuán)隊(duì)成功實(shí)施。

人工智能運(yùn)營(yíng)主管指導(dǎo)與人工智能相關(guān)的運(yùn)營(yíng)，確保人工智能解決方案的效率和有效性。

規(guī)范性引用文件

以下列出的文件對(duì)于應(yīng)用和理解本文件至關(guān)重要。

?GenerativeAlsafety:TheoriesandPractices

?OpenAIPreparednessFramework

■ApplyingtheAISDomainoftheCCMtoGenerativeAl

■EUAIAct

?BidenExecutiveOrderonSafe,Secure,andTrustworthyArtificialIntelligence

?OWASPTop10forLLMApplications

?CSACloudControlsMatrix(CCMv4)

?MITREATLASTM(AdversarialThreatLandscapeforArtificial-lntelliHenceSvstems)

?NISTSecureSoftwareDevelopmentFramewo「k(SSDF)

■NISTArtificialIntelligenceTrustworthinessandRiskManagementFramework-

?GeneralDataProtectionRegulation(GDPR)

?OWASPLLMAlCybersecurity&GovernanceChecklist

?OWASPMachineLearning-Top10

?WEFBriefingPapers

?BuildingtheAl-PoweredOrganization

將數(shù)據(jù)安全和隱私納入人工智能訓(xùn)練

人工智能止在從復(fù)雜的以模型為中心的方法轉(zhuǎn)向以數(shù)據(jù)為中心的方法。人工智

能現(xiàn)在不再主要依賴于在小數(shù)據(jù)集上訓(xùn)練的復(fù)雜模型，而是利用海量數(shù)據(jù)集和開(kāi)放

式數(shù)據(jù)流。然而，這種以數(shù)據(jù)為中心的范式也引發(fā)了人們對(duì)數(shù)據(jù)隱私、安全、偏見(jiàn)

和正當(dāng)使用的合理?yè)?dān)憂，AI社區(qū)必須負(fù)責(zé)任地應(yīng)對(duì)這些問(wèn)題。數(shù)據(jù)正在改變?nèi)斯ぶ?/p>

能，但我們必須確保它的來(lái)源是符合倫理且受控的。

以下部分討論了與確保人工智能組織中培訓(xùn)數(shù)據(jù)的安全性和隱私性相關(guān)的重要

類別。這些類別包括數(shù)據(jù)真實(shí)性、匿名/假名化、數(shù)據(jù)最小化、數(shù)據(jù)訪問(wèn)控制，以及

安全存儲(chǔ)與傳輸。每個(gè)類別都通過(guò)可量化的評(píng)估標(biāo)準(zhǔn)、通過(guò)RACI模型明確界定的責(zé)

任、高層實(shí)施策略、持續(xù)監(jiān)控和報(bào)告機(jī)制、訪問(wèn)控制映射以及基于行業(yè)最佳實(shí)踐的

基本準(zhǔn)則進(jìn)行了徹底分析。這種全面的方法確保了一個(gè)結(jié)構(gòu)化、負(fù)責(zé)任和高效的框

架，用于管理推動(dòng)人工智能進(jìn)步的重要資產(chǎn)，同時(shí)也符合道德要求和卓越運(yùn)營(yíng)。

1.1數(shù)據(jù)真實(shí)性和許可管理

AI中的數(shù)據(jù)真實(shí)性是指保證用于訓(xùn)練、測(cè)試和部署AI模型的數(shù)據(jù)是真實(shí)、準(zhǔn)確

且可靠的。這涉及驗(yàn)證數(shù)據(jù)沒(méi)有被篡改或更改，以免誤導(dǎo)人工智能算法或?qū)е虏粶?zhǔn)

確、有偏見(jiàn)或不可靠的模型輸出。

確保數(shù)據(jù)真實(shí)性至關(guān)重要，因?yàn)锳I模型嚴(yán)重依賴數(shù)據(jù)質(zhì)量和完整性。如果數(shù)據(jù)

不真實(shí)或被操縱，模型可能會(huì)學(xué)到不正確的模式，導(dǎo)致性能不佳，并可能基于預(yù)測(cè)

做出有害的決策。數(shù)據(jù)真實(shí)性在基于AI模型的決策具有重大影響的對(duì)各個(gè)行業(yè)領(lǐng)域

尤為重要，例如教育、醫(yī)療保健、金融服務(wù)、零售、制造、政府服務(wù)和網(wǎng)絡(luò)安全。

此外，在為人工智能應(yīng)用程序收集和處理個(gè)人數(shù)據(jù)時(shí)，必須獲得適當(dāng)?shù)臄?shù)據(jù)使

用同意并遵守《通用數(shù)據(jù)保護(hù)條例》（GDPR）等法規(guī)。GDPR要求組織在收集和處理

個(gè)人數(shù)據(jù)之前獲得個(gè)人的明確同意，并賦予個(gè)人訪問(wèn)、更正和刪除其數(shù)據(jù)的權(quán)利。

?評(píng)估標(biāo)準(zhǔn)：定期測(cè)量經(jīng)過(guò)真實(shí)性審核的數(shù)據(jù)百分比，目標(biāo)是在規(guī)定時(shí)間內(nèi)進(jìn)行

100%驗(yàn)證。此外，監(jiān)控?cái)?shù)據(jù)許可和GDPR法規(guī)的合規(guī)情況。

?在任何可能的情況下，個(gè)人都應(yīng)有權(quán)更正有關(guān)他們的數(shù)據(jù)。例如：聯(lián)邦貿(mào)易

委員會(huì)在保險(xiǎn)方面的要求，聯(lián)邦貿(mào)易委員會(huì)推行人工智能監(jiān)管，禁止仃傾

向性的算法。

?RACI模型：數(shù)據(jù)管理團(tuán)隊(duì)（執(zhí)行）、首席數(shù)據(jù)官（負(fù)責(zé)）和法律合規(guī)部匚（咨

詢）、安全團(tuán)隊(duì)（告知）。

?高層實(shí)施策略：實(shí)施定期數(shù)據(jù)真實(shí)性審計(jì)的政策，其中可能涉及數(shù)據(jù)來(lái)源檢

查和異常檢測(cè)等技術(shù)。此外，建立獲取數(shù)據(jù)同意、確保數(shù)據(jù)隱私和遵守GDPR規(guī)

定的流程。

?持續(xù)監(jiān)測(cè)和報(bào)告：用于認(rèn)證的已核實(shí)數(shù)據(jù)的定期報(bào)告、未經(jīng)授權(quán)的數(shù)據(jù)變更以

及遵守?cái)?shù)據(jù)使用同意和GDPR規(guī)定。

通過(guò)確保數(shù)據(jù)真實(shí)性、獲得適當(dāng)?shù)臄?shù)據(jù)使用同意并遵守GDPR等法規(guī)，組織可

以在尊重個(gè)人隱私和個(gè)人數(shù)據(jù)權(quán)利的同時(shí)建立值得信賴的AI模型。

1.2匿名化和假名化

匿名化和假名化在值得信賴的人工智能系統(tǒng)中保護(hù)個(gè)人數(shù)據(jù)隱私，如下所示：

?匿名化永久地從數(shù)據(jù)中刪除標(biāo)識(shí)符，這使得重新識(shí)別個(gè)人身份變?yōu)椴豢赡埽?/p>

有助于遵守?cái)?shù)據(jù)保護(hù)法，在許多情況下，例如根據(jù)GDPR,甚至可以將匿名數(shù)

據(jù)排除在數(shù)據(jù)保護(hù)法規(guī)的范圍之外。

?假名化將標(biāo)識(shí)符替換為系統(tǒng)生成的標(biāo)識(shí)符或人工標(biāo)識(shí)符假名。個(gè)人仍然與他

們的數(shù)據(jù)保持聯(lián)系，但真實(shí)身份受到保護(hù)。根據(jù)某些數(shù)據(jù)保護(hù)法規(guī)，如GDPR和

HIPAA,假名化是一項(xiàng)要求。

?評(píng)估標(biāo)準(zhǔn)：通過(guò)匿名化和假名化技術(shù)，將可識(shí)別的個(gè)人數(shù)據(jù)減少99%0區(qū)分直

接標(biāo)識(shí)符（如全名、SSN和信用卡號(hào)）和準(zhǔn)標(biāo)識(shí)符非常重要。直接標(biāo)識(shí)符需

要更嚴(yán)格的削減措施，因?yàn)槟軌蚴褂盟鼈儊?lái)高度確定地識(shí)別個(gè)人。此外，信

用卡號(hào)等直接標(biāo)識(shí)符可能導(dǎo)致盜竊，而SSN等標(biāo)識(shí)符可能導(dǎo)致身份盜竊。準(zhǔn)

標(biāo)識(shí)符（年齡、郵政編碼和性別）雖然對(duì)隱私很重要，但可以進(jìn)行不太嚴(yán)格

的削減，以確保數(shù)據(jù)保護(hù)和可用性之間的平衡。盡管如此，許多準(zhǔn)標(biāo)識(shí)符可能

會(huì)在人工智能中引發(fā)偏見(jiàn)（例如，年齡、地點(diǎn)、性別、種族、性取向等）,此外,

某些準(zhǔn)標(biāo)識(shí)符可能屬于特殊類別的個(gè)人數(shù)據(jù)（GDPR第9條-特殊類別個(gè)數(shù)據(jù)的

處理）（https://gdpr-info.eu/art-9-gdpr/）?需要特別謹(jǐn)慎,包括宗教信仰、政治派別、

性取向和種族血統(tǒng)。準(zhǔn)標(biāo)識(shí)符也可能被組合起來(lái)重新識(shí)別一個(gè)人。雖然準(zhǔn)標(biāo)識(shí)符

對(duì)于人工智能系統(tǒng)的可用性和功能至關(guān)重要，特別是在醫(yī)療保健或營(yíng)銷等領(lǐng)域，

但它們存在重新識(shí)別的風(fēng)險(xiǎn)。當(dāng)不同的數(shù)據(jù)集被組合在一起時(shí)，即使它們已經(jīng)

被匿名或假名化，這些準(zhǔn)標(biāo)識(shí)符也可能被匹配，從而重新識(shí)別個(gè)人。例如包含

匿名醫(yī)療記錄的數(shù)據(jù)集可以與公開(kāi)可用的數(shù)據(jù)集相結(jié)

合，如選民登記記錄。如果兩個(gè)數(shù)據(jù)集都包含詳細(xì)的人口統(tǒng)計(jì)信息，則有可能

基于這些準(zhǔn)標(biāo)識(shí)符匹配記錄，從而重新識(shí)別匿名數(shù)據(jù)集中的個(gè)人。為了降低這種

風(fēng)險(xiǎn)，需要采取平衡的方法。不斷評(píng)估重新識(shí)別的風(fēng)險(xiǎn)至關(guān)重要，尤其是隨著數(shù)

據(jù)處理技術(shù)的發(fā)展和變得更加復(fù)雜。采用如差分隱私等先進(jìn)技術(shù)，在數(shù)據(jù)中添加

統(tǒng)計(jì)噪聲以防止重新識(shí)別，可以進(jìn)一步加強(qiáng)隱私保護(hù)。此外，定期審計(jì)和合

規(guī)檢查對(duì)于確保數(shù)據(jù)匿名化和假名化過(guò)程符合不斷發(fā)展的數(shù)據(jù)保護(hù)法律法規(guī)

至關(guān)重要。

?RACI模型：數(shù)據(jù)保管人（執(zhí)行）、數(shù)據(jù)保護(hù)官（咨詢）、首席隱私官主管（負(fù)

責(zé)）、法律團(tuán)隊(duì)（咨詢）、IT團(tuán)隊(duì)（告知）、安全團(tuán)隊(duì)（咨詢）、數(shù)據(jù)治理團(tuán)隊(duì)

（咨詢）和數(shù)據(jù)專家（告知）。

?高層實(shí)施策略：實(shí)施最先進(jìn)的匿名化和假名化技術(shù)涉及利用先進(jìn)的加密方法，如

差分隱私、同態(tài)加密和安全多方計(jì)算來(lái)保護(hù)敏感數(shù)據(jù)，同時(shí)保持其分析效用。

例如，公司可以采用k-匿名（k-anonymity）、I-多樣（l-diversity）和t-相近

（t-closeness）等技術(shù)來(lái)確保個(gè)人身份隱藏在數(shù)據(jù)集中，同時(shí)仍然允許進(jìn)行有

意義的分析。止匕外，可以采用令牌化（tokemzation）和數(shù)據(jù)屏蔽等技術(shù)，用不

敏感的等效數(shù)據(jù)替換敏感數(shù)據(jù)，進(jìn)一步加強(qiáng)隱私保護(hù)。

?持續(xù)監(jiān)測(cè)和報(bào)告：定期評(píng)估這些措施的有效性技術(shù)。

?訪問(wèn)控制映射：限制對(duì)編輯或匿名化規(guī)則和去假名化工具的訪問(wèn)。

?基本準(zhǔn)則：遵循《通用數(shù)據(jù)保護(hù)條例》（GDPR）關(guān)于數(shù)據(jù)匿名化和假名化的

指導(dǎo)方針，以及基于云服務(wù)的令牌化指南。

1.3數(shù)據(jù)最小化

數(shù)據(jù)最小化是指只使用實(shí)現(xiàn)特定目的或功能所需的必要數(shù)據(jù)量的做法。這種做

法是許多數(shù)據(jù)保護(hù)法規(guī)（如GDPR）的要求。這也是可用于防止匿名數(shù)據(jù)重新識(shí)別

的技術(shù)之一。這種技術(shù)限制了為機(jī)器學(xué)習(xí)目的收集、存儲(chǔ)和使用的數(shù)據(jù)的數(shù)量和類

型。這種做法有助于保于數(shù)據(jù)主體的隱私和安全，并提高機(jī)器學(xué)習(xí)模型的性能和效

率。在機(jī)器學(xué)習(xí)中，數(shù)據(jù)最小化涉及仔細(xì)選擇對(duì)模型訓(xùn)練和性能至關(guān)重要的特征和

數(shù)據(jù)點(diǎn)，同時(shí)排除無(wú)關(guān)或過(guò)多的數(shù)據(jù)。這與可解釋性、公平性、透明度和隱私等可

信賴的人工智能的基礎(chǔ)支柱有關(guān)。

?評(píng)估標(biāo)準(zhǔn)：根據(jù)組織的業(yè)務(wù)目標(biāo)和責(zé)任，力求減少非必要數(shù)據(jù)的收集，降幅至

少達(dá)到一個(gè)顯著的百分比。

?RACI模型：數(shù)據(jù)收集團(tuán)隊(duì)（執(zhí)行）、數(shù)據(jù)隱私辦公室（咨詢）、數(shù)據(jù)治理委

員會(huì)（負(fù)責(zé)），合規(guī)團(tuán)隊(duì)（咨詢），安全團(tuán)隊(duì)（告知），數(shù)據(jù)專家（告知）。

?高層實(shí)施策略：制定嚴(yán)格的數(shù)據(jù)收集指南，重點(diǎn)關(guān)注最小的數(shù)據(jù)采集。

?持續(xù)監(jiān)測(cè)和報(bào)告：跟蹤收集的數(shù)據(jù)量并評(píng)估其必要性。

?訪問(wèn)控制映射：對(duì)誰(shuí)可以授權(quán)額外的數(shù)據(jù)收集實(shí)施控制。

?基本準(zhǔn)則：采用GDPR中的隱私設(shè)計(jì)原則。

1.4數(shù)據(jù)訪問(wèn)控制

機(jī)器學(xué)習(xí)中的數(shù)據(jù)訪問(wèn)控制涉及管理和限制誰(shuí)可以訪問(wèn)用于訓(xùn)練、測(cè)試和部署

機(jī)器學(xué)習(xí)模型的數(shù)據(jù)并與之交互。此過(guò)程確保只有授權(quán)的個(gè)人或系統(tǒng)才有能力查看、

修改或使用數(shù)據(jù)。在機(jī)器學(xué)習(xí)環(huán)境中，有效的訪問(wèn)控制對(duì)于保護(hù)敏感信息、維護(hù)數(shù)

據(jù)完整性和遵守隱私法規(guī)至關(guān)重要。它通常涉及驗(yàn)證用戶身份的認(rèn)證機(jī)制、根據(jù)用

戶角色授予用戶特定訪問(wèn)權(quán)限的授權(quán)協(xié)議，以及跟蹤數(shù)據(jù)訪問(wèn)和使用情況的審計(jì)系

統(tǒng)。在組織中，AI模型通常是在從各種數(shù)據(jù)源或系統(tǒng)聚合的數(shù)據(jù)上運(yùn)行的。因此，

AI模型應(yīng)尊重底層數(shù)據(jù)源系統(tǒng)的訪問(wèn)控制定義和策略。這意味著，AI模型應(yīng)該只能

訪問(wèn)他們被授權(quán)處理的特定數(shù)據(jù)，這些授權(quán)來(lái)自數(shù)據(jù)管理人或系統(tǒng)管理員定義的訪

問(wèn)控制規(guī)則和權(quán)限。保守適當(dāng)?shù)脑L問(wèn)控制可確保人工智能基礎(chǔ)設(shè)施的數(shù)據(jù)隱私、安

全，并符合監(jiān)管要求，同時(shí)防止未經(jīng)授權(quán)訪問(wèn)或AI模型濫用敏感或機(jī)密數(shù)據(jù)°

?評(píng)估標(biāo)準(zhǔn)：每年未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)事件低于0.5%

?RACI模型：安全團(tuán)隊(duì)（執(zhí)行）、首席信息安全官（負(fù)責(zé)），數(shù)據(jù)治理機(jī)構(gòu)、

數(shù)據(jù)管理人、IT團(tuán)隊(duì)（咨詢）、運(yùn)營(yíng)團(tuán)隊(duì)（告知）。

?高層實(shí)施策略：實(shí)施分層安全模型，作為訪問(wèn)控制高層實(shí)施策略的一部分。

該模型不僅應(yīng)集成健全的身份驗(yàn)證和授權(quán)協(xié)議，還應(yīng)集成多因素認(rèn)證

（MFA）、基于角色的訪問(wèn)控制（RBAC）和最小特權(quán)原則（PoLP）等先進(jìn)技

術(shù)。

?持續(xù)監(jiān)控和報(bào)告：監(jiān)控訪問(wèn)日志并進(jìn)行審計(jì)。采用工具基于風(fēng)險(xiǎn)標(biāo)記對(duì)關(guān)

鍵模型、生成模型和數(shù)據(jù)的訪問(wèn)。

?訪問(wèn)控制映射：定期監(jiān)控和管理訪問(wèn)權(quán)限。

?基本準(zhǔn)則:實(shí)施ISO/IEC42001>ISO/IEC27001.ISO/IEC27701.NIST800-53

和OWASPTop10A07:2021（身份識(shí)別和驗(yàn)證失?。┲械淖罴褜?shí)踐。

1.5安全存儲(chǔ)和傳輸

在機(jī)器學(xué)習(xí)中，安全存儲(chǔ)和傳輸對(duì)于保護(hù)敏感數(shù)據(jù)至關(guān)重要。安全存儲(chǔ)涉及加

密靜態(tài)數(shù)據(jù)以防止未經(jīng)授權(quán)的訪問(wèn)，采用健全的訪問(wèn)控制，并定期進(jìn)行安全審計(jì)。

為了安全傳輸，傳輸中的數(shù)據(jù)使用傳輸層安全（TLS）、字段或信封加密等協(xié)議進(jìn)行

加密。這確保了數(shù)據(jù)在系統(tǒng)或網(wǎng)絡(luò)之間傳輸時(shí)保持機(jī)密性和完整性。通過(guò)防止未經(jīng)

授權(quán)的訪問(wèn)、使用和泄露數(shù)據(jù)，以及惡意或意外修改、刪除或損壞數(shù)據(jù)，增強(qiáng)了數(shù)

據(jù)和ML模型的安全性。

?評(píng)估標(biāo)準(zhǔn)：確保在傳輸和靜止?fàn)顟B(tài)的數(shù)據(jù)全部采用256位AES或更高級(jí)別

的加密標(biāo)準(zhǔn)。

?RACI模型：安全團(tuán)隊(duì)（執(zhí)行）、首席信息安全官（負(fù)責(zé)），合規(guī)和法律團(tuán)隊(duì)

（咨詢），管理層（告知）。

?高層實(shí)施策略：投資先進(jìn)的加密技術(shù)，并根據(jù)策略自動(dòng)刪除人工智能數(shù)據(jù)

和模型。

?持續(xù)監(jiān)控和報(bào)告：使用工具進(jìn)行實(shí)時(shí)安全監(jiān)控。

?訪問(wèn)控制映射：將安全存儲(chǔ)和傳輸與訪問(wèn)控制集成在一起。

?基本準(zhǔn)則：遵循美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的指導(dǎo)方針和隱私法，

保護(hù)傳輸和靜止的數(shù)據(jù)。

二、模型安全

模型安全是一項(xiàng)多方面的任務(wù)，包括各種各樣的組件。這些包括對(duì)模型API的

訪問(wèn)控制、身份驗(yàn)證和授權(quán)框架、速率限制、模型生命周期管理、安全的模型運(yùn)行

環(huán)境、基于硬件的安全功能、網(wǎng)絡(luò)安全控制、操作系統(tǒng)強(qiáng)化、安全配置，以及容器

和云安全。我們應(yīng)該探索這些關(guān)鍵領(lǐng)域中的每一個(gè)評(píng)估標(biāo)準(zhǔn)，基于RACI模型分配責(zé)

任，描繪高層實(shí)施策略，建立持續(xù)監(jiān)控和報(bào)告機(jī)制，配置訪問(wèn)控制，并參考NISTAl

RMF、NISTSSDF、NIST800-53和CSACCM等標(biāo)準(zhǔn)中的基本準(zhǔn)則。

2.1模型訪問(wèn)控制

訪問(wèn)控制對(duì)于保護(hù)AI模型至關(guān)重要，確保只有授權(quán)人員和系統(tǒng)才能與敏感數(shù)據(jù)

和功能交互。在AI模型治理領(lǐng)域，訪問(wèn)控制措施必須穩(wěn)固健全、適應(yīng)性強(qiáng)，并與組

織和行業(yè)安全標(biāo)準(zhǔn)保持一致。

從身份驗(yàn)證和授權(quán)，到速率限制和生命周期管理，AI模型的完整性取決于強(qiáng)大

而靈活的訪問(wèn)控制協(xié)議。這些協(xié)議規(guī)定了誰(shuí)可以訪問(wèn)AI模型，何時(shí)可以訪問(wèn)，以及

在什么情況下可以訪問(wèn)。隨著組織應(yīng)對(duì)人工智能部署的復(fù)雜性，實(shí)施全面的訪問(wèn)控制

戰(zhàn)略勢(shì)在必行，以降低風(fēng)險(xiǎn)、保護(hù)知識(shí)產(chǎn)權(quán)和遵守監(jiān)管合規(guī)標(biāo)準(zhǔn)。此外，我們強(qiáng)調(diào)將

AI模型訪問(wèn)控制與組織現(xiàn)有的安全框架相結(jié)合，以增強(qiáng)整體系統(tǒng)的韌性。這涉及制定

細(xì)粒度訪問(wèn)策略，規(guī)定誰(shuí)可以與AI模型交互以及在什么情況下交互。此外，實(shí)施

健全的身份驗(yàn)證機(jī)制，如多因素認(rèn)證和基于角色的訪問(wèn)控制，可以進(jìn)一步加強(qiáng)人工

智能系統(tǒng)的安全。定期審計(jì)和監(jiān)控訪問(wèn)日志對(duì)于及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)任何未經(jīng)授權(quán)的訪

問(wèn)嘗試至關(guān)重要。通過(guò)將AI模型訪問(wèn)控制與現(xiàn)有安全框架緊密結(jié)合，組織可以加強(qiáng)

對(duì)網(wǎng)絡(luò)威脅的防御，并確保其人工智能系統(tǒng)和數(shù)據(jù)的完整性和機(jī)密性。

2.1.1身份驗(yàn)證和授權(quán)框架

機(jī)器學(xué)習(xí)模型的身份驗(yàn)證和授權(quán)框架確保了對(duì)機(jī)器學(xué)習(xí)模型和相關(guān)數(shù)據(jù)的訪問(wèn)

受到嚴(yán)格控制和管理，對(duì)于安全至關(guān)重要。身份驗(yàn)證通常驗(yàn)證用戶或系統(tǒng)的身份，

常用密碼、令牌或生物特征驗(yàn)證等方法。同時(shí)，通過(guò)訪問(wèn)級(jí)別的授權(quán)，定義了誰(shuí)可

以根據(jù)既定的角色和權(quán)限查看、編輯或使用模型。這對(duì)于保護(hù)敏感信息、保持?jǐn)?shù)據(jù)

完整性以及遵守隱私和安全法規(guī)至關(guān)重要，從而防止對(duì)機(jī)器學(xué)習(xí)模型及其數(shù)據(jù)的未

經(jīng)授權(quán)的訪問(wèn)或修改。在人工智能中，特定的驗(yàn)證是所有用戶和實(shí)體根據(jù)目的和背

景批準(zhǔn)、適當(dāng)?shù)厥褂萌斯ぶ悄軘?shù)據(jù)和模型。這與數(shù)字版權(quán)相融合，是訪問(wèn)和授權(quán)的

基礎(chǔ)。

?評(píng)估標(biāo)準(zhǔn)：對(duì)所有未通過(guò)API訪問(wèn)的AI模型，應(yīng)確保認(rèn)證和授權(quán)框架實(shí)現(xiàn)

100%覆蓋（參見(jiàn)1.2.1）o

?RAQ模型：安全團(tuán)隊(duì)（執(zhí)行）、首席信息安全官（負(fù)責(zé)），法律團(tuán)隊(duì)（咨詢），

人工智能開(kāi)發(fā)團(tuán)隊(duì)（告知）。

?高層實(shí)施策略：開(kāi)發(fā)和實(shí)施安全的AI模型訪問(wèn)的綜合框架。

?持續(xù)監(jiān)控和報(bào)告：定期審核身份驗(yàn)證和授權(quán)機(jī)制。

?訪問(wèn)控制映射：根據(jù)模型特定要求自定義訪問(wèn)。

?基本準(zhǔn)則：使用NIST800-207、NIST800—53>NISTSP800—63和NISTAIRMF

進(jìn)行風(fēng)險(xiǎn)管理。

2.1.2模型接口速率限制

機(jī)器學(xué)習(xí)中的模型接口速率限制涉及限制用戶或系統(tǒng)在給定時(shí)間范圍內(nèi)向模型

發(fā)出的請(qǐng)求數(shù)量。這種做法對(duì)于管理模型上的負(fù)載、防止濫用（如拒絕服務(wù)攻擊）

以及確保用戶之間的公平資源分配至關(guān)重要。速率限制可以在用戶與ML模型交互

的各類接口層級(jí)實(shí)現(xiàn)，例如：API或web界面?？刂普?qǐng)求率有助于保持模型的性能、

穩(wěn)定性和可用性，確保其即使在高需求或潛在攻擊場(chǎng)景下也能持續(xù)高效可靠地運(yùn)行。

?評(píng)估標(biāo)準(zhǔn)：減少因拒絕服務(wù)（DoS）或分布式拒絕服務(wù)（DDoS）攻擊導(dǎo)致

的停機(jī)時(shí)間。

?RACI模型：平臺(tái)支持團(tuán)隊(duì)（執(zhí)行）、解決方案負(fù)責(zé)人（負(fù)責(zé)）、數(shù)據(jù)專家

（咨詢）、風(fēng)險(xiǎn)管理團(tuán)隊(duì)（咨詢）和AI模型用戶（告知）。

?高層實(shí)施策略：實(shí)施速率限制，防止過(guò)度使用或?yàn)E用AI模型接口。

?持續(xù)監(jiān)控和報(bào)告：跟蹤使用模式并相應(yīng)調(diào)整速率限制。

?訪問(wèn)控制映射：實(shí)施基于用戶的速率限制策略。

?基本準(zhǔn)則：遵循OWASPUM04：模型拒絕服務(wù)。

2.1.3模型生命周期管理中的訪問(wèn)控制

在機(jī)器學(xué)習(xí)模型的全生命周期管理中，訪問(wèn)控制涉及在模型生命周期的各階段

（開(kāi)發(fā)、部署和維護(hù)階段）管理和規(guī)范對(duì)ML模型的訪問(wèn)和交互。此過(guò)程確保只有

授權(quán)人員或系統(tǒng)才能在各個(gè)階段與ML模型交互，從而保護(hù)模型免受未經(jīng)授權(quán)的訪

問(wèn)或更改，這種訪問(wèn)或更改可能會(huì)導(dǎo)致模型完整性受損或出現(xiàn)性能問(wèn)題。實(shí)施健全

的訪問(wèn)控制對(duì)于維護(hù)機(jī)器學(xué)習(xí)模型的安全性和有效性至關(guān)重要，因?yàn)樗兄诜乐?/p>

可能的數(shù)據(jù)泄露、模型濫用，并能確保符合數(shù)據(jù)隱私和安全的相關(guān)法規(guī)。在模型生

命周期的所有階段實(shí)施控制訪問(wèn)，組織可以保護(hù)他們的機(jī)器學(xué)習(xí)資產(chǎn)，同時(shí)構(gòu)建安

全高效的機(jī)器學(xué)習(xí)的開(kāi)發(fā)環(huán)境。模型生命周期管理中的訪問(wèn)控制能夠提高機(jī)器學(xué)習(xí)

模型的透明度和責(zé)任歸屬，能夠?yàn)閿?shù)據(jù)訪問(wèn)使用提供一致和明確的策略和程序，并

記錄數(shù)據(jù)來(lái)源地址和目的地址。這一領(lǐng)域與隱私性、透明度和責(zé)任歸屬等可信賴的

人工智能的基礎(chǔ)支柱有關(guān)。

?評(píng)估標(biāo)準(zhǔn)：確保在模型生命周期的所有階段，對(duì)AI模型和數(shù)據(jù)的訪問(wèn)僅限于

授權(quán)用戶和系統(tǒng)。

?RAQ模型：AI模型治理團(tuán)隊(duì)（執(zhí)行），首席數(shù)據(jù)官（責(zé)任），安全團(tuán)隊(duì)、法

律團(tuán)隊(duì)、合規(guī)團(tuán)隊(duì)（咨詢），運(yùn)營(yíng)人員（告知）

?高層實(shí)施策略：

O根據(jù)敏感度對(duì)數(shù)據(jù)和模型進(jìn)行分類。

O為模型生命周期的每個(gè)階段定義明確的訪問(wèn)控制規(guī)則，并關(guān)聯(lián)到各用

戶角色。

O將訪問(wèn)控制與現(xiàn)有的IAM（身份和訪問(wèn)管理）解決方案集成。

O記錄并審核所有訪問(wèn)請(qǐng)求以及數(shù)據(jù)/模型使用情況。

?持續(xù)監(jiān)測(cè)和報(bào)告：

O在未經(jīng)授權(quán)的訪問(wèn)嘗試時(shí)發(fā)送警報(bào)。

O執(zhí)行用戶訪問(wèn)審查和重新認(rèn)證。

O定期對(duì)訪問(wèn)和控制進(jìn)行審計(jì)。

O為可疑活動(dòng)建立警報(bào)閾值。

?訪問(wèn)控制映射：

o開(kāi)發(fā)階段：僅允許數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師訪問(wèn)

o測(cè)試階段：為質(zhì)量保證團(tuán)隊(duì)添加訪問(wèn)權(quán)限

O生產(chǎn)階段：授予嚴(yán)格控制的生產(chǎn)系統(tǒng)訪問(wèn)權(quán)限

?基本準(zhǔn)則：

O符合NIST800-53、NISTAlRMF框架等標(biāo)準(zhǔn)

O根據(jù)CSACCM等最佳實(shí)踐框架驗(yàn)證控制措施。

2.2安全的模型運(yùn)行環(huán)境

為安全的AI模型運(yùn)行環(huán)境構(gòu)建能夠具有韌性的系統(tǒng)需要融合強(qiáng)大的硬件、網(wǎng)絡(luò)

和軟件安全控制。在全面關(guān)注保護(hù)AI部署免受持續(xù)演進(jìn)的威脅侵?jǐn)_的同時(shí)，組織應(yīng)

該精心設(shè)計(jì)和增強(qiáng)其運(yùn)行時(shí)環(huán)境，以維護(hù)其完整性、機(jī)密性和可用性。從基于可信

執(zhí)行環(huán)境的硬件安全功能到防火墻和網(wǎng)絡(luò)隔離等網(wǎng)絡(luò)安全控制機(jī)制，每個(gè)組件都精

細(xì)地融入在深度防御