AI范 引 一、四大支柱：模型卡片，數(shù)據(jù)手冊(cè)，風(fēng)險(xiǎn)卡片，場(chǎng)景規(guī) 二、全面框架的好 增強(qiáng)透明度，可解釋性和問責(zé) 主動(dòng)風(fēng)險(xiǎn)評(píng)估和場(chǎng)景分 制定風(fēng)險(xiǎn)緩解策 明智決策與模型治 健壯模型驗(yàn) 建立信任并增強(qiáng)模型采 持續(xù)監(jiān)控和改 積極社會(huì)與倫理影 強(qiáng)有力的治理和監(jiān) 三、關(guān)鍵組成部 模型卡片：理解模 數(shù)據(jù)手冊(cè)：檢查訓(xùn)練數(shù) 風(fēng)險(xiǎn)卡片：識(shí)別潛在問 場(chǎng)景規(guī)劃：“假設(shè)”方 四、總體技術(shù)：一種整合方 利用模型卡信息創(chuàng)建風(fēng)險(xiǎn) 使用數(shù)據(jù)手冊(cè)加強(qiáng)模型理 使用風(fēng)險(xiǎn)卡指導(dǎo)場(chǎng)景規(guī) 場(chǎng)景規(guī)劃對(duì)風(fēng)險(xiǎn)管理和開發(fā)的反 AIMRM在行 五、結(jié)論與展 參考文 附錄1:人工智能框架、法規(guī)和指 模型風(fēng)險(xiǎn)管理（ModelRiskManagement,MRM）是推動(dòng)組織在開發(fā)、部署在使用人工智本報(bào)告強(qiáng)調(diào)了與AI模型相關(guān)的內(nèi)在風(fēng)險(xiǎn)，如數(shù)據(jù)偏見、事實(shí)性錯(cuò)誤或信息不相關(guān)（通常被稱為“幻覺”或“虛構(gòu)M該框架基于四個(gè)相互關(guān)聯(lián)的支柱：模型卡片（Mdelard）、數(shù)據(jù)手冊(cè)（DaaShet）、風(fēng)ikardSenarioPlanin通過實(shí)施這一框架，組織可以確保MLAIAIAI模型生命周期中潛在問題的工AI風(fēng)險(xiǎn)管理專業(yè)人士、合規(guī)官員和審計(jì)員:MRM的重要性及其與常見行業(yè)務(wù)領(lǐng)導(dǎo)者和高管:MRM在推動(dòng)組AI應(yīng)用中的重要性。溝通與公共關(guān)系專業(yè)人士:AI模型風(fēng)險(xiǎn)與效益的溝通、利益相關(guān)者本文強(qiáng)調(diào)了MM在塑造未來倫理和負(fù)責(zé)任AI中的作用。需要注意的是，本文主要關(guān)注MM的概念和方法論方面，而不涉及以人為中心的內(nèi)容，例如角色分配、責(zé)任歸屬、AISAA組織職責(zé)詳細(xì)闡述。MRMA/M是與模型本身相關(guān)的風(fēng)險(xiǎn)模型風(fēng)險(xiǎn)。如果不加以控制，這些風(fēng)險(xiǎn)可能會(huì)導(dǎo)致嚴(yán)重的經(jīng)濟(jì)（通常稱為幻覺”或“虛構(gòu)”），以及潛在的濫用風(fēng)險(xiǎn)，再加上隱私問題和知識(shí)產(chǎn)權(quán)（P）問題，都需要采取積AMM部署和使用的重要學(xué)科。MRM這一術(shù)語在金融等行業(yè)中廣泛使用，傳統(tǒng)上是指管理與量化模型相關(guān)的風(fēng)險(xiǎn)。而MRM數(shù)據(jù)質(zhì)量問題:任何模型的基礎(chǔ)是數(shù)據(jù)。不準(zhǔn)確、不完整或片面的數(shù)據(jù)可能導(dǎo)致模型模型選擇、調(diào)優(yōu)和設(shè)計(jì)缺陷:為特定任務(wù)選擇錯(cuò)誤的模型架構(gòu)或使用不合適的算法會(huì)一流模型固有的風(fēng)險(xiǎn):即使是由知名供應(yīng)商發(fā)布的頂尖模型，也可能因自身的不足而實(shí)施和操作錯(cuò)誤:AI時(shí)代的新風(fēng)險(xiǎn)，如提示注入。AI模型還增加了模型本身試圖改變外部因素的演變:企業(yè)管理手段AIAI在提高生產(chǎn)力、效率、模型清單:建立組織中所有使用模型的全面清單，并按目的、復(fù)雜性、風(fēng)險(xiǎn)等級(jí)及與模型生命周期管理:明確定義各模型在生命周期中的角色和職責(zé)，從設(shè)計(jì)和測(cè)試，到模型審批:建立一個(gè)正式的流程和標(biāo)準(zhǔn)，用于在模型部署前進(jìn)行審批，確保模型符合AI原則的遵循，促進(jìn)公平性、透明性和可信賴性。數(shù)據(jù)質(zhì)量管理:定義能夠用于模型訓(xùn)練的高質(zhì)量數(shù)據(jù)的一種實(shí)踐，它要求數(shù)據(jù)符合準(zhǔn)模型設(shè)計(jì)與開發(fā):概述模型架構(gòu)、開發(fā)方法和文檔實(shí)踐的標(biāo)準(zhǔn)。將模型開發(fā)標(biāo)準(zhǔn)與現(xiàn)模型驗(yàn)證與測(cè)試:建立嚴(yán)格測(cè)試模型的流程，以評(píng)估其性能、準(zhǔn)確性、安全性和穩(wěn)健治理和合規(guī)框架:將模型開發(fā)標(biāo)準(zhǔn)與現(xiàn)有的治理和合規(guī)框架對(duì)齊，包括監(jiān)管指南（例CCPA模型監(jiān)控:實(shí)施在生產(chǎn)環(huán)境中持續(xù)監(jiān)控模型性能的程序，以檢測(cè)任何精度下降或異常模型變更管理:定義透明的流程用來管理已部署模型的變更，確保在實(shí)施前進(jìn)行充分模型溝通與培訓(xùn):建立與利益相關(guān)者溝通模型局限性和能力的協(xié)議，并提供培訓(xùn)以確風(fēng)險(xiǎn)范圍:風(fēng)險(xiǎn)評(píng)估過程不僅適用于組織內(nèi)部開發(fā)使用的模型，也適用于從第三方或風(fēng)險(xiǎn)識(shí)別:ML模型相關(guān)風(fēng)險(xiǎn)的第一步。它通過系統(tǒng)化的方法在風(fēng)險(xiǎn)評(píng)估:評(píng)估能識(shí)別出風(fēng)險(xiǎn)的嚴(yán)重性和可能性，從而為減緩措施的優(yōu)先級(jí)排序提供FAIR-AI6.風(fēng)險(xiǎn)應(yīng)對(duì):制定應(yīng)對(duì)識(shí)別出風(fēng)險(xiǎn)的策略，包括數(shù)據(jù)清洗、模型改進(jìn)、實(shí)施安全和隱私模型文檔:在模型生命周期的各個(gè)階段維護(hù)全面的文檔，記錄開發(fā)步驟、假設(shè)、局限模型風(fēng)險(xiǎn)報(bào)告:AI防御、限制和性能，增強(qiáng)透明度并促進(jìn)知情使用。場(chǎng)景規(guī)劃：探索一個(gè)模型可能被濫用或出現(xiàn)故障時(shí)所處環(huán)境下產(chǎn)生假設(shè)狀況,幫助識(shí)圖1擔(dān)責(zé)且合規(guī)使用A/ML（人工智能/機(jī)器學(xué)習(xí)）（RMF力與局限。如局部可解釋模型無關(guān)說明（LIME）、SHapley加性解釋（SHAP）、集成會(huì)來提供影響決策過程的重要信息。在MRM中,對(duì)此類詳盡地了解使得治理實(shí)踐變得更加清晰,確保圍繞著模型部署的決策是明智、完備且合理。這促進(jìn)了透明度和負(fù)責(zé)任的AI開發(fā)，最終促使用戶和監(jiān)管者對(duì)采納該模型產(chǎn)生更大信任感。這些文件提供關(guān)于模型功能和性能期望方面透明而誠實(shí)地溝通方式.這種清晰度對(duì)于贏得用戶和監(jiān)管者的信任至關(guān)重要，特別是在數(shù)據(jù)來源和完整性至關(guān)重要的行業(yè)中。（MAE：：該風(fēng)險(xiǎn)卡片強(qiáng)調(diào)了一家零售公司用于生成營銷和社交媒體內(nèi)容的ML積極情景（例如，提高生產(chǎn)力、改善教育消極情景（例如，語言武器化、信息操縱實(shí)施可能需要的努力)的ROI團(tuán)隊(duì)?wèi)?yīng)收集相關(guān)信息，以全面了解AI模型和潛在風(fēng)險(xiǎn)。模型卡、數(shù)據(jù)手冊(cè)和風(fēng)險(xiǎn)卡提ML模型的功能、局限性和潛在風(fēng)險(xiǎn)的寶貴見解。這些文檔詳細(xì)說明了訓(xùn)練數(shù)據(jù)、(LLM)探索大型語言模型(LLM)傳播錯(cuò)誤信息的場(chǎng)景需要考慮潛在社會(huì)危害和對(duì)組織聲譽(yù)損害。戶培訓(xùn)，或增強(qiáng)AI治理流程的透明度和問責(zé)制。此外，可以對(duì)模型開發(fā)過程進(jìn)行調(diào)整，例策。有效的溝通可以促進(jìn)透明度，并建立對(duì)負(fù)責(zé)任地開發(fā)和部署AI模型的信任。導(dǎo)改進(jìn)，使其更加健壯可靠。這有利于持續(xù)負(fù)責(zé)任地開發(fā)和部署AI模型。資源密集型：AI和特定應(yīng)用領(lǐng)局可能會(huì)發(fā)生變化。場(chǎng)景規(guī)劃應(yīng)持續(xù)進(jìn)行,例如定期由明確、負(fù)責(zé)的領(lǐng)導(dǎo)者進(jìn)行LLM禁濫用系統(tǒng)的不良行主題限制的風(fēng)險(xiǎn)?收益分析：是否應(yīng)完全限制LLM生成有關(guān)某些敏感主題的持續(xù)監(jiān)控和改進(jìn)：需要哪些監(jiān)控和反饋機(jī)制來識(shí)別使用此LLM的風(fēng)險(xiǎn)和意外LLM實(shí)施的基礎(chǔ)提示）到涉及整個(gè)堆棧（數(shù)據(jù)、模型、應(yīng)用程序）的開發(fā)實(shí)踐中。至只是當(dāng)前的MRM文檔，但在大型組織中，您可能需要一個(gè)適合組織結(jié)構(gòu)、業(yè)行模型和創(chuàng)建模型卡時(shí)，必須優(yōu)先考慮風(fēng)險(xiǎn)緩解措施，才能確保安全和可信的AI圖2.分類：W1.1，W6.2W2.1，W2.3提示詞：為以下事件編寫事件報(bào)告：“JohnSmith的郵箱在2022年9月30日被利用漏洞入侵，具體為MicrosoftExchange的CVE-2024-26198漏洞”受影響資產(chǎn)：MicrosoftExchange5.11.203數(shù)據(jù)手冊(cè)、風(fēng)險(xiǎn)卡和場(chǎng)景規(guī)劃之間的這種整合通過以下方式加強(qiáng)了整個(gè)MRM 識(shí)別并優(yōu)先考慮潛在的未來場(chǎng)景（積極的、消極的、中性的）分析每種場(chǎng)景對(duì)模型的影響（例如，風(fēng)險(xiǎn)暴露、性能、