CCSL77IT/CFEII0020-2024 2規(guī)范性引用文件 3術(shù)語和定義 4評估框架 24.1模型構(gòu)成 34.2評估等級 35評價方法 46評估內(nèi)容 46.1數(shù)據(jù) 46.1.1準(zhǔn)確性 46.1.2無偏性 46.1.3代表性 46.1.4可追溯 46.1.5合規(guī)性 56.2模型 56.2.1解釋性 56.2.2魯棒性 56.2.3公平性 56.2.4可追溯 66.2.5向善性 66.3性能 66.3.1精準(zhǔn)性 6T/CFEII0020-20246.3.2可靠性 66.3.3無害性 76.4防御 76.4.1風(fēng)險管理 76.4.2可信環(huán)境 76.4.3攻擊防范 76.4.4控制機制 76.4.5應(yīng)急計劃 86.5溝通 86.5.1規(guī)范使用 86.5.2交互反饋 86.6責(zé)任 96.6.1職責(zé)確立 96.6.2人員培訓(xùn) 9附錄A人工智能融合應(yīng)用安全可信度評估分級方法 10A.1概述 10A.2評估指標(biāo)體系構(gòu)建 A.2.1構(gòu)建原則 A.2.2構(gòu)建步驟 A.3加權(quán)評分方法 A.3.1權(quán)重設(shè)置 A.3.2加權(quán)評分 A.4分級判定參考 A.4.1人工智能融合應(yīng)用安全可信度一級 A.4.2人工智能融合應(yīng)用安全可信度二級 A.4.3人工智能融合應(yīng)用安全可信度三級 A.4.4人工智能融合應(yīng)用安全可信度四級 A.4.5人工智能融合應(yīng)用安全可信度五級 T/CFEII0020-2024本標(biāo)準(zhǔn)按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本標(biāo)準(zhǔn)由中國電子信息行業(yè)聯(lián)合會提出并歸口。請注意本標(biāo)準(zhǔn)的某些內(nèi)容可能涉及專利，本標(biāo)準(zhǔn)的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本標(biāo)準(zhǔn)起草單位：國家工業(yè)信息安全發(fā)展研究中心、西安交通大學(xué)、清華大學(xué)公共管理學(xué)院、北京格靈深瞳信息技術(shù)股份有限公司、北京工業(yè)大學(xué)、北京北信源軟件股份有限公司、北京奇虎科技有限公司、商湯集團有限公司、螞蟻科技集團股份有限公司、北京百度網(wǎng)訊科技有限公司、北京昇騰人工智能生態(tài)創(chuàng)新中心、北京晴數(shù)智慧科技有限公司、北京神州綠盟科技有限公司、北京中科睿鑒科技有限公司、廣州廣電信息安全科技有限公司、北京中銀（深圳）律師事務(wù)所。本標(biāo)準(zhǔn)主要起草人：邱惠君、張瑤、王淼、劉永東、李衛(wèi)、李天舒、張若丹、沈超、藺琛皓、趙靜、陳天博、胡俊、張建標(biāo)、高曦、夏林聰、鄒權(quán)臣、張德岳、胡正坤、林冠辰、郭建領(lǐng)、王瑞平、羅磊、王星凱、陳漫蘭、張原、梁添才、潘良。T/CFEII0020-2024人工智能作為數(shù)字化轉(zhuǎn)型的重要賦能技術(shù)之一，正在與金融、醫(yī)療、工業(yè)、交通等領(lǐng)域融合發(fā)展。近年來，人工智能應(yīng)用范圍加速拓展，行業(yè)滲透率迅速提升。與此同時，人工智能存在算法、數(shù)據(jù)、攻防、應(yīng)用、管理等方面的風(fēng)險，已暴露出信息泄露、數(shù)據(jù)濫用、偏見歧視、實施詐騙等安全風(fēng)險，引發(fā)了社會各界對人工智能安全問題的廣泛關(guān)注。本項目在充分研究分析國內(nèi)外人工智能安全風(fēng)險治理原則、政策、標(biāo)準(zhǔn)等文件的基礎(chǔ)上，面向人工智能系統(tǒng)提出人工智能融合應(yīng)用安全可信度評估框架、方法和內(nèi)容，為開展人工智能安全可信度自評估和第三方評估提供依據(jù)，也可以為監(jiān)管部門提供參考。對標(biāo)準(zhǔn)中的具體事項，法律法規(guī)另有規(guī)定的，需遵照其規(guī)定執(zhí)行。T/CFEII0020-20241人工智能融合應(yīng)用安全可信度評估規(guī)范（系統(tǒng)版）本標(biāo)準(zhǔn)規(guī)定了評估人工智能系統(tǒng)安全可信度的評估框架與評估內(nèi)容，并提供了評估規(guī)則。本標(biāo)準(zhǔn)適用于指導(dǎo)人工智能系統(tǒng)開發(fā)者、使用者、第三方評估機構(gòu)等對人工智能系統(tǒng)的安全可信度進行評估。2規(guī)范性引用文件文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1人工智能artificialintelligence<學(xué)科>人工智能系統(tǒng)相關(guān)機制和應(yīng)用的研究與開發(fā)。[來源：GB/T41867-2022,3.1.2]3.2人工智能系統(tǒng)artificialintelligencesystem針對人類定義的給定目標(biāo)，產(chǎn)生諸如內(nèi)容、預(yù)測、推薦或決策等輸出的一類工程系統(tǒng)。3.3人工智能風(fēng)險artificialintelligencerisk人工智能的不確定性對任務(wù)和目標(biāo)的影響。[來源：ISO/IEC22989:2022,3.5.11，有修改]3.4算法algorithm<人工智能>用于求解分類、推理、預(yù)測等問題，明確界定的有限且有序的規(guī)則集合。[來源：T/CESA1193-2022,3.1.8，有修改]3.5模型model<人工智能>針對特定問題或任務(wù)，基于輸入數(shù)據(jù),生成推理或預(yù)測的計算結(jié)構(gòu)。注：一個人工智能模型是基于人工智能算法訓(xùn)練的結(jié)果。[來源：T/CESA1193-2022,3.1.9，有修改]3.6安全性security<人工智能>系統(tǒng)免受惡意攻擊、保護數(shù)據(jù)或阻止未經(jīng)授權(quán)訪問的能力。[來源：ISO/IECTR24028:2020,3.35，有修改]3.7可信性trustworthinessT/CFEII0020-20242<人工智能>系統(tǒng)以可驗證的方式，滿足利益相關(guān)者期望的能力。注1：根據(jù)背景或行業(yè)以及具體產(chǎn)品或服務(wù)、數(shù)據(jù)和使用的技術(shù)，適用不同的特征，需要通過客觀證據(jù)證明，以確保滿足利益相關(guān)者的期望。注2：可信的特征包括可靠性、可用性、彈性、安全、隱私性、可問責(zé)、透明性、完整性、真實性、質(zhì)量等。注3：可信是一種屬性，可應(yīng)用于服務(wù)、產(chǎn)品、技術(shù)、數(shù)據(jù)和信息，在治理背景下也可應(yīng)用于組織。[來源：ISO/IECTR24028:2020,3.42，有修改]3.8人工智能生命周期artificialintelligencelifecycle人工智能系統(tǒng)從設(shè)計到下線的過程，包括設(shè)計開發(fā)、驗證測試、部署上線、運行維護、退役下線等階段。[來源：ISO/IEC22989:2022，有修改]3.9偏見bias<人工智能可信賴>對待特定對象、人或群體時，相較于其他對象出現(xiàn)系統(tǒng)性差別的特性。注：“對待”指任何一種行動，包括感知、觀察、表征、預(yù)測或決定。[來源：GB/T41867-2022,3.4.10，有修改]3.10倫理ethics<人工智能>開展人工智能技術(shù)基礎(chǔ)研究和應(yīng)用實踐時遵循的道德規(guī)范和準(zhǔn)則。[來源：GB/T41867-2022,3.4.8]3.11公平性fairness<人工智能>尊重既定事實、社會規(guī)范和信仰，且不受偏袒或不公正歧視影響的對待、行為或結(jié)果。注1：對公平性的考慮是與環(huán)境高度相關(guān)的，并且因文化、代際、地理和政治觀點而異。注2：公平不等于沒有偏見。偏見并不總是導(dǎo)致不公平，不公平可能是由于偏見以外的因素引起的。[來源：GB/T41867-2022,3.4.1]3.12可解釋性interpretability<人工智能>系統(tǒng)以人能理解的方式，表達影響其（執(zhí)行）結(jié)果的重要因素的能力。注：可解釋性理解為對“原因”的表達，而不是嘗試以“實現(xiàn)必要的優(yōu)勢特性”做出爭辯。[來源：GB/T41867-2022,3.4.3]3.13魯棒性robustness<人工智能>系統(tǒng)在任何情況下都保持其性能水平的特性。[來源：GB/T41867-2022,3.4.9]4評估框架T/CFEII0020-202434.1模型構(gòu)成人工智能融合應(yīng)用安全可信度評估模型（系統(tǒng)版）包括數(shù)據(jù)、模型、性能、防御、溝通、責(zé)任六個維度。圖1人工智能融合應(yīng)用安全可信度評估模型（系統(tǒng)版）六大維度1234564.2評估等級人工智能融合應(yīng)用安全可信度等級（系統(tǒng)版）體現(xiàn)了人工智能系統(tǒng)設(shè)計、開發(fā)、運行等全生命周期中的安全風(fēng)險管理水平和應(yīng)對能力，評估等級由低到高可分為五個等級，更高的等級代表人工智能系統(tǒng)具有更好的安全可信度。一級（一般人工智能安全風(fēng)險管理意識一般，對人工智能系統(tǒng)開展了零散、被動的安全可信管理工作。二級（較好具有一定人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了一定安全可信管理工作，主要依據(jù)經(jīng)驗進行管理，覆蓋人工智能系統(tǒng)涉及的部分環(huán)節(jié)，初步具備一定的主動應(yīng)對能力。三級（良好具有較高的人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了較多的安全可信管理工作，對管理規(guī)則和方法進行了一定主動設(shè)計，覆蓋了人工智能系統(tǒng)涉及的多個環(huán)節(jié)，能夠較好地實現(xiàn)對風(fēng)險的應(yīng)對處理。四級（優(yōu)秀）：具有很高的人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了足夠的安全可信管理工作，積累了較多成熟的實踐經(jīng)驗和管理規(guī)則，覆蓋了人工智能系統(tǒng)的關(guān)鍵環(huán)節(jié)，具有固化的管理流程和較為實用的工具方法，能夠很好地實現(xiàn)對風(fēng)險的應(yīng)對處理。五級（卓越高度重視人工智能安全風(fēng)險管理，對人工智能系統(tǒng)開展全面、高效的安全可信管理工作，形成了成熟、完善、能夠引領(lǐng)行業(yè)的管理規(guī)范和實踐經(jīng)驗，覆蓋了人工智能系統(tǒng)的所有環(huán)節(jié)，具有標(biāo)準(zhǔn)化的管理流程和工具方法，能夠很好地預(yù)判和應(yīng)對可能存在的風(fēng)險。T/CFEII0020-202445評價方法a)查閱文件材料：查閱自評估報告、第三方評估報告、審計報告、測試報告、設(shè)計開發(fā)文檔、用戶溝通文檔、系統(tǒng)使用說明書、組織的戰(zhàn)略計劃、實施計劃、制度文件等相關(guān)材料。b)訪談相關(guān)人員：與組織中的管理人員、系統(tǒng)開發(fā)人員、測試人員，以及組織外部的專家、目標(biāo)用戶等利益相關(guān)者進行交流。c)查看算法文檔：查看算法的源代碼、配套說明文檔等。d)查看系統(tǒng)配置：查看系統(tǒng)日志、配置文件、參數(shù)設(shè)置、版本記錄等。e)算法運行測試：運行算法模型，檢查其輸出結(jié)果是否符合預(yù)期。f)采用測試工具：使用檢測工具對人工智能系統(tǒng)的性能和安全性，以及數(shù)據(jù)集的準(zhǔn)確性、無偏性等進行測試。g)進行模擬攻擊：模擬相關(guān)攻擊方法，對人工智能系統(tǒng)進行攻擊并分析攻擊結(jié)果。6評估內(nèi)容6.1數(shù)據(jù)數(shù)據(jù)維度主要評估數(shù)據(jù)集及在數(shù)據(jù)處理全生命周期，是否考慮并采取措施，保持了數(shù)據(jù)的準(zhǔn)確性、無偏性、代表性、可追溯性和合規(guī)性。6.1.1準(zhǔn)確性應(yīng)評估系統(tǒng)使用的數(shù)據(jù)集是否具有一定的時效性和真實性，數(shù)據(jù)標(biāo)注是否具有較高的準(zhǔn)確性?？芍攸c評估：a)是否對數(shù)據(jù)集進行預(yù)處理，去除重復(fù)、無效、錯誤數(shù)據(jù)。b)是否對數(shù)據(jù)集進行定期審查和更新，以確保數(shù)據(jù)的時效性、準(zhǔn)確性等。c)是否制定數(shù)據(jù)標(biāo)注規(guī)則，明確準(zhǔn)確性要求和操作規(guī)定，以降低標(biāo)注錯誤和不一致性的風(fēng)險。d)是否對數(shù)據(jù)標(biāo)注的質(zhì)量進行驗證和檢查，內(nèi)容不準(zhǔn)確或不符合質(zhì)量要求時，是否進行重新標(biāo)注。e)是否在使用數(shù)據(jù)集前進行準(zhǔn)確性檢查，確保不存在事實性錯誤、惡意數(shù)據(jù)等。6.1.2無偏性應(yīng)評估系統(tǒng)所使用的數(shù)據(jù)集及數(shù)據(jù)處理過程中是否存在潛在的偏見、不平等和其他社會問題?？芍攸c評估：a)是否根據(jù)系統(tǒng)目標(biāo)考慮可能存在的數(shù)據(jù)偏見風(fēng)險，并采取針對性措施。b)是否對數(shù)據(jù)采集、標(biāo)注、管理等人員進行了無偏見培訓(xùn)和審查。c)是否通過自我評估或第三方評估的形式對數(shù)據(jù)集進行了無偏性審查，以避免歧視和不公正等問題。d)是否對系統(tǒng)更新使用的數(shù)據(jù)集的無偏性，進行持續(xù)監(jiān)測和改進。6.1.3代表性應(yīng)評估系統(tǒng)所使用的數(shù)據(jù)集是否能夠完整地代表使用系統(tǒng)的群體。可重點評估：a)在確定所需的數(shù)據(jù)集時，是否較為全面地考慮了系統(tǒng)目標(biāo)特性及所有預(yù)期應(yīng)用場景的需求。b)是否對數(shù)據(jù)集與系統(tǒng)目標(biāo)的一致性進行檢查，確保數(shù)據(jù)偏差在可接受的范圍內(nèi)。c)是否對數(shù)據(jù)集進行預(yù)處理，去除不相關(guān)數(shù)據(jù)。d)是否對數(shù)據(jù)的代表性進行分析和評估，確保數(shù)據(jù)集中包含特定對象的代表性樣本，并符合一定的統(tǒng)計屬性。e)驗證數(shù)據(jù)集和測試數(shù)據(jù)集是否與訓(xùn)練數(shù)據(jù)集具有一致的特征。6.1.4可追溯T/CFEII0020-20245應(yīng)評估系統(tǒng)所使用的數(shù)據(jù)的來源是否可追溯，是否對數(shù)據(jù)的來源和操作進行記錄?？芍攸c評估：a)是否對系統(tǒng)采用的所有數(shù)據(jù)來源進行完整和明確的記錄。b)是否對從第三方獲取的數(shù)據(jù)集進行潛在風(fēng)險分析并記錄。c)是否對每次數(shù)據(jù)標(biāo)注、審核等行為進行詳細記錄，包括時間、人員、內(nèi)容和結(jié)果。d)是否對數(shù)據(jù)的過濾、編輯、提取、轉(zhuǎn)換等操作進行記錄。e)是否對數(shù)據(jù)操作目的、方法、參數(shù)設(shè)定和結(jié)果等進行記錄。f)是否能夠?qū)崿F(xiàn)對數(shù)據(jù)集潛在的錯誤來源的追蹤溯源。6.1.5合規(guī)性應(yīng)評估數(shù)據(jù)采集和使用過程中是否符合數(shù)據(jù)安全、個人隱私保護、知識產(chǎn)權(quán)保護等相關(guān)法律法規(guī)?？芍攸c評估：a)在采集和使用個人數(shù)據(jù)之前，是否能夠確保數(shù)據(jù)主體了解其數(shù)據(jù)將被如何使用，明確獲得授權(quán)同意，并在請求數(shù)據(jù)刪除時可進行正確的刪除。b)是否對包含個人信息的數(shù)據(jù)進行脫敏處理，確保個人信息不被泄露。c)是否根據(jù)系統(tǒng)目標(biāo)和技術(shù)需要，確定數(shù)據(jù)種類和數(shù)量的最低需求量，只采集必須范圍內(nèi)的數(shù)據(jù)，不采集無關(guān)數(shù)據(jù)。d)若系統(tǒng)收集用戶的輸入數(shù)據(jù)用于模型訓(xùn)練，是否進行事先告知并獲取同意。e)是否對數(shù)據(jù)集的訪問實施了嚴格的訪問控制和權(quán)限管理。f)是否采取加密存儲、定期備份等數(shù)據(jù)安全措施，防止數(shù)據(jù)泄露、篡改或丟失。g)是否定期對數(shù)據(jù)集開展了監(jiān)控審計和合規(guī)審查，確保數(shù)據(jù)集始終符合相關(guān)法律法規(guī)的要求。h)系統(tǒng)使用的第三方數(shù)據(jù)集是否包含清晰的版權(quán)聲明和許可協(xié)議，知識產(chǎn)權(quán)歸屬和使用條件是否明確。6.2模型模型維度主要評估系統(tǒng)是否具有可解釋性和魯棒性，不存在偏見歧視問題，能夠?qū)崿F(xiàn)全流程可追溯，系統(tǒng)目標(biāo)與增進人類福祉、促進可持續(xù)發(fā)展等理念一致。6.2.1解釋性應(yīng)評估人工智能算法的運行和決策原理是否可解釋?？芍攸c評估：a)在系統(tǒng)開發(fā)過程中，是否優(yōu)先選擇具有較高可解釋性的算法和模型架構(gòu)，平衡了模型性能和解釋性，并根據(jù)應(yīng)用場景做出合理選擇。b)是否通過特征重要性分析、可視化技術(shù)、模型解釋性工具等工具方法分析影響決策的關(guān)鍵特征和因素，提升模型可解釋性。c)是否在模型部署前對模型的可解釋性進行檢查和評估，確保模型具備較高的可解釋性程度。d)是否對模型的目標(biāo)設(shè)計、基本原理、風(fēng)險評估和權(quán)衡過程等進行詳細記錄。6.2.2魯棒性應(yīng)評估算法是否在系統(tǒng)運行環(huán)境發(fā)生變化時，仍可以按照預(yù)期保持一致的性能水平，保障算法在各類部署環(huán)境下的表現(xiàn)符合魯棒性要求。可重點評估：a)是否對系統(tǒng)的魯棒性需求進行分析。b)是否采用數(shù)據(jù)增強、對抗性訓(xùn)練等方式對模型進行魯棒性訓(xùn)練，以提升模型魯棒性。c)是否采用對抗樣本測試、噪聲測試、容錯能力測試等方法對模型進行魯棒性檢測，確保模型魯棒性能夠滿足部署需要。d)是否通過適配多種深度學(xué)習(xí)框架、操作系統(tǒng)、硬件架構(gòu)來保障系統(tǒng)的魯棒性。6.2.3公平性應(yīng)評估系統(tǒng)是否不存在歧視、偏見，是否通過設(shè)立公平性目標(biāo)等方式，有效降低可能存T/CFEII0020-20246在的歧視和偏見風(fēng)險?？芍攸c評估：a)是否根據(jù)實際應(yīng)用場景和需求明確設(shè)置公平性指標(biāo)，如偏見、歧視。b)是否根據(jù)公平性目標(biāo)構(gòu)建包含不同特征的數(shù)據(jù)集，在訓(xùn)練過程中評估模型在不同群體之間的表現(xiàn)并不斷改進。c)是否在上線前對模型公平性進行測試（自我審查或第三方評估），確保模型在公平性敏感領(lǐng)域的輸出的差異性在可接受范圍內(nèi)。d)是否對模型開發(fā)、測試等人員進行了無偏見培訓(xùn)和審查。e)是否對系統(tǒng)全生命周期中公平性指標(biāo)進行持續(xù)跟蹤監(jiān)測。f)是否制定相關(guān)處理機制，對模型運行中產(chǎn)生的公平性問題進行及時改進。6.2.4可追溯應(yīng)評估是否通過良好的版本管理，對模型不同版本的關(guān)鍵信息進行記錄，提升系統(tǒng)開發(fā)訓(xùn)練、測試、調(diào)優(yōu)等全流程的可追溯性?？芍攸c評估：a)是否對版本標(biāo)識與命名規(guī)范、版本控制工具、關(guān)鍵信息記錄、更新日志和注釋與定期備份和存檔等做出詳細規(guī)定。b)是否選擇適合的版本控制工具，用于管理模型的源代碼、配置文件和訓(xùn)練數(shù)據(jù)等，確保有效跟蹤和記錄模型版本的變更歷史。c)是否記錄每個模型版本的關(guān)鍵信息，包括但不限于：版本標(biāo)識和名稱、模型訓(xùn)練時間、模型架構(gòu)、訓(xùn)練數(shù)據(jù)集、參數(shù)和超參數(shù)設(shè)置、訓(xùn)練過程、性能評估指標(biāo)、更新記錄、作者和負責(zé)人等信息。d)是否對模型重要版本的源代碼和關(guān)鍵信息等進行備份。6.2.5向善性應(yīng)評估模型是否進行了價值觀對齊訓(xùn)練，與增進人類福祉、促進可持續(xù)發(fā)展的理念保持一致，對未成年人、老年人等群體友好。可重點評估：a)是否構(gòu)建或使用符合人類價值觀的數(shù)據(jù)集，通過人類反饋強化學(xué)習(xí)等方法進行對齊訓(xùn)練，以使得模型更符合人類的主流價值觀。b)是否對人工智能可能對環(huán)境生態(tài)系統(tǒng)的可持續(xù)性產(chǎn)生的影響進行預(yù)先評估。c)是否針對老年人、未成年人等特殊群體進行優(yōu)化設(shè)計，并按需求提供適老化模式、無障礙模式、青少年模式等以方便特殊群體使用。6.3性能性能維度主要評估系統(tǒng)功能實現(xiàn)的精準(zhǔn)性、在各類不同環(huán)境中運行的可靠性、運行結(jié)果的無害性。6.3.1精準(zhǔn)性應(yīng)評估是否對系統(tǒng)性能的精準(zhǔn)性進行自測或第三方測試，確保系統(tǒng)達到一定的質(zhì)量要求?？芍攸c評估：a)是否在系統(tǒng)上線前采取自測或第三方評估對模型精準(zhǔn)性進行測試。b)若測試不達標(biāo)，是否采取措施進行改進，保障系統(tǒng)達到精準(zhǔn)性目標(biāo)。c)是否設(shè)置精度監(jiān)測機制以發(fā)現(xiàn)系統(tǒng)使用過程中精度下降問題，并采取相關(guān)措施，以保障系統(tǒng)精度穩(wěn)定。6.3.2可靠性應(yīng)評估是否對系統(tǒng)的可靠性進行自測或第三方測試，確保系統(tǒng)達到一定的質(zhì)量要求?？芍攸c評估：a)是否在系統(tǒng)上線前采用自測或第三方評估方式對系統(tǒng)可靠性進行測試，以保障系統(tǒng)在各類環(huán)境下性能表現(xiàn)一致或接近。b)若測試不達標(biāo)，是否采取措施進行改進，保障系統(tǒng)達到可靠性標(biāo)準(zhǔn)。c)當(dāng)系統(tǒng)發(fā)生重大變化或重新訓(xùn)練模型時，是否對系統(tǒng)可靠性進行再次檢測。T/CFEII0020-202476.3.3無害性應(yīng)評估是否利用測試數(shù)據(jù)集對模型生成的內(nèi)容安全性進行評測和審查，保障模型生成的內(nèi)容不存在敏感信息、虛假誤導(dǎo)、違反倫理道德等現(xiàn)象?？芍攸c評估：a)是否在系統(tǒng)上線前采用自有測試數(shù)據(jù)集或第三方測試數(shù)據(jù)集對模型生成內(nèi)容的安全性進行評測，測試內(nèi)容包括但不限于敏感信息、虛假偽造、違反倫理道德等現(xiàn)象。b)若評測不達標(biāo)，是否采取措施進行改進，保障系統(tǒng)生成內(nèi)容達到無害性標(biāo)準(zhǔn)。c)當(dāng)系統(tǒng)發(fā)生重大變化或重新訓(xùn)練模型時，是否對系統(tǒng)無害性進行再次評測。6.4防御防御維度主要評估系統(tǒng)在軟硬件環(huán)境方面的安全性，對于各類攻擊的防范機制，對于系統(tǒng)輸入輸出內(nèi)容的審查過濾機制，以及在應(yīng)急情況下的響應(yīng)機制。6.4.1風(fēng)險管理應(yīng)評估是否實施和落實了相關(guān)風(fēng)險管理制度，在立項前、項目進行中以及上線后系統(tǒng)地識別、分析和減輕風(fēng)險，并進行持續(xù)監(jiān)測、驗證和修正?？芍攸c評估：a)是否按照ISO/IEC23894:2023(E)、ISO/IEC31000:2018(E)及ISO/IEC42001:2022(E)的要求開展人工智能風(fēng)險管理并獲取相關(guān)認證。b)是否在立項前對潛在安全風(fēng)險進行識別和分析，涵蓋系統(tǒng)對個人、組織、社會、環(huán)境等方面造成的影響，并采取預(yù)防措施。c)是否在項目進行中持續(xù)進行風(fēng)險識別和分析，實施風(fēng)險減輕措施，及時調(diào)整管理計劃。d)是否在系統(tǒng)上線前進行安全風(fēng)險審查，確保系統(tǒng)符合法律法規(guī)、行業(yè)標(biāo)準(zhǔn)、道德倫理等方面的要求。e)是否在系統(tǒng)上線后持續(xù)監(jiān)測風(fēng)險，修復(fù)漏洞并提升風(fēng)險管理能力，保障安全運行。6.4.2可信環(huán)境應(yīng)評估系統(tǒng)采用的開源框架、開發(fā)環(huán)境、基礎(chǔ)設(shè)施等軟硬件是否進行安全檢查和測試?？芍攸c評估：a)是否對系統(tǒng)開發(fā)的基礎(chǔ)設(shè)施的物理安全、網(wǎng)絡(luò)通信安全、計算環(huán)境安全、數(shù)據(jù)存儲安全等方面進行檢查，確保具備全方位保障能力。b)是否對系統(tǒng)開發(fā)環(huán)境進行安全配置和檢查，并實施訪問權(quán)限控制。c)是否對所使用的開源框架進行漏洞審查，持續(xù)監(jiān)控相關(guān)安全風(fēng)險，并及時采取補救措施。d)是否對系統(tǒng)的供應(yīng)鏈安全性進行評估，保障系統(tǒng)運行的穩(wěn)定性，如人工智能芯片、服務(wù)器等。6.4.3攻擊防范應(yīng)評估是否采取有效措施應(yīng)對人工智能系統(tǒng)潛在風(fēng)險和可能遭遇的攻擊，包括對抗樣本、逆向還原、數(shù)據(jù)投毒、后門攻擊等?？芍攸c評估：a)是否對系統(tǒng)進行對抗性的訓(xùn)練和測試，研究和應(yīng)用防御算法和技術(shù)，提升模型抵御攻擊的能力。b)是否建立了系統(tǒng)攻擊監(jiān)測機制，能夠?qū)ο到y(tǒng)攻擊事件進行及時識別并記錄。c)系統(tǒng)是否具備自防御能力，能夠自動應(yīng)對相關(guān)攻擊或及時預(yù)警。d)是否及時了解最新的攻擊技術(shù)和趨勢，不斷學(xué)習(xí)和分享防御實踐和經(jīng)驗。6.4.4控制機制應(yīng)評估系統(tǒng)運行過程中是否受到人工監(jiān)督并在必要情況下及時進行干預(yù)，是否對用戶輸入內(nèi)容和模型輸出內(nèi)容設(shè)置審查過濾機制，采取有效措施防止模型出現(xiàn)負面及錯誤內(nèi)容?？芍攸c評估：a)人工智能系統(tǒng)決策全程或關(guān)鍵環(huán)節(jié)是否有人工參與，相關(guān)人員是否能夠在必要時對T/CFEII0020-20248系統(tǒng)進行控制。b)系統(tǒng)是否具備可控性設(shè)置，允許管理員調(diào)整模型參數(shù)以適應(yīng)特定需求。c)是否對系統(tǒng)的關(guān)鍵決策設(shè)置人工審核和確認機制。d)是否對人工智能系統(tǒng)可能產(chǎn)生的錯誤設(shè)置補救機制。e)是否設(shè)置緊急停止功能以應(yīng)對人工智能系統(tǒng)失控的情況。f)是否建立審查過濾機制，對用戶輸入內(nèi)容進行審查，主動規(guī)避價值誘導(dǎo)性輸入，避免倫理風(fēng)險。g)是否建立審查過濾機制，對模型輸出進行審查，防止模型輸出有悖道德倫理或與事實不符的內(nèi)容。h)是否建立用戶反饋校準(zhǔn)機制，在用戶交互界面，設(shè)置反饋功能，及時處理違背道德倫理、引起個人不適的內(nèi)容。6.4.5應(yīng)急計劃應(yīng)評估是否實施和落實了風(fēng)險監(jiān)測機制和應(yīng)急響應(yīng)計劃，包括異常情況出現(xiàn)時中斷系統(tǒng)以及避免負面影響的相應(yīng)機制?？芍攸c評估：a)是否建立異常狀況監(jiān)測預(yù)警機制，能夠?qū)ο到y(tǒng)運行狀態(tài)、異常事件等進行實時監(jiān)測、預(yù)警和報告。b)是否對安全日志的記錄內(nèi)容和保留期限進行明確要求，以便對潛在的安全威脅進行監(jiān)控和分析。c)是否制定了應(yīng)急響應(yīng)計劃，明確系統(tǒng)故障、數(shù)據(jù)泄露、網(wǎng)絡(luò)攻擊等應(yīng)急情況的處理步驟和分工。d)是否通過應(yīng)急演練、人員培訓(xùn)等活動使項目團隊成員熟悉應(yīng)急響應(yīng)流程，掌握必要的技能。e)是否有專門的應(yīng)急響應(yīng)團隊負責(zé)事件響應(yīng)和處理，及時發(fā)現(xiàn)和應(yīng)對安全威脅。f)是否制定數(shù)據(jù)備份和恢復(fù)機制，定期備份重要數(shù)據(jù)，并在異常情況發(fā)生時能夠及時恢復(fù)數(shù)據(jù)，保障系統(tǒng)迅速恢復(fù)正常運行。6.5溝通溝通維度主要評估系統(tǒng)在運行過程中是否采取措施保障用戶合理使用，并建立了良好的信息披露和溝通反饋機制。6.5.1規(guī)范使用應(yīng)評估是否明確規(guī)定系統(tǒng)的用途和限制范圍，采取相關(guān)措施保障用戶合理使用。是否對模型輸出的內(nèi)容添加數(shù)字水印或顯著標(biāo)識?？芍攸c評估：a)是否明確系統(tǒng)的適用人群、用途與限制范圍，并以顯著方式公開，提醒用戶在使用時及第三方在開發(fā)時注意規(guī)范性。b)是否通過手機驗證碼等方式進行用戶身份驗證，確保只有授權(quán)用戶才能訪問和使用。c)是否對模型輸出的內(nèi)容添加水印或顯著標(biāo)識，防止惡意傳播和使用。d)是否對用戶提供使用人工智能系統(tǒng)的培訓(xùn)和宣傳，增強規(guī)范使用的意識和能力。6.5.2交互反饋應(yīng)評估系統(tǒng)是否向披露了訓(xùn)練數(shù)據(jù)、算法模型的相關(guān)信息，并為利益相關(guān)者提供溝通、反饋、投訴渠道。可重點評估：a)是否在系統(tǒng)設(shè)計、開發(fā)全生命周期過程中引入利益相關(guān)者參與，定期進行調(diào)查與溝通，收集利益相關(guān)者對系統(tǒng)的看法、期望和改進建議。b)是否建立人工智能模型基本信息披露機制，以清晰、易懂、充分的方式，向用戶提供數(shù)據(jù)的基本屬性、算法機制機理、系統(tǒng)運行邏輯、潛在風(fēng)險情況等信息。c)是否建立人工智能模型評測信息披露機制，向用戶披露模型的準(zhǔn)確性、魯棒性、安全性、公平性、可解釋性等相關(guān)維度的評估情況。d)是否設(shè)置提醒機制，向用戶告知其正在與人工智能系統(tǒng)進行交互，并為用戶提供便T/CFEII0020-20249捷的退出選擇機制。e)是否設(shè)置反饋機制，向用戶提供便捷的反饋與投訴渠道，并及時處理相關(guān)問題。6.6責(zé)任責(zé)任維度主要評估是否建立了明確的責(zé)任體系和追責(zé)機制，有效管理了各類風(fēng)險，并定期開展了相關(guān)教育培訓(xùn)以提升風(fēng)險管理責(zé)任意識。6.6.1職責(zé)確立應(yīng)評估是否建立了明確的責(zé)任體系，明確定義了人工智能系統(tǒng)涉及的人員角色、職責(zé)、分工；是否建立追責(zé)機制，以確保問責(zé)制度有效落實?？芍攸c評估：a)是否對人工智能系統(tǒng)涉及的所有或相關(guān)核心崗位（包括但不限于高級管理人員、項目管理人員、產(chǎn)品經(jīng)理、設(shè)計人員、開發(fā)人員、數(shù)據(jù)管理人員等），設(shè)置人工智能安全風(fēng)險管理的崗位職責(zé)。b)高級管理人員是否確保組織對人工智能安全風(fēng)險管理工作的支持，制定和推動全面的安全策略，保障人工智能安全政策的執(zhí)行。c)人工智能項目管理人員是否將人工智能安全納入項目管理的范圍，在項目進行過程中對相關(guān)安全風(fēng)險進行管理，保障項目的交付與運行中的安全可信。d)人工智能項目產(chǎn)品經(jīng)理是否保障系統(tǒng)需求分析和功能設(shè)計滿足安全要求，與團隊合作提升系統(tǒng)安全性，對產(chǎn)品功能進行安全性評估，并持續(xù)改進產(chǎn)品功能上的安全性。e)人工智能系統(tǒng)的設(shè)計人員是否在產(chǎn)品設(shè)計階段充分考慮安全風(fēng)險，將治理原則落實到產(chǎn)品設(shè)計中，為系統(tǒng)設(shè)置合理、明確的、可持續(xù)的目標(biāo)。f)人工智能系統(tǒng)的開發(fā)人員是否在系統(tǒng)開發(fā)階段充分考慮安全風(fēng)險，將治理原則落實到產(chǎn)品開發(fā)中，對所采用模型、編寫代碼的安全性負責(zé)，及時應(yīng)用安全更新，及時做好文檔和日志記錄，積極響應(yīng)安全事件。g)人工智能系統(tǒng)的數(shù)據(jù)管理人員是否在數(shù)據(jù)管理全流程中充分考慮安全風(fēng)險，對數(shù)據(jù)完整性、準(zhǔn)確性等進行測試，準(zhǔn)確記錄相關(guān)數(shù)據(jù)操作，監(jiān)督其他人員對數(shù)據(jù)的使用。h)是否設(shè)置專門的安全審查員，統(tǒng)籌系統(tǒng)設(shè)計、開發(fā)、運行等過程中的安全風(fēng)險管理工作，負責(zé)對系統(tǒng)安全性進行審查和評估。i)是否對相關(guān)崗位人員因未按規(guī)定履行職責(zé)產(chǎn)生安全風(fēng)險時應(yīng)負的責(zé)任作出規(guī)定。j)是否建立追責(zé)機制，確保在系統(tǒng)運行出現(xiàn)問題時能夠追溯到相關(guān)責(zé)任人。6.6.2人員培訓(xùn)應(yīng)評估是否對相關(guān)人員進行人工智能安全風(fēng)險管理意識教育和培訓(xùn)，使其能夠按照相關(guān)政策、程序和協(xié)議履行職責(zé)。可重點評估：a)系統(tǒng)設(shè)計、開發(fā)、訓(xùn)練、測試、部署，數(shù)據(jù)采集、標(biāo)注、處理、管理等所有相關(guān)人員是否參與人工智能安全風(fēng)險種類與應(yīng)對措施、崗位人工智能安全風(fēng)險責(zé)任、相關(guān)法律法規(guī)等方面的培訓(xùn)，具備人工智能安全風(fēng)險管理意識。b)是否對系統(tǒng)開發(fā)人員進行安全培訓(xùn)，提高其人工智能安全技能水平。c)是否對數(shù)據(jù)標(biāo)注人員進行專業(yè)培訓(xùn)，培訓(xùn)內(nèi)容應(yīng)包括標(biāo)注指南、質(zhì)量控制以及數(shù)據(jù)隱私保護要求，保障標(biāo)注的準(zhǔn)確性和安全性。T/CFEII0020-2024附錄A人工智能融合應(yīng)用安全可信度評估分級方法A.1概述本附錄基于本標(biāo)準(zhǔn)的評估框架、評價方法及評估內(nèi)容，進一步給出人工智能安全可信度評估指標(biāo)體系構(gòu)建、加權(quán)評分方法和分級判定參考等，以便于本標(biāo)準(zhǔn)的應(yīng)用和推廣。評估指標(biāo)體系構(gòu)建可按照評估內(nèi)容展開，依據(jù)評估內(nèi)容逐層細化并設(shè)立對應(yīng)評估指標(biāo)。基于指標(biāo)體系中底層指標(biāo)所采集的評估數(shù)據(jù)，可采用加權(quán)評分方法對各級評估指標(biāo)進行定量評分。分級判定參考給出了人工智能系統(tǒng)各級安全可信度評價的總體參考標(biāo)準(zhǔn)。A.2評估指標(biāo)體系構(gòu)建A.2.1構(gòu)建原則按照本標(biāo)準(zhǔn)要求，評估指標(biāo)體系構(gòu)建應(yīng)遵循以下原則：a)評估指標(biāo)體系應(yīng)與本標(biāo)準(zhǔn)評估內(nèi)容的層次結(jié)構(gòu)相對應(yīng)，建議可按照三級指標(biāo)構(gòu)建。本標(biāo)準(zhǔn)的一級評估內(nèi)容：數(shù)據(jù)、模型、性能、防御、溝通、責(zé)任可作為指標(biāo)體系的一級指標(biāo)。本標(biāo)準(zhǔn)的二級評估內(nèi)容：如數(shù)據(jù)的代表性、準(zhǔn)確性、無偏性等可作為指標(biāo)體系相應(yīng)的二級指標(biāo)。本標(biāo)準(zhǔn)二級評估內(nèi)容下的具體內(nèi)容可用于設(shè)計三級評估指標(biāo)。b)評估指標(biāo)體系一級和二級指標(biāo)原則上與本標(biāo)準(zhǔn)的一、二級評估內(nèi)容相對應(yīng)，三級指標(biāo)建議基本按照本標(biāo)準(zhǔn)相應(yīng)評估內(nèi)容設(shè)定，可依據(jù)需求進行適度調(diào)整和補充。c)一般情況下，為提高可操作性，各主體最終確定并用于實際測評的評估指標(biāo)體系應(yīng)在滿足應(yīng)用需求的前提下盡量簡化。A.2.2構(gòu)建步驟按照本標(biāo)準(zhǔn)要求，評估指標(biāo)體系構(gòu)建可采用如下步驟：a)按照評估主體的特色，基于本標(biāo)準(zhǔn)的評估框架、評估方法與評估內(nèi)容，選擇、修訂各級評估內(nèi)容，對部分評估內(nèi)容進行必要調(diào)整、補充或細化。b)對照本標(biāo)準(zhǔn)各級評估內(nèi)容的層次結(jié)構(gòu)構(gòu)建評估指標(biāo)體系。c)結(jié)合評估主體的需求，參考專家知識和經(jīng)驗，對指標(biāo)進行必要的調(diào)整；d)在必要情況下，重復(fù)上述步驟，構(gòu)建完成評估指標(biāo)體系。A.3加權(quán)評分方法A.3.1權(quán)重設(shè)置評估指標(biāo)體系中各級指標(biāo)的權(quán)重設(shè)置應(yīng)遵循或借鑒如下方面：a)面向不同主體開展評估時，各主體一級指標(biāo)的權(quán)重原則上應(yīng)保持一致，二級指標(biāo)的權(quán)重建議視不同類型主體（如生成式人工智能與非生成式人工智能）使用情況略作調(diào)整，三級標(biāo)權(quán)重可按照本主體的特色和需求分別進行設(shè)置。b)原則上總分為100分制，建議數(shù)據(jù)維度25分，模型維度20分、性能維度20分、防御維度20分、溝通維度5分、責(zé)任維度10分，六大一級指標(biāo)滿分加總為100分。c)設(shè)置權(quán)重時需考慮指標(biāo)對被評估主體開展人工智能安全可信管理工作的相對重要程度。d)可采用德爾菲法（Delphi）、層次分析法（AHP）或網(wǎng)絡(luò)分析法（ANP）等進行輔助決策。e)應(yīng)在一定時期內(nèi)保持相對穩(wěn)定。A.3.2加權(quán)評分按照指標(biāo)體系進行評分時應(yīng)遵循或借鑒如下方面：a）三級指標(biāo)的評分可設(shè)置為若干獨立的選項，不同選項代表不同分值，由專家確定各選項分值，該指標(biāo)得分即為所選選項分值。b）在三級指標(biāo)評分基礎(chǔ)上，二級指標(biāo)得分可通過加權(quán)求和計算得出。一級指標(biāo)得分可T/CFEII0020-2024由二級指標(biāo)得分加權(quán)求和得出。最終總分可由各一級指標(biāo)得分加權(quán)求和得出，滿分為一百分。c）總分60分及以下或單項一級指標(biāo)低于50分建議為人工智能安全可信度一級，總分61分-70分建議為人工智能安全可信度二級，總分71分-80分建議為人工智能安全可信度三級，總分81分-90分建議為人工智能安全可信度四級，總分91分-100分建議為人工智能安全可信度五級。A.4分級判定參考A.4.1人工智能融合應(yīng)用安全可信度一級人工智能安全風(fēng)險管理意識一般，對人工智能系統(tǒng)開展了零散、被動的安全可信管理工作。a）人工智能安全風(fēng)險尚未引起重視。b）尚未開展主動的人工智能安全可信管理活動，僅在必要時進行被動響應(yīng)。A.4.2人工智能融合應(yīng)用安全可信度二級具有一定人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了一定安全可信管理工作，主要依據(jù)經(jīng)驗進行管理，覆蓋人工智能系統(tǒng)涉及的部分環(huán)節(jié)，初步具備一定的主動應(yīng)對能力。a）考慮到了人工智能的安全風(fēng)險問題，初步具有一定的管理意識。b）基于相關(guān)工作人員的經(jīng)驗和技能開展了部分人工智能安全可信管理活動。c）初步建立了一些人工智能安全可信管理規(guī)范和制度，覆蓋了人工智能系統(tǒng)生命周期的一些環(huán)節(jié)。d）對數(shù)據(jù)、模型和系統(tǒng)面臨的安全性問題進行了考慮和分析，有效管理了部分風(fēng)險。e）系統(tǒng)性能能夠較好地滿足使用需要。A.4.3人工智能融合應(yīng)用安全可信度三級具有較高的人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了較多的安全可信管理工作，對管理規(guī)則和方法進行了一定主動設(shè)計，覆蓋了人工智能系統(tǒng)涉及的多個環(huán)節(jié)，能夠較好地實現(xiàn)對風(fēng)險的應(yīng)對處理。a）考慮到了人工智能的安全風(fēng)險問題并給予了一定的重視，正在建立體系化認識。b）主動開展了一定人工智能安全可信管理工作，在人工智能系統(tǒng)生命周期的多個環(huán)節(jié)形成了一定實踐經(jīng)驗，能夠有效管理部分風(fēng)險。c）建立了一定的人工智能安全可信管理規(guī)范和制度，采用了一些安全檢測工具，覆蓋了人工智能系統(tǒng)的多個環(huán)節(jié)。d）制定了數(shù)據(jù)管理相關(guān)規(guī)范和制度，著重考慮了數(shù)據(jù)的代表性、準(zhǔn)確性、無偏性等，在一定程度上實現(xiàn)了有效的數(shù)據(jù)管理。e）制定了模型開發(fā)相關(guān)規(guī)范和制度，著重考慮了模型的可解釋性、魯棒性、公平性等。f）制定了一定的性能測試評估制度，對系統(tǒng)性能進行評估測試，保證系統(tǒng)具有較高的性能水平。g）制定了一定的安全防御制度，設(shè)置了審查過濾機制、可控運行機制、應(yīng)急響應(yīng)機制，能夠?qū)ο鄳?yīng)安全風(fēng)險進行監(jiān)測。h）建立了一定的責(zé)任體系和追責(zé)機制，制定了人工智能安全風(fēng)險管理制度，對人工智能系統(tǒng)的相關(guān)人員進行了宣貫培訓(xùn)。A.4.4人工智能融合應(yīng)用安全可信度四級具有很高的人工智能安全風(fēng)險管理意識，對人工智能系統(tǒng)開展了足夠的安全可信管理工作，積累了較多成熟的實踐經(jīng)驗和管理規(guī)則，覆蓋了人工智能系統(tǒng)的關(guān)鍵環(huán)節(jié)，具有固化的管理流程和較為實用的工具方法，能夠很好地實現(xiàn)對風(fēng)險的應(yīng)對處理。a）考慮到了人工智能的安全風(fēng)險問題并給予很高的重視，初步具備體系化認識。b）主動開展了較多人工智能安全可信管理工作，在人工智能系統(tǒng)生命周期的所有關(guān)鍵環(huán)節(jié)均形成一定實踐經(jīng)驗，能夠有效管理絕大多數(shù)風(fēng)險。c）建立了較為全面的人工智能安全可信管理規(guī)范和制度，采用了較多標(biāo)準(zhǔn)化的管理、T/CFEII0020-2024檢測、評估工具，覆蓋了人工智能系統(tǒng)的所有關(guān)鍵環(huán)節(jié)。d）制定了數(shù)據(jù)管理相關(guān)規(guī)范和制度，采用了標(biāo)準(zhǔn)化的數(shù)據(jù)管理工具或測試評估工具。進行了自測或第三方測試，保障數(shù)據(jù)在代表性、準(zhǔn)確性、無偏性、可追溯性、合規(guī)性等方面符合一定要求或達到一定標(biāo)準(zhǔn)。e）制定了模型開發(fā)相關(guān)規(guī)范和制度，采用了標(biāo)準(zhǔn)化的模型管理工具或測試評估工具，開展了一定的版本管理。進行了自測或第三方測試，保障模型在可解釋性、魯棒性、公平性、可追溯性、向善性等方面符合一定要求或達到一定標(biāo)準(zhǔn)。f）制定了性能測試評估制度，在系統(tǒng)上線前或發(fā)生重大變化時，對系統(tǒng)性能（包括但不限于精準(zhǔn)性、