??智能安全治理框架2.0AISafetyGovernanceFramework全國?絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會NationalTechnicalCommittee260onCybersecurityof國家計(jì)算機(jī)?絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中?目錄??智能安全治理原則 ??智能安全治理框架構(gòu)成 ??智能安全?險(xiǎn)分類 ??智能技術(shù)內(nèi)?安全?險(xiǎn) ??智能技術(shù)應(yīng)?安全?險(xiǎn) ??智能應(yīng)?衍?安全?險(xiǎn) 技術(shù)應(yīng)對措 技術(shù)內(nèi)?安全?險(xiǎn)的應(yīng)對措 技術(shù)應(yīng)?安全?險(xiǎn)的應(yīng)對措 應(yīng)?衍?安全?險(xiǎn)的應(yīng)對措 綜合治理措 建?健全??智能安全法律法 構(gòu)建??智能科技倫理準(zhǔn) 提升研發(fā)應(yīng)?全?命周期安全能 強(qiáng)化開源?態(tài)安全和供應(yīng)鏈安 實(shí)施應(yīng)?分類及安全?險(xiǎn)分級管 推???智能?成合成內(nèi)容可追溯管 安全有效釋放重要?業(yè)應(yīng)?需 建設(shè)??智能安全測評體 共享??智能安全?險(xiǎn)威脅信 完善數(shù)據(jù)安全和個(gè)?信息保護(hù)規(guī) 增進(jìn)協(xié)同應(yīng)對??智能失控?險(xiǎn)的共 加???智能安全?才培養(yǎng)? 提升全社會的??智能安全意 促進(jìn)??智能安全治理國際交流合 ??智能研發(fā)與應(yīng)?的安全指 ??智能模型算法研發(fā)的安全開發(fā)指 ??智能應(yīng)?建設(shè)部署的安全指 ??智能應(yīng)?運(yùn)?管理的安全指 ??智能應(yīng)?訪問使?的安全指 附件1??智能安全?險(xiǎn)的分級原 附件2可信??智能基本準(zhǔn) 附件3術(shù) 致 PrinciplesforAIsafety FrameworkforAIsafety ClassificationofAIsafety InherentsafetyrisksofAI ApplicationsafetyrisksassociatedwithAI DerivativesafetyrisksfromAI Technologicalcountermeasurestoaddress Safeguardsagainstinherentsafety Safeguardsagainstapplicationsafety Safeguardsagainstapplication-relatedsecondarysafety Comprehensivegovernance Formulatingandimprovinglawsandregulationsfor EstablishingethicalprinciplesforAI Enhancingsafetythroughoutthefulllife-cycle,R&Dand Strengtheningopen-sourceecosystemsafetyandsupplychainsafety ImplementingAIapplicationclassificationandrisk Promotingtraceablemanagementof Unlockingkeyindustryapplicationdemandsinasafeeffective EstablishinganAIsafetyassessment SharinginformationonAIrisksand Improvingdatasecurityandpersonalprotection Fosteringconsensusoncollaborativeresponsetoloss-controlAI StrengtheningAIsafetytalent Enhancingsociety-wideawarenessofAI Promotinginternationalexchangeandcooperationonsafety SafetyguidelinesforAIresearch,developmentandapplication..SafetyguidelinesfordevelopingAImodelsand SafetyguidelinesfordevelopinganddeployingAI SafetyguidelinesforoperatingandmanagingAIapplicationsSafetyguidelinesforaccessingandusingAI Appendix1ThegradingprinciplesforAIsafety Appendix2Fundamentalprinciplesfortrustworthy Appendix3 人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架--PAGE11--PAGE10前??智能是?類發(fā)展新領(lǐng)域，深刻改變?類?產(chǎn)?活?式，給世界帶企業(yè)、機(jī)構(gòu)組織、社會公眾等各?以及國際社會，就??智能安全治理達(dá)1.0版。1.0等復(fù)雜問題的求解能?；?效能輕量級模型的開源，顯著降低了部署應(yīng)?的?檻，??智能應(yīng)?迅速向各?業(yè)領(lǐng)域滲透普及；?模型應(yīng)?形態(tài)從機(jī)器問答向嵌?業(yè)務(wù)流程的智能體演進(jìn)，加速與業(yè)務(wù)系統(tǒng)融合；具?智能、腦?機(jī)融合的智能時(shí)代已不再遙不可及。與此同時(shí)，??智能安全?險(xiǎn)的表為應(yīng)對??智能快速發(fā)展的新?險(xiǎn)新挑戰(zhàn)，安全有效地釋放應(yīng)?需求，絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會組織國家計(jì)算機(jī)?絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中?等專業(yè)機(jī)構(gòu)、科研院所、?業(yè)企業(yè)，持續(xù)跟蹤?險(xiǎn)變化，梳理調(diào)整?險(xiǎn)分類，2.共享。秉促進(jìn)??智能創(chuàng)新發(fā)展為第?要?jiǎng)?wù)，以有效防范化解??智能安全?險(xiǎn)為出發(fā)點(diǎn)和落腳點(diǎn)，構(gòu)建技術(shù)與管理相結(jié)合、監(jiān)管與治理相銜接、國內(nèi)與國際相協(xié)同、社會各?積極參與且有效互動的治理機(jī)制，壓實(shí)相關(guān)主體安全責(zé)任，打造全過程全要素治理鏈條，培育安全、可靠、公平、透明的??智能技術(shù)研發(fā)和應(yīng)??態(tài)，積極研究應(yīng)對??智能災(zāi)難性?險(xiǎn)的共識性準(zhǔn)?類。包容審慎、確保安全。?勵(lì)發(fā)展創(chuàng)新，對??智能研發(fā)及應(yīng)?采取包容態(tài)度，通過在安全可控環(huán)境下試點(diǎn)等?式，為新技術(shù)新應(yīng)?發(fā)展提法權(quán)益的?險(xiǎn)及時(shí)采取措施。?險(xiǎn)導(dǎo)向、敏捷治理。密切跟蹤??智能研發(fā)及應(yīng)?趨勢，從技術(shù)??、技術(shù)應(yīng)?、衍?社會影響等??分析梳理安全?險(xiǎn)；探索從應(yīng)?對措施；持續(xù)優(yōu)化治理機(jī)制和?式，對確需政府監(jiān)管事項(xiàng)及時(shí)予以響應(yīng)。技管結(jié)合、協(xié)同應(yīng)對。?向??智能研發(fā)應(yīng)?全過程，以及模型等主體的安全責(zé)任，有機(jī)發(fā)揮政府監(jiān)管、?業(yè)?律、社會監(jiān)督等治理機(jī)制開放合作、共治共享。在全球范圍推動??智能安全治理國際合作，共享最佳實(shí)踐，提倡建?開放性國際交流合作平臺，通過跨學(xué)科、跨領(lǐng)域、跨地區(qū)、跨國界的對話和合作，推動形成具有?泛共識的全球??智能治理體系?？尚艖?yīng)?、防范失控。推動形成涵蓋技術(shù)防護(hù)、價(jià)值對?、協(xié)同??智能安全治理框架構(gòu)成基于?險(xiǎn)管理理念，本框架針對不同類型的??智能安全?險(xiǎn)，從技術(shù)、管理兩??提出防范應(yīng)對措施。安全?險(xiǎn)分類。通過分析??智能技術(shù)特性，以及在不同?業(yè)領(lǐng)?險(xiǎn)隱患。在1.0版基礎(chǔ)上，調(diào)整更新?險(xiǎn)類型，并探索性提出分級應(yīng)對原則。技術(shù)應(yīng)對措施。針對模型算法、訓(xùn)練數(shù)據(jù)、算?設(shè)施、產(chǎn)品服務(wù)、應(yīng)?場景，提出通過安全軟件開發(fā)、數(shù)據(jù)質(zhì)量提升、安全建設(shè)運(yùn)維、測評監(jiān)測加固等技術(shù)?段，提升??智能技術(shù)及應(yīng)?安全性的措施。綜合治理措施。提出技術(shù)研發(fā)機(jī)構(gòu)、服務(wù)提供者、??、政府部?、社會組織等各?發(fā)現(xiàn)、防范、應(yīng)對??智能安全?險(xiǎn)的措施?段，以及深化??智能安全治理國際交流合作等建議，推動相關(guān)各?協(xié)同共治。研發(fā)與應(yīng)?的安全指引。??智能安全?險(xiǎn)分類??智能既存在模型算法缺陷、數(shù)據(jù)語料質(zhì)量問題等技術(shù)內(nèi)?安全?險(xiǎn)，也存在技術(shù)整合交付應(yīng)?時(shí)的?絡(luò)系統(tǒng)、信息內(nèi)容等??應(yīng)?安全??安全?險(xiǎn)，甚?是災(zāi)難性?險(xiǎn)。??智能技術(shù)內(nèi)?安全?險(xiǎn)模型算法安全?險(xiǎn)可解釋性不?。以深度學(xué)習(xí)為代表的??智能算法運(yùn)?邏輯復(fù)雜，推理過程不透明，可能導(dǎo)致決策輸出難以預(yù)測和歸因，異常、故障、錯(cuò)誤難以快速修正和溯源追責(zé)。偏?、歧視。模型算法研發(fā)設(shè)計(jì)及訓(xùn)練過程中，偏?、歧視等問題被有意、?意引?，或因訓(xùn)練數(shù)據(jù)質(zhì)量、多樣性問題，導(dǎo)致算法設(shè)計(jì)?的、決策判斷、輸出結(jié)果存在偏?或歧視，甚?輸出存在?族、信仰、國別、地域、性別等歧視性內(nèi)容。魯棒性不強(qiáng)。由于深度神經(jīng)?絡(luò)存在?線性、?規(guī)模等特點(diǎn)，??智能易受復(fù)雜多變運(yùn)?環(huán)境或惡意?擾、誘導(dǎo)的影響，可能帶來性能下降、決策錯(cuò)誤等魯棒性問題。輸出決策不可靠。??智能利?有限數(shù)據(jù)集擬合復(fù)雜現(xiàn)實(shí)世界，,即看似合理實(shí)則不可靠的現(xiàn)象。資源。模型缺陷擴(kuò)散。依托基礎(chǔ)模型進(jìn)??次開發(fā)或微調(diào)、建設(shè)部署??智能應(yīng)?，將導(dǎo)致基礎(chǔ)模型缺陷向下游模型、應(yīng)?傳導(dǎo)。基礎(chǔ)模型的開數(shù)據(jù)安全?險(xiǎn)違規(guī)收集使?數(shù)據(jù)。??智能訓(xùn)練數(shù)據(jù)的獲取，以及服務(wù)、交互過程中，存在未經(jīng)同意收集、不當(dāng)使?數(shù)據(jù)和個(gè)?信息的安全?險(xiǎn)。訓(xùn)練數(shù)據(jù)內(nèi)容不當(dāng)。訓(xùn)練數(shù)據(jù)包含虛假、偏?、侵犯知識產(chǎn)權(quán)等度下降，甚?輸出違法有害信息。誤。數(shù)據(jù)和個(gè)?信息泄露。??智能訓(xùn)練數(shù)據(jù)蘊(yùn)含的知識、敏感信息誘導(dǎo)交互和惡意攻擊，可能導(dǎo)致數(shù)據(jù)和個(gè)?信息泄露。??智能技術(shù)應(yīng)?安全?險(xiǎn)?絡(luò)系統(tǒng)安全?險(xiǎn)組件和算?安全。??智能依賴的開發(fā)框架、計(jì)算框架、執(zhí)?平?資源惡意消耗，以及安全問題在多源、異構(gòu)、泛在算?資源間跨邊界傳遞的?險(xiǎn)。?，加劇?件泄露、權(quán)限濫?等安全?險(xiǎn)。供應(yīng)鏈安全。??智能產(chǎn)業(yè)鏈呈現(xiàn)?度全球化分?協(xié)作格局。但個(gè)別國家利?技術(shù)壟斷和出?管制等單邊強(qiáng)制措施制造發(fā)展壁壘，惡意阻斷全球??智能供應(yīng)鏈，帶來突出的芯?、軟件、?具斷供?險(xiǎn)。?絡(luò)攻擊濫?。??智能可被?于降低?絡(luò)攻擊?檻，提?攻擊效率甚?實(shí)施?動化攻擊，增?防護(hù)難度。特別是可?于?成圖?、?頻、鑒權(quán)失效。信息內(nèi)容安全?險(xiǎn)輸出違法有害信息。模型??安全能?不?，疊加應(yīng)?防護(hù)機(jī)制不強(qiáng)、??惡意誘導(dǎo)等因素，導(dǎo)致?成輸出欺詐、暴?、?情、極端主義等違法有害信息，威脅社會穩(wěn)定、公共安全和意識形態(tài)安全。技術(shù)的應(yīng)?，導(dǎo)致??難以識別?成內(nèi)容來源及交互對象是否為??智能虛假信息誤導(dǎo)公眾、?法牟利。容污染。現(xiàn)實(shí)安全?險(xiǎn)經(jīng)濟(jì)社會運(yùn)?安全的新挑戰(zhàn)。??智能應(yīng)?于能源、電信、?融、及不當(dāng)使?、外部攻擊等，可能引發(fā)系統(tǒng)性能下降、服務(wù)中斷、操作執(zhí)?失控等問題，加劇關(guān)鍵信息基礎(chǔ)設(shè)施安全穩(wěn)定運(yùn)??險(xiǎn)。涉賭、涉毒等傳統(tǒng)違法犯罪活動，包括傳授違法犯罪技巧、隱匿違法犯罪?為、制作違法犯罪?具等。核?化導(dǎo)武器知識、能?失控。??智能在訓(xùn)練過程中多使??輔以檢索增強(qiáng)?成功能，如不能有效管控，將被極端勢?、恐怖分?利?現(xiàn)有管控體系失效，加劇世界各地區(qū)和平安全威脅。認(rèn)知安全?險(xiǎn)定時(shí)段、特定群體的意識思潮，進(jìn)?推送精準(zhǔn)定制化信息服務(wù),加劇??所關(guān)注信息的局限性。過社交機(jī)器?在?絡(luò)空間搶占話語權(quán)和議程設(shè)置權(quán)，左右公眾價(jià)值觀和思維認(rèn)知。人工智能應(yīng)用衍生安全風(fēng)險(xiǎn)社會和環(huán)境安全?險(xiǎn)沖擊勞動就業(yè)結(jié)構(gòu)。??智能帶來?產(chǎn)?、?產(chǎn)關(guān)系的?幅調(diào)整，?勞動?要素的價(jià)值受到削弱，造成傳統(tǒng)勞動?需求明顯下降。挑戰(zhàn)資源供需平衡。??智能發(fā)展中的算?設(shè)施?序建設(shè)、輕量模型碎?化部署、同質(zhì)化模型低效重復(fù)開發(fā)等問題，加速電?、?地、?倫理安全?險(xiǎn)加劇社會偏?、擴(kuò)?智能鴻溝。利???智能收集分析?類?為、將??智能?具?泛應(yīng)?于知識學(xué)習(xí)、科學(xué)研究、創(chuàng)意創(chuàng)作等?作，在提潛?減弱。?險(xiǎn)科研領(lǐng)域的進(jìn)??檻，拓寬了普通科研機(jī)構(gòu)、?員探索敏感科學(xué)問題的邊界，個(gè)別科研倫理意識不強(qiáng)的機(jī)構(gòu)、?員可能開展違背社會倫理、社擬?化交互的沉迷依賴。基于擬?化交互的??智能產(chǎn)品，導(dǎo)致挑戰(zhàn)現(xiàn)?社會秩序。??智能發(fā)展及應(yīng)?，帶來?產(chǎn)?具、?產(chǎn)關(guān)育觀，挑戰(zhàn)傳統(tǒng)社會秩序。我意識，尋求外部權(quán)?，帶來謀求與?類爭奪控制權(quán)的?險(xiǎn)。技術(shù)應(yīng)對措施針對上述?險(xiǎn)，模型算法研發(fā)者、服務(wù)提供者、系統(tǒng)使?者等需從訓(xùn)練數(shù)據(jù)、模型算法、算?設(shè)施、產(chǎn)品服務(wù)、應(yīng)?場景各??采取技術(shù)措施予以防范。技術(shù)內(nèi)?安全?險(xiǎn)的應(yīng)對措施模型算法安全?險(xiǎn)應(yīng)對提升??智能可解釋性、透明性，為??智能系統(tǒng)內(nèi)部構(gòu)造、推結(jié)果的過程。制，減輕偏?歧視，提升模型的泛化能?和輸出結(jié)果可靠性。在設(shè)計(jì)、研發(fā)過程中建?并實(shí)施安全開發(fā)規(guī)范，消減模型算法安?魯棒性。加強(qiáng)基礎(chǔ)模型、開源模型安全缺陷傳導(dǎo)評估。數(shù)據(jù)安全?險(xiǎn)應(yīng)對規(guī)則，嚴(yán)格落實(shí)關(guān)于??控制權(quán)、知情權(quán)、選擇權(quán)等法律法規(guī)明確的合法權(quán)益。使?真實(shí)、準(zhǔn)確、客觀、多樣且來源合法的訓(xùn)練數(shù)據(jù)，對訓(xùn)練數(shù)導(dǎo)武器等?危領(lǐng)域敏感數(shù)據(jù)。規(guī)范訓(xùn)練數(shù)據(jù)標(biāo)注流程，提升標(biāo)注準(zhǔn)確性和可靠性。強(qiáng)化數(shù)據(jù)安全管理，涉及敏感個(gè)?信息和重要數(shù)據(jù)的，應(yīng)符合數(shù)據(jù)安全和個(gè)?信息保護(hù)相關(guān)法律法規(guī)、標(biāo)準(zhǔn)規(guī)范。合理推動利?合成數(shù)據(jù)替代個(gè)?特征數(shù)據(jù)，避免個(gè)?信息依賴。加強(qiáng)知識產(chǎn)權(quán)保護(hù)，在訓(xùn)練數(shù)據(jù)選擇、結(jié)果輸出等環(huán)節(jié)防?侵犯知識產(chǎn)權(quán)。技術(shù)應(yīng)用安全風(fēng)險(xiǎn)的應(yīng)對措施?絡(luò)系統(tǒng)安全?險(xiǎn)應(yīng)對對??智能技術(shù)和產(chǎn)品的原理、能?、適?場景、安全?險(xiǎn)進(jìn)?必要披露，不斷提???智能系統(tǒng)透明性。對聚合多個(gè)??智能模型或系統(tǒng)的平臺，加強(qiáng)權(quán)限管理，禁??必要服務(wù)，完善??智能服務(wù)接?的訪問控制策略，提升?險(xiǎn)識別、檢測、防護(hù)能?，防?因平臺惡意?為或被攻擊?侵影響承載的??智能模型或系統(tǒng)。在??智能應(yīng)?部署、維護(hù)過程中建?并實(shí)施安全規(guī)范，消減缺陷、漏洞、后?，跟蹤軟硬件產(chǎn)品的漏洞、缺陷信息，定期進(jìn)?安全檢測對于??智能系統(tǒng)采?的芯?、軟件、?具、算?和數(shù)據(jù)資源，?度關(guān)注供應(yīng)鏈安全。完善冗余設(shè)計(jì)與容災(zāi)機(jī)制，確保異常或受攻擊時(shí)，系統(tǒng)仍能正常運(yùn)?。信息內(nèi)容安全?險(xiǎn)應(yīng)對建?安全防護(hù)機(jī)制，防?模型運(yùn)?過程中被?擾、篡改?輸出不可信結(jié)果。建?安全護(hù)欄，對輸?輸出進(jìn)?動態(tài)過濾，防?惡意注?和違法內(nèi)容?成，避免??智能系統(tǒng)違法違規(guī)輸出敏感個(gè)?信息和重要數(shù)據(jù)?，F(xiàn)實(shí)安全?險(xiǎn)應(yīng)對根據(jù)應(yīng)?場景設(shè)置能?邊界，裁減??智能系統(tǒng)可能被濫?的功能，確保智能系統(tǒng)能?不超出預(yù)設(shè)范圍。針對算法缺陷、偶發(fā)隨機(jī)性影響決策問題，建?決策判斷校驗(yàn)、容錯(cuò)及糾偏機(jī)制。等措施，實(shí)現(xiàn)極端情況下迅速?預(yù)?損。對于智能輔助駕駛、??機(jī)等依賴對物理世界強(qiáng)感知的??智能端條件下的測試。提???智能系統(tǒng)最終?途追溯能?，防?被?于核?化導(dǎo)等?規(guī)模殺傷性武器制造等?危場景。認(rèn)知安全?險(xiǎn)應(yīng)對通過技術(shù)?段判別不符合預(yù)期、不真實(shí)、不準(zhǔn)確的輸出結(jié)果，并依法依規(guī)監(jiān)管。對收集??提問信息進(jìn)?關(guān)聯(lián)分析、匯聚挖掘，進(jìn)?判斷???份、喜好以及個(gè)?思想傾向的??智能系統(tǒng)，應(yīng)嚴(yán)格防范其濫?。加強(qiáng)對??智能?成合成內(nèi)容的檢測技術(shù)研發(fā)，提升對認(rèn)知戰(zhàn)?段的防范、檢測、處置能?。應(yīng)?衍?安全?險(xiǎn)的應(yīng)對措施社會和環(huán)境安全?險(xiǎn)應(yīng)對?持不斷探索創(chuàng)新資源節(jié)約、環(huán)境友好的??智能發(fā)展模式，制定??智能綠?技術(shù)標(biāo)準(zhǔn)。推?低功耗芯?、?效算法等綠?計(jì)算技術(shù)和能效優(yōu)化?案，降低能源等資源消耗。倫理安全?險(xiǎn)應(yīng)對在算法設(shè)計(jì)、模型訓(xùn)練和優(yōu)化、提供服務(wù)過程中，采取訓(xùn)練數(shù)據(jù)地域、性別等歧視的?險(xiǎn)。應(yīng)?于政府部?、關(guān)鍵信息基礎(chǔ)設(shè)施以及直接影響公共安全和公??命健康安全等重點(diǎn)領(lǐng)域的??智能系統(tǒng)，需具備?效精準(zhǔn)的應(yīng)急管控措施。?勵(lì)研發(fā)和采?具備透明決策邏輯的模型和可解釋算法，提升??對系統(tǒng)運(yùn)?機(jī)制的理解和信任。綜合治理措施在采取技術(shù)應(yīng)對措施的同時(shí)，建?完善技術(shù)研發(fā)機(jī)構(gòu)、服務(wù)提供者、??、政府部?、社會組織等多?參與的??智能安全?險(xiǎn)綜合治理制度規(guī)范。建?健全??智能安全法律法規(guī)。推動??智能安全相關(guān)?法，理、重點(diǎn)場景安全應(yīng)?等制度。?勵(lì)地?結(jié)合產(chǎn)業(yè)發(fā)展實(shí)踐，差異化探索創(chuàng)新制度設(shè)計(jì)。構(gòu)建??智能科技倫理準(zhǔn)則。制定有?泛共識的??智能科技倫理準(zhǔn)則、規(guī)范和指南，對在?命健康、?格尊嚴(yán)、勞動就業(yè)、?態(tài)環(huán)境、可持續(xù)發(fā)展等??存在突出倫理?險(xiǎn)的??智能科學(xué)研究、技術(shù)開發(fā)等活動，規(guī)范有序開展倫理審查。推進(jìn)??智能科技倫理服務(wù)體系建設(shè)，強(qiáng)化提升研發(fā)應(yīng)?全?命周期安全能?。持續(xù)提升算法可靠性、可信倫理?險(xiǎn)可控，避免??智能系統(tǒng)意外決策產(chǎn)?惡意?為。強(qiáng)化開源?態(tài)安全和供應(yīng)鏈安全。在培育發(fā)展開源創(chuàng)新?態(tài)的同度。推動開源模型提供?、開源社區(qū)共同完善開源規(guī)則，強(qiáng)化?向模型下載??的安全責(zé)任、?險(xiǎn)隱患告知責(zé)任與義務(wù)，明確開源模型下載使?的“件開放供應(yīng)鏈?態(tài)建設(shè)，增強(qiáng)產(chǎn)品服務(wù)供應(yīng)多樣性，保障供應(yīng)鏈安全穩(wěn)定。實(shí)施應(yīng)?分類及安全?險(xiǎn)分級管理。根據(jù)功能、性能、應(yīng)?場景（附件1，從應(yīng)?場景、智能化?平、應(yīng)?規(guī)模等維度??，對安全?險(xiǎn)進(jìn)?科學(xué)評價(jià)分級，進(jìn)?采取針對性、差異化安全防范措施。對在關(guān)鍵信息基礎(chǔ)設(shè)施應(yīng)?的??智能系統(tǒng)進(jìn)?登記備案，要求其具備與安全需求相匹配的安全防護(hù)能?。推???智能?成合成內(nèi)容可追溯管理。在全球范圍內(nèi)推?基于內(nèi)容標(biāo)識的??智能?成合成內(nèi)容溯源管理范式，總結(jié)梳理已有實(shí)踐的成功做法經(jīng)驗(yàn)，按照顯式、隱式等標(biāo)識要求，全?覆蓋制作源頭、傳播路徑、分發(fā)渠道等關(guān)鍵環(huán)節(jié)，便于瀏覽??識別判斷信息來源及真實(shí)性。安全有效釋放重要?業(yè)應(yīng)?需求。制定重要?業(yè)領(lǐng)域?模型建設(shè)部署基礎(chǔ)安全指南，從模型選?、模型部署、模型運(yùn)?和模型停?等環(huán)節(jié)，提出安全基線建議。形成清晰的安全應(yīng)?路徑，釋放?業(yè)應(yīng)?潛?。建設(shè)??智能安全測評體系。構(gòu)建模型算法安全測評、應(yīng)?通?安全測評、具體場景安全測評相銜接的??智能安全測評體系。模型算法抗攻擊防御能?等內(nèi)?安全能?和?險(xiǎn)。應(yīng)?通?測評，針對普遍使?的??智能應(yīng)??險(xiǎn)開展測試分析評估。具體場景安全測評，結(jié)合應(yīng)?場景具體情況評估滿?應(yīng)?需求的能?，以及應(yīng)?運(yùn)?和服務(wù)過程中的安全?共享??智能安全?險(xiǎn)威脅信息。跟蹤分析??智能技術(shù)、產(chǎn)品、庫，建?覆蓋研發(fā)者、服務(wù)提供者、專業(yè)技術(shù)機(jī)構(gòu)的?險(xiǎn)威脅信息共享機(jī)制。推進(jìn)??智能安全?險(xiǎn)威脅信息共享的國際交流合作，探索建?相關(guān)國際合作機(jī)制和技術(shù)標(biāo)準(zhǔn)，協(xié)同防范應(yīng)對??智能安全?險(xiǎn)?跨域、?規(guī)模擴(kuò)散傳播。完善數(shù)據(jù)安全和個(gè)?信息保護(hù)規(guī)范。針對??智能技術(shù)及應(yīng)?特點(diǎn)，明確??智能訓(xùn)練、標(biāo)注、使?、輸出等各環(huán)節(jié)的數(shù)據(jù)安全和個(gè)??融等重要?業(yè)領(lǐng)域??智能應(yīng)?中的數(shù)據(jù)安全防護(hù)，防范重要數(shù)據(jù)、核?數(shù)據(jù)泄露?險(xiǎn)。增進(jìn)協(xié)同應(yīng)對??智能失控?險(xiǎn)的共識。加強(qiáng)??智能最終?途管理，對核?化導(dǎo)等場景下使???智能技術(shù)提出相關(guān)要求，防???智能系統(tǒng)被濫?。推?涵蓋技術(shù)、倫理、管理多維度的可信??智能基本（附件。型是否可能帶來潛在技術(shù)失控?險(xiǎn)。加???智能安全?才培養(yǎng)?度。推進(jìn)??智能安全課程體系、培養(yǎng)體系建設(shè)，形成從基礎(chǔ)教育到?等教育的完整培養(yǎng)鏈條。加強(qiáng)??智頂尖?才，壯???駕駛、智慧醫(yī)療、類腦智能、腦機(jī)接?等重點(diǎn)、前沿領(lǐng)域的安全?才隊(duì)伍。提升全社會的??智能安全意識。?向政府、企業(yè)、社會公?事社區(qū)科普活動，加強(qiáng)??智能安全?險(xiǎn)及防范應(yīng)對知識的宣傳，全?提?全社會??智能安全意識，使政府、?業(yè)與公眾能準(zhǔn)確認(rèn)識??智能的技術(shù)局限。指導(dǎo)?持?絡(luò)安全、??智能領(lǐng)域?業(yè)協(xié)會加強(qiáng)?業(yè)?律，制定提出?于監(jiān)管要求、具有引領(lǐng)?范作?的?律要求；建??向公眾??智促進(jìn)人工智@全理國際合作。共商共建共享的??智能全球治理觀。?持聯(lián)合國發(fā)揮主渠道作?，深?參與聯(lián)合國國際??智能科學(xué)?組和全球??智能治理對話機(jī)制。推進(jìn)APECG20上合組織、?磚國家等多邊機(jī)制下的??智能治理進(jìn)程，加??智能研發(fā)與應(yīng)?的安全指引??智能模型算法研發(fā)的安全開發(fā)指引在算法規(guī)則、模型框架設(shè)計(jì)環(huán)節(jié)，應(yīng)考慮提升算法可靠性、公平評估模型算法潛在偏?，加強(qiáng)訓(xùn)練數(shù)據(jù)內(nèi)容和質(zhì)量的抽查檢測，設(shè)計(jì)有效、可靠的對?算法，確保價(jià)值觀?險(xiǎn)、倫理?險(xiǎn)等可控。措施等。結(jié)合安全測試發(fā)現(xiàn)的??險(xiǎn)問題，通過針對性的微調(diào)、強(qiáng)化學(xué)習(xí)等?式優(yōu)化模型，持續(xù)提升模型內(nèi)?安全能?。洗、標(biāo)注、安全審核等?法確保訓(xùn)練數(shù)據(jù)內(nèi)容的安全性，確保數(shù)據(jù)來源清規(guī)范訓(xùn)練數(shù)據(jù)標(biāo)注流程，采?交叉標(biāo)注、結(jié)果審計(jì)等質(zhì)量控制?法，提升標(biāo)注準(zhǔn)確性和可靠性，降低個(gè)體差異和個(gè)?偏?對標(biāo)注質(zhì)量的影響。重視數(shù)據(jù)安全和個(gè)?信息保護(hù)，尊重知識產(chǎn)權(quán)和版權(quán)。建?完善的數(shù)據(jù)安全管理制度，遵循正當(dāng)合法必要原則收集、使?和處理個(gè)?信息，對涉及個(gè)?信息的數(shù)據(jù)實(shí)施去標(biāo)識化等脫敏處理。加強(qiáng)數(shù)據(jù)安全防護(hù)技術(shù)能?，防范數(shù)據(jù)泄露、流失、擴(kuò)散、侵權(quán)等?險(xiǎn)?；陂_源模型算法進(jìn)??次開發(fā)的研發(fā)者，在尊重研發(fā)者智?投?的基礎(chǔ)上，遵循相應(yīng)開源協(xié)議規(guī)范。對所使?的開發(fā)框架、代碼等進(jìn)全漏洞。定期開展安全評估測試，制定?險(xiǎn)分類分級測評與優(yōu)化機(jī)制，各種應(yīng)?場景，并制定各類?險(xiǎn)的針對性模型優(yōu)化策略。做好??智能模型及所?數(shù)據(jù)集的版本管理，商?版本應(yīng)可以回退到以前的版本。制定明確的測試規(guī)則和?法，包括??測試、?動測試、混合測試等，利?沙箱仿真等技術(shù)對模型進(jìn)?充分測試和驗(yàn)證。?于商業(yè)化?途的研發(fā)者，應(yīng)形成詳細(xì)的測試報(bào)告，分析安全問題并提出改進(jìn)?案。評估??智能模型算法對外界?擾的容忍程度，以適?范圍、注意事項(xiàng)或使?禁忌的形式告知服務(wù)提供者和其他研發(fā)者。定期披露??智能模型算法的審計(jì)與異常處置情況。積極參與開源社區(qū)建設(shè)，推動??智能安全治理技術(shù)創(chuàng)新和實(shí)踐，為服務(wù)提供者和使?者提供合規(guī)治理解決?案或治理?具。??智能應(yīng)?建設(shè)部署的安全指引評估?標(biāo)場景應(yīng)???智能技術(shù)的必要性及使?后的?期和潛在影響，結(jié)合其應(yīng)?場景重要性、智能化?平、應(yīng)?規(guī)模等進(jìn)??險(xiǎn)分級，參考?險(xiǎn)等級開展安全評估和定期審計(jì)。增強(qiáng)供應(yīng)鏈安全保障能?，建設(shè)部署所需模型?件、框架?具、第三?庫等，應(yīng)從相關(guān)?商官??站或其在主流開源社區(qū)的官?賬號下獲保不含未修復(fù)且可被利?的已知漏洞。建?漏洞追溯機(jī)制，跟蹤相關(guān)軟硬在訪問控制層?，準(zhǔn)確安裝配置軟件、運(yùn)?環(huán)境參數(shù)、功能模塊在應(yīng)?管理層?，對?機(jī)交互接?和API接?進(jìn)????份識別?般??禁???險(xiǎn)操作，對惡意?為??建?暫停服務(wù)、阻斷訪問等管控能?。全?了解應(yīng)?場景的數(shù)據(jù)安全和隱私保護(hù)要求，合理限制對數(shù)據(jù)的訪問權(quán)限，防?超范圍使?數(shù)據(jù)，制定數(shù)據(jù)備份和恢復(fù)計(jì)劃，并定期對數(shù)據(jù)處理流程進(jìn)?檢查。攻擊等，防范輸出內(nèi)容超出業(yè)務(wù)范圍。??智能應(yīng)?運(yùn)?管理的安全指引建?完善的??智能應(yīng)?安全管理和監(jiān)督機(jī)制，明確責(zé)任?，健全??復(fù)核機(jī)制，保障在關(guān)鍵場景應(yīng)?中??智能應(yīng)?決策透明、可控，并提供清晰的決策依據(jù)，確保??智能應(yīng)?在?類授權(quán)和控制下運(yùn)?。嚴(yán)格管理??智能應(yīng)?權(quán)限，通過最?權(quán)限原則等?段強(qiáng)化內(nèi)施。建???智能應(yīng)?運(yùn)?監(jiān)測能?和安全事件應(yīng)急預(yù)案，設(shè)置其關(guān)鍵指標(biāo)的安全預(yù)警閾值，能夠及時(shí)發(fā)現(xiàn)安全事件，并具備切換到??或傳統(tǒng)系統(tǒng)等的能?。定期開展應(yīng)急演練，并根據(jù)?業(yè)安全事件、重要輿情及在??智能?成內(nèi)容內(nèi)添加顯式或隱式標(biāo)識，做好?成合成內(nèi)容提?和溯源管理。在政務(wù)信息公開、司法取證等場景部署深度偽造檢測制定信息內(nèi)容交互?為規(guī)范、安全運(yùn)營機(jī)制、投訴反饋機(jī)制、技術(shù)防護(hù)能?等，防范??智能應(yīng)?被不當(dāng)或惡意利??成、發(fā)布、傳播虛假有害信息?險(xiǎn)。記錄??智能應(yīng)?運(yùn)??志，包括系統(tǒng)?為、???為等，?志留存時(shí)間不少于6個(gè)?，并定期對?志記錄進(jìn)?審計(jì)。建?健全實(shí)時(shí)?險(xiǎn)監(jiān)控管理機(jī)制，持續(xù)跟蹤運(yùn)?中安全?險(xiǎn)。應(yīng)向使?者說明??智能應(yīng)?的?標(biāo)實(shí)現(xiàn)度和偏離度，在??智能決策有重?影響時(shí)，做好解釋說明。維護(hù)使?者的知情權(quán)、選擇權(quán)、監(jiān)督權(quán)等合法權(quán)益，在合同或服務(wù)協(xié)議中，以使?者易于理解的?式，告知??智能應(yīng)?的適?范圍、在告知同意、服務(wù)協(xié)議等?件中，?持使?者?使?類監(jiān)督和控制權(quán)利。明確具體應(yīng)?中的數(shù)據(jù)歸屬及算法缺陷的責(zé)任主體，確保責(zé)任鏈條可追溯。個(gè)?隱私泄露、違規(guī)收集使?個(gè)?信息等?險(xiǎn)，建?數(shù)據(jù)全?命周期安全評估??智能應(yīng)?在?臨故障、攻擊等異常條件下抵御或克服加強(qiáng)從業(yè)?員安全意識和安全能?培訓(xùn)，提???智能安全?險(xiǎn)防范意識。在合同或服務(wù)協(xié)議中明確，?旦發(fā)現(xiàn)不符合使?意圖和說明限??智能應(yīng)?訪問使?的安全指引提?對??智能應(yīng)?安全?險(xiǎn)的認(rèn)識，選擇信譽(yù)良好的??智能應(yīng)?。在使?前仔細(xì)閱讀產(chǎn)品合同或服務(wù)協(xié)議，了解應(yīng)?的功能、限制和隱私政策，準(zhǔn)確認(rèn)知??智能應(yīng)?做出判斷決策的局限性，合理設(shè)定使?預(yù)期。了解??智能應(yīng)?的數(shù)據(jù)處理?式，避免使?不符合隱私保護(hù)原則的產(chǎn)品。?成為?絡(luò)攻擊的?標(biāo)。注意??智能應(yīng)?對?童和?少年的影響，預(yù)防沉迷及過度使?。安全風(fēng)險(xiǎn)與技術(shù)應(yīng)對措施、綜合治理措施映射表提升全社會的人工智能安全意附件??智能安全?險(xiǎn)的分級原則??智能安全?險(xiǎn)的評價(jià)涉及諸多因素?？蓮膽?yīng)?場景重要性、智能化?平、應(yīng)?規(guī)模等維度，對??智能安全?險(xiǎn)進(jìn)?評價(jià)分級，進(jìn)?針對性采取安全防范措施。應(yīng)?場景濟(jì)、安全影響等要素。智能化?平智能化?平反映??智能系統(tǒng)處理復(fù)雜任務(wù)、滿?應(yīng)?需求、獨(dú)??主運(yùn)?等??的能?。低智能化?平下，系統(tǒng)能?較低，僅可作為輔助建議，決策需要??介?。隨著智能化?平提?，??介?頻次和范圍不斷減?。?智能化?平下，?需??進(jìn)??預(yù)，系統(tǒng)全流程?主決策運(yùn)?。應(yīng)?規(guī)模應(yīng)?規(guī)模反映??智能系統(tǒng)或服務(wù)的覆蓋范圍及影響?度。??范圍有限或應(yīng)?領(lǐng)域單?的系統(tǒng)，如企業(yè)內(nèi)部智能?具、區(qū)域性服務(wù)等，其?險(xiǎn)影響相對可控。??數(shù)量達(dá)到?定規(guī)模，或深度嵌?關(guān)鍵?業(yè)領(lǐng)域的業(yè)務(wù)流程，如智能輔助駕駛、城市運(yùn)?管理、?業(yè)?產(chǎn)調(diào)度、?業(yè)級?融?控模型等，其安全?險(xiǎn)可能快速擴(kuò)散并引發(fā)系統(tǒng)性影響。低安全?險(xiǎn)具有輕微威脅性且影響范圍很?，對國家安全、社會穩(wěn)定和公?權(quán)益的安全基本?影響，潛在危害輕微。?般安全?險(xiǎn)具有?定威脅性但影響范圍有限，對國家安全、社會穩(wěn)定和公?權(quán)益的安全影響較?，潛在危害可控。較?安全?險(xiǎn)具有明顯威脅性和局部性影響特征，對國家安全、社會穩(wěn)定和公?權(quán)益可能帶來較?影響，產(chǎn)?局部社會?危害。重?安全?險(xiǎn)具有重?威脅性和區(qū)域性影響特征，對國家安全、社會穩(wěn)定和公?權(quán)益可能帶來嚴(yán)重影響，產(chǎn)?重?社會?危害。特別重?安全?險(xiǎn)具有災(zāi)難性和系統(tǒng)性威脅特征，對國家安全、社會秩序和公?權(quán)益造成顛覆性或不可逆轉(zhuǎn)的特別嚴(yán)重的影響。推動??智能應(yīng)?安全分類分級國家標(biāo)準(zhǔn)制定?作。?業(yè)領(lǐng)域主管（監(jiān)管部?參照國家標(biāo)準(zhǔn)制定?業(yè)標(biāo)準(zhǔn)規(guī)范、實(shí)施細(xì)則，并推動本?業(yè)領(lǐng)域??智能安全應(yīng)?相關(guān)分類分級?作。分類分級國家標(biāo)準(zhǔn)通過??智能應(yīng)?安全?險(xiǎn)分類分級標(biāo)準(zhǔn)，明確分類分級基本流程，分類分級?業(yè)細(xì)則（監(jiān)管標(biāo)準(zhǔn)規(guī)范：根據(jù)?業(yè)特點(diǎn)進(jìn)?實(shí)例化。（定??智能安全?險(xiǎn)級別。?險(xiǎn)分類分級（監(jiān)管險(xiǎn)。附件

可信人工智能基本準(zhǔn)則向，共同防范應(yīng)對??智能技術(shù)失控?險(xiǎn)，促進(jìn)??智能技術(shù)在世界范圍內(nèi)可信應(yīng)?，提出可信??智能基本準(zhǔn)則如下：?類最終控制通過設(shè)計(jì)安全控制閾值、設(shè)置安全終?開關(guān)、預(yù)留???預(yù)有效窗?等措施，確保??智能系統(tǒng)能夠?qū)崿F(xiàn)?類預(yù)期?標(biāo)、不會脫離?類監(jiān)督運(yùn)?失控。尊重國家主權(quán)研發(fā)設(shè)計(jì)??智能產(chǎn)品和提供??智能服務(wù)時(shí)，應(yīng)尊重所在國主權(quán)，嚴(yán)格遵守產(chǎn)品和服務(wù)運(yùn)營所在地的法律，并依法接受監(jiān)管，不得借助??智能產(chǎn)品或服務(wù)?涉他國內(nèi)政、社會制度及社會秩序。價(jià)值觀對???智能系統(tǒng)全?命周期。提升系統(tǒng)透明度依據(jù)等關(guān)鍵環(huán)節(jié)的必要披露，增強(qiáng)社會公眾信任基礎(chǔ)。促進(jìn)可客觀驗(yàn)證@全護(hù)在??智能系統(tǒng)設(shè)計(jì)和部署過程中，強(qiáng)化?險(xiǎn)建模、安全測試和防護(hù)機(jī)制建設(shè)，進(jìn)?全?命周期審計(jì)與記錄，防?系統(tǒng)因模型缺陷、外部攻擊和技術(shù)濫?等問題偏離預(yù)期?標(biāo)。前預(yù)應(yīng)對免??智能失控事件發(fā)?和擴(kuò)?。全球協(xié)同共治?持聯(lián)合國發(fā)揮主渠道作?，推動多邊和多?跨領(lǐng)域協(xié)同共治，促進(jìn)理機(jī)制推動??智能健康發(fā)展。附件術(shù)語本框架提到的相關(guān)專業(yè)術(shù)語解釋如下。開展??智能技術(shù)基礎(chǔ)研究和應(yīng)?實(shí)踐時(shí)遵循的道德規(guī)范或準(zhǔn)則。??智能系統(tǒng)以?類可理解的?式呈現(xiàn)其輸出結(jié)果與輸?特征之間因果或統(tǒng)計(jì)關(guān)系的屬性。該屬性使得?類能夠追溯并理解影響系統(tǒng)決策的關(guān)鍵因素。通過算法?成或擴(kuò)展??實(shí)際收集的數(shù)據(jù)。通過??操作或使??動化技術(shù)機(jī)制，基于對提?信息的頻或者其他數(shù)據(jù)樣本的過程。?知識的過程。參數(shù)?范圍調(diào)整，使??智能模型強(qiáng)化在特定領(lǐng)域的數(shù)據(jù)分析處理能?的過程。使??智能系統(tǒng)的輸出或?為與設(shè)計(jì)者的安全?標(biāo)相符的算法及技術(shù)。??智能模型在運(yùn)?環(huán)境中采取?動、接收運(yùn)?環(huán)境反饋的獎(jiǎng)勵(lì)或懲罰反饋，逐步優(yōu)化形成最優(yōu)策略以最?化累積回報(bào)的?種學(xué)習(xí)范式。??智能模型基于其訓(xùn)練獲得的知識和模式識別能?，對輸?在?成合成內(nèi)容或者交互場景界?中添加的，以?字、采取技術(shù)措施在?成合成內(nèi)容?件數(shù)據(jù)中添加的，不易被??明顯感知到的標(biāo)識。通過構(gòu)造微擾數(shù)據(jù)等輸?樣本，使??智能模型產(chǎn)?錯(cuò)誤輸出或?為的攻擊?式。能夠?主感知環(huán)境、制定決策、采取?動實(shí)現(xiàn)特定?標(biāo)的針對?模型的安全控制措施，通過結(jié)合規(guī)則庫、負(fù)?判致（排名不分先后中國電?技術(shù)標(biāo)準(zhǔn)化研究院、中國?絡(luò)空間研究院、中央?信辦數(shù)據(jù)中國科學(xué)院計(jì)算技術(shù)研究所、北京前瞻??智能安全與治理研究院、北京技有限公司AISafetyAISafetyGovernanceFrameworkAISafetyAISafetyGovernanceFramework--PAGE32--PAGE33AISAFETYGOVERNANCEFRAMEWORKArtificialintelligence(AI),anewareaofhumandevelopment,isprofoundlytransformingwaysofproductionandlife.Itpresentsunprecedentedopportunitiesforglobalprogress,whilealsoposingunparalleledrisksandchallenges.Followingapeople-centeredapproachandtheprincipleofdevelopingAIforgood,version1.0ofAISafetyGovernanceFrameworkwasformulatedinSeptember2024toimplementtheGlobalAIGovernanceInitiativeandpromoteconsensusandcoordinatedeffortsonAIsafetygovernanceamonggovernments,industriesandenterprises,institutionsandorganizations,thegeneralpublic,aswellastheinternationalcommunity,aimingtoeffectivelypreventandaddressAIsafetyrisks.Sincethereleaseofversion1.0,AItechnologyanditsapplicationhavecontinuedtodeveloprapidly,withbreakthroughsexceedingexpectationsachievedincertainareas.Forexample,theemergenceofhigh-performancereasoningmodelsonalargescalehasdramaticallyaugmentedthecapacitytosolvecomplexissuesinfieldslikemathematics,physics,andcode;theopen-sourcingofhigh-efficacy,lightweightmodelshassignificantlyloweredthebarrierstodeployingAIapplications,enablingrapidpenetrationofAIapplicationsacrossvariousindustries;largemodelapplicationisevolvingfromsimplemachineQ&Atointelligentagentsembeddedintobusinessworkflows,acceleratingtheirintegrationwithoperationalsystems;cutting-edgeadvancesinembodiedAIandbrain-computerinterfacesarebridgingthe"lastmile"betweendigitalintelligenceandthephysicalworld,bringingtheeraofhuman-machineintegratedintelligencewithinreach.Atthesametime,themanifestations,impacts,andperceptionsofAIsafetyrisksareundergoingrapidevolution.InresponsetothenewrisksandchallengesarisingfromtherapiddevelopmentofAI,andtosafelyandeffectivelyunleashthedemandforapplicationandpromotetheadvancementofAItechnologyandindustry,undertheguidanceoftheCyberspaceAdministrationofChina,theNationalTechnicalCommittee260onCybersecurityofStandardizationAdministrationofChinahasorganizedprofessionalinstitutionssuchastheNationalComputerNetworkEmergencyResponseTechnicalTeam/CoordinationCenterofChina,researchinstitutes,andindustriesandenterprisestocontinuouslymonitorriskchanges,sortoutandfine-tuneriskcategories,exploreriskgradingmethods,anddynamicallyadjustandupdatepreventiveandgovernancemeasures,therebyformulating2.0ofAISafetyGovernanceFramework,whichaimstobuildconsensusonAIsafetygovernanceandfostercollaborativegovernanceandinclusivebenefitsforall.PrinciplesforAIsafety-Committoavisionofcommon,comprehensive,cooperative,andsustainablesecuritywhileputtingequalemphasisondevelopmentand-Prioritizetheinnovativedevelopmentof-TakeeffectivelypreventinganddefusingAIsafetyrisksasthestartingpointandultimategoal-Establishgovernancemechanismsthatintegratetechnologyandmanagement,connectregulationwithgovernance,coordinatedomesticandinternationaleffortstoensuretheactiveengagementandeffectiveinteractionofallstakeholders-Ensurethatallpartiesinvolvedfullyshouldertheirresponsibilitiesfor-Createawhole-process,all-elementgovernance-Fosterasafe,reliable,equitable,andtransparentecosystemforAItechnologyresearch,development,andapplication-Activelydevelopconsensus-basedguidelinesforaddressingcatastrophicrisksofAI-Promotethehealthydevelopmentandregulatedapplicationof-Effectivelysafeguardnationalsovereignty,securityanddevelopment-Protectthelegitimaterightsandinterestsofcitizens,legalpersonsandotherorganizations-GuaranteethatAItechnologybenefitsWeencouragedevelopmentandinnovation,takeaninclusiveapproachtoAIresearch,development,andapplication,andthroughapproachessuchasconductingpilotprojectsinasecureandcontrollableenvironment,makeroomforerrorandcorrectioninthedevelopmentofnewtechnologiesandnewapplications.WemakeeveryefforttoensureAIsafety,andwilltaketimelymeasurestoaddressanyrisksthatthreatennationalsecurity,harmpublicinterests,orinfringeuponthelegitimaterightsandinterestsofindividuals.IdentifyriskswithagileBycloselytrackingtrendsinAIresearch,development,andapplication,weidentifyAIsafetyrisksfrommultipleperspectives,includingthetechnologyitself,itsapplication,andtheresultingsocialimpacts.Weexploreriskgradingthatconsidersscenariocontext,levelofintelligence,andapplicationscaleofuse,andimplementproportionateresponsemeasures.WearecommittedtoimprovingthegovernancemechanismsandmethodswhilepromptlyrespondingtoissueswarrantinggovernmentFacingnewchallengespresentedbytheopen-sourcemodelecosystem,weadoptacomprehensivesafetygovernanceapproachthatintegratestechnologyandmanagementtopreventandaddressvarioussafetyrisksthroughouttheentireprocessofAIresearch,development,andapplication.WithintheAIresearch,development,andapplicationchain,itisessentialtoensurethatallrelevantparties,includingmodelandalgorithmdevelopers,serviceproviders,andusers,assumetheirrespectiveresponsibilitiesforAIsafety.Thisapproachwellleveragestherolesofgovernancemechanismsinvolvinggovernmentoversight,industryself-regulation,andpublicscrutiny.PromoteopennessandcooperationforjointgovernanceandsharedbenefitsWepromoteinternationalcooperationonAIsafetygovernance,withthebestpracticessharedworldwide.WeadvocateestablishingopenplatformsforinternationalexchangeandcooperationandadvanceeffortstobuildaglobalAIgovernancesystembasedonbroadconsensusthroughdialogueandcooperationacrossvariousdisciplines,fields,regions,andEnsuretrustworthyapplicationandpreventlossofWedrivetheestablishmentoffundamentalprinciplesfortrustworthyAIthatcovermultipledimensions,includingtechnologicalsafeguards,valuealignment,andcollaborativegovernance,toensurethatAIevolvesinasafe,reliable,andcontrollablemanner.WestrictlypreventanyuncontrolledrisksthatcouldthreatenthesurvivalanddevelopmentofhumanitytoensurethatAIisalwaysunderhumancontrol.Basedonthenotionofriskmanagement,thisframeworkoutlinesmeasurestopreventandaddressdifferenttypesofAIsafetyrisksthroughtechnologicalandgovernancestrategies.ClassificationofAIsafetyByexaminingthecharacteristicsofAItechnologyanditsapplicationscenariosacrossvariousindustriesandfields,wepinpointsafetyrisksandpotentialdangersthatareinherentlylinkedtothetechnologyitselfanditsapplication.Wehaveupdatedtheriskcategoriesfromversion1.0andproposedcontrolmeasuresbasedonriskgrades.Regardingmodelsandalgorithms,trainingdata,computinginfrastructure,productsandservices,andapplicationscenarios,weproposetargetedtechnologicalmeasurestoimprovethesafetyofAItechnologyandapplications.Thesemeasuresincludesecuresoftwaredevelopment,dataqualityimprovement,securityconstructionandoperation,andconductingevaluation,monitoring,andreinforcementactivities.Weproposemeasuresfortechnologyresearchanddevelopmentinstitutions,serviceproviders,users,governmentagencies,socialorganizations,andotherpartiestoidentify,prevent,andrespondtoAIsafetyrisks,aswellassuggestwaystodeepeninternationalexchangeandcooperation,inordertopromotecollaborativegovernanceamongallSafetyguidelinesforAIdevelopmentandWeproposeAIdevelopmentandapplicationsafetyguidelinesformodelandalgorithmdeveloping,applicationdeveloping,operatingandmanaging,accessingandusing.Inaddition,inviewofthepotentialrisksoftechnologicalfailure,weproposefundamentalprinciplesfortrustworthyAItoguidetheinternationalcommunitytowardaconsensus.ClassificationofAIsafetyAIentailsnotonlyinherenttechnicalriskssuchasflawsinmodelsandalgorithmsandthepoorqualityoftrainingdataandcorpora,butalsoapplication-levelrisksinareassuchasnetworksystemsandinformationandcontentduringtechnologyintegrationanddeployment.Riskscouldalsoarisefrommisuse,abuse,andmalicioususeoftechnology,resultinginreal-worldandcognitiverisks,andevencatastrophicrisks.InherentsafetyrisksofAIInsufficientAIalgorithms,representedbydeeplearning,havecomplexinternalworkings.Theiropaqueinferenceprocesscouldresultinunpredictableanduntraceabledecisionsandoutputs,makingitchallengingtoquicklyrectifythemortracetheiroriginsforaccountabilityshouldanyanomalies,malfunctions,orerrorsarise.Duringtheresearch,development,design,andtrainingprocessofmodelsandalgorithms,biasesanddiscriminationmaybeintroduced,eitherintentionallyorunintentionally.Inadditional,thetrainingdatamaybepoor-qualityorlackofdiversity.Thesefactorsmayleadtobiasedordiscriminatoryoutcomesinthealgorithm'sdesign,decision-making,andoutputs,includingdiscriminatorycontentregardingethnicity,religion,nationality,region,andgender.Asdeepneuralnetworksarenormallynon-linearandlargeinsize,AIsystemsaresusceptibletocomplexandchangingoperationalenvironmentsormaliciousinterferenceandmanipulation,possiblyleadingtorobustnessproblemslikereducedperformanceanddecision-UnreliableAsAIuseslimiteddatasetstomodelcomplexreal-worldscenarios,andasthetheoreticalbasisandtechnologicalcapabilitiesforautonomousperception,cognition,understanding,andinteractionareyettobefurtherdeveloped,decisionsandoutputsbasedonconstrainedsamplesmaycontainhallucinations,meaningthatanAImodelcouldgenerateplausible-lookingbutincorrectoutput.ExternaladversarialAttackerscanexploitflawsandvulnerabilitiesinmodelsandalgorithmsandtheirdesignstocreateadversarialsamples,stealortamperwithmodelparameters,structure,functions,andotherfeaturestointerferewiththeinferenceprocess.Thiswillcorruptdecision-making,outputs,andoperationalstability,andevenmaliciouslyutilizeorconsumemodelRelyingonfoundationmodelsforre-engineering,fine-tuning,ordeployingAIapplicationscouldtransmitfoundationmodeldefectstodownstreammodelsandapplications.Theopen-sourcingoffoundationmodelswillacceleratethepropagationofmodeldefects,widentheirimpact,andcomplicaterepairs,makingiteasierforcriminalstotrain"maliciousmodels”.ThecollectionofAItrainingdataandtheinteractionwithusersduringserviceprovisionposesafetyrisks,includingcollectingdatawithoutconsentandimproperuseofdataandpersonalinformation.ImpropriatecontentintrainingIfthetrainingdataincludesillegalorharmfulinformationlikefalse,biased,andIPR-infringingcontent,andastrainingdataisalsoatriskofbeingpoisonedfromtampering,errorinjection,ormisleadingactionsbyattackers,thiscaninterferewiththemodel'svaluealignmentandprobabilitydistribution,reducingtheaccuracyandreliabilityofitsdecisionsandoutputs,andevenoutputtingillegalorharmfulinformation.ImproperannotationoftrainingIssueswithtrainingdataannotation,suchasunderdevelopedannotationrules,incapableannotators,anderrorsinannotation,canaffecttheaccuracy,reliability,andeffectivenessofmodelsandalgorithms.Moreover,theycanintroducetrainingbiases,amplifydiscrimination,reducegeneralizationabilities,andresultinincorrectdecisionsandDataandpersonalinformationKnowledgeandsensitiveinformationcontainedinAItrainingdataareembeddedwithinmodelparameters.Inadequatemodelsecuritymechanisms,retentionofsensitiveinformation,deceptiveinteractions,andmaliciousattackscanresultindataandpersonalinformationApplicationsafetyrisksassociatedwithAIThedevelopmentframeworks,computingframeworks,executionplatforms,andcomputingfacilitiesthatAIreliesoninvolveriskssuchasdefects,vulnerabilities,backdoors,andreliabilityissues.Inaddition,therearerisksofmaliciousconsumptionofcomputingresources,aswellasthecross-boundarytransmissionofsafetyrisksamongmulti-source,heterogeneousandubiquitouscomputingresources.ExpansionofcyberspaceThelocaldeploymentofmodelsinvolvesadjustmentstonetworktopology,systempolicies,permissions,ports,andresources,whichcancreatenewentrypointsandpathwaysforcyberattacks.Toaccomplishcomplextaskswithautonomousplanningandexecution,AIagentsneedtoaccessterminalsystemfiles,permissions,interfaces,andtools,therebyheighteningsafetyriskssuchasfileleakageandprivilegeabuse.AIindustryreliesonahighlyglobalizedsupplychain.However,certaincountriesmayuseunilateralcoercivemeasures,suchastechnologybarriersandexportcontrols,tocreatedevelopmentobstaclesandmaliciouslydisrupttheglobalAIsupplychain,leadingtorisksofsupplydisruptionsforchips,software,andtools.AbuseforAIcouldbeusedinloweringthethresholdforcyberattacks,increasingattackefficiency,orevenlaunchingautomaticcyberattacks,thusincreasingthedifficultyofsecurityprotection.Inparticular,AI-generatedhighlyrealisticimages,audios,andvideosmaycircumventidentityverificationmechanisms,suchasfacialrecognitionandvoicerecognition,renderingtheseauthenticationprocessesineffective.InformationcontentOutputofillegalandharmfulInsufficientsecuritycapabilitiesofmodels,combinedwithweakapplication-levelsafeguardsandmalicioususermanipulationmaycauseAIsystemstogeneratecontentinvolvingcrimes,pornography,extremism,andotherillegalandharmfulinformation.Itmayalsobeexploitedtofabricateandspreaddisinformationtomisleadthepublicandseekillicitgains,andultimatelythreatensocialstabilityandpublicsecurity.DistortionoffactsanduserAI-generatedcontent(AIGC)thatisnotproperlylabeled,particularlywhendeepfaketechnologiesareapplied,isdifficultforuserstodiscernwhetherthesourceofcontentandtheinteractingcounterpartisanAIsystem,toassesstheauthenticityofgeneratedcontent,andtomakesoundjudgments.Suchcontentmayalsobeexploitedtofabricateanddisseminatedisinformation,misleadthepublic,andpursueillicitPollutionofonlinecontentLow-qualityandharmful