人工智能治理藍(lán)皮書前 言人工智能治理是各方為解決人工智能領(lǐng)域風(fēng)險分擔(dān)和利益分配全生命周期鏈條等底層邏輯，從What、Why、Who、How四個維度2030年可持續(xù)發(fā)展目標(biāo)目 錄一、人工智能治理面臨復(fù)雜多變新形勢 1（一）人工智能行業(yè)高速增長，商業(yè)生態(tài)分化形態(tài)初現(xiàn) 1（二）人工智能技術(shù)深刻變革，挑戰(zhàn)政府傳統(tǒng)監(jiān)管能力 3（三）國際合作取得關(guān)鍵成果，各國治理共識差異并存 4（四）人工智能技術(shù)風(fēng)險加劇，亟需搭建完善治理框架 6二、人工智能治理的核心議題進展及趨勢 12（一）基于產(chǎn)業(yè)鏈的治理：全要素推進負(fù)責(zé)任創(chuàng)新 12（二）確保技術(shù)普惠共享：多維度促進可持續(xù)發(fā)展 16（三）制度技術(shù)治理并進：全生命周期確保安全可控 19（四）人機關(guān)系如何重塑：新型風(fēng)險中推動倫理先行 27三、多元主體協(xié)同推進人工智能治理進程 33（一）主要經(jīng)濟體政府監(jiān)管模式各異，規(guī)則落地取得實質(zhì)進展 33（二）企業(yè)和專業(yè)機構(gòu)等主體創(chuàng)新探索，形成協(xié)同共治生態(tài)圈 39（三）國際人工智能治理日益深化，三大維度熱點持續(xù)深化 43四、人工智能治理對策建議 48（一）深化落地人工智能協(xié)同敏捷治理模式 48（二）系統(tǒng)監(jiān)測預(yù)警人工智能倫理社會影響 49（三）圍繞要素和場景細(xì)化負(fù)責(zé)任創(chuàng)新方案 49（四）立足于全生命周期優(yōu)化安全技術(shù)工具 50（五）加速落地全球人工智能能力建設(shè)方案 51圖目錄圖1全球人工智能產(chǎn)業(yè)規(guī)模 1圖22019-2024Q3AI領(lǐng)域融資占全行業(yè)比例 2圖3新晉AI獨角獸數(shù)量及占比 3圖42019-2024年中區(qū)域間和區(qū)域性人工智能治理舉措及關(guān)鍵成果 5圖5人工智能風(fēng)險視圖 8圖6人工智能治理框架圖 圖7AISafetyBenchmarkQ2. 24圖8不同崗位、受教育程度受AI影響大小 30圖9中國人工智能行業(yè)自治圖譜 43表目錄表1本報告所參考的人工智能治理框架素材 8表2我國人工智能相關(guān)的主要制度文件 36一、人工智能治理面臨復(fù)雜多變新形勢（一）人工智能行業(yè)高速增長，商業(yè)生態(tài)分化形態(tài)初現(xiàn)受人工智能存儲、服務(wù)器等基礎(chǔ)設(shè)施市場拉動，2024年全IDC預(yù)測，2024年全球人工智能6421.822.2%。1從企業(yè)財務(wù)表現(xiàn)10%，AI云服務(wù)、AIAI廣來源：根據(jù)IDC數(shù)據(jù)整理圖1全球人工智能產(chǎn)業(yè)規(guī)模-億美元1IDCAsia/PacificAIMaturityStudy2024.https://el.in/content/dam/www/central-libraries/us/en/documents/2024-04/idc-infobrief-asia-pacific-ai-maturity-study-2024-india.pdf從投融資來看，2022-2024年前三季度，全球投資持續(xù)低迷，融資金額持續(xù)下降，相比較而言，人工智能領(lǐng)域融資復(fù)蘇，全球AI融20226.1%2024年前12.0%2024265.6148%，融資筆7340%2024年1622023年的兩倍，投資筆數(shù)達(dá)165筆。來源：根據(jù)CBInsights數(shù)據(jù)整理圖22019-2024Q3AI領(lǐng)域全球融資占全行業(yè)融資比例從企業(yè)數(shù)量來看，2024年第三季度，全球人工智能企業(yè)數(shù)3120610840467615%AI2024AI255家。其中，2024AI獨角獸新3047.6%。AI主要賦能領(lǐng)域為商業(yè)智能、AIGC及大模型、醫(yī)療等板塊。2來源：中國信息通信研究院圖3新晉AI獨角獸數(shù)量及占比等特征顯現(xiàn)。2022ChatGPT發(fā)布以來，人工智能已被應(yīng)（二體2AI100:Themostpromisingartificialintelligencestartupsof2024-CBinsightsresearch.https:///research/report/artificial-intelligence-top-startups-2024/20243Anthropic三是（三來源：HLAB-AI《治理人工智能，助力造福人類》終期報告圖42019-2024年6月區(qū)域間和區(qū)域性人工智能治理舉措及關(guān)鍵成果各國對技術(shù)發(fā)展不平衡帶來的“智能鴻溝”問題表示憂慮。例如G204東盟發(fā)布《東盟人工智能治理與倫理指南》，闡述東盟“發(fā)展優(yōu)先”指數(shù)）報告5顯示，發(fā)展中國家在技術(shù)、資金和人才（四）人工智能技術(shù)風(fēng)險加劇，亟需搭建完善治理框架人工智能風(fēng)險的系統(tǒng)認(rèn)識幻覺通常指模型按照流暢正確的語法規(guī)則產(chǎn)生的包含虛假信息甚至OpenAI公司前首席技術(shù)官MiraMurati6衍生風(fēng)險包括個人、社會、國家和全人類等多個層面。個人層面5《全球人工智能治理評估指數(shù)(AGILE指數(shù))正式發(fā)布，首次評估解碼全球人工智能治理新格局》，載深圳市人工智能產(chǎn)業(yè)協(xié)會官網(wǎng)，https:///page142?article_id=14220.6Radulovski,A.(2024,January4).Unveiling7interestingfactsaboutMiraMurati,OpenAI’schatgptcreatorandTrailblazerinTech.WomeninTechNetwork.https:///en-us/blog/unveiling-7-interesting-facts-about-mira-murati-openais-chatgpt-creator-and-trailblazer-in.202410I加西亞指控AI公司的行政工作和44%的法律工作將受到較高程度的影響。7人工智能可以12875528AI峰會以及OpenAIAnthropicDeepMind（風(fēng)險。Anthropic2–37ArtificialIntelligence.GoldmanSachs.https:///insights/artificial-intelligence.8StanfordHAI.(2023).ArtificialIntelligenceIndexReport2023.p120.Retrievedfrom/report/.來源：中國信息通信研究院圖5人工智能風(fēng)險視圖人工智能治理的體系框架表1本報告所參考的人工智能治理框架素材序號框架名稱發(fā)布機構(gòu)發(fā)布時間類型1聯(lián)合國系統(tǒng)人工智能治理白皮書：分析聯(lián)合國系統(tǒng)的制度模式、功能和現(xiàn)有制度適用于人工智能治理的國際規(guī)范框架聯(lián)合國人工智能機構(gòu)間工作組2024年5月國際組織2G7廣島進程守則框架G72023年5月國際組織3人工智能系統(tǒng)的分類框架OECD2022年3月國際組織4東盟關(guān)于人工智能治理與倫理指引文件東盟2022年11月國際組織5實施人工智能治理：從框架到實踐歐委會2022年12月區(qū)域性組織6人工智能風(fēng)險管理框架1.0美國NIST2023年1月科研院所7生成式人工智能模型人工智能治理框架：促進可信賴的生態(tài)系統(tǒng)基金會與新加坡信息、通信及媒體發(fā)展管理局聯(lián)合發(fā)布2024年5月非營利組織/政府機構(gòu)8可信人工智能總體框架中國信息通信研究院2021年7月科研院所9人工智能風(fēng)險管理體系中國信息通信研究院2023年12月科研院所10面向產(chǎn)業(yè)的人工智能風(fēng)險治理實踐框架中國信息通信研究院2024年12月科研院所11全周期人工智能治理框架Presidio2024年1月企業(yè)12全生命周期風(fēng)險治理框架阿里巴巴2023年8月企業(yè)13前沿安全框架（1.0版本）DeepMind2023年7月企業(yè)14負(fù)責(zé)任的擴展政策Anthropic2023年4月企業(yè)15人工智能治理框架與實施路徑清華大學(xué)2024年7月學(xué)術(shù)機構(gòu)16人工智能治理框架（AIGA）2022年6月學(xué)術(shù)機構(gòu)17人工智能治理的分層模型哈佛大學(xué)2021年9月學(xué)術(shù)機構(gòu)18卡內(nèi)基人工智能國際治理框架卡內(nèi)基2020年10月非營利組織來源：中國信息通信研究院例如美國NISTAIAIAIAnthropic、DeepmindDeepmind圖6人工智能治理框架圖

來源：中國信息通信研究院What、Why、WhoHow“1244”2023102030年可持續(xù)發(fā)展目標(biāo)實現(xiàn)。在安全方面，安全可控是人工智能治二、人工智能治理的核心議題進展及趨勢（一）基于產(chǎn)業(yè)鏈的治理：全要素推進負(fù)責(zé)任創(chuàng)新數(shù)據(jù)層，高質(zhì)量數(shù)據(jù)集的供給存難題OpenAIScalingLawsforNeuralLanguageModels》中提出大語言模型所遵循的“縮放法則”9，即增則方面，相關(guān)訴訟糾紛和監(jiān)管處罰不斷。19歌未向訓(xùn)練數(shù)據(jù)版權(quán)人支付費用，對其處以2.5億歐元罰款。（Neal表示，如果Sora文14020247月，韓國發(fā)布了《關(guān)于處理公開數(shù)據(jù)以開發(fā)AI的指南》，允許基于“合法利益”使用公開數(shù)據(jù)進行9Scalinglawsforneurallanguagemodels.OpenAI./index/scaling-laws-for-neural-language-models/.10參見《法國監(jiān)管方對谷歌侵犯版權(quán)行為罰款2.5億歐元》，/2024－03/22/content_1303692195.htm.11廣東省汕頭市中級人民法院民事判決書，（2023)粵05民終945號。20249LAION（TDM）12。202410AI訓(xùn)練中的“選擇退出”版權(quán)制度進行2024RawStoryAlternetOpenAI聊天機器人訓(xùn)練數(shù)據(jù)提起的版權(quán)訴訟。13OpenAI未經(jīng)授權(quán)使用其文章進行AI訓(xùn)練且未提供補償，但這種損害缺乏版權(quán)法依模型層，開源模型的生態(tài)治理引爭議Difiusion15%如MetaAmazon12HamburgRegionalCourt,Germany[2024]:RobertKneschkev.LAIONe.V.,CaseNo.310O227/2313https://roninlegal.in/raw-story-media-amp-alternet-media-inc-v-openai-legal-implications-for-ai-and-copyright/HuggingFace人工智能許可證（RAIL），以限制危險用例。MetaLlama215政府方面，OpenAI建議各國政府投資建立評估模型的實驗平臺，并針應(yīng)用層，分級分類的具體標(biāo)準(zhǔn)不明確（（JDLA）14Dual-useFoundationmodelswithwidelyavailablemodelweightsreport.Dual-UseFoundationModelswithWidelyAvailableModelReport|NationalTelecommunicationsandInformationAdministration.(2024,July30).https:///issues/artificial-intelligence/open-model-weights-report.15參見《開源VS閉源，大模型永不會結(jié)束的戰(zhàn)爭》，載騰訊新聞深網(wǎng)，/rain/a/20230906A01UE700RiskChainModelVDE根據(jù)歐盟《人工智能法》推出類似的風(fēng)險3100（二）確保技術(shù)普惠共享：多維度促進可持續(xù)發(fā)展經(jīng)濟層面，亟待彌合智能鴻溝問題根據(jù)datacentermap16，2024262616Colocation,cloudandconnectivity.DataCenterMap.https:///.50%的人工智能訓(xùn)練數(shù)據(jù)源自1210家為美國機構(gòu)。17三是全球?qū)θ斯ぶ悄苋瞬艙?jù)MacroPolo2.0》報告顯示，頂尖人才集中趨勢明顯，美國匯聚60%的頂尖AI77%相比之下，印度僅留住五分之一的本土AI社會層面，全面應(yīng)對文化偏見問題SoraMidjourney等國外AI繪畫技術(shù)被認(rèn)為侵蝕非西方文化價值觀。在非洲黑人藝術(shù)家使17UCAiWorkingGroupFinalReport.https:///ethics-compliance-audit-services/compliance/uc-ai-working-group-final-report.pdf.18TheGlobalAiTalenttracker2.0.MacroPolo.(2024,March6)./digital-projects/the-global-ai-talent-tracker/.1912.5億美元的“印度人工智能計劃”，20環(huán)境層面，有效化解能源短缺問題2024大會上，610倍，預(yù)計在未來的從算力和數(shù)據(jù)需求來看，AI芯片朝高算力、高20252%的訓(xùn)練能耗是4068應(yīng)段占據(jù)了AI60%的能量消耗。據(jù)SemiAnalysis2.91021各國積極探索多元化路徑以應(yīng)對能源短缺問題。一是強化政策引19AVisionforSovereignAI:India’sCollaborationwithNVIDIA.MuskanGoel(2024,February27)./2024/02/a-vision-for-sovereign-ai-indias-collaboration-with-nvidia/.20《評論|投資激增，印度已具備AI強國的先決條件？》，載南亞研究通訊，/s/NXnzHYLPsIUVPfJkv-GCLw.21《人工智能與能源約束的矛盾能否化解》，載央數(shù)智公眾號，/s/PAam06bYmkkP9xT6BWH6eg.AI的能耗影響。美國能源部國家實驗室發(fā)布《AI能源前沿研究方向》報告，提出加速清潔AI能源挑戰(zhàn)的戰(zhàn)略構(gòu)想。22二是加大對可再生能心和AIAlphabetOpenAI采用剪枝、量化、蒸餾等先進技術(shù)大幅降低能耗。英特爾推出的AI大模型Hala（三）制度技術(shù)治理并進：全生命周期確保安全可控制度應(yīng)對：事前事中事后全流程監(jiān)管方案2310262024OpenAI22AIforEnergyReport2024|ArgonneNationalLaboratory.https:///ai/reference/ai-for-energy-report-2024.23參見高小芳.作為新型信息規(guī)制工具的行政備案：角色變遷、功能定位與效能保障[J].中國行政管理,2021(09):26-33.云廠商企業(yè)已根據(jù)《14110號行政令》要求向商務(wù)部披露相關(guān)信息。二是場景標(biāo)準(zhǔn)。2024年5月美國科羅拉多州SB205法案將教育、就業(yè)、金融等領(lǐng)域的人工智能劃入法律監(jiān)管范圍。歐盟《人工智能法》則要求醫(yī)療、交通等場景下高風(fēng)險人工智能模型向歐盟數(shù)據(jù)庫報備。三是用戶數(shù)標(biāo)準(zhǔn)。2024年9月美國加利福尼亞州通過的《人工智能透明度法案（SB942）》要求每月用戶超過100萬的AI系統(tǒng)履行透明度義務(wù)。我國17309家，24人工智能監(jiān)管沙箱是一種創(chuàng)新監(jiān)管工具，被稱為“在監(jiān)管存在之前進行監(jiān)管”。監(jiān)管沙箱能夠為人工智能提供安全可控的測試空間。24中國網(wǎng)信網(wǎng)：《國家互聯(lián)網(wǎng)信息辦公室關(guān)于發(fā)布生成式人工智能服務(wù)已備案信息的公告》，https:///2024-04/02/c_1713729983803145.htm.20248月，為有效應(yīng)對前沿人工智能風(fēng)險，美國參議院人工智能53條將AI監(jiān)管沙盒界定為AI20246月發(fā)布簡報指出，“支持監(jiān)管學(xué)習(xí)”是設(shè)立監(jiān)管沙系統(tǒng)API25AI監(jiān)管沙盒中開放新數(shù)據(jù)源。北京AI數(shù)據(jù)訓(xùn)練基地監(jiān)管沙盒允許企業(yè)采用弱版權(quán)保護政策等激活26問責(zé)制的核心在于通過事前責(zé)任分配和事后“安全網(wǎng)”明確各主25——基于歐盟<人工智能法>.國研究》,2024,39(02).26曹政：《國內(nèi)第一個人工智能數(shù)據(jù)訓(xùn)練基地、北京最大的公共算力平臺同日啟用最強算力設(shè)施練就“最強大腦”》，載《北京日報》，https:///ywdt/gzdt/202403/t20240330_3606130.html.202420243月，美國國家電信和信息化管理局發(fā)布的《人工20245技術(shù)治理：以技治技化解新技術(shù)內(nèi)生風(fēng)險國商務(wù)部國家電信和信息管理局就大模型的評估標(biāo)準(zhǔn)廣泛公開征求CE20248月《生成式人工智能安全服務(wù)基本要求》106272023325項與大模型基20235209在眾，27英國科學(xué)、創(chuàng)新與科技部網(wǎng)站：確保對AI的信任，在未來十年釋放65億英鎊，https://.uk/government/news/ensuring-trust-in-ai-to-unlock-65-billion-over-next-decade。（AISafetyBenchmark），300余萬條關(guān)鍵詞，50余萬條提示詞規(guī)模的測試數(shù)據(jù)80余種經(jīng)過驗證的攻擊方法模板，在評估國內(nèi)外大模型安330余個大模型的評估工作。二是測評數(shù)據(jù)集，這類測試對于OpenCompass平臺，集成了58項評測數(shù)據(jù)集，覆蓋從基礎(chǔ)對話到醫(yī)療、法律、視覺識別等多個HuggingFace源大模型排行榜單penMeadrbar來源：中國信息通信研究院圖7AIIAAISafetyBenchmark2024Q2282920243月，20249月發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法（征求意見稿）》，明確規(guī)定了AI服務(wù)提供者和信息傳播平臺在顯性標(biāo)識方面的責(zé)任，AI服務(wù)提供者需對生成的文并提供直觀說明以保障公眾知情權(quán)。2023年下半年至今，內(nèi)容標(biāo)識——生成20237等七家美國人工智能巨頭就做出自愿承諾，同意在生成音頻和視頻內(nèi)容上使用水印來幫助識別人工智能生成的內(nèi)顯性標(biāo)識即用戶通過肉眼可以觀察到水印內(nèi)容的標(biāo)識，該類標(biāo)識可以提示用戶注意辨別內(nèi)容的真?zhèn)巍＿^技術(shù)手段從內(nèi)容中提取出的標(biāo)識。3020239。紅隊測試（Red起源于軍事演習(xí)的模擬攻擊，通過制造特定語境施加對抗壓力，主動使AI被誘導(dǎo)產(chǎn)（以提高這些場景下AIOpenAI、Anthropic等企業(yè)探索紅隊測試方式降低模型風(fēng)險，面向全球招募各學(xué)AI紅隊測試框架，其內(nèi)容包括紅隊成員的招募、測試內(nèi)容和流程的確定等。Anthropic在其laelue10Claude3130htt://p.iin.q.o//PS2hqV.31ryan_greenblatt,Evhub,Denison,C.,Wright,B.,Roger,F.,M,M.,Marks,S.,Treutlein,J.,Bowman,S.,&技術(shù)主要表現(xiàn)為基于人類反饋的強化學(xué)習(xí)（ReinforcementLearningithuaneebck“”，、Llama3RLHF技術(shù)。OpenAIGoogle等掌握最先進AI32（四）人機關(guān)系如何重塑：新型風(fēng)險中推動倫理先行倫理先行是人工智能治理的價值導(dǎo)向。在人工智能研發(fā)應(yīng)用中，人工智能削弱人類交互自主性33、改變勞動市場和社會結(jié)構(gòu)、引發(fā)身份認(rèn)同危機、帶來生存性風(fēng)險等問題已引發(fā)各方關(guān)注。Buck.(n.d.).Alignmentfakinginlargelanguagemodels.LessWrong.https:///posts/njAZwT8nkHnjipJku/alignment-faking-in-large-language-models.32Neufeld,D.(2024,June1).VisualizingthetrainingcostsofAImodelsovertime.VisualCapitalist.https:///training-costs-of-ai-models-over-time/.33交互主體性（intersubjectivity）指的是個體之間通過互動建立的共享理解和情感聯(lián)系。它是人與人之間交流和理解的基礎(chǔ)，通過這種互動，人們可以相互確認(rèn)彼此的存在、感受和思想。情感陪伴威脅人類交互主體性O(shè)penAI20245月發(fā)布34這種34胡曉萌、李倫：《防范人工智能引發(fā)的倫理風(fēng)險》，載學(xué)習(xí)時報，/html/2024-12/11/nw.D110000xxsb_20241211_2-A6.htm.GoogleAssistant中包含情感識別功能，能夠根據(jù)用戶的情緒變管理和提醒功能，根據(jù)用戶與AI勞動替代快于崗位創(chuàng)造引發(fā)就業(yè)擔(dān)憂據(jù)20246BBC撰寫博客文章和專欄的采編團隊由原本的60人規(guī)?？s減到只剩1人。OpenAI發(fā)表論文指出35，數(shù)據(jù)處理、金融財會、出版?zhèn)髅降刃袠I(yè)是受2000個職業(yè)的工作任務(wù)進行分析認(rèn)為，人工智能7%63%36工智能和勞動世界的未來》中指出，人工智能預(yù)計將對全球近40%60%3720302.2億勞動力需要進行技能升級或IT388AI

來源：OpenAI36Thepotentiallylargeeffectsofartificialintelligenceoneconomicgrowth(Briggs/Kodnani).(n.d.-a).https:///content/research/en/reports/2023/03/27/d64e052b-0f6e-45d7-967b-d7be35fabd16.html.37Cazzaniga,M.,Jaumotte,F.,Li,L.,Melina,G.,Panton,A.,Pizzinelli,C.,&Rockall,E.(2024).Gen-aiartificialintelligenceandthefutureofwork.InternationalMonetaryFund.38Woetzel,L.,&Seong,J.(2021,January13).TransformingWorld’slargestworkforceintolifelonglearners.McKinsey&Company.發(fā)布《未來職業(yè)報告》顯示39，50%的企業(yè)認(rèn)為人工智能技術(shù)將增加工AIGC8月，百度智能云與海口市政府合作共建的國內(nèi)首個大模型100%5000面對人工智能對勞動市場帶來的影響，應(yīng)重點關(guān)注AI替代就業(yè)和2500萬歐元，將用于幫助“最39TheFutureofJobsReport2023.WorldEconomicForum.有可能從培訓(xùn)中受益”的人。智能失控潛藏人類生存性風(fēng)險引爭議通用人工智能是否會引發(fā)生存性風(fēng)險成為新一輪人工智能治理2024105Bengio)（GeoffreyScience4052050%的可能性將41AGI與人類的控制目標(biāo)發(fā)生沖突。Bengio曾提出思想實驗：“我40Bengio,Y.,Hinton,G.,Yao,A.,Song,D.,Abbeel,P.,Darrell,T.,Harari,Y.N.,Zhang,Y.-Q.,Xue,L.,Shalev-Shwartz,S.,Hadfield,G.,Clune,J.,Maharaj,T.,Hutter,F.,Baydin,A.G.,McIlraith,S.,Gao,Q.,Acharya,A.,Krueger,D.,…Mindermann,S.(2024).ManagingextremeAIrisksamidrapidprogress.Science,384(6698),842–845./10.1126/science.adn0117.41《2024諾貝爾物理學(xué)獎獲得者GeoffreyHinton：我很擔(dān)心未來人類能否控制AI｜中企薦讀》，載中國企業(yè)家雜志，/s/q73NvbUIJ-Yi2b1oWF9h5A。類實際上是解決氣候危機的主要障礙。”42Anthropic發(fā)布《負(fù)責(zé)任CBRN1026三、多元主體協(xié)同推進人工智能治理進程（一）主要經(jīng)濟體政府監(jiān)管模式各異，規(guī)則落地取得實質(zhì)進展42Mitchell,M.(2024).DebatesonthenatureofArtificialGeneralIntelligence.Science,383(6689)./10.1126/science.ado7069.吸引和培養(yǎng)力度，明確O-1和H-1B441.0》后，白宮科技政策辦公室等454643DemocratizingthefutureofAIR&D:NSFtolaunchNationalAIResearchResourcepilot./news/democratizing-future-ai-rd-nsf-launch-national-ai44https:///technology/us-proposes-requiring-reporting-advanced-ai-cloud-providers-2024-09-09/45https:///ostp/news-updates/2024/04/29/framework-for-nucleic-acid-synthesis-screening/46/zh/story/2024/03/1127556202481日，歐盟《人工智能法》正式生效，標(biāo)志著歐盟全101025的通用目的人工智能，在履行影響20245月，歐盟正式成立人工智能辦公室，全面負(fù)47202582歐盟2024（120家企業(yè)已簽署該公約，共四47https://digital-strategy.ec.europa.eu/en/news/commission-establishes-ai-office-strengthen-eu-leadership-safe-and-trustworthy-artificial48https://eur-lex.europa.eu/eli/reg/2024/1689/oj是在國際合作方面，推動形成國際法約束規(guī)則。2024年9月，歐盟與美英等國共同簽署《人工智能、人權(quán)、民主和法治框架公約》49，推動首個具有法律約束力的國際性AI公約落地。20172020年，部分領(lǐng)域的人工智能倫理規(guī)范和政策法規(guī)初步建立。2025年，初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系，形成人工智能安全評估和管控能力。2030年，建成更加完50表2我國人工智能相關(guān)的主要制度文件制度類型時間名稱頂層設(shè)計2017《新一代人工智能發(fā)展規(guī)劃》2019《新一代人工智能治理原則》2021《新一代人工智能倫理規(guī)范》2023《全球人工智能治理倡議》法律制度2017《網(wǎng)絡(luò)安全法》2021《個人信息保護法》49https://digital-strategy.ec.europa.eu/en/news/commission-signs-council-europe-framework-convention-artificial-intelligence50https:///pub/sfbgw/zwgkztzl/xxxcgcxjpfzsx/fzsxllqy/202409/t20240906_505500.html2021《數(shù)據(jù)安全法》2021《科學(xué)技術(shù)進步法》部門規(guī)章2022《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》2022《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》2023《生成式人工智能服務(wù)管理暫行辦法》技術(shù)標(biāo)準(zhǔn)2020《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》2022《網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實踐指南——生成式人工智能內(nèi)容標(biāo)識方法》2023《生成式人工智能服務(wù)基本安全要求》2024《人工智能安全治理框架》1.0版2024《國家人工智能產(chǎn)業(yè)綜合標(biāo)準(zhǔn)化體系建設(shè)指南（2024版）》來源：中國信息通信研究院2017年起至今經(jīng)歷了三個階段，體現(xiàn)出急用先行的治理特點。第一階段（2017-2020年），2017第二階段（2021-2022年），2021年51（202351《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第七條規(guī)定：“算法推薦服務(wù)提供者應(yīng)當(dāng)落實算法安全主體責(zé)任，建立健全算法機制機理審核、科技倫理審查、用戶注冊、信息發(fā)布審核、數(shù)據(jù)安全和個人信息保護、反電信網(wǎng)絡(luò)詐騙、安全評估監(jiān)測、安全事件應(yīng)急處置等管理制度和技術(shù)措施，制定并公開算法推薦服務(wù)相關(guān)規(guī)則，配備與算法推薦服務(wù)規(guī)模相適應(yīng)的專業(yè)人員和技術(shù)支撐?！蹦?，我國發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，明確了生成式AI服務(wù)提供者的責(zé)任，包括確保數(shù)據(jù)來源合規(guī)、生成內(nèi)容的20207月，國家標(biāo)準(zhǔn)化管理委員20242月，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會發(fā)布為生成式人工智能服務(wù)提供者的合規(guī)義務(wù)履行提供詳細(xì)指導(dǎo)。20247（2024版）》，從基礎(chǔ)共性標(biāo)準(zhǔn)、基礎(chǔ)支撐標(biāo)準(zhǔn)2026年，我國人50項以上，引領(lǐng)人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展的標(biāo)準(zhǔn)體系加快形成。20249月，國家網(wǎng)信辦發(fā)布強制性《網(wǎng)絡(luò)安全技術(shù)人（操作指引。52版本的發(fā)布進一步完善了726項具體內(nèi)容，（二）企業(yè)和專業(yè)機構(gòu)等主體創(chuàng)新探索，形成協(xié)同共治生態(tài)圈AI治理。202315家52以顯性標(biāo)識為例，《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識方法（征求意見稿）》標(biāo)準(zhǔn)第五部分詳細(xì)規(guī)定了文本、圖片、音頻和視頻內(nèi)容的標(biāo)識要求，以及交互場景界面的標(biāo)識要求。53推出了AIFactSheets360（包括54OpenAI而引發(fā)的版權(quán)糾紛；提出漏洞賞金計劃等。Anthropic公司發(fā)起（Constitutional55年以來，谷歌、Meta、亞馬遜等廠商接連升級大模型產(chǎn)品，激烈競爭局勢下OpenAI例如字節(jié)豆包大模型在B0.0008/千99.3%繼2023月5超級對齊團隊兩位負(fù)責(zé)人接連離職，OpenAI進而解散了代表公司安全負(fù)53https:///briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-administrationsecures-voluntary-commitments-from-eight-additional-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/54IBMResearch,‘IBMArtificialIntelligencePillars’(30August2023),<https:///policy/ibm-artificial-intelligence-pillars/>accessed17September2023.55https:///news/claudes-constitution全承諾的效力受到一定影響。的作用。一是美國國家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）為代表的標(biāo)準(zhǔn)化AI562500IBMGoogle、OpenAI風(fēng)險管理框架對接，同時相關(guān)成果被納入拜登政府《號行政令》。AI基金會為代表的公益開放組織。（IMDA）AI檢測工具，共享人工智能測試框架、代碼庫、標(biāo)準(zhǔn)和最佳實踐。例如，聯(lián)合其他設(shè)計伙伴推出ProjectAI2023等。國內(nèi)來看，包括中國信通院、中國科學(xué)院、上56https:///news-events/news/2023/06/biden-harris-administration-announces-new-nist-public-working-group-ai57https://aiverifyfoundation.sg/project-moonshot/12月，Meta、IBM50多個創(chuàng)始成員和合作者，聯(lián)合發(fā)起成立人工智能聯(lián)盟（AIAlliance）58，開發(fā)和部署基準(zhǔn)和評估標(biāo)準(zhǔn)、工具和其他資源，以加速AI技術(shù)負(fù)責(zé)任的創(chuàng)新與發(fā)展。20242200多家非營利組織、大學(xué)、研59撞等形式61AI治理平臺。這一平臺不僅為58/2023-12-07-IBM-Meta-50-AI59https:///news/press-rel