?jjlftAI&?ffl

?:i:???)8J.ltlii5

SafetyandGlobalGovernance

ofGenerativeAlReport

202iF1

i!tWifit!ltR&*3??Uffrt?*???4F.I

Jan2024

??±Jllrr.if3f??*t9.J'?

致謝56

免責聲明56

聯(lián)系方式56

貢獻情況56

編者的話

本報告是由多元的作者觀點匯集而成，旨在引起公眾對生成式人工智能技術發(fā)展的安

全性和治理問題的關注，并激發(fā)進一步的思考。我們認識到，這一領域的發(fā)展速度迅

猛，伴隨著許多潛在的挑戰(zhàn)和機遇。報告中的具體觀點僅代表各個作者本人，而不代

表世界工程組織聯(lián)合會創(chuàng)新技術專委會（WFEO-CEIT）或深圳科學技術協(xié)會的立場。我

們強調，對于生成式人工智能技術的探索和應用，需要行業(yè)內外的廣泛合作與持續(xù)對

話，以確?？萍嫉倪M步能夠造福全人類，并在倫理和法律框架內得到妥善管理。通過

這份報告，我們希望促進更多的交流和合作，共同探索這一前沿科技的未來。

I

生成式人工智能安全與全球治理報告

序言

人工智能治理：為了人工智能發(fā)展得更好更快，

以加速實現(xiàn)全球可持續(xù)發(fā)展目標

龔克

首先祝賀世界工程組織聯(lián)合會創(chuàng)新技術專委會（WFEO-CEIT）和深圳市科學技術

協(xié)會共同組織編寫了這份報告，做了一件很有意義的工作。在這份報告中，來自不同

國家和地區(qū)、不同行業(yè)和領域的專家們，為我們帶來了在不同視角下對人工智能治理

的觀察和思考以及有益的實踐經驗，他們從不同的角度提出完善人工智能治理的建議，

包含了非常重要的共識：比如，加快建立人工智能全球多方共同治理的機制和開展廣

泛的對話，將倫理作為人工智能治理的最重要的基礎，將風險較高的領域作為加快建

立全球治理規(guī)范的優(yōu)先領域，等等。

發(fā)布這個報告的時間，恰好處于《聯(lián)合國2030年可持續(xù)發(fā)展議程》的中點。在不

久前舉行2023年聯(lián)合國可持續(xù)發(fā)展目標峰會上，各國領導人一致呼吁要加倍努力，加

速實現(xiàn)可持續(xù)發(fā)展目標（SDGs）。聯(lián)合國秘書長古特雷斯指出，可持續(xù)發(fā)展目標不僅

僅是一系列目標，它們承載著各國人民的希望、夢想、權利和期許。然而如今，只有

15%的目標按預期進展，很多目標甚至出現(xiàn)了倒退?，F(xiàn)在急需制定一項全球計劃來挽

救這些目標的實現(xiàn)。古特雷斯強調要在6個關鍵領域采取行動，其中之一就是“利用數(shù)

字化轉型機遇”。可以說，我們急需人工智能成為推動SDG加速的實現(xiàn)的重要動力。

人工智能是革命性的通用目的技術，是驅動第四次工業(yè)革命和經濟社會數(shù)字化轉

型的先進生產力。無論是從全球的層面（如加速實現(xiàn)可持續(xù)發(fā)展轉型），區(qū)域和國家

的層面（如結合區(qū)域與國家實際的能源轉型行動、促進經濟增長和就業(yè)），行業(yè)和企

業(yè)以及各種組織的層面（如提高行業(yè)的數(shù)字化轉型、增進企業(yè)競爭力和組織效能），

還是個人的層面（如提升職業(yè)能力、提升家庭生活的便捷性等等），人工智能都具有

極大的潛力。因此，人工智能的治理無論如何都不是也不應該是阻礙人工智能發(fā)展的

治理，而是促使它更好更快發(fā)展的治理。

人工智能的快速發(fā)展尤其今年以來生成式人工智能的快速發(fā)展，在給人們帶來前

所未有的體驗和驚喜的同時，也加劇了人們對人工智能安全和倫理的關切，甚至出現(xiàn)

II

序言

了一定程度上的社會焦慮。這就凸顯了完善人工智能治理、保證人工智能可控、向善

的重要性和緊迫性。

鑒于人工智能等新興數(shù)字技術從本質上將是全球性的技術，這些技術不認可地緣

政治邊界。人工智能的發(fā)展和治理，涉及全人類的共同利益，它們產生的影響（無論

是正面的或是負面的）都會產生跨越國界、跨越行業(yè)和專業(yè)的全球性、全局性影響。

因此，對于人工智能的有效治理必須是全球的、多利益相關方參與的共同治理。

事實上，國際組織（聯(lián)合國、G20、G7、OECD、歐盟等）和各國政府以及人工智

能企業(yè)已經在人工智能治理上采取行動，從這個報告中可以看到這些努力和重要的治

理發(fā)展以及有益的實踐。然而，盡管各國、各個組織提出的這些治理原則在極大程度

上是一致或相近的，但是仍然缺乏廣泛的明確的全球共識，作為進一步加強全球行動

的基礎。在當前已有的治理發(fā)展中，應該特別重視聯(lián)合國教科文組織（UNESCO）的

人工智能倫理建議書。

世界工程組織聯(lián)合會（WFEO）從工程促進可持續(xù)發(fā)展的使命出發(fā)，在高度重視

促進人工智能發(fā)展和應用以加快雙重轉型的同時，也高度重視人工智能的治理。2020

年WFEO-CEIT在第一個世界工程日發(fā)布了在工程中負責任應用大數(shù)據(jù)和人工智能的七

項原則、2021年WFEO支持聯(lián)合國經濟和社會事務部（UNDESA）和聯(lián)合國秘書長技

術事務特使辦公室一起發(fā)布了《人工智能發(fā)展戰(zhàn)略資源指南》，WFEO還積極參與了

UNESCO的《人工智能倫理建議書》的咨詢工作。我們認為，鑒于人工智能的發(fā)展和

應用都離不開工程，而且只有工程化的人工智能才能真正在人類生產和生活中發(fā)生作

用，所以，工程界應該成為人工智能共同治理中重要的、積極的一員。

從工程的角度看，應該特別重視將人工智能治理的倫理原則、法律規(guī)定落實到可

以檢驗的技術標準之中。這些標準應該是全球性的，可以互通的和具有互操作性的。

而要是這些原則和標準落到實處而不是停留于紙面，應當優(yōu)先發(fā)展支持治理的技術手

段和工具，比如隱私計算的技術、倫理審計的技術，等等。

WFEO還強調，人工智能的發(fā)展和治理離不開包括工程教育在內的廣泛的能力建

設，特別是要采取實際行動減少與人工智能相關的數(shù)字能力鴻溝，這本身也應該成為

人工智能全球治理的題中應有之義。

總而言之，作為全球工程界的領導者——WFEO愿意在人工智能全球共同治理中

發(fā)揮積極的作用。我們相信，人工智能先進技術的發(fā)展和應用，是無可阻擋的，人工

智能治理應該是促進性的治理，即以人工智能更好更快的發(fā)展為目標，最大限度發(fā)揮

它的技術潛力為人類和地球的可持續(xù)發(fā)展服務；我們重申，人工智能的有效治理必須

是全球的、多利益相關方參與的共同治理，當前應該的聯(lián)合國的框架內組織廣泛參與

III

生成式人工智能安全與全球治理報告

的對話以促進明確的治理共識，并形成常效機制（如同氣候協(xié)定），作為進一步推進

共同治理行動的基礎；我們強調，人工智能的治理應該是基于倫理的治理，UNESCO

的《人工智能倫理建議書》為此提供了重要的基礎；我們還注意到，已經提出的治理

原則和正在進行的治理實踐，都采取基于風險的差異化治理，因此我們呼吁對于人工

智能的風險認識應成為全球多元對象的優(yōu)先事項；我們還主張，要把人工智能發(fā)展和

治理的能力建設，特別是縮小人工智能能力差距，作為人工智能治理的重要方面，并

在把幫助發(fā)展中國家建設人工智能能力方面，實施有力且緊迫的行動。

龔克，WFEO前任主席（2019-2022），WFEO-CEIT顧問。

IV

介紹

介紹

2023年10月18日，習近平主席在第三屆“一帶一路”國際合作高峰論壇開幕式主旨

演講中宣布中方將提出《全球人工智能治理倡議》，并于同日由中央網(wǎng)信辦正式發(fā)布，

圍繞人工智能的發(fā)展、安全和治理闡述立場主張，表示愿同各方就全球人工智能治理

開展溝通交流、務實合作，推動人工智能技術造福全人類。10月26日，聯(lián)合國秘書長

古特雷斯宣布，正式組建一個新的高級別人工智能咨詢機構，全球39名專家共商人工

智能治理，以探討這項技術帶來的風險和機遇，并為國際社會加強治理提供支持。11

月1日，首屆全球人工智能安全峰會在英國布萊切利園拉開帷幕。包括中國、美國在內

的28個國家和歐盟，共同簽署了《布萊切利人工智能安全宣言》，一致認為人工智能

對人類構成了潛在的災難性風險。

在這個背景下，本報告匯集了全球40多位人工智能治理、科技倫理、大模型安全

和對齊、通用人工智能風險等領域的政策制定者、企業(yè)家、專家學者、工程師等的29

篇評論，旨在引起對生成式人工智能發(fā)展與安全與治理的關注和進一步的思考，呼吁

開展廣泛的合作。其中的具體觀點并不代表任何主辦和主編機構。按照討論主題分為

以下五章：

第一章，生成式人工智能的風險與挑戰(zhàn)

從近期和長遠兩個時間維度來看，專家們關注的近期風險和挑戰(zhàn)包括：一是大語

言模型的隱私和安全隱患；二是大語言模型生成的虛假信息和“幻覺”問題；三是模型

的價值觀偏差和缺乏解釋性；四是模型濫用造成的道德和倫理風險；五是人工智能應

用帶來的知識產權和法律監(jiān)管問題。

而長遠風險和挑戰(zhàn)包括：一是人工智能可能導致經濟和社會的重大變革，需要統(tǒng)

籌應對；二是人工智能可能顛覆現(xiàn)有國際法律體系和世界秩序；三是人工智能存在全

球共同的風險，需要建立國際規(guī)范和監(jiān)管；四是不同國家和文化在人工智能價值觀上

存在分歧；五是強人工智能可能脫離人類控制，產生災難性風險。

總體而言，近期的風險更多集中在個別模型和應用層面，而長期的風險和挑戰(zhàn)更

多關乎人工智能技術的整體發(fā)展方向和社會影響。但無論近遠，建立國際合作和制定

倫理規(guī)范對于應對人工智能風險都至關重要。

第二章，生成式人工智能的全球治理策略

專家們關注的優(yōu)先事項為：一是全球合作與協(xié)調：在人工智能治理中強調國際合

作的必要性，盡快啟動多邊協(xié)調與合作進程，促進廣泛國家參與治理；二是風險識別

V

生成式人工智能安全與全球治理報告

與管理：集中關注人工智能系統(tǒng)可能帶來的共同大規(guī)模高風險危害；三是倫理和透明

度：在人工智能的設計、開發(fā)和部署中強調倫理原則和透明度；四是技術發(fā)展與安全

的平衡：在促進技術創(chuàng)新的同時，確保安全和合規(guī)性。

為此提出的相關政策建議包括：一是建立多邊組織和國際社會的共同努力：為了

識別和緩解人工智能風險，需要全球性的參與和合作，推動建立國際人工智能組織來

確保國際監(jiān)督標準的實施；二是制定風險預警和應對機制：包括事后監(jiān)管審查和預防

策略，確保系統(tǒng)的安全性和可靠性；三是建立第三方評估機制：獨立專家的第三方評

估補充內部評估，以提供一個穩(wěn)固的安全網(wǎng)；四是構建可互操作的合規(guī)體系：推動不

同國家治理規(guī)則標準化和對接；五是制定國際公約：在全球范圍內分享人工智能成果

與利益。

總體而言，當前亟需統(tǒng)一全球視野，就人工智能治理原則和政策達成共識，并采

取統(tǒng)籌協(xié)調的國際合作，以應對快速發(fā)展帶來的挑戰(zhàn)。

第三章，人工智能治理助力發(fā)展中國家與全球可持續(xù)發(fā)展

專家們認為，人工智能治理可以為發(fā)展中國家提供的助力包括：一是解決緊迫問

題：人工智能可以幫助發(fā)展中國家應對貧困、饑餓、衛(wèi)生事件等迫切問題，通過提供

精確的數(shù)據(jù)分析和解決方案；二是彌補資源缺乏：利用人工智能，可以在資源有限的

情況下有效地管理和分配資源，特別是在科技和教育領域；三是改善數(shù)字基礎設施：

通過人工智能推動網(wǎng)絡和通信技術的發(fā)展，提高互聯(lián)網(wǎng)接入和計算能力，縮小數(shù)字鴻

溝；四是縮小能力差距：提供優(yōu)質的教育和技術培訓，提升本地人才的技術專長，增

強就業(yè)機會；五是本土化人工智能應用：培養(yǎng)適應本地需求和文化的人工智能應用，

特別是在語言和文化多樣性方面；六是國際合作：推動發(fā)展中國家參與國際人工智能

治理，確保它們在全球人工智能產業(yè)鏈和價值鏈中有話語權。

對全球可持續(xù)發(fā)展的助力則包括：一是促進經濟增長：人工智能可提升生產效

率，降低成本，增強全球競爭力，尤其對發(fā)展中國家而言，這是推動經濟多元化的關

鍵；二是改進社會服務和基礎設施：在教育、醫(yī)療、城市規(guī)劃等領域，人工智能能提

供更高效、更精確的服務，提升資源利用率，減少浪費；三是實現(xiàn)聯(lián)合國可持續(xù)發(fā)展

目標：人工智能可用于監(jiān)測和評估可持續(xù)發(fā)展目標的進展，為政策制定提供數(shù)據(jù)支

持，幫助更有效地管理資源，減少環(huán)境影響；四是推動包容性增長：通過包容性人工

智能治理，考慮到所有國家的需求和愿望，確保技術發(fā)展惠及全球大多數(shù)人；五是國

際治理與合作：建立國際治理機構和合作平臺，促進知識和資源的共享，提供經濟激

勵促進遵守規(guī)范，共同應對全球挑戰(zhàn)；六是敏感性和透明度：監(jiān)督人工智能行業(yè)的實

踐，確保其符合倫理標準，尊重數(shù)據(jù)隱私和安全，減少剝削性做法。

VI

介紹

總體而言，人工智能治理在幫助發(fā)展中國家加速發(fā)展和實現(xiàn)全球可持續(xù)發(fā)展目標

方面發(fā)揮著重要作用，但同時也需要注意其潛在的挑戰(zhàn)和風險，特別兼顧不同發(fā)展目

標方面。

第四章，工程視角下的人工智能治理

支持治理的技術手段和工具可能包括：

了解和評估模型能力的重要性。目前還缺乏系統(tǒng)的概念框架來決定模型的具體能

力，這阻礙了人工智能的有效治理。建議制定評估模型能力的標準化方法應成為治理

的優(yōu)先事項，并強調了在人機互動中形成合理策略和廣泛的理解、知識和技能的重要

性，可解釋的人工智能也有助于發(fā)展實用智慧。

加強人工智能安全治理的標準化工作。如建立準則更新機制、研制應用領域專項

標準、建設試驗區(qū)等。這些標準化工作有助于引導人工智能的可控發(fā)展。

基于風險和多方參與的方法治理生成式人工智能，開發(fā)評估框架和工具，并尋求

國際合作。這為負責任地應用人工智能提供了參考。

通過開源和治理的民主化使人工智能開發(fā)與部署更符合公共利益，建議構建跨文

化跨語言的倫理數(shù)據(jù)庫，保持開放的公眾參與，這有助于提高人工智能系統(tǒng)的安全性

和價值對齊。

此外，還需要加強國際間的對話交流、建立包容的安全規(guī)則、開源高質量數(shù)據(jù)集

等，以應對當前人工智能發(fā)展中的規(guī)則分散、價值對齊難度、加劇貧富分化等問題。

總體而言，工程技術對人工智能治理起關鍵支撐作用。需要深化對關鍵問題的理

解，并將之轉化為模型設計、訓練與驗證等具體實踐。

第五章，企業(yè)視角下的人工智能治理

各家企業(yè)的討論各有側重：

邁克爾·塞利托(MichaelSellitto)介紹了Anthropic的人工智能安全級別(ASL)的概

念，用于管理人工智能潛在的災難性風險。該方法借鑒了處理危險生物材料的生物安

全級別(BSL)標準，根據(jù)人工智能能力定義了風險等級，并要求不同等級采取不同的安

全措施。

司曉和曹建峰討論了人類反饋強化學習在提高大模型價值對齊中的應用，以及其

他技術和治理手段如數(shù)據(jù)處理、可解釋性、對抗測試等在模型價值對齊中的作用，從

工程層面保障人工智能系統(tǒng)價值觀安全和對齊的方法。

韋韜指出了近年來大語言模型在快速進步的同時，也面臨缺乏認知對齊、原則性

和可解釋性等問題。這會導致人工智能系統(tǒng)產生嚴重的錯誤決策并快速擴散執(zhí)行，造

VII

生成式人工智能安全與全球治理報告

成難以預見的后果。建議人工智能系統(tǒng)需要提高認知一致性，建立可驗證的推理鏈，

并與人類專家互動學習。

英特爾文章以其開發(fā)的偽造檢測技術為例，討論了負責任地應用人工智能改善民

眾生活的方法，如提高效率、創(chuàng)造力，幫助殘障人士等，從應用視角闡釋了負責任的

人工智能工程實踐。

總體而言，這幾篇從企業(yè)實踐的角度，討論了人工智能安全分級管理、價值對

齊、開源治理、負責任應用等人工智能治理中值得關注的若干問題，提供了有益的建

議和范例。

其中，對于粵港澳大灣區(qū)，專家認為可以發(fā)揮的獨特貢獻和價值

中國社會科學院哲學所科技哲學研究室主任、中國科協(xié)-復旦大學科技倫理與人類

未來研究院的段偉文建議粵港澳大灣區(qū)可從三方面為人工智能治理作出貢獻：一是數(shù)

據(jù)治理創(chuàng)新，通過制度創(chuàng)新和試驗探索，探索構建可信任的數(shù)據(jù)互通共享機制；二是

實施人工智能驅動的區(qū)域整合發(fā)展戰(zhàn)略，將人工智能治理的目標與人才、教育和就業(yè)

戰(zhàn)略結合起來，對大灣區(qū)的人才、教育和產業(yè)進行布局，使之適應人工智能未來的發(fā)

展；三是打造人工智能東方大灣區(qū)特區(qū)，在良好的人工智能治理和人工智能驅動區(qū)域

發(fā)展的基礎上，吸引全球人才，通過更具動態(tài)可塑性產業(yè)促進政策和不斷優(yōu)化的人工

智能治理模式，構建全球人工智能創(chuàng)新試驗區(qū)。

中國電子技術標準化研究院的馬騁昊、高萬琪和范思雨倡議在深圳建設國際人工

智能對齊與治理創(chuàng)新示范區(qū)。呼吁全球人工智能企業(yè)及科研院所共同參與，在一定范

圍內共同驗證相關的對齊方法、標準規(guī)范、治理工具、數(shù)據(jù)共享機制等方面內容的科

學性及可操作性。

南財合規(guī)科技研究院的王俊和娜迪婭建議粵港澳大灣區(qū)具有海量數(shù)據(jù)規(guī)模和豐富

應用場景優(yōu)勢，數(shù)據(jù)要素市場不斷擴大。應該充分發(fā)揮自身優(yōu)勢，充分挖掘數(shù)據(jù)價

值，在數(shù)據(jù)合規(guī)基礎之上，進一步促進公共數(shù)據(jù)等開放，推進多模態(tài)公共數(shù)據(jù)集建

設，打造高質量中文語料數(shù)據(jù)。

香港大學的納撒尼爾·沙拉丁(NathanielSharadin)認為，以系統(tǒng)的框架評估和理解

模型能力，應成為治理的優(yōu)先事項?；浉郯目梢岳脜^(qū)位優(yōu)勢，吸引國際人工智能企

業(yè)來區(qū)內共建治理示范區(qū)，進行各類人工智能安全和倫理治理工具的驗證，為全球治

理貢獻經驗。

綜合利用粵港澳的區(qū)位優(yōu)勢、產業(yè)基礎、開放程度等方面的獨特條件，可以為全

球人工智能治理作出積極貢獻，提升區(qū)域和中國的影響力。

VIII

第一章生成式人工智能的風險與挑戰(zhàn)

第一章生成式人工智能的風險與挑戰(zhàn)

大語言模型怪獸對利維坦與法律秩序的挑戰(zhàn)

季衛(wèi)東

自2017年谷歌發(fā)布Transformer網(wǎng)絡架構以來，短短五年多的時間，世界上迅速出

現(xiàn)了一大群大模型，而這些模型又衍生出多種技術架構、多種模態(tài)、多種場景。從已

發(fā)布大模型的全球分布來看，中國和美國明顯領先，超過全球總量的80%，其中美國

的大模型數(shù)量一直位居全球第一。

ChatGPT于2022年11月底一經發(fā)布，就憑借強大的對話能力和廣泛的應用風靡全

球，短短兩個月的時間就讓月活躍用戶規(guī)模達到1億，增速極其可觀。此后，這些大型

語言模型相繼發(fā)布，從賦能個人、減輕企業(yè)負擔等方面深刻影響了包括法律運作在內

的各種社會實踐場景，留下了一幅生成式AI物種大爆發(fā)的數(shù)字“寒武紀”景觀。據(jù)不完

全統(tǒng)計，截至2023年5月，中國科技企業(yè)和網(wǎng)絡平臺已上線各類人工智能語言模型79

個，其中通用模型34個。

必須承認，大語言模式在給國家和社會帶來便利和利益的同時，也帶來了令人不

安的風險甚至威脅。其中四項可列舉如下：

首先，由于類似ChatGPT的大語言模型提供在線對話服務，它們可以比現(xiàn)有的互

聯(lián)網(wǎng)搜索引擎收集更多的個人信息和隱私。因此，在“知道太多、利益沖突”的情況

下，大型語言模型及其操作者可能會通過控制溝通，誘導用戶做出違背自己意圖和利

益的選擇。

其次，現(xiàn)階段的大語言模型會將訓練數(shù)據(jù)中不存在也不可能存在的事物視為真實

的，并在對話中以不容置疑的語氣進行描述。這就是用戶經常抱怨的“嚴重胡言亂語”

的現(xiàn)象。從科學技術的角度來看，這當然只是一種“幻覺”?！盎糜X”現(xiàn)象與機器學

習用有限的訓練數(shù)據(jù)處理無限的未知數(shù)據(jù)的泛化能力密切相關。但在應用場景中，這

種幻覺可能會導致虛假信息的傳播，這對用戶或社會來說可能是致命的。

再次，大語言模型在使用各種數(shù)據(jù)進行學習或人工智能自動生成各種內容時，可

能會引發(fā)復雜的知識產權識別和保護問題。為了確保AIGC的可信性并明確責任，應

該發(fā)明、應用和推廣數(shù)字水印技術。

最后，大型語言模型可能有意無意地獲取企業(yè)或政府機構的機密信息，操縱輿論，

導致國家中央系統(tǒng)的安全體系出現(xiàn)漏洞，信息社會功能失調，甚至因惡意事故和犯罪

而引發(fā)社會動蕩。

1

生成式人工智能安全與全球治理報告

人類對語言的處理和智力的利用實際上是在無意識的情況下發(fā)生的?？茖W哲學家

邁克爾·波蘭尼曾在1964年指出：“我們知道的比我們能表述的更多。”換言之，知識體

系還應包括這種沒有明確意識到、或未被社會常識所認可、或不能言說的默會知識。

這一命題被表述為“波蘭尼悖論”，并成為人工智能理論的基礎。這也意味著人工智能

對無意識的語言處理，根本就無法設計那種獲得和應用所有語言的算法，也很難為機

器學習設定明確的訓練目標。

現(xiàn)在通行利用神經網(wǎng)絡進行機器學習，通過誤差反向傳播算法不斷調整神經元權

重和更新網(wǎng)絡參數(shù)，逐漸減少誤差，尋找訓練數(shù)據(jù)的正解。人們發(fā)現(xiàn)，當神經網(wǎng)絡的

規(guī)模被大幅度擴張之后，人工智能接龍預測的精確度就會突然得到顯著改善。這個發(fā)

現(xiàn)及其有意識的應用使機器學習進入了深度學習階段：無需復雜的規(guī)則和學習方法，

只要讓網(wǎng)絡規(guī)模倍增就可以使許多難題迎刃而解，迅速提高泛化能力——不言而喻，

這種神奇效果也證明了大語言模型的重要意義。其實質是多層網(wǎng)絡的自我學習和進入

語境（in-context）的學習，以及在此基礎上實現(xiàn)學習方法的學習——元學習。這樣一

來，人類對機器學習的特征設計也就變得沒有意義，人工智能實際上是開始進行自我

塑造，形成一種自動化的生態(tài)系統(tǒng)，甚至有可能脫離人類的控制。

正是在這里，“大語言建模怪獸”紛紛嶄露頭角，并且有可能因為在對數(shù)據(jù)進行深

度學習中放棄給定的特征設計，轉而自我設置次級目標而脫離人類控制，進而引起治

理方面的嚴重問題。這意味著大型語言模型將助產新型非人類或超人類智能的誕生，

這種智能將逐漸遠離人類并發(fā)展出與人類截然不同的價值觀。這也意味著，除了隱藏

在區(qū)塊鏈中的平臺怪物和主權個體游擊隊之外，主權利維坦還將面臨數(shù)十甚至數(shù)百個

強大的大型模型龐然大物的挑戰(zhàn)，即數(shù)字領域的國家主權，或者說“數(shù)字主權”?！泵媾R

著“百模大戰(zhàn)”和失控的挑戰(zhàn)。“數(shù)字主權”概念明確體現(xiàn)了主權國家對社會數(shù)字化轉型

的反應和自衛(wèi)立場。

為了防止上述各種風險演變成不可逆轉的災難，專家和行業(yè)領袖提出了暫停大型

模型開發(fā)、實現(xiàn)價值對齊、加強人工智能監(jiān)管等各種對策和建議。僅就價值對齊而言，

例如，美國布魯金斯學會2022年12月8日發(fā)表本杰明·拉森的文章《人工智能的地緣

政治與數(shù)字主權的崛起》，作者認為人工智能發(fā)展的不平衡將導致國家之間的不信任

加劇，進而導致數(shù)字主權的興起和技術脫鉤的出現(xiàn)；意識形態(tài)差異或道德原則差異可

能對人工智能和信息技術的管理產生更廣泛的地緣政治影響；因此確保人工智能價值

觀在國際層面的對齊可能是本世紀最重大的挑戰(zhàn)之一。無論如何，這是一場前所未有

的巨變，將不可避免地塑造新的國家和法律存在形式，并促進秩序范式的創(chuàng)新。

2

第一章生成式人工智能的風險與挑戰(zhàn)

針對這一重大變化，中國政府的策略是通過統(tǒng)一的超算網(wǎng)絡和基座模型層來合并

和整合數(shù)十個大型模型巨頭，并通過所謂的“主權區(qū)塊鏈”來防止點對點交互失去控制

的風險。結果必然會創(chuàng)建一個更強大的算法利維坦。正如米歇爾·?？滤A料的那樣，

這個算法利維坦實際上是一個環(huán)視裝置。在這里，數(shù)十億個探測器形成了視線陷阱，

創(chuàng)造了大衛(wèi)·里昂所描繪的那種監(jiān)視社會和文化。這種利維坦算法無處不在且強大，只

有通過人工智能系統(tǒng)中嵌入的程序性正當程序以及不同人工智能系統(tǒng)之間的去中心化

制衡才能防止其濫用。從這個意義上說，也可以說，進入大模型和生成式人工智能時

代后，人工智能治理的重點將從防止算法歧視轉向防止模型濫用。在主權利維坦、平

臺怪物、LLM巨頭乃至自我主權身份意識的互動中，法律正當程序原則將被重新定義

并與技術正當程序相結合，這種新的程序正義將發(fā)揮更重要的作用。

人工智能價值對齊的挑戰(zhàn)是構建符合人類價值觀和利益的人工智能系統(tǒng)(Russell,

2019)。這一挑戰(zhàn)涵蓋技術和規(guī)范方面(Gabriel,2020)。這項技術挑戰(zhàn)旨在將人類價值

觀編碼到人工智能系統(tǒng)中，確保它們按照預期行事。規(guī)范性挑戰(zhàn)涉及確定人工智能系

統(tǒng)和更廣泛的人工智能開發(fā)工作應遵循哪些價值觀。本文重點關注規(guī)范方面，并探討

了人工智能民主化的兩種形式——人工智能開發(fā)的民主化和人工智能治理的民主化—

—作為在人工智能發(fā)展中代表不同人類價值觀的手段。

季衛(wèi)東，上海交通大學文科資深教授、上海交通大學中國法與社會研究院院長、人工智能治理與法律

研究中心主任、計算法學與