大模型驅(qū)動(dòng)的多智能體協(xié)同初探 某著名企業(yè)某著名后某著名企業(yè)軟，現(xiàn)于某著名企業(yè)自然語言處理實(shí)驗(yàn)室（THUNLP）后，某著名企業(yè)水木學(xué)者，主要研究方向?yàn)轭A(yù)訓(xùn)練模型、自主智能體、群體智能；合作遠(yuǎn)CL、SIGIR、ICLR、AAAI、CIKM等人工智能、信息管理、軟件工程等相關(guān)的國際學(xué)術(shù)會(huì)議或期刊上以第一論文數(shù)篇。在群體智能方面，主持發(fā)布了大語言模型驅(qū)動(dòng)的群體協(xié)作框架ChatDev

、群體共學(xué)習(xí)范式Co-Learning、群體協(xié)同網(wǎng)絡(luò)Met，面向任務(wù)完成和社會(huì)模擬的多智能體平臺(tái)AgentVerse等。目

錄CONTENTS從大模型走向自主智能體大模型多智能體系統(tǒng)多智能體協(xié)同及演化智能體協(xié)同的縮放法則總結(jié)與展望PART

01從大模型走向自主智能體大模型驅(qū)動(dòng)的自主智能體學(xué)習(xí)環(huán)境靜態(tài)訓(xùn)練數(shù)據(jù)有限監(jiān)督信號直接大模型為智能“靈魂”學(xué)習(xí)環(huán)境動(dòng)態(tài)訓(xùn)練數(shù)據(jù)無限監(jiān)督信號間接智能體為智能“載體”大模型驅(qū)動(dòng)智能體智能體反饋大模型基礎(chǔ)大模型作為智能應(yīng)用技術(shù)的內(nèi)核，必須以自主智能體作為載體與動(dòng)態(tài)環(huán)境進(jìn)行交互，才能充分勝任動(dòng)態(tài)復(fù)雜的智能應(yīng)用，因此亟需發(fā)展大模型驅(qū)動(dòng)的自主智能體技術(shù)人工智能將進(jìn)入智能體時(shí)代自主智能體是OpenAI核心戰(zhàn)略之一2023年11月6日，OpenAI在第一屆開發(fā)者大會(huì)上正式提出構(gòu)建自主智能體及相關(guān)生態(tài)的戰(zhàn)略目標(biāo)人工智能研究必爭之地，2023

年自主智能體研究論文數(shù)量呈井噴趨勢自主智能體相關(guān)研究爆發(fā)式增長自主智能體相關(guān)研究在大模型帶動(dòng)下迅速成為現(xiàn)處于爭奪自主智能體技術(shù)高地的重要戰(zhàn)略窗口期目前自主智能體技術(shù)呈現(xiàn)百花齊放、多面競爭態(tài)勢，我國與人工智能領(lǐng)域國際領(lǐng)先研發(fā)機(jī)構(gòu)（OpenAI、某著名企業(yè)、谷歌、Meta、斯坦福大學(xué)等）處于同一起跑線2人類智能與人工智能人工智能很可能即將走跟人類智能一樣的發(fā)展路徑人類智能人工智能腦容量小腦容量大工具使用群體協(xié)作小模型大模型智能體群體智能XAgent：大模型驅(qū)動(dòng)的自主智能體框架XAgent通過雙循環(huán)機(jī)制協(xié)調(diào)決策制定和任務(wù)執(zhí)行過程：外循環(huán)規(guī)劃、內(nèi)循環(huán)執(zhí)行外循環(huán)處理任務(wù)的高級管理和分配，內(nèi)循環(huán)專注每個(gè)子任務(wù)的低級執(zhí)行和優(yōu)化PART

02大模型多智能體系統(tǒng)多智能體系統(tǒng)的兩種基本類型斯坦福SmallVille小鎮(zhèn)：基于層次規(guī)劃的智能體社會(huì)小鎮(zhèn)，實(shí)現(xiàn)人類社群行為的可信模擬清華ChatDev數(shù)字團(tuán)隊(duì)：基于語言交互的智能體數(shù)字公司，實(shí)現(xiàn)群體協(xié)作式軟件開發(fā)社會(huì)模擬型任務(wù)完成型多智能體自主交互：任務(wù)解決新范式群體協(xié)作實(shí)現(xiàn)多方優(yōu)勢互補(bǔ)、配合無間，提高解決問題的準(zhǔn)確率語言交互搭建溝通橋梁、緩解信息繭房，通過任務(wù)分工和協(xié)作執(zhí)行處理復(fù)雜任務(wù)?主智能體群體協(xié)作?---

-!---

-! ---

-?---

-!---

-解決?案復(fù)雜任務(wù)?語?模型多智能體系統(tǒng)核心研究框架順序型：各子組織間依次行動(dòng)互斥型：各子組織間選擇性行動(dòng)并發(fā)型：各子組織間并行行動(dòng)無目標(biāo)導(dǎo)向型：群體自由規(guī)劃及行為執(zhí)行（e.g.,

社會(huì)模擬）目標(biāo)導(dǎo)向型：制定群體特定目標(biāo)以協(xié)同進(jìn)行任務(wù)完成（e.g.,

軟件開發(fā)）行為關(guān)系：合作關(guān)系、競爭關(guān)系組織行為：激勵(lì)行為、團(tuán)隊(duì)凝聚力、勞動(dòng)力多元化、資源競爭、同齡人壓力、群體懈怠、評價(jià)焦慮、情緒感染等任務(wù)目標(biāo)組織管理社會(huì)組織行為路由聯(lián)盟結(jié)構(gòu)：獨(dú)立結(jié)構(gòu)、層次化結(jié)構(gòu)、中心化結(jié)構(gòu)、全連接結(jié)構(gòu)組織規(guī)模：小規(guī)模、中規(guī)模、大規(guī)模PART

03多智能體協(xié)同及演化ChatDev

–

交互鏈進(jìn)行編排通過角色扮演交流實(shí)現(xiàn)智能體間的方案提議和決策研討過程交流鏈將復(fù)雜任務(wù)分解為由原子任務(wù)組成的“方案生產(chǎn)線”CEOCPOCEOCTOCTOProgrammerProgrammerReviewerProgrammerTesterCTOProgrammer{modality}{language}{code}{code}{code}{spec}DesignerProgrammer{code}CEOCPO{manual}CTOProgrammerCEOCPODocumentingTestingCTOProgrammerDesignerCodingCEOCPOCTODesigninginstructorassistantWaterfall

ModelPhase-LevelChatChain

{task}Chat-LevelProgrammerReviewerTesterChatDev

–

交互機(jī)制通過角色化、記憶流、自反思機(jī)制，實(shí)現(xiàn)自上下文感知的主交互YouareaCEOfordecision-making…YouareaCTOforsystem

design…Language?Too

Hard!Java,

ok?Python!TheProcessofmunication{Dialogue}.Conclusion？——

——

—{Dialogue}Python!PseudoQuestionerChatDev

–

交互模式通過交互除幻機(jī)制municative

Dehallucination）緩解編碼幻覺（CodingHallucination）TesterProgrammerTraceback:File“main.py",line

12self.num=

nNameError:name'n'isnot

definedExplainand

Suggest:NameErroris

…Addparameternin

initProgrammerTesterSuggestion:Addparameternin

initGame:init( ,

n):.num=

n...TesterTest

Pass!多智能體協(xié)同實(shí)現(xiàn)“降本增效”軟件制作平均時(shí)間小于7.0分鐘且制作成本約$0.3美元CTC：從單隊(duì)伍到多隊(duì)伍的協(xié)作編排為了超越單一團(tuán)隊(duì)執(zhí)行的偏差，多隊(duì)伍能夠有效地從多方獲取見解、促進(jìn)跨團(tuán)隊(duì)間的交互，進(jìn)而產(chǎn)出更優(yōu)質(zhì)的內(nèi)容跨任務(wù)間的靜態(tài)流程限制了推理效率{modality}{language}{code}{code}{code}{spec}{code}{modality}{language}{code}{code}{code}{spec}{code}俄羅斯方塊解決方案經(jīng)驗(yàn)遷移五子棋本質(zhì)原因：智能體缺乏跨任務(wù)的過往經(jīng)驗(yàn)任務(wù) 工作流Co-Learning：智能體共同經(jīng)驗(yàn)習(xí)得核心思路：跨任務(wù)經(jīng)驗(yàn)遷移共同實(shí)踐：訓(xùn)練任務(wù)上進(jìn)行“彩排”，形成過往執(zhí)行軌跡共同記憶：對執(zhí)行軌跡進(jìn)行“捷徑”抽取和記憶共同推理：測試任務(wù)上利用捷徑記憶實(shí)現(xiàn)經(jīng)驗(yàn)化推理在經(jīng)驗(yàn)化的任務(wù)執(zhí)行過程中，智能體隨著經(jīng)驗(yàn)的積累實(shí)現(xiàn)推理步驟的顯著減少，即以更少的步驟實(shí)現(xiàn)了更高質(zhì)量的成品，實(shí)現(xiàn)群體推理過程的“降本增效”Co-Learning：多智能體經(jīng)驗(yàn)化共同學(xué)習(xí)框架隨任務(wù)批次的陸續(xù)執(zhí)行，在Co-Learning積累靜態(tài)經(jīng)驗(yàn)的基礎(chǔ)上，進(jìn)行相繼式和積累式兩類經(jīng)驗(yàn)動(dòng)態(tài)編輯Co-Evolving：經(jīng)驗(yàn)的迭代優(yōu)化捷徑經(jīng)驗(yàn)、相繼式和積累式經(jīng)驗(yàn)積累 任務(wù)執(zhí)行過程的協(xié)同效率隨經(jīng)驗(yàn)的動(dòng)態(tài)積累而逐步提升QianC,LiJ,etal.IterativeExperienceRefinementofSoftware-DevelopingAgents.In

arXiv:2405.04219大模型群體協(xié)作的通用流程，包含“智能體招募”、“協(xié)同決策”、“動(dòng)作執(zhí)行”與“檢驗(yàn)評估”四個(gè)階段AgentVerse：通用多智能體平臺(tái)PART

04智能體協(xié)同的縮放法則如何組織構(gòu)建高可拓展的群體協(xié)同？核心挑戰(zhàn)在于設(shè)計(jì)一個(gè)通用的組織結(jié)構(gòu)，實(shí)施合理的路由策略，并建立有效的記憶管理，以實(shí)現(xiàn)高效和可擴(kuò)展的群體協(xié)同Met：多智能體協(xié)作網(wǎng)在有向無環(huán)圖的拓?fù)渲喜渴鹬悄荏w（節(jié)點(diǎn)上部署執(zhí)行者、邊上部署發(fā)令者），形成多智能體協(xié)作網(wǎng)（Multi-Agent

CollaborationNetworks，Met）GRAPHTREECHAINStarTreeChainMesh Layered Random有向無環(huán)的拓?fù)浣Y(jié)構(gòu)多智能體協(xié)作網(wǎng)智能體部署Met：多智能體協(xié)作網(wǎng)通過拓?fù)渑判蜻M(jìn)行多智能體協(xié)作網(wǎng)的遍歷，“展開”成智能體交互的路由次序網(wǎng)絡(luò)上僅傳播交互后的解決方案（而非全程對話），構(gòu)筑可拓展的記憶管理機(jī)制解決方案可從邏輯推理，跨到軟件代碼、連貫故事、法律文書等異構(gòu)情景多智能體協(xié)作網(wǎng)基于拓?fù)渑判虻穆酚刹呗酝負(fù)湔归_InteractionTopologicalOrderingData

FlowMet：多智能體協(xié)作網(wǎng)支持大規(guī)模協(xié)同：可支持多種異構(gòu)拓?fù)洌踔脸休d上千個(gè)智能體協(xié)同工作小世界協(xié)同現(xiàn)象：越接近小世界網(wǎng)絡(luò)屬性的拓?fù)?，其綜合性能更優(yōu)越協(xié)同縮放法則：性能大致遵循Sigmoid形趨勢，相較神經(jīng)縮放法則更“早”被觀測PART

05總結(jié)與展望進(jìn)階智能體的愿景是從獨(dú)立的實(shí)體進(jìn)化為可協(xié)作和可演化的系統(tǒng)，通過集體智慧實(shí)現(xiàn)可涌現(xiàn)的效率和結(jié)果大模型智能體