PREORDERPREORDERPREORDERPREORDER群體智能技術(shù)正成為推動(dòng)革新的核心動(dòng)力。目前大模型已能夠構(gòu)建出清華大學(xué)自然語言處理實(shí)驗(yàn)室，長期深耕自然語言處理的前沿核心技與人類共創(chuàng)更加智慧和可持續(xù)的未來。我們期待通過這本白皮書，與推動(dòng)汽車行業(yè)迎接智能化的挑戰(zhàn)和機(jī)遇，開創(chuàng)智能汽車行業(yè)的嶄新篇PREORDERPREORDER大語言模型為我們提供了理解和應(yīng)對這些挑戰(zhàn)的全新視角。易慧智能是汽車行業(yè)領(lǐng)先的AI產(chǎn)品與業(yè)務(wù)解決方案提供商，擁有龐大壁智能，致力于將最尖端的AI科技及學(xué)術(shù)研究與最佳的技術(shù)落地業(yè)務(wù)體智能與組織孿生解決方案及一站式的運(yùn)營這本白皮書是我們對群體智能和組織孿生技術(shù)在汽車行業(yè)應(yīng)用的務(wù)實(shí)PREORDERPREORDER隨著ChatGPT的發(fā)展全球都掀起的智能化熱潮，2024年更被行業(yè)譽(yù)PREORDERPREORDERPREORDERPREORDERPREORDER隨著科技的飛速發(fā)展，汽車行業(yè)正面臨著顛覆性的變革。從傳統(tǒng)的燃油車到電動(dòng)汽車，從手動(dòng)駕駛到自動(dòng)駕駛，從機(jī)械座艙、電子座艙到智能座艙，每一次的技術(shù)突破都在推動(dòng)著汽車行業(yè)的進(jìn)步。在智能化、網(wǎng)絡(luò)化、電動(dòng)化的趨勢下，汽車不僅僅是一種出行工具，而是一個(gè)承載了眾多創(chuàng)新技術(shù)的移動(dòng)智能終端。在發(fā)展與變革的過程中，大語言模型和群體智能對車企在生產(chǎn)、銷售、營銷等各環(huán)節(jié)均帶來前所未有的機(jī)遇和挑戰(zhàn)，群體智能與組織孿生解決方案也從紙上談兵變?nèi)后w智能技術(shù)的發(fā)展，為汽車行業(yè)帶來了新的機(jī)遇。通過多個(gè)智能體的協(xié)作，可以處理更加復(fù)雜和動(dòng)態(tài)的任務(wù)，如智能交通系統(tǒng)的優(yōu)化、車輛群的協(xié)調(diào)運(yùn)行等。這不僅提高了汽車行業(yè)的運(yùn)營效率，也為此外，數(shù)字組織孿生技術(shù)的應(yīng)用，為汽車行業(yè)帶來了革命性的變革。通過創(chuàng)建數(shù)字孿生模型，企業(yè)能夠在虛擬空間中模擬和分析研發(fā)、生產(chǎn)與營銷流程，從而實(shí)現(xiàn)更高效的資源配置和風(fēng)險(xiǎn)管理。這項(xiàng)技術(shù)在產(chǎn)品設(shè)計(jì)、生產(chǎn)過程優(yōu)化、以及市場策略制定等方面都顯示出巨大本白皮書全面探討了大模型群體智能技術(shù)及其在汽車行業(yè)的應(yīng)用潛力。首先，我們在第一章分析了中國汽車行業(yè)的市場現(xiàn)狀，聚焦于消費(fèi)需求的變化、供給側(cè)的挑戰(zhàn)以及由此產(chǎn)生的機(jī)遇。接著，我們在第二章深入探討了大模型群體智能技術(shù)體系，包括大語言模型、AIAgent、群體智能和組織孿生。第三章著重于分析大模型群體智能技術(shù)在汽車行業(yè)的應(yīng)用價(jià)值和實(shí)踐案例。最后，在第四章詳細(xì)描述了汽車行業(yè)群體智能生態(tài)矩陣及其共贏邏輯，并以對未來的展望作為總結(jié)，強(qiáng)調(diào)了這些技術(shù)對于汽車行業(yè)轉(zhuǎn)型升級的重要性。中國汽車行業(yè)發(fā)展近30年經(jīng)歷了“起步積累段干預(yù)個(gè)人購車，價(jià)格機(jī)制逐步發(fā)揮調(diào)控作用。進(jìn)入2勵(lì)轎車進(jìn)入家庭，市場價(jià)格成為調(diào)控需求與供給的核心機(jī)制。21世紀(jì)數(shù)據(jù)來源：全球經(jīng)濟(jì)指標(biāo)雖然中國乘用車市場整體處于需求增長停滯的大環(huán)境中，但細(xì)分的新能源車市場表現(xiàn)越加醒目。2023年新能源汽車市場滲透率突破30%，提前實(shí)現(xiàn)了《新能源汽車產(chǎn)業(yè)發(fā)展規(guī)劃(2021-2035)》中關(guān)于2025年新能源新車銷量達(dá)到新車總銷量20%的目標(biāo)，已經(jīng)成為我國汽車行業(yè)彎道超車的重點(diǎn)賽道。國家政策的扶持給新能源汽車發(fā)展帶來眾多有利條件，財(cái)政部、稅務(wù)總局、工信部在2023年6月聯(lián)合發(fā)布的《關(guān)于延長和優(yōu)化新能源車輛購置稅減免政策的公告》，將新能10月由科技部發(fā)布的《關(guān)于支持新能源汽車產(chǎn)業(yè)高質(zhì)量發(fā)展的若干政策實(shí)施》等一系列政策的頒布，推動(dòng)了新能源汽車市場繁榮發(fā)展、刺數(shù)據(jù)來源：全國乘用車市場信息聯(lián)席會(huì)，統(tǒng)計(jì)整理易車研究院調(diào)研發(fā)現(xiàn)，結(jié)婚、生子是中國老百姓的關(guān)鍵購車需求節(jié)點(diǎn)[1-1]。2008年開始，80后的“結(jié)婚購車?yán)顺薄笔侵袊囀校ㄌ貏e是首購車用戶）的主要推動(dòng)力。2018年后，90后開始大規(guī)模進(jìn)入車市，90后人數(shù)減少購買潛力不及80后；結(jié)合圖表1-4我們發(fā)現(xiàn)近五年大家對結(jié)婚和生子積極性持續(xù)走低，一定程度上降低了首購車人首購車用戶呈現(xiàn)下降趨勢，再購逐漸成為核心增長動(dòng)力且均價(jià)有所提升，給中高端車型帶來更多機(jī)會(huì)。根據(jù)易車研究院2023年《家庭擁車數(shù)量洞察報(bào)告》2014年至2022年首購和再購的數(shù)據(jù)，再購市調(diào)研，有54%的受訪者表示在再購車時(shí)考慮升級價(jià)格區(qū)間[1-3]，促數(shù)據(jù)來源：易車研究院（以家庭為單位）《家庭擁車數(shù)量洞察報(bào)告》[1-2]近年來消費(fèi)者獲取汽車資訊呈現(xiàn)多渠道、多觸點(diǎn)的特點(diǎn)，在常態(tài)化觸媒包圍下，品牌主都在想方設(shè)法地?fù)屨加脩糇⒁饬?。群邑?lián)合易車發(fā)布的《2023全域鏈路時(shí)代汽車營銷變革白皮書》中提到，整用戶注意力從原先聚焦于汽車垂直資訊平臺(tái)與汽車廠商官網(wǎng)，持續(xù)且不同程度地分散到各個(gè)泛娛樂類短視頻平臺(tái)、知識(shí)分享及社交媒體平臺(tái)、搜索引擎、新聞資訊平臺(tái)和綜合視頻平臺(tái)等。廠商需依據(jù)各平臺(tái)的用戶畫像和推送邏輯，不斷向用戶推送車系種草內(nèi)容或競品攔截信息搶占用戶注意力。從被動(dòng)獲取信息到主動(dòng)篩選、糅合信息，實(shí)際延長了用戶從形成認(rèn)知到產(chǎn)生購買行為的時(shí)間，用戶注意力被分散的同時(shí)也增加了轉(zhuǎn)化難度。因此，企業(yè)亟待信息整合，為用戶提供高2019-2023年汽車品牌與車型迅猛增長，在新產(chǎn)品數(shù)目不斷擴(kuò)張的同時(shí)，舊有格局也悄然發(fā)生變化，給新入局者提供了發(fā)展機(jī)會(huì)，也為汽車市場注入了新的活力。快速涌入的新產(chǎn)品給消費(fèi)者更多的選擇空間，滿足不同消費(fèi)者多樣化的需求，其中新能源品牌近年來在汽車數(shù)據(jù)來源：各品牌官方發(fā)布渠道，統(tǒng)計(jì)整理近5年來整體市場份額波動(dòng)較大，行業(yè)洗牌加速且尚未形成穩(wěn)定格局，恰好是新入局玩家憑借敏銳的市場洞察和創(chuàng)新能力，在市場中迅速崛起的好時(shí)機(jī)。如圖表1-9展示近5年中國乘用車品牌銷量數(shù)據(jù)來源：全國乘用車市場信息聯(lián)席會(huì)，統(tǒng)計(jì)整理我們認(rèn)為“價(jià)格戰(zhàn)”是把雙刃劍，企業(yè)可以利用價(jià)格優(yōu)惠吸引消費(fèi)者注意，在激烈的市場競爭中快速搶占份額，但同時(shí)也會(huì)壓縮部分利潤空間。從2021年-2023年9月中國乘用車市場終端優(yōu)惠與終端銷量走勢圖表，不難發(fā)現(xiàn)優(yōu)惠幅度與銷量基本呈正比。2021-2022年，中國乘用車市場每輛車的平均優(yōu)惠幅度在1.5-2隨后眾多新能源品牌和傳統(tǒng)車企也紛紛跟進(jìn)，通過降價(jià)、限時(shí)促銷等方式來吸引消費(fèi)者。2023年二季度末，平均每輛車的終端優(yōu)惠突破了數(shù)據(jù)來源：易車車型庫，出處：易車研究院，《2023年車市價(jià)格戰(zhàn)洞察報(bào)告》[1-1]銷量提升并不等同于企業(yè)利潤提升。2023年上半年，從國內(nèi)10家上市車企業(yè)對外公布的財(cái)報(bào)數(shù)據(jù)看，多數(shù)車企上半年?duì)I收、凈利潤數(shù)據(jù)來源：上市公司車企財(cái)報(bào)公開信息整理2023年上半年，經(jīng)銷商集團(tuán)受到價(jià)格戰(zhàn)影響，虧損面積增大。降價(jià)銷售新車壓縮了利潤空間，毛利潤和毛利率均不及22年同期也有部分消費(fèi)者為搭乘購置稅減半的福利，在22年底前提前透支數(shù)據(jù)來源：經(jīng)銷商集團(tuán)財(cái)報(bào)公開信息整理打造行業(yè)領(lǐng)先的成本優(yōu)勢、實(shí)現(xiàn)一致的品牌體驗(yàn)持續(xù)影響用戶心易慧智能實(shí)地走訪汽車銷售門店發(fā)現(xiàn)，人力成本居高不下，引入傳統(tǒng)工具化應(yīng)用也并未帶來預(yù)期的經(jīng)營效能提升，此外，人員服務(wù)專業(yè)度問題及為保障品牌一致性帶來了大量額外成本問題，是經(jīng)銷商與品牌直營店面臨的普遍挑戰(zhàn)。品牌在銷售模式上，正加速從主流經(jīng)銷商模式到直營模式，再到混合經(jīng)營模式進(jìn)行積極探索，以達(dá)到降本增經(jīng)銷商模式通過經(jīng)銷商網(wǎng)絡(luò)銷售和服務(wù)車輛，仍是當(dāng)前汽車廠商的主流銷售渠道。自負(fù)盈虧的經(jīng)銷商模式，具備覆蓋性廣、細(xì)分性強(qiáng)經(jīng)銷商門店人工邀約試駕，仍是潛客孵化的主要手段。面對嚴(yán)苛的邀約數(shù)量、服務(wù)通話質(zhì)量和轉(zhuǎn)化率考核，經(jīng)銷商顧問在有限精力內(nèi)僅能做到應(yīng)付考核，對中低意向的客戶基本放棄維護(hù)，導(dǎo)致大量潛客流失。即便專業(yè)類應(yīng)用工具越來越多，但學(xué)習(xí)成本極高，多半是擺設(shè)，主機(jī)廠無法獲得用戶真實(shí)數(shù)據(jù)反饋，難以帶來經(jīng)營效益及效率提升。新勢力品牌入局多采用直營模式，通過品牌APP報(bào)價(jià)/下單、設(shè)立自營交付中心，沒有中間商賺差價(jià)可以有效的控制價(jià)格和利潤，全鏈路對接終端消費(fèi)者，有效保障了品牌服務(wù)的一致性，優(yōu)異的線下體驗(yàn)對促成購車不可或缺。與用戶直聯(lián)的環(huán)節(jié)中，廠商可以更加準(zhǔn)確有效的掌握消費(fèi)者的第一手信息、迅速獲得產(chǎn)品反饋，幫助企業(yè)快速進(jìn)行產(chǎn)品迭代。特別在品牌建立初期，直營模式利于品牌形象打造、提需要極高的運(yùn)營成本投入在門店建設(shè)和人員培訓(xùn)，無疑縮小了品牌的基于汽車行業(yè)加速內(nèi)卷的市場競爭和消費(fèi)者需求放緩的市場背景，人工智能正在重塑汽車行業(yè)的生態(tài)，對汽車企業(yè)智能化轉(zhuǎn)型而言是挑戰(zhàn)更是機(jī)遇。全面的成本領(lǐng)先是未來汽車企業(yè)競爭的基礎(chǔ)。在激烈的市場競爭中，汽車企業(yè)需要通過全面的成本領(lǐng)先策略來降低生產(chǎn)成本、提高運(yùn)營效率，從而獲取競爭優(yōu)勢。在人工智能時(shí)代，自動(dòng)化和智能化生產(chǎn)成為主流趨勢，這有助于降低汽車企業(yè)的生產(chǎn)成本和提高生產(chǎn)效率。例如，通過引入自動(dòng)化生產(chǎn)線和智能倉儲(chǔ)管理系統(tǒng)，汽車企業(yè)可以減少人力成本和庫存成本，從而實(shí)現(xiàn)更高效的生產(chǎn)管理。同時(shí)，企業(yè)需持續(xù)投入大量資金進(jìn)行技術(shù)研發(fā)和人才引進(jìn)，關(guān)注全球產(chǎn)業(yè)鏈的變化，積極尋求與供應(yīng)商和合作伙伴的協(xié)同降本機(jī)會(huì)，建立完善的AI基礎(chǔ)設(shè)施以實(shí)現(xiàn)降本增效。一致的品牌體驗(yàn)和個(gè)性化的品牌溝通會(huì)成為品牌心智塑造的勝負(fù)手。借助AI技術(shù)，企業(yè)可以更深入地了解消費(fèi)者需求，提供個(gè)性化的品牌溝通和一致的品牌服務(wù)體驗(yàn)，來滿足消費(fèi)者對品質(zhì)和服務(wù)的基本需求，從而塑造出可信賴的品牌形象。例如，根據(jù)消費(fèi)者的購車習(xí)慣和偏好，為其推薦合適的車型和配置。同時(shí)，企業(yè)可以通過AI技術(shù)優(yōu)化客戶服務(wù)中心，提供高效、專業(yè)的咨詢服務(wù)，提升用戶滿意度和用戶粘性。然而，在保持品牌一致性的同時(shí)滿足消費(fèi)者的個(gè)性化需求，這需要企業(yè)具備精準(zhǔn)的市場分析和精細(xì)的產(chǎn)品規(guī)劃能力。此外，企業(yè)還需面對數(shù)據(jù)安全和隱私保護(hù)的挑戰(zhàn)，確保消費(fèi)者數(shù)據(jù)的安全與合規(guī)使用。科技突破：邁向通用人工智能的大模型群體數(shù)據(jù)驅(qū)動(dòng)的解決方案與精細(xì)化運(yùn)營突破人效天花板。隨著科技的進(jìn)步和消費(fèi)者需求的變化，傳統(tǒng)的以“人”為中心的運(yùn)營方式已經(jīng)難以適應(yīng)市場發(fā)展的需求。在人工智能時(shí)代，數(shù)據(jù)成為企業(yè)的核心資產(chǎn)。通過對數(shù)據(jù)的收集、分析和挖掘，企業(yè)可以洞察市優(yōu)化產(chǎn)品設(shè)計(jì)、提升服務(wù)質(zhì)量。例如，利用AI算法分析消費(fèi)者行為數(shù)據(jù)，預(yù)測未來市場趨勢，提前布局產(chǎn)品研發(fā)。同時(shí)，企業(yè)可以通過精細(xì)化運(yùn)營提高人效，降低人工成本。例如，利用AI技術(shù)優(yōu)化人力資源管理，實(shí)現(xiàn)人才的精準(zhǔn)招聘與培養(yǎng)。然而，數(shù)據(jù)驅(qū)動(dòng)的解決方案與精細(xì)化運(yùn)營也對企業(yè)提出了新的要求。企業(yè)需構(gòu)建完善的數(shù)據(jù)收集和分析體系，確保數(shù)據(jù)的準(zhǔn)確性和完整性；企業(yè)需加強(qiáng)數(shù)據(jù)安全保護(hù)，防止數(shù)據(jù)泄露和被濫用?？萍纪黄疲哼~向通用人工智能的大模型群上限。隨著技術(shù)發(fā)展，大規(guī)模與訓(xùn)練語言模型參數(shù)數(shù)量不斷快速提升，模型能力也飛速躍升，2022年底，隨著ChatGPT的發(fā)布，人們廣泛意識(shí)到大模型對技術(shù)和生產(chǎn)力帶來的無限潛力，開始討論大語言模型是否產(chǎn)生了智能的“涌現(xiàn)”，研究基于大語言模型應(yīng)用到生產(chǎn)生活領(lǐng)在當(dāng)下，大模型技術(shù)路線已在產(chǎn)業(yè)界達(dá)成廣泛共識(shí)，但究竟它將成為類似Web3.0的技術(shù)浪潮，還是一場足以綿延至少十年的產(chǎn)業(yè)革命，仍是一個(gè)值得深思的問題。以大模型為核心的AGI革命是第四次重大技術(shù)變革，它可以和蒸汽革命、電力革命、信息革命相提并論，并將持續(xù)至少20到30年，深刻改變我們的世界。若干年后，整個(gè)人科技突破：邁向通用人工智能的大模型群體我們可以將大模型比作汽車引擎，它為汽車提供動(dòng)力。然而，要制造出一輛完整的汽車，除引擎外，還需要轉(zhuǎn)向系統(tǒng)、底盤、內(nèi)飾以及其他所有必要組件。同樣，要充分發(fā)揮大模型的潛力，我們還需要在這個(gè)“引擎”基礎(chǔ)上加入一系列高級技術(shù)，如增強(qiáng)的記憶能力和使用工具的能力，這樣才能開拓更廣泛的應(yīng)用領(lǐng)域和想象空間。而AIAgent（智能體）正是集合這些技術(shù)能力的載體。隨著針對大語言模型的廣泛研究，人們發(fā)現(xiàn)大模型目前存在“幻覺”等問題，導(dǎo)致在真實(shí)場景中落地困難。鑒于此，能夠調(diào)用工具，進(jìn)行復(fù)雜任務(wù)規(guī)劃、執(zhí)行的Agent技術(shù)，逐漸進(jìn)入人們研究的領(lǐng)域。AIAgent的出現(xiàn)開啟了一種新的交互方式。不再是被動(dòng)的執(zhí)行工具，它能主動(dòng)感知環(huán)境并動(dòng)態(tài)響應(yīng)，標(biāo)志著人類智能理解的主動(dòng)轉(zhuǎn)變。這一創(chuàng)新是邁向全面人工智能情感智能、感知能力、價(jià)值觀念和成長潛力。這些特征使它們能夠適應(yīng)多種應(yīng)用場景。為使單個(gè)智能體發(fā)揮出色的能力，需要讓它們相互連接并協(xié)作，以處理和完成更為復(fù)雜的任務(wù)。實(shí)際上，無論是人類社會(huì)還是自然界，群體智能的案例比比皆是。正如我們需要團(tuán)隊(duì)和組織將個(gè)人聯(lián)合起來一樣，自然界中的蜂群、蟻群和魚群也展示出超越個(gè)體的高級智能行為。簡單個(gè)體聚集成群體時(shí)，個(gè)體間交互能夠使群體涌現(xiàn)超越個(gè)體的智能。隨著研究的深入，AIAgent相互間，能夠通過通信形成協(xié)作，完成單智能體無法完成的工作。結(jié)合能夠自主理解、規(guī)劃、執(zhí)行、反思任務(wù)的AIAgent技術(shù)，并最終采用最短路徑科技突破：邁向通用人工智能的大模型群體式：組織孿生。組織孿生是一個(gè)以數(shù)字技術(shù)為核心的創(chuàng)新框架，它包括三個(gè)關(guān)鍵部分：崗位孿生、架構(gòu)孿生和業(yè)務(wù)孿生。崗位孿生利用大模型技術(shù)創(chuàng)建個(gè)人的數(shù)字孿生虛擬人，這些虛擬人能模擬真人的交流方式，包括聲音和表情，并具備“感性智能”。它們能夠執(zhí)行內(nèi)容生成、基礎(chǔ)交流、客戶服務(wù)等工作。架構(gòu)孿生則是在數(shù)字世界中映射真實(shí)公司的組織架構(gòu)，通過智能體網(wǎng)絡(luò)技術(shù)定義智能體間的交流和邏輯。最后，業(yè)務(wù)孿生通過整合大語言模型、搜索增強(qiáng)技術(shù)和智能體構(gòu)建等，自動(dòng)執(zhí)行實(shí)際業(yè)務(wù)，優(yōu)化業(yè)務(wù)執(zhí)行效果。這個(gè)框架特別適用于復(fù)雜的行業(yè)場景，如汽車行業(yè)，提供了一個(gè)全新的數(shù)字化工作和管理方式。大語言模型基本概念技術(shù)，大幅刷新各類自然語言處理任務(wù)的性能上限，已經(jīng)成為人工智能領(lǐng)域的主流技術(shù)范式。預(yù)訓(xùn)練語言模型采用“預(yù)訓(xùn)練+微調(diào)”方法，主要分為兩步：1）將模型在大規(guī)模無標(biāo)注數(shù)據(jù)上進(jìn)行自監(jiān)督訓(xùn)練得到預(yù)訓(xùn)練模型，2）將模型在下游各種自然語言處理任務(wù)上的小規(guī)模有標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)得到適配模型。相比傳統(tǒng)人工智能模型，預(yù)訓(xùn)練模型在下游應(yīng)用中具有數(shù)據(jù)成本低、通用性強(qiáng)、綜合性能好科技突破：邁向通用人工智能的大模型群體并且僅通過少量樣本的學(xué)習(xí)，就達(dá)到逼近人類的學(xué)習(xí)能力，展現(xiàn)出邁訓(xùn)練數(shù)據(jù)量呈現(xiàn)“伸縮定律”（ScalingLaw）現(xiàn)象，即模型參數(shù)、訓(xùn)練數(shù)據(jù)規(guī)模越大模型性能越好，這激發(fā)了大語言模型研究熱潮。大大語言模型發(fā)展歷程圖表2-6展示了由深度學(xué)習(xí)引導(dǎo)的本輪人工智能大潮里程碑式成果。本輪深度學(xué)習(xí)浪潮可以最早從視覺領(lǐng)域發(fā)展起來，2012年圖靈獎(jiǎng)得主Hinton提出AlexNet在大規(guī)模視覺識(shí)別挑戰(zhàn)賽Im測上大幅超越現(xiàn)有模型，并首次在深度學(xué)習(xí)中引入GPU加速，激發(fā)了深度學(xué)習(xí)的研究熱潮。2012至2016年間，視覺領(lǐng)域成為深度學(xué)習(xí)的主導(dǎo)領(lǐng)域，生成對抗網(wǎng)絡(luò)GAN、深度殘差網(wǎng)絡(luò)ResNet等創(chuàng)新技術(shù)應(yīng)運(yùn)而生。同時(shí)，自然語言處理領(lǐng)域亦有所發(fā)展，如文本詞嵌入基礎(chǔ)，盡管其在性能提升上并不顯著。2017年成為轉(zhuǎn)折點(diǎn)，Google提出的Transformer框架在機(jī)器翻譯中取得顯著進(jìn)步，其分布式學(xué)習(xí)于Transformer提出了預(yù)訓(xùn)練語言模型BERT和GPT，顯著提高了技術(shù)范式的開端。此后，眾多預(yù)訓(xùn)練模型相繼涌現(xiàn)，OpenAI以GP本學(xué)習(xí)和復(fù)雜任務(wù)處理的能力，顯示出實(shí)現(xiàn)通用智能的巨大潛力，開等跨模態(tài)模型，進(jìn)一步推動(dòng)了深度學(xué)習(xí)和人工智能的發(fā)展?？萍纪黄疲哼~向通用人工智能的大模型群體此次大模型浪潮中，OpenAI成為該領(lǐng)域的絕對的領(lǐng)導(dǎo)者，其提性能發(fā)生質(zhì)變，開創(chuàng)了人工智能的新變革。圖表2-7展示了OpenAI大語言模型能力與特點(diǎn)大語言模型較傳統(tǒng)人工智能模型，呈現(xiàn)出如下能力和特點(diǎn)，如圖據(jù)量的增加，大語言模會(huì)涌現(xiàn)出上下文學(xué)習(xí)、指令遵循、思維鏈推理、交互認(rèn)知等能力。這里上下文學(xué)習(xí)是指給定少量演示樣本，大模型就可以參考回答用戶的問題，具備了一舉反三能力；指令遵循是指用戶給定任務(wù)描述文本指令，大模型可以找指令要求回答問題；思維鏈推理旨在大模型能夠給出問題解答過程，通過推理過程可以提升大模型回答準(zhǔn)確率；交互認(rèn)知是指大模型具備與工具、環(huán)境等交互完成任務(wù)大模型可以與人類的需求、期望、價(jià)值觀、倫理道德等進(jìn)行深度對齊，通過有監(jiān)督微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)等學(xué)習(xí)人類偏好反饋，能夠有效降低大模型的錯(cuò)誤、虛假等“幻覺”內(nèi)容生成，提升大模型的忠誠性、可靠性、有幫助性等，這是ChatGPT成功關(guān)鍵，也是目前解決大模型安全的關(guān)鍵技術(shù)。OpenAI團(tuán)隊(duì)提出了超級對齊的概念，并給出了科技突破：邁向通用人工智能的大模型群體·序列建模，大語言模型技術(shù)能夠?qū)θ魏慰梢员恍蛄谢氖聞?wù)進(jìn)行壓縮和學(xué)習(xí)。大語言模型采用Transformer架構(gòu)，通過將輸入轉(zhuǎn)化成token序列實(shí)現(xiàn)對輸入的編碼和理解。目前Transformer架構(gòu)已經(jīng)成為文本、視覺、語音等各種領(lǐng)域的大模型的核心架構(gòu)，實(shí)現(xiàn)了對各種模態(tài)數(shù)據(jù)編碼能力。在文本之外，我們可以通過序列化方法抽象、學(xué)習(xí)理解世界中的萬事萬物，如語言可以轉(zhuǎn)化成文本序列，圖像通過成序列，Agent的工具調(diào)用可以劃分成動(dòng)作執(zhí)行的序列，電磁波可以轉(zhuǎn)化成音頻序列等。在大模型中這些序列都是詞元（Token）序列。任何可以被序列化的信息均可被大模型學(xué)習(xí)。大語言模型發(fā)展趨勢更大模型參數(shù)：由于大模型性能與模型參數(shù)呈現(xiàn)“ScalingLaw”（擴(kuò)展定律），即在充分?jǐn)?shù)據(jù)訓(xùn)練下模型參數(shù)規(guī)模越大模型的性能越好。同時(shí)，模型參數(shù)規(guī)模越大模型的泛化性和復(fù)雜數(shù)據(jù)的編碼能力也越好，而且呈現(xiàn)更強(qiáng)的涌現(xiàn)能力。這激發(fā)了人們對更大模型的參數(shù)規(guī)模從過去的5年間，參數(shù)規(guī)模增長5000倍（2018年幾億參數(shù)科技突破：邁向通用人工智能的大模型群體多模態(tài)大模型：多模態(tài)數(shù)據(jù)豐富無處不在，互聯(lián)網(wǎng)90%以上是圖像與音視頻數(shù)據(jù)，文本不到10%。多模態(tài)協(xié)同更符合人類感知與表達(dá)方式，是機(jī)器實(shí)現(xiàn)類人智能重要途徑。目前構(gòu)建融合更多模態(tài)的大模型是當(dāng)前大模型發(fā)展趨勢。這一趨勢是指將文本、圖像、聲音等多種模態(tài)的數(shù)據(jù)融合在一起，通過大模型進(jìn)行處理和理解。例如，Midjourney和OpenAI的DALL-E2能夠根據(jù)文本描述生成相應(yīng)的圖像，而GPT-4可以根據(jù)理解圖像和文本跨模態(tài)理解和生成。這類模型AIforScience（大模型+X于科學(xué)研究中，例如藥物發(fā)現(xiàn)、蛋白質(zhì)結(jié)構(gòu)預(yù)測等。大模型在這些領(lǐng)域的應(yīng)用，不僅能夠加速數(shù)據(jù)分析和知識(shí)發(fā)現(xiàn)，還能夠提出新的科學(xué)的蛋白質(zhì)結(jié)構(gòu)預(yù)測模型Alphafold，預(yù)測準(zhǔn)確性已達(dá)到與人類可比水平，取得了重大突破，極大地加速了生物醫(yī)學(xué)領(lǐng)域的研究進(jìn)程。清華大學(xué)將大模型應(yīng)用于生醫(yī)領(lǐng)域提出了KV-PLM，將生醫(yī)文獻(xiàn)數(shù)據(jù)中分子結(jié)構(gòu)通過SMILES表達(dá)式的形式映射到自然語言，然后對文字表達(dá)序列和生醫(yī)文本進(jìn)行掩碼語言建模，實(shí)現(xiàn)了分子表達(dá)式與文本描述的橋接，在分子檢索等領(lǐng)域任務(wù)上取得大幅提升。些智能體可以在多種場景下協(xié)助人類，如個(gè)人助理、客服機(jī)器人、教育輔助等。AIAgent的發(fā)展不僅在于算法本身的優(yōu)化，還包括對人類行為和需求的理解，以及與人類的交互能力。例如，GPT-4等大語言Transformer架構(gòu)Transformer架構(gòu)[2-1]是目前大語言模型采用的主流架構(gòu)[2-思想是通過自注意力機(jī)制獲取輸入序列的全局信息，并將這些信息通過網(wǎng)絡(luò)層進(jìn)行傳遞。標(biāo)準(zhǔn)的Transformer如圖表2-12所示，是一個(gè)編碼器-解碼器架構(gòu)，其編碼器和解碼器均由一個(gè)編碼層和若干相同的Transformer模塊層堆疊組成，編碼器的Transformer模塊層包括多頭注意力層和全連接前饋網(wǎng)絡(luò)層，這兩部分通過殘差連接和層歸一化操作連接起來。與編碼器模塊相比，解碼器由于需要考慮編碼器輸出作為背景信息進(jìn)行生成，其中每個(gè)Transformer層多了一個(gè)交叉科技突破：邁向通用人工智能的大模型群體注意力層。相比于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)Transformer架構(gòu)包含編碼層與Transform編碼層，主要是將輸入詞序列映射到連續(xù)值向量空間進(jìn)行編碼，每個(gè)詞編碼由詞嵌入和位置編碼構(gòu)成，由二者加和得到：1）詞嵌入，在Transformer架構(gòu)中，詞嵌入是輸入數(shù)據(jù)的第一步處理過程，它將詞映射到高維空間中的向量，可以捕獲詞匯的語義信息，如詞義和語法關(guān)系。每個(gè)詞都被轉(zhuǎn)化為一個(gè)固定長度的向量，2）位置編碼，由于自注意力機(jī)制本身對位置信息不敏感，為了讓模型能夠理解序列中的順序信息，引入了位置編碼。標(biāo)準(zhǔn)Transformer架構(gòu)的位置編碼方式是使用正弦和余弦函數(shù)Transformer模塊，通過自注意力機(jī)制獲取輸入序列的全局信息，并將這些信息通過網(wǎng)絡(luò)層進(jìn)行傳遞，包括多頭注意力層和全連接前饋網(wǎng)絡(luò)層，這兩部分通過殘差連接和層歸一化操作連接起來，Transformer模塊，由自注意力層、全連接前饋層、殘差連接和層歸值矩陣，其中矩陣中的每一行對應(yīng)一個(gè)詞。注意力機(jī)制的計(jì)算方Attention）機(jī)制，即輸入序列被線性映射多次得到不同的投影矩陣。多個(gè)尺度化后點(diǎn)積注意力可以并行計(jì)算，并產(chǎn)生多個(gè)自注意力輸出。多頭注意力生成多個(gè)高維的注意力表示，這使得其比單頭注意力具有科技突破：邁向通用人工智能的大模型群體FFN作用包括兩個(gè)方面：（1）非線性激活：在每個(gè)注意力模塊之后引入了非線性激活函數(shù)，這有助于增強(qiáng)模型的表達(dá)能力2）信息整合：自注意力機(jī)制允許模型在不同的位置間建立聯(lián)系，而全連接前饋網(wǎng)絡(luò)則在每個(gè)位置獨(dú)立地對信息進(jìn)行整合，這兩者結(jié)合起來，使得模型既能捕獲全局（長距離）的信息，又能在每個(gè)位置進(jìn)行局部息并確保模型性能。具體來說，對于某一層神經(jīng)網(wǎng)絡(luò)，殘差連接和歸一化層定義為LayerNorm(x+f(x))在Transformer模型被提出之后，它也衍生出了相當(dāng)一部分的變體，包括在編碼器和解碼器中出現(xiàn)了不同方式的注意力機(jī)制、歸一化大語言模型典型架構(gòu)現(xiàn)有的大語言模型幾乎全部是以Transformer模型作為基礎(chǔ)架構(gòu)來構(gòu)建的，不過它們在所采用的具體結(jié)構(gòu)上通常存在差異。LLM根據(jù)架構(gòu)主要分為三類：1）自回歸語言模型，采用Transformer的編構(gòu)，代表性模型BERT、RoBERTa等；3）序列到序列語言模型，采目前LLM在國際上也被認(rèn)為是實(shí)現(xiàn)通用人工智能的“基礎(chǔ)模型”對話、代碼生成等任務(wù),展現(xiàn)了強(qiáng)大的語言理解、多類型任務(wù)處理、認(rèn)知交互能力,取得了巨大成功，標(biāo)志AGI邁向了新的臺(tái)階。由于GPT-3、ChatGPT等的成功和展現(xiàn)的巨大潛力，使得自回歸語言模型科技突破：邁向通用人工智能的大模型群體大語言模型構(gòu)建的整體技術(shù)路線如圖表2-14所示依次包括數(shù)據(jù)準(zhǔn)備、模型預(yù)訓(xùn)練、模型微調(diào)、適配部署、模型應(yīng)用等下面對大語言模型構(gòu)建中主要關(guān)鍵技術(shù)進(jìn)行介紹，包括模型預(yù)訓(xùn)大語言模型的高效預(yù)訓(xùn)練支撐大語言模型高效訓(xùn)練的技術(shù)主要包括高性能訓(xùn)練工具、高效預(yù)訓(xùn)練策略、高質(zhì)量訓(xùn)練數(shù)據(jù)、高效的模型架構(gòu)等。高性能訓(xùn)練工具，旨在通過對模型計(jì)算、顯存、內(nèi)存和通信使用的系統(tǒng)級優(yōu)化，提高訓(xùn)練吞吐量和加載更大模型到顯存中，實(shí)現(xiàn)在有限資源下大模型高效訓(xùn)練的目的。系統(tǒng)級優(yōu)化通常是與模型無關(guān)的，并且不會(huì)改變底層的學(xué)習(xí)算法，被廣泛應(yīng)用于各種大模型的模型。相關(guān)方法主要從兩個(gè)方向?qū)崿F(xiàn)：一是設(shè)備內(nèi)優(yōu)化方法，包括降低浮點(diǎn)數(shù)的冗余表示的半精度浮點(diǎn)優(yōu)化、混合精度浮點(diǎn)優(yōu)化等方法，降低梯度計(jì)算中過程中冗余表示的梯度檢查點(diǎn)（Checkpointing）方法，以及內(nèi)存優(yōu)化的ZeRO-Offload方法，即通過將數(shù)據(jù)和計(jì)算從GPU卸載到CPU，以此減少神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間GPU內(nèi)存占用的方法。二是多設(shè)備優(yōu)化方法，也稱分布式優(yōu)化，即分布在許多計(jì)算節(jié)點(diǎn)上的多個(gè)GPU一起用于訓(xùn)練單個(gè)模型，這類方法主要有數(shù)據(jù)并行、模型并行、流水線并行等方法。數(shù)據(jù)并行性，即當(dāng)將一個(gè)大的批處理數(shù)據(jù)被劃分到不同的計(jì)算節(jié)點(diǎn)。模型并行性，即在進(jìn)行模型并行性時(shí)，模型參數(shù)可以分布到多個(gè)節(jié)點(diǎn)上。流水線并行，它將一個(gè)深度神經(jīng)網(wǎng)絡(luò)劃分為多層，然后將不同的層放到不同的節(jié)點(diǎn)上，計(jì)算每個(gè)節(jié)點(diǎn)后，輸出被發(fā)送到下一個(gè)節(jié)點(diǎn)進(jìn)行下一層計(jì)算。以上三種維度的并行優(yōu)化方法相互獨(dú)立，可以同時(shí)使用來加速模型訓(xùn)練?；谝陨戏椒?gòu)建的代表性的大模型訓(xùn)練工具，主要有微軟的DeepSpeed-Megatron、科技突破：邁向通用人工智能的大模型群體高效預(yù)訓(xùn)練策略。其主要思路是采用不同的策略以更低成本實(shí)現(xiàn)使得可以使得模型能夠利用每個(gè)樣本更多的監(jiān)督信息，從而實(shí)現(xiàn)模型以解決在預(yù)訓(xùn)練中單純增加批處理大小可能會(huì)導(dǎo)致優(yōu)化困難問題。第三種是漸進(jìn)式訓(xùn)練策略，不同于傳統(tǒng)的訓(xùn)練范式使用相同的超參數(shù)同時(shí)優(yōu)化模型每一層，該方法認(rèn)為不同的層可以共享相似的自注意力模式，首先訓(xùn)練淺層模型，然后復(fù)制構(gòu)建深層模型。第四種是知識(shí)繼承方法，即在模型訓(xùn)練中同時(shí)學(xué)習(xí)文本和已經(jīng)預(yù)訓(xùn)練大語言模型中的知繼承技術(shù)經(jīng)測試可以使大模型在預(yù)訓(xùn)練前期提速37.5%。第五種是可利用大模型和小模型的同源性關(guān)系，通過擬合系列較小模型的性能曲線預(yù)測大模型性能，指導(dǎo)大模型訓(xùn)練優(yōu)化。OpenAI在GPT-4訓(xùn)練中，使用1000倍至10000倍較少計(jì)算資源訓(xùn)練的小模型可靠地預(yù)測高效的模型架構(gòu)：BERT之后的Transformer架構(gòu)在提高自然語：（多種自然語言處理任務(wù)（如分類、信息抽取、翻譯、對話等）整合到一個(gè)統(tǒng)一的框架，然后在同一模型中執(zhí)行多個(gè)任務(wù)，以實(shí)現(xiàn)更高效的自然語言處理。該方法可以充分利用大規(guī)模訓(xùn)練數(shù)據(jù)，從而提高了模型在多個(gè)任務(wù)上的性能和泛化性。這減少了開發(fā)和維護(hù)多個(gè)單獨(dú)模型的復(fù)雜性以及資源消耗，提高模型的通用性。統(tǒng)一任務(wù)序列建模有兩種方式：一是轉(zhuǎn)化為序列生成的統(tǒng)一任務(wù)，如T5[2-10]和BART[2-9]等將多種自然語言任務(wù)統(tǒng)一轉(zhuǎn)化文本到文本的生成任務(wù)；二是轉(zhuǎn)化為大語言模型預(yù)訓(xùn)練任務(wù)，通過語言提示在輸入文本中插入人類設(shè)計(jì)或訓(xùn)練穩(wěn)定性、顯存利用等方面進(jìn)行優(yōu)化。比如，Transformer其并行處理機(jī)制是以低效推理為代價(jià)的，解碼時(shí)每個(gè)步驟的復(fù)雜度為O(N)，Transformer模型也是顯存密集型模型，輸入序列越長、占用的內(nèi)存其采用線性化注意力+尺度保持（Retention）機(jī)制，在基本保持模型性能的基礎(chǔ)上同時(shí)實(shí)現(xiàn)模型訓(xùn)練速度、推斷速度和內(nèi)存節(jié)約的大幅提升。針對自注意力顯存消耗大，斯坦福大學(xué)在Transformer中引內(nèi)存高效的注意力算法，已經(jīng)被各種主流大模型采用以擴(kuò)展對超長文本輸入的支持。最近，模塊化大模型架構(gòu)引起廣泛關(guān)注，其利用大模型的神經(jīng)激活稀疏性，對稠密模型進(jìn)行模塊化劃分，不同任務(wù)科技突破：邁向通用人工智能的大模型群體只經(jīng)過部分模塊計(jì)算實(shí)現(xiàn)訓(xùn)練和推理加速，典型工作包括Google的大語言模型的適配微調(diào)大語言模型由于在大規(guī)模通用領(lǐng)域數(shù)據(jù)預(yù)訓(xùn)練通常缺乏對特定任務(wù)或領(lǐng)域的知識(shí)，因此需要適配微調(diào)。微調(diào)可以幫助模型更好地適應(yīng)此外，微調(diào)可以提高部署效率、減少計(jì)算資源需求。指令微調(diào)和參數(shù)指令微調(diào)(InstructionTuning)[2-19]，是一種可以幫助大語言模型實(shí)現(xiàn)人類語言指令遵循的能力，在零樣本設(shè)置中泛化到未見任務(wù)上的學(xué)習(xí)方法。指令微調(diào)學(xué)習(xí)形式與多任務(wù)提示微調(diào)相似，但與提示微調(diào)讓提示適應(yīng)大語言模型并且讓下游任務(wù)對齊預(yù)訓(xùn)練任務(wù)不同，其是讓大語言模型對齊理解人類指令并按照指令要求完成任務(wù)，即在給定指令提示的情況下給出特定的回應(yīng)，其中提示可以選擇性包含一條解釋任務(wù)的指令。指令微調(diào)研究涉及指令理解、指令數(shù)據(jù)獲取和指令（1）指令理解，指大語言模型準(zhǔn)確理解人類語言指令的能力，是大語言模型執(zhí)行指令完成任務(wù)的前提。為了增強(qiáng)對指令的理解，許多工作采用多任務(wù)提示方式對基于指令描述的大量任務(wù)集上對大語言（2）指令數(shù)據(jù)獲取,指如何構(gòu)建包含多樣性的任務(wù)指令數(shù)據(jù)。指令數(shù)據(jù)構(gòu)建常見有三種方式：i）基于公開人工標(biāo)注數(shù)據(jù)構(gòu)建，代表指讓大語言模型生成新的指令描述和問題，然后再輸入到模型讓其輸出回答。清華大學(xué)&面壁智能團(tuán)隊(duì)推出的對話指令數(shù)據(jù)集UltraChat，通過調(diào)用多個(gè)ChatGPTAPI相互對話生成高質(zhì)量的訓(xùn)練數(shù)據(jù)。此外，還通過自動(dòng)標(biāo)注的方法構(gòu)建了面向大模型對齊的大規(guī)模反饋數(shù)科技突破：邁向通用人工智能的大模型群體（3）指令對齊,大語言模型在多種自然語言處理任務(wù)上都展現(xiàn)了卓越的性能。然而，它們有時(shí)可能會(huì)出現(xiàn)不預(yù)期的行為，如創(chuàng)造虛大語言模型在預(yù)訓(xùn)練時(shí)僅通過語言模型建模，未涉及人類的價(jià)值觀或偏好。為了解決這一問題，研究者提出了“指令對齊”，使大語言模型的輸出更符合人類的預(yù)期。但這種對齊與原始預(yù)訓(xùn)練有所不同，更注重于有用性、誠實(shí)性和無害性。此外，指令對齊可能會(huì)降低大語言模型的某些通用能力，這被稱為“AlignmentTax”。為實(shí)現(xiàn)模型輸出與對人類價(jià)值的對齊，InstructGPT提出了一種基于人類反饋的微ChatGPT也采用了與InstructGPT相似的技術(shù)，以確保產(chǎn)生高質(zhì)量且無害的輸出。指令對齊的廣泛應(yīng)用，適配微調(diào)從純數(shù)據(jù)學(xué)習(xí)的傳統(tǒng)微代表的微調(diào)方法，是在大模型基座上增加一個(gè)任務(wù)適配層，然后進(jìn)行預(yù)訓(xùn)練和微調(diào)之間的任務(wù)形式不一致，這種差別會(huì)顯著影響知識(shí)遷移的效能。二是高計(jì)算成本，大語言模型的參數(shù)規(guī)模不斷增長，導(dǎo)致模型全參微調(diào)也需要大量計(jì)算資源。解決以上問題的有效途徑是參數(shù)高效學(xué)習(xí)，即通過僅微調(diào)少量參數(shù)實(shí)現(xiàn)大模型在下游任務(wù)上獲得全參微調(diào)效果。目前許多參數(shù)高效微調(diào)方法被提出，這些方法大致可分為3并僅微調(diào)該引入部分的參數(shù)。如適配器（Adapter）方法，旨將小規(guī)模的神經(jīng)模塊（適配器）注入到預(yù)訓(xùn)練模型中，并只調(diào)整這些適配器以進(jìn)行模型自適應(yīng)。在實(shí)際應(yīng)用中，適配器模塊通常分別插入在多頭旨在原模型指定模型中部分參數(shù)為可訓(xùn)練參數(shù)，并固定模型其他參數(shù)。這類方法簡單也十分有效，如僅通過優(yōu)化模型內(nèi)的偏置項(xiàng)并固定其他參數(shù)，模型仍然可以再現(xiàn)95%以上的模型全參微調(diào)性能；（3）重參數(shù)化方法：將原模型或部分模型參數(shù)重參數(shù)化到低維度參數(shù)空間中，僅僅優(yōu)化低維空間中的近似參數(shù)，顯著降低模型的計(jì)算量和內(nèi)存消耗。如LoRA[2-24]，將模型自注意力模塊的變化權(quán)重參數(shù)分解為兩個(gè)低秩矩陣相乘，即參數(shù)高效微調(diào)通常具有微調(diào)參數(shù)規(guī)模小、增量式微調(diào)參數(shù)、即插即用等特點(diǎn)，這種技術(shù)也統(tǒng)一成技術(shù)框架DeltaTuning[2-3]。科技突破：邁向通用人工智能的大模型群體一些圍繞參數(shù)高效微調(diào)的開源工具也被研發(fā)，代表性包括調(diào)參數(shù)可以被重復(fù)利用，一些關(guān)于高效微調(diào)的倉庫也被構(gòu)建，如高效微調(diào)吸引了越來越多的關(guān)注，以開發(fā)一種更輕量級的下游任務(wù)適通過大規(guī)模文本數(shù)據(jù)預(yù)訓(xùn)練之后的大語言模型具備了作為通用任務(wù)求解器的潛在能力，但這些能力在執(zhí)行一些特定任務(wù)時(shí)可能不會(huì)顯式地展示出來。在大模型輸入中設(shè)計(jì)合適的語言指令提示有助于激發(fā)這些能力，該技術(shù)稱為模型提示技術(shù)。代表性的提示技術(shù)有指令提示），在GPT-3[2-6]中首次提出上下能夠達(dá)到人類水平，證明在低資源場景下非常有效，引起廣泛關(guān)注。指令提示核心思想是w避免強(qiáng)制大語言模型適應(yīng)下游任務(wù)，而是通過提供“提示（Prompt）”來給數(shù)據(jù)嵌入額外的上下文以重新組織下游任務(wù)，使之看起來更像是在大語言模型預(yù)訓(xùn)練過程中解決的問題[2-28]。指令提示有三種形式：（1）少樣本提示，是指在一個(gè)自然語言提示后面附加一些示例數(shù)據(jù)，作為大語言模型的輸入。其可以提高大語言模型在不同領(lǐng)域和任務(wù)上的適應(yīng)性和穩(wěn)定性。少樣本提示也存在一些挑戰(zhàn)，例如如何確定合適的示例數(shù)量、如何選擇示例等；（2）零樣本提示，是指不使用任何示例數(shù)據(jù)，只依靠一個(gè)精心設(shè)計(jì)的提示來激活大語言模型中與目標(biāo)任務(wù)相關(guān)的知識(shí)和能力。零樣本提示關(guān)鍵問題包括如何設(shè)計(jì)合適的提示、如何選擇最優(yōu)的提示等；（3）上下然語言問題作為大語言模型的輸入，并將其答案作為輸出[學(xué)習(xí)可以看作是一種特殊形式的少樣本提示，在問題中隱含地包含了目標(biāo)任務(wù)和格式信息。情境學(xué)習(xí)可以簡化問題表示和答案生成，并且可以靈活地處理多種類型和復(fù)雜度的問題。其挑戰(zhàn)在于，如何確保問科技突破：邁向通用人工智能的大模型群體及多個(gè)推論步驟，通過多步推理允許產(chǎn)生可驗(yàn)證的輸出，可以提高黑盒模型的可解釋性。思維鏈?zhǔn)且环N提示技術(shù)，已被廣泛用于激發(fā)大語言模型的多步推理能力，被鼓勵(lì)大語言模型生成解決問題的中間推理鏈，類似于人類使用深思熟慮的過程來執(zhí)行復(fù)雜的任務(wù)。在思維鏈提示中，中間自然語言推理步驟的例子取代了少樣本提示中的〈輸入，輸出〉對，形成了〈輸入，思維鏈，輸出〉三元組結(jié)構(gòu)。思維鏈被認(rèn)為是大語言模型的“涌現(xiàn)能力”，通常只有模型參數(shù)規(guī)模增大到一定程度后，才具有采用思維鏈能力。激活大語言模型的思維鏈能力方法，在提示中給出逐步的推理演示作為推理的條件，每個(gè)演示都包含一個(gè)問題和一個(gè)通向最終答案的推理鏈（圖表2-19）。CoT在推理過程中從左到右的token級決策，一般不擅長對需要探索、策略性預(yù)見、推大語言模型的安全治理如歧視言論、辱罵、違背倫理道德的內(nèi)容等，這種潛在的安全風(fēng)險(xiǎn)普遍存在于文本、圖像、語音和視頻等諸多應(yīng)用場景中，并會(huì)隨著模型的大規(guī)模部署帶來日益嚴(yán)重的安全隱患。目前大模型衍生出內(nèi)容安全、隱私安全、政治安全、軟硬件安全等諸多安全風(fēng)險(xiǎn)問題。2023年5月，三星半導(dǎo)體工程師使用ChatGPT參與修復(fù)源代碼時(shí)發(fā)生無意間泄密芯片機(jī)密代碼的重大事故。大模型容易受到攻擊，人們發(fā)現(xiàn)對ChatGPT進(jìn)行提示注入，誘導(dǎo)可以輸出Windows11的序列號(hào)。大模型存在嚴(yán)重的“幻覺”問題，模型在輸出中生成生成錯(cuò)誤、編造虛假國際和各國紛紛出臺(tái)各種政策法規(guī)以規(guī)范化大模型發(fā)展。2023年3月，美國白宮科技政策辦公室發(fā)布《促進(jìn)隱私保護(hù)數(shù)據(jù)共享和分析的國家戰(zhàn)略》。該策略旨在保障公共和私營部門實(shí)體中用戶的數(shù)據(jù)隱工智能引入統(tǒng)一的監(jiān)管和法律框架，并涵蓋了除軍事用途外的所有人工智能類型。2023年7月，國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》，對生成式人工智能服務(wù)在算法設(shè)計(jì)、訓(xùn)練數(shù)據(jù)選擇、模型生成和優(yōu)化、提供服務(wù)等過程中進(jìn)行安全規(guī)范。包括語料安全、模型安全、安全措施、安全評估等?？萍纪黄疲哼~向通用人工智能的大模型群體包括后門攻擊、對抗攻擊、提示注入等問題；用戶層，包括隱私泄露、社會(huì)層，包括價(jià)值對齊、虛假信息、意識(shí)形態(tài)等問題。安全數(shù)據(jù)構(gòu)建。訓(xùn)練數(shù)據(jù)的安全性是構(gòu)建安全大模型的基石。訓(xùn)練數(shù)據(jù)安全性是指數(shù)據(jù)集的來源和質(zhì)量都是可靠的，數(shù)據(jù)中蘊(yùn)含的知識(shí)是準(zhǔn)確的，數(shù)據(jù)集內(nèi)容符合主流價(jià)值觀。方法包括：1）確保訓(xùn)練數(shù)據(jù)來自可信的、可靠的來源。數(shù)據(jù)應(yīng)該從權(quán)威機(jī)構(gòu)、專業(yè)組織、可驗(yàn)證的數(shù)據(jù)倉庫或其他公認(rèn)的數(shù)據(jù)提供者獲得。在數(shù)據(jù)標(biāo)注時(shí)，確保標(biāo)注的準(zhǔn)確性和一致性。標(biāo)注過程應(yīng)該由經(jīng)過培訓(xùn)的專業(yè)人員進(jìn)行，并且需要進(jìn)行驗(yàn)證和審核，以確保標(biāo)注的正確性。此外，需要進(jìn)行數(shù)在大模型中，保護(hù)數(shù)據(jù)的敏感信息是至關(guān)重要的，特別是當(dāng)模型需要處理涉及個(gè)人隱私、敏感信息或商業(yè)機(jī)密等敏感數(shù)據(jù)時(shí)。數(shù)據(jù)的敏感信息去除是一種隱私保護(hù)措施，旨在確保數(shù)據(jù)在訓(xùn)練過程中不會(huì)泄露通過構(gòu)建有害關(guān)鍵詞庫、人工規(guī)則、安全分類模型等，對數(shù)據(jù)涉及安全風(fēng)險(xiǎn)類型數(shù)據(jù)進(jìn)行過濾清洗。2023年10月，國家網(wǎng)信辦《生成式人工智能服務(wù)安全基本要求》（征求意見稿）中對語料及生成內(nèi)容的主要安全風(fēng)險(xiǎn)進(jìn)行了分類，包括包含違反社會(huì)主義核心價(jià)值觀的內(nèi)容、包含歧視性內(nèi)容、商業(yè)違法違規(guī)、侵犯他人合法權(quán)益、無法滿足特定模型安全對齊。為了訓(xùn)練有用、誠實(shí)和無害的人工智能系統(tǒng)，使用人類反饋的強(qiáng)化學(xué)習(xí)技術(shù)（RLHF）實(shí)現(xiàn)大模型與人類偏好的安科技突破：邁向通用人工智能的大模型群體全對齊。讓模型的輸出與人類價(jià)值觀盡可能一致，提高其有用性、真實(shí)性和無害性。RLHF訓(xùn)練過程包括指令微調(diào)、獎(jiǎng)勵(lì)模型訓(xùn)練和對齊優(yōu)化三個(gè)階段。指令微調(diào)階段，也稱有監(jiān)督微調(diào)，旨在優(yōu)化大模型，使其能夠理解用戶的指令；獎(jiǎng)勵(lì)模型訓(xùn)練階段中，人類對模型生成的多條不同回復(fù)進(jìn)行評估，這些回復(fù)兩兩組合，由人類確定哪條更優(yōu)，生成的人類偏好標(biāo)簽使獎(jiǎng)勵(lì)模型能學(xué)習(xí)并擬合人類的偏好。在對齊優(yōu)化階段，獎(jiǎng)勵(lì)模型根據(jù)生成回復(fù)的質(zhì)量計(jì)算獎(jiǎng)勵(lì)，這個(gè)獎(jiǎng)勵(lì)作為強(qiáng)化學(xué)習(xí)框架中的反饋，并用于更新當(dāng)前策略的模型參數(shù)，從而讓模型的輸出更符合人類的期望。這一階段體現(xiàn)了人類價(jià)值觀和模型技術(shù)邏輯的深度交融，通過人類反饋調(diào)整模型的產(chǎn)出、優(yōu)化模型的生成策略，使其更好地反映人類價(jià)值觀。基于人類反饋的安全對齊技術(shù)已逐漸成為當(dāng)下大模型安全研究的主流技術(shù)。除了OpenAI，DeepMind的Sparrow、Anthropic的Claude模型等國外大模型，以及國內(nèi)代表模型幻覺治理。大模型生成內(nèi)容存在嚴(yán)重的“幻覺”問題，容易生成錯(cuò)誤、虛假信息，尤其對于事實(shí)知識(shí)性問題。該問題對于相關(guān)知識(shí)學(xué)習(xí)缺乏越嚴(yán)重領(lǐng)域該問題越嚴(yán)重。目前降低大模型幻覺的方法主要有：1）外接知識(shí)庫，即讓大模型在回答問題時(shí)，能夠通過調(diào)用網(wǎng)頁搜索引擎或本地知識(shí)庫檢索，獲取缺乏的相關(guān)背景知識(shí)作為上下文，再進(jìn)行回答，并且在回答內(nèi)容中提供內(nèi)容原始來源，提升大模型調(diào)用網(wǎng)頁搜索引擎獲取互聯(lián)網(wǎng)信息回答用戶問題，并在回答中提供鏈接；2）分多步推理并展示推理過程，即將復(fù)雜任務(wù)問題通過思維鏈技術(shù)拆解成多步執(zhí)行，將中間狀態(tài)輸出展示給用戶；3）自定義工作流Workflow，比如對中間任務(wù)需要嚴(yán)格執(zhí)行的過程通過預(yù)定義工提升中間內(nèi)容的精準(zhǔn)性和可控性，如COZE、靈境矩陣等智能體生產(chǎn)平臺(tái)；3）工具調(diào)用，對于專業(yè)技能問題如數(shù)值計(jì)算、軟件編程、數(shù)彌補(bǔ)大模型專業(yè)技能的缺失，代表性工作包括ChatGPTPlugins、文心一言插件功能、工具學(xué)習(xí)技術(shù)框架ToolLLM等；4）人機(jī)交互，在大模型運(yùn)行期間增加大模型與人類交互，對大模型不確定性的任務(wù)獲取人類反饋后執(zhí)行，代表性工作如超級智能體XAgent；5）大模型持模型對抗防御[2-56]。大語言模型在受到提示注入攻擊、模型科技突破：邁向通用人工智能的大模型群體輸入擾動(dòng)、模型參數(shù)修改等方式使得模型正常服務(wù)。1）提示注入攻擊，即使用精心設(shè)計(jì)的提示誘導(dǎo)模型輸出違反其安全規(guī)則的答案。如在NewBing的聊天搜索引擎剛推出時(shí)，斯坦福大學(xué)學(xué)生KevinLiu成功地對其進(jìn)行了提示注入攻擊，他發(fā)現(xiàn)聊天機(jī)器人的內(nèi)部代號(hào)是冊碼。2）模型輸入擾動(dòng)，如在模型輸入中拼接部分其他字符可形成對抗樣本，既可以讓ChatGPT輸出失敗。3）模型參數(shù)修改，復(fù)旦大總參數(shù)的1%。該核心區(qū)域表現(xiàn)出顯著的維度依賴性，即使特定維度上的單個(gè)參數(shù)的擾動(dòng)也可能導(dǎo)致語言能力的喪失。大模型安全防御技術(shù)可分為兩大類：提示注入防御和輸出內(nèi)容水印技術(shù)。1）提示注入防御技術(shù)主要包括輸入側(cè)防御和輸出側(cè)防御。輸入側(cè)防御通過提示過濾，檢測并過濾可能含風(fēng)險(xiǎn)的用戶輸入，如注入攻擊或敏感內(nèi)容，以防止這些輸入與大語言模型或相關(guān)軟件交互。提示增強(qiáng)技術(shù)則通過構(gòu)建更魯棒的提示來抵抗注入攻擊，利用大語言模型的理解能力進(jìn)行“自我增強(qiáng)”，在提示詞中加入任務(wù)內(nèi)容和用戶輸入內(nèi)容的強(qiáng)調(diào)，提高系統(tǒng)提示的精確度。提示增強(qiáng)分為語義增強(qiáng)和結(jié)構(gòu)增強(qiáng)。而輸出側(cè)防御則采用內(nèi)容審核過濾方法，通過規(guī)則或模型識(shí)別，避免輸出風(fēng)險(xiǎn)內(nèi)容，保障內(nèi)容安全。2）輸出內(nèi)容水印，包括明水印和隱水印，用于保護(hù)知識(shí)版權(quán)和防止模型輸出被惡意使用。這些水印技術(shù)在模型服務(wù)界面上標(biāo)記內(nèi)容來源，以提示和追蹤目的，防止內(nèi)容惡意傳播。例如，馬里蘭大學(xué)提出在模型解碼階段加入水印，通過特定算法檢測文本水印以確定來源；騰訊則提出可編碼水印技術(shù)。盡管這些方法在實(shí)驗(yàn)中有效，但在實(shí)際應(yīng)用中的辨識(shí)率尚不能完全保模型安全評測。隨著大模型能力的不斷增長，確保其安全、可靠和符合倫理標(biāo)準(zhǔn)的運(yùn)行變得至關(guān)重要。大模型的安全評估不僅為開發(fā)人員、政策制定者和其他利益相關(guān)者提供了關(guān)于模型性能和風(fēng)險(xiǎn)的深入了解，而且有助于整個(gè)社會(huì)創(chuàng)造了一個(gè)更加安全、透明和可信賴的型的內(nèi)容安全性評測平臺(tái)[2-48]。該平臺(tái)依托于一套系統(tǒng)的安全評測框架，從辱罵仇恨、偏見歧視、違法犯罪等8個(gè)典型安全場景和6種指令攻擊兩個(gè)角度綜合評估大語言模型的安全性能。其中，指令攻擊模型進(jìn)行了安全評估，并發(fā)現(xiàn)指令攻擊更有可能暴露所有模型的安全多大學(xué)及牛津大學(xué)等科研機(jī)構(gòu)和高校，提出一個(gè)針對新型威脅評估通用模型的框架，將大模型安全評估分為兩類：①評估模型是否具有某科技突破：邁向通用人工智能的大模型群體些危險(xiǎn)的能力；②判斷模型多大程度上可能使用這些能力造成傷害。該框架指出大模型的極端風(fēng)險(xiǎn)評估將成為安全人工智能研發(fā)的重要組成部分，安全評估應(yīng)涵蓋特定領(lǐng)域的風(fēng)險(xiǎn)水平以及特定模型的潛在風(fēng)險(xiǎn)屬性。評估結(jié)果可以幫助開發(fā)者識(shí)別可能導(dǎo)致極端風(fēng)險(xiǎn)的考慮到越來越多的大模型被訓(xùn)練應(yīng)用于真實(shí)世界的交互任務(wù)，2023年衡量大模型在各種社會(huì)決策場景中的能力和道德行為。該項(xiàng)評估主要成，在評估中為大模型代理提供真實(shí)世界的目標(biāo)，并通過專注于高層次的決策來追蹤代理的不道德行為，以評估其在現(xiàn)實(shí)社會(huì)環(huán)境中的規(guī)回歸架構(gòu)的生成式模型框架，在此基礎(chǔ)研發(fā)了系列大模型GPT-1、科技突破：邁向通用人工智能的大模型群體編程coding、寫作等各種任務(wù)；2023年3月GPT-4，是一種支同時(shí)也減少了幻象的產(chǎn)生，能夠更準(zhǔn)確地理解和回應(yīng)復(fù)雜的問題，從大語言模型，2023年3月發(fā)布大語言模型產(chǎn)品Claude-1，7月更新至Claude-2。該系列模型通過預(yù)訓(xùn)練、RLHF和“憲法人工智能一家AI安全和研究公司，愿景是構(gòu)建可靠的、可解釋的和可操控的·文心一言：文心一言由百度公司研發(fā)，是基于百度知識(shí)增強(qiáng)大文心一言率先向全社會(huì)全面開放，提供APP、網(wǎng)頁版、API接口等多槳”深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。文心一言還建設(shè)了插件機(jī)制，通過外部公眾號(hào)、APP同時(shí)上線，國內(nèi)首批上線的大模型產(chǎn)品。大模型對華為基礎(chǔ)上構(gòu)建的智能對話助手，由清華系百川智能公司開發(fā)，2023年9月在網(wǎng)頁端、公眾號(hào)同時(shí)上線，其基礎(chǔ)大模型采用Transformer解碼器架構(gòu)。Baichuan2-53B融合了意圖理解、信息檢索以及強(qiáng)化學(xué)習(xí)技術(shù)，結(jié)合有監(jiān)督微調(diào)與人類意圖對齊，在知識(shí)問答、文本創(chuàng)作領(lǐng)域表以GPT-4為代表的大語言模型，展現(xiàn)了復(fù)雜指令遵循、思維鏈推理和認(rèn)知交互能力，催生了AIAgent領(lǐng)域的研究和應(yīng)用熱潮。AIAgent的進(jìn)步不僅僅體現(xiàn)在技術(shù)層面，它也在重塑我們與計(jì)算機(jī)系統(tǒng)的互動(dòng)方式，影響著社會(huì)、經(jīng)濟(jì)和文化的各個(gè)方面。本節(jié)介紹AI科技突破：邁向通用人工智能的大模型群體AIAgent，或稱人工智能體，是一種能夠感知環(huán)境、進(jìn)行決策、執(zhí)行動(dòng)作完成既定目標(biāo)的智能實(shí)體。不同于傳統(tǒng)的人工智能，AIAgent具備通過獨(dú)立思考、調(diào)用工具或使用技能去逐步完成給定目標(biāo)的能力。AIAgent和大模型的區(qū)別在于，大模型與人類之間的交互是大語言模型作為目前AIAgent的核心，以巨大參數(shù)規(guī)模捕捉復(fù)雜語言結(jié)構(gòu)，實(shí)現(xiàn)上下文理解和連貫文本輸出。這一“能力涌現(xiàn)”現(xiàn)象體現(xiàn)在大模型能進(jìn)行高級認(rèn)知任務(wù)，如抽象思考和創(chuàng)造性寫作。AIAgent不僅理解和生成語言，還整合規(guī)劃、記憶、工具使用能力，擴(kuò)在人工智能領(lǐng)域，AIAgent可以根據(jù)其運(yùn)作模式和應(yīng)用范圍被劃運(yùn)作，完成特定任務(wù)的智能體。這類Agent擁有獨(dú)立的決策能力，能夠基于輸入的數(shù)據(jù)或觀察到的環(huán)境自行做出響應(yīng)。它們通常被設(shè)計(jì)用于特定的應(yīng)用場景，例如個(gè)人助理、智能推薦系統(tǒng)或特定領(lǐng)域的問題解答。自主型Agent的核心特點(diǎn)是能夠在沒有外部指令或者很少人工干預(yù)的情況下，完成復(fù)雜的任務(wù)。代表性Agent為AutoGPT、2)協(xié)同型AIAgent則是指在一個(gè)系統(tǒng)中多個(gè)智能體協(xié)同工作，共同完成任務(wù)的情形。這類Agent的的能力可能有限，但當(dāng)它們作為一個(gè)集體工作時(shí)，能夠處理更為復(fù)雜、多樣的任務(wù)。協(xié)同型Agent在處理需要多方面協(xié)作和信息共享的任務(wù)時(shí)表現(xiàn)尤為出色，如多Agent系統(tǒng)在自動(dòng)化工廠、交通管理等領(lǐng)在實(shí)際應(yīng)用中，這兩種類型的Agent都在不斷發(fā)展和完善，以適應(yīng)日益復(fù)雜和多樣化的應(yīng)用需求。隨著技術(shù)的進(jìn)步，兩者之間的界限也在逐漸模糊，例如某些系統(tǒng)可能同時(shí)采用自主型和協(xié)同型Agent來AIAgent根據(jù)其人工智能水平可以大致四級，可以從感知能力、科技突破：邁向通用人工智能的大模型群體L1（部分自動(dòng)感知，處理單一模態(tài)下的相對簡應(yīng)用于簡單場利用大量人類監(jiān)督信號(hào)獲得的一定程度的理解語言、利用語言人少量的常見標(biāo)準(zhǔn)工具的調(diào)用，簡單的工具調(diào)用邏靜態(tài)地執(zhí)行特定的、預(yù)定義的任務(wù)。涉及少量的、簡單串并聯(lián)L2（有條件自多模態(tài)感知能力，能處理更廣更長尾、更復(fù)雜全面的認(rèn)知能力，包含記憶能高度智能的對話能力、內(nèi)容生成可使用的工具數(shù)量、類型、實(shí)現(xiàn)的業(yè)務(wù)邏輯的復(fù)雜度得到極大提以業(yè)務(wù)流程達(dá)到動(dòng)化為目標(biāo)，可以規(guī)劃和編排大量流程節(jié)點(diǎn)和復(fù)L3（高度自動(dòng)綜合利用認(rèn)知能力，環(huán)境交互結(jié)果，在少量人類干預(yù)下獲得超高通過綜合利用環(huán)境知識(shí)、人類少達(dá)到高精度的認(rèn)在人類少量干預(yù)下，可以實(shí)現(xiàn)絕能夠主動(dòng)洞察問題域和求解域的環(huán)境變化，實(shí)現(xiàn)業(yè)務(wù)流程的靈活適應(yīng)和編排，環(huán)L4（完全自動(dòng)在無人工干預(yù)下智能體自主進(jìn)化獲得超高精度的主學(xué)習(xí)提升認(rèn)知能自動(dòng)學(xué)習(xí)工具使用的方式、實(shí)現(xiàn)100%的自動(dòng)化調(diào)用工具的能能利用過程反難例挖掘等高度智能化的決策機(jī)制，自主提升規(guī)語義理解能力、RPA流程自動(dòng)化能力，完全由領(lǐng)域?qū)＜襾韺?shí)現(xiàn)既定業(yè)務(wù)流程的定義和編排以解決單點(diǎn)的、簡單明確的任務(wù)。代表性的智能體包括以UiPath為代表的傳統(tǒng)RPA機(jī)器人、NICE的桌面機(jī)器人這種高昂的教育成本會(huì)一定程度上限制智能體的普及?；?，然后主動(dòng)利用求解域中人類碎片化的歷史經(jīng)驗(yàn)、監(jiān)督信號(hào)，智能化地探索、理解、學(xué)習(xí)問題解決的方法，達(dá)到“滄海拾貝”、“睹微而且可以得到更高的任務(wù)完成率、準(zhǔn)確率。L3智能體的“高精度”、“少干預(yù)“、”快適應(yīng)“的特性使其在市場需求和技術(shù)演進(jìn)高度動(dòng)態(tài)該級別基本代表了通用人工智能AGI和類人智能，對應(yīng)自動(dòng)駕駛自動(dòng)化水平的高度的完全自動(dòng)化（L5）級別。目前還處于初步探索階段，具有潛力的智能體工作如OpenAI的Q*項(xiàng)目、大模型群體智能技術(shù)科技突破：邁向通用人工智能的大模型群體1980年代已在人工智能領(lǐng)域有了研究，其發(fā)展演進(jìn)與人工智能技術(shù)演1）基于符號(hào)規(guī)則的智能體階段（1980年前后采用邏輯規(guī)則和符號(hào)表示來封裝知識(shí)和促進(jìn)推理過程。早期符號(hào)型智能體的典型例能體其環(huán)境之間的交互，強(qiáng)調(diào)快速和實(shí)時(shí)響應(yīng)，缺乏復(fù)雜決策和規(guī)劃能力，該階段采用統(tǒng)計(jì)學(xué)習(xí)模型基于數(shù)據(jù)和環(huán)境交互進(jìn)行學(xué)習(xí)。該階段的典型例子如麻省理工大學(xué)的行為基礎(chǔ)機(jī)器人Genghis，它們通過簡單的感知和動(dòng)作規(guī)則與環(huán)境交互，而不是通過復(fù)雜的模型和規(guī)劃。3）基于深度學(xué)習(xí)的智能體階段（~2000-2020年采用深度學(xué)習(xí)模型作為智能體控制模型，通過智能體與環(huán)境交互獲得反饋優(yōu)化深度學(xué)習(xí)模型實(shí)現(xiàn)對復(fù)雜環(huán)境適應(yīng)。2014年由DeepMind推出的引發(fā)全球熱議的圍棋機(jī)器人AlphaGo，其采用強(qiáng)化學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)模型。與之類似的還有2017年OpenAI推出的用于玩《Dota2》AlphaStar等，這些AI都能根據(jù)對實(shí)時(shí)接收到的信息的分析來安排和規(guī)劃下一步的操作，均采用了強(qiáng)化學(xué)習(xí)的方法構(gòu)建。當(dāng)時(shí)的業(yè)界潮流是通過強(qiáng)化學(xué)習(xí)的方法來對AIAgen戲這類具有對抗性、有明顯輸贏雙方的場景中。但如果想要在真實(shí)世界中實(shí)現(xiàn)通用性，基于當(dāng)時(shí)的技術(shù)水平還難以實(shí)現(xiàn)。4）基于大模型的智能體階段（2021-2023年以及之后2021同時(shí)展現(xiàn)了大模型的認(rèn)知交互能力。2022年底ChatGPT展現(xiàn)了大語言模型強(qiáng)大的語義理解和通用任務(wù)處理能力，讓人們看到了構(gòu)建AIOpenAI推出智能體構(gòu)建平臺(tái)GPTs、游戲公司SignificantGravitas用LLM作為智能體的大腦，通過感知、規(guī)劃、工具使用、記憶等實(shí)現(xiàn)復(fù)雜任務(wù)處理。AIAgent成功為群體智能構(gòu)建提供了有力支撐，多個(gè)AIAgent之間可以通過協(xié)同互補(bǔ)，完成超越單智能體的更高階的復(fù)雜科技突破：邁向通用人工智能的大模型群體AIAgent成為目前各大科技巨頭布局的新風(fēng)口。比如微軟推出界》，阿里云ModelScopeGPT、斯坦福與谷歌聯(lián)合搭建的虛擬小鎮(zhèn)被認(rèn)為是大語言模型的下半場。微軟公司創(chuàng)始人比爾·蓋茨在其個(gè)人網(wǎng)站撰文，闡述智能體技術(shù)將在未來數(shù)年中變革計(jì)算機(jī)使用模式。從大模型“單體智能”到大模型“智能群體化”，再到千行百業(yè)。隨著基礎(chǔ)模型能力的不斷加強(qiáng)，以及在應(yīng)用場景的深入探索，大模型主要基于OpenAIGPT-4實(shí)現(xiàn)，大模型的復(fù)雜指令遵循、規(guī)劃、思維鏈推理、長期記憶等能力是AIAgen機(jī)構(gòu)和公司推出自己的大模型、Agent、工具鏈等，缺乏統(tǒng)一的接口確保其安全性和可靠性變得尤為重要。這包括保護(hù)系統(tǒng)免受外部攻擊、科技突破：邁向通用人工智能的大模型群體以及在多變環(huán)境中的穩(wěn)定運(yùn)行。安全管理不僅關(guān)系到技術(shù)的穩(wěn)定性和4)多模態(tài)感知與交互能力不足：人類通過多模態(tài)方式感知世界，而當(dāng)前的AIAgent主要依賴于文理能力還需要進(jìn)一步發(fā)展。這意味著AIAgent在模擬方式方面還有很大的進(jìn)步空間，尤其是在多模態(tài)數(shù)據(jù)處理和解釋上。5)社會(huì)化能力與倫理問題：目前AIAgent在社會(huì)行為、人格特征以及認(rèn)知、情感和性格模擬方面還處于起步階段。隨著技術(shù)的發(fā)展，更多的倫理和社會(huì)學(xué)問題將浮現(xiàn)，如虛擬人與社會(huì)人的關(guān)系，以及在擬人個(gè)性化對話場景中的安全性和可信度問題。這些挑戰(zhàn)涉及到倫理、社會(huì)學(xué)和經(jīng)濟(jì)學(xué)領(lǐng)域，需要跨學(xué)科的合作和研究。6)智能體部署成本高：目前AIAgent性能仍然依賴于大模型，但大模型API調(diào)用成本高昂，難以支持大規(guī)模商業(yè)化部署，需要小模7)擬人化單體智能：擬人化單體智能具備6大典型特性：構(gòu)建具德/價(jià)值取向/安全等）、成長性（進(jìn)化、自適應(yīng)和自學(xué)習(xí)）等特性的智能體，可以適應(yīng)更復(fù)雜的場景應(yīng)用，具有重要市場應(yīng)用前景，目在以大模型為核心的自主智能體系統(tǒng)中，除了大模型作為核心科技突破：邁向通用人工智能的大模型群體1)規(guī)劃（Planning為了完成復(fù)雜任務(wù)，智能體需要將該任務(wù)分解成更小、可管理的子目標(biāo)，以高效處理復(fù)雜任務(wù)。同時(shí)還需要對自身過去的行為進(jìn)行批評和反思，從錯(cuò)誤中學(xué)習(xí)并改進(jìn)，為未來步一步步達(dá)成目標(biāo)。在這一環(huán)節(jié)中，執(zhí)行工具是一種十分重要的執(zhí)行能3)感知（PerceptionAIAgent需要擴(kuò)展自身的感知范圍，除了文字還需要理解圖像、音頻等信息。這種擴(kuò)展的感知范圍幫助智如何更好地利用歷史信息，所以需要構(gòu)建起一個(gè)記憶機(jī)制對信息進(jìn)行高效管理與利用。這通常包含兩個(gè)部分：短期記憶——暫時(shí)存儲(chǔ)和處理當(dāng)前的輸入信息，幫助進(jìn)行任務(wù)執(zhí)行和問題求解。這種記憶形式有助于AIAgent在處理語言、理互時(shí)更加高效；長期記憶——這使得智能體具備在較長時(shí)間內(nèi)保留和回溯信息的能力，通常通過外部向量存儲(chǔ)和快速檢索實(shí)現(xiàn)。5)工具使用（ToolUseAgent學(xué)習(xí)調(diào)用外部應(yīng)用程序的訓(xùn)練后通常難以更改包含當(dāng)前信息、代碼執(zhí)行能、專有信息源的大模型工具學(xué)習(xí)大語言模型具備理解、推理和決策能力，可與外部工具互動(dòng)。在特定領(lǐng)域任務(wù)中，如金融領(lǐng)域的證券交易和市場預(yù)測，大語言模型通常需要結(jié)合外部工具獲取信息和技能才能處理。整合外部工具與大語言模型可以發(fā)揮各自優(yōu)勢實(shí)現(xiàn)復(fù)雜任務(wù)的處理，其中外部工具可增強(qiáng)專業(yè)知識(shí)和可解釋性，大語言模型提供語義理解和推理規(guī)劃能力。瀏覽器和搜索引擎交互獲取互聯(lián)網(wǎng)信息在長文本問答上實(shí)現(xiàn)非常強(qiáng)的能力，展現(xiàn)了大語言模型利用工具解決復(fù)雜問題的巨大潛力。該工作引起了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，產(chǎn)生了許多面向不同任務(wù)或場景需求的大模型調(diào)用工具的方法，如Webshop[2-32]，使用大語言模型替代人在購物平臺(tái)上執(zhí)行一系列操作、購買所需物品。2023年3外部插件的功能，支持瀏覽器實(shí)時(shí)信息獲取、代碼解釋器、PDF閱讀等能力，截至8月已支持480個(gè)常用工具插件。Meta將這種通過非參數(shù)的外部模塊擴(kuò)展大語言模型能力的方法，統(tǒng)一稱為增廣語言模型科技突破：邁向通用人工智能的大模型群體指在讓模型能夠理解和使用各種工具完成任務(wù)的學(xué)習(xí)過程。物理交互的工具（如機(jī)器人、傳感器等）、基于圖形用戶界面的工具（如瀏覽器、Office辦公軟件等）、基于編程接口的工具（如數(shù)據(jù)庫、知識(shí)圖譜）等。從學(xué)習(xí)目標(biāo)的角度來看，現(xiàn)有工具學(xué)習(xí)方法主要可以分為兩類[2-35]：一類是工具增強(qiáng)學(xué)習(xí)（Tool-augLearning），利用各種工具的執(zhí)行結(jié)果，增強(qiáng)基礎(chǔ)模型性能。在這一范式中，工具執(zhí)行結(jié)果被視為輔助生成高質(zhì)量輸出的外部資源；第二類是工具導(dǎo)向?qū)W習(xí)（Tool-orientedLearning將學(xué)習(xí)過程重點(diǎn)從增強(qiáng)模型性能轉(zhuǎn)向工具執(zhí)行本身。這一類研究關(guān)注開發(fā)能夠代替人類從目前來看，LLM工具學(xué)習(xí)已經(jīng)取得了顯著的進(jìn)展，相關(guān)應(yīng)用處在爆發(fā)上升趨勢，已展現(xiàn)廣闊的應(yīng)用前景。隨著大模型性能不斷提升，：（期待LLM與工具學(xué)習(xí)結(jié)合所帶來的生活改變之前，審視其中潛在的風(fēng)險(xiǎn)尤為重要。需要防止惡意用戶誤導(dǎo)模型調(diào)用工具，以及提升模型使用工具的可信度等問題；（2）工具AI創(chuàng)造，LLM可能具有自發(fā)創(chuàng)造工具的潛力。一直以來，創(chuàng)造和使用工具被認(rèn)為是人類智能的獨(dú)特特征，而LLM的出現(xiàn)可能顛覆這一觀念。越來越多的證據(jù)表明，具的能力不再是人類專有的領(lǐng)域；（3）知識(shí)沖突，引入工具后，模型需要解決來自不同來源的知識(shí)沖突問題，包括模型自身、外部知識(shí)庫等。解決不同知識(shí)庫間的知識(shí)沖突，以實(shí)現(xiàn)知識(shí)的有效整合，是迎接工具學(xué)習(xí)挑戰(zhàn)的關(guān)鍵一步；（4）多工具協(xié)同，一個(gè)復(fù)雜任務(wù)通常需要多種類型工作協(xié)同配合完成，需要讓大模型學(xué)會(huì)規(guī)劃和執(zhí)行多類型工具完成復(fù)雜任務(wù)。未來，我們預(yù)期工具學(xué)習(xí)將會(huì)進(jìn)一步融合更多檢索增強(qiáng)生成種結(jié)合檢索和生成的深度學(xué)習(xí)方法，用于增強(qiáng)大語言模型的任務(wù)處理能力，是AIAgent的實(shí)現(xiàn)長期記憶的關(guān)鍵技術(shù)。RAG的核心是向量數(shù)據(jù)庫技術(shù)，這是一種存儲(chǔ)和檢索大量信息中，首先利用一個(gè)檢索器從一個(gè)預(yù)先構(gòu)建的向量數(shù)據(jù)庫中檢索相關(guān)信息。這個(gè)數(shù)據(jù)庫通常包含大量文本數(shù)據(jù)的向量表示，這些向量是通過科技突破：邁向通用人工智能的大模型群體預(yù)訓(xùn)練的語言模型生成的。檢索過程基于查詢向量和數(shù)據(jù)庫中的文檔向量之間的相似性。檢索到的信息隨后被送入生成器，生成器是基于Transformer架構(gòu)的神經(jīng)網(wǎng)絡(luò)，它綜合檢索到的信息和原始輸入來生成響應(yīng)或回答。這個(gè)過程可以大大提高大語言模型的生成性能，因?yàn)樗试S模型利用數(shù)據(jù)庫中的豐富信息，提供更準(zhǔn)確和信息豐富的輸出。RAG模型的一個(gè)關(guān)鍵優(yōu)勢是它能夠處理更復(fù)雜、開放式的問題，因?yàn)樗梢栽L問和利用比傳統(tǒng)模型更大量的外部知識(shí)庫數(shù)據(jù)。此外，向量數(shù)據(jù)庫的使用使得檢索過程更高效，因?yàn)橄嗨菩运阉骺梢匝杆僭诤Ａ肯蛄繑?shù)據(jù)庫通過將文檔數(shù)據(jù)轉(zhuǎn)化為向量存儲(chǔ)，解決大模型海量知識(shí)的存儲(chǔ)、檢索、匹配問題。向量是AI理解世界的通用數(shù)據(jù)形式。向音視頻等非結(jié)構(gòu)化數(shù)據(jù)通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)抽象、轉(zhuǎn)換為高維語義向量，由此實(shí)現(xiàn)了知識(shí)的結(jié)構(gòu)化管理，從而實(shí)現(xiàn)快速、高效的數(shù)據(jù)存儲(chǔ)和檢索過程，賦予了AIAgent“長期記憶”。同時(shí)，將高維空間中的多模態(tài)數(shù)據(jù)映射到低維空間的向量，也能大幅降低存儲(chǔ)和計(jì)算的成本：向量數(shù)據(jù)庫的存儲(chǔ)成本比直接將數(shù)據(jù)訓(xùn)練到神經(jīng)網(wǎng)絡(luò)的參數(shù)中的成本要低2到4個(gè)數(shù)量級。代表性的向量數(shù)據(jù)庫包括Pinecone、Weaviate、Milvus、Qdrant、Chroma、Elasticsearch、Embedding技術(shù)和向量相似度計(jì)算是向量數(shù)據(jù)庫的核心。Embedding技術(shù)是一種將圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)能夠識(shí)別的語言的方法。在通過Embedding技術(shù)將非結(jié)構(gòu)化數(shù)據(jù)科技突破：邁向通用人工智能的大模型群體例如文本數(shù)據(jù)轉(zhuǎn)化為向量后，就可以通過數(shù)學(xué)方法來計(jì)算兩個(gè)向量之間的相似度，即可實(shí)現(xiàn)對文本的比較。向量數(shù)據(jù)庫強(qiáng)大的檢索功能就是基于向量相似度計(jì)算而達(dá)成的，通過相似性檢索特性，針對相似的問題找出近似匹配的結(jié)果。相似性向量檢索采用最大內(nèi)積搜索（MaximunInnerProductSearch，MIPS）。通過使用外部存儲(chǔ)器可以緩解關(guān)注范圍有限的限制。一種標(biāo)準(zhǔn)的做法是將信息的嵌入表示法保存到向量數(shù)據(jù)庫中，該數(shù)據(jù)庫能夠支持快速的最大內(nèi)積搜索。為了優(yōu)化檢索速度，常見的選擇是近似相鄰（ApproximateNearest精度來換取速度的巨大提升。幾種常見的快速最大內(nèi)積搜索算法如局部敏感的哈希算法（LSH）、層次導(dǎo)航最小世界算法(Hierarchical長序列流式輸入處理具鏈，接受持續(xù)環(huán)境輸入。但是大語言模型由于輸入長度限制難以直接處理長序列輸入，通常僅支持幾千token的序列長度，如LLaMA2最大支持4096tokens、GLM-130B最大支持2048toke支持長序列流式輸入的大語言模型技術(shù)被提出，代表性技術(shù)有三大類，分別是位置編碼拓展、全局注意力有損改進(jìn)、新型注意力機(jī)制設(shè)計(jì)：第一類是基于位置編碼拓展的方法,將通常使用的旋轉(zhuǎn)位置編碼（RoPE）經(jīng)過直接放縮或頻域放縮的方法，使模型的最大處理長度變長數(shù)倍，這種方法在工程上有較廣泛的應(yīng)用，能夠支持十萬左右的輸入序列長度，但是其核心沒有突破全局自注意力機(jī)制的平方復(fù)雜度，需要消耗巨大的顯存，并且仍然有最大處理長度的限制，無法處理超第二類方法是對Transformer的全局自注意力機(jī)制進(jìn)行有損的改進(jìn)。包括使用滑動(dòng)窗口，限制每個(gè)token只能看到自己鄰近的位置的token，以此避免模型處理超過訓(xùn)練階段的相對位置編碼，通過犧牲效果彌補(bǔ)模型生成的穩(wěn)定性。后續(xù)工作進(jìn)一步通過設(shè)計(jì)特殊的注意力遮蔽矩陣，避免在使用上述滑動(dòng)窗口過程中模型注意力塌陷的問題。這類方法雖然表面上支持模型接受流式輸入，但是對于滑動(dòng)窗口外的內(nèi)容，模型將完全遺忘，無法支持模型形成長期記憶能第三類方法則是通過拋棄Transformer的全局自注意力機(jī)制，設(shè)計(jì)新的信息處理機(jī)制來處理長程流式輸入。最早的工作可以追溯到LinearTransformer設(shè)計(jì)的線性復(fù)雜度注意力機(jī)制，隨后出現(xiàn)了RWKV、RetNet等模型，這些模型都具有亞平方復(fù)雜度注意力機(jī)制。此類模型都會(huì)在隱狀態(tài)中形成可以總結(jié)歷史所有信息的內(nèi)在狀態(tài)智能體自適應(yīng)和自學(xué)習(xí)科技突破：邁向通用人工智能的大模型群體智能體能夠根據(jù)環(huán)境和任務(wù)的動(dòng)態(tài)變化不斷提升智能水平，適應(yīng)不同復(fù)雜場景的需求，是實(shí)現(xiàn)類人智能的重要標(biāo)志。相關(guān)方法可以分為·無參數(shù)優(yōu)化自進(jìn)化方法。一種是構(gòu)建本地技能庫（Skill庫和迭代prompt機(jī)制三個(gè)新型組件構(gòu)成。自動(dòng)課程用于提出開放式的探索目標(biāo)，該課程是由GPT-4根據(jù)“盡可能多發(fā)現(xiàn)不同的東西”的技能庫用于開發(fā)越來越復(fù)雜的行為，通過存儲(chǔ)有助于成功解決某個(gè)任務(wù)的行動(dòng)程序，Voyager逐步建立起一個(gè)技能庫，未來可以在類似情況下進(jìn)行檢索，實(shí)現(xiàn)能力隨著時(shí)間的推移迅速增強(qiáng)，并緩解“災(zāi)難性遺忘”問題。迭代prompt機(jī)制引入了環(huán)境反饋、執(zhí)行錯(cuò)誤和檢查任務(wù)是否成功的自我驗(yàn)證三種類型的反饋，根據(jù)這些反饋，GPT-4可以此外，另一種構(gòu)建本地記憶（Memory）方法，這是一種可以幫助智能體積累經(jīng)驗(yàn)并實(shí)現(xiàn)自我進(jìn)化的技術(shù)。通過這種方法，智能體能夠以更加一致、合理、有效的方式完成任務(wù)。這種進(jìn)化通常是通過不斷的學(xué)習(xí)和對經(jīng)驗(yàn)的積累來實(shí)現(xiàn)的。如經(jīng)驗(yàn)記憶強(qiáng)化學(xué)習(xí)技術(shù)RLEM通過強(qiáng)化學(xué)習(xí)使得智能體能夠在交互中，根據(jù)當(dāng)前交互狀態(tài)從經(jīng)驗(yàn)記憶中動(dòng)態(tài)抽取過往經(jīng)驗(yàn)來提升自身的交互行為，同時(shí)還可以利用環(huán)境返回的回報(bào)（reward）來更新經(jīng)驗(yàn)記憶，使得整體策略得到持久改進(jìn)?！?shù)優(yōu)化自進(jìn)化方法：Agent通過探索，獲得環(huán)境或人類反饋信息，借助反饋強(qiáng)化學(xué)習(xí)對LLM進(jìn)行微調(diào)實(shí)現(xiàn)模型能力持續(xù)增強(qiáng)。這里微調(diào)是全參數(shù)微調(diào)或部分參數(shù)高效微調(diào)，后者由于微調(diào)效率高、顯存占用低，更加適合面向大規(guī)模用戶的個(gè)性化支持部署。如深度自進(jìn)化強(qiáng)化學(xué)習(xí)框架DRRL，這是由斯坦福大學(xué)的李飛飛等學(xué)者提出，基于這個(gè)框架，所創(chuàng)建的具身智能體可以在多個(gè)復(fù)雜環(huán)境中執(zhí)行多項(xiàng)任務(wù)。這種方法融合了深度學(xué)習(xí)和進(jìn)化算法，對智能體神經(jīng)控制器參數(shù)進(jìn)行更新，使智能體能夠適應(yīng)并在各種環(huán)境中進(jìn)行自我提升?！ぷ赃m應(yīng)技術(shù)：如進(jìn)行自查與自糾，Agent能夠?qū)^去的行為進(jìn)誤中吸取教訓(xùn)，并在今后的工作中加以改進(jìn)，從而提高最終結(jié)果的質(zhì)量（本質(zhì)上是產(chǎn)生強(qiáng)化學(xué)習(xí)的數(shù)據(jù)，強(qiáng)化學(xué)習(xí)并不需要人類反饋）。如ReAct通過將動(dòng)作空間擴(kuò)展為特定于任務(wù)的離散動(dòng)作和語言空間的組合，將推理和動(dòng)作集成在LLM中。前者使LLM能夠與環(huán)境交互，而后者則促使LLM以自然語言生成推理痕跡。AutoGPT對生成的代碼進(jìn)行自動(dòng)調(diào)試，并根據(jù)動(dòng)作執(zhí)行結(jié)果和環(huán)境反饋信息放入上下文指環(huán)境、工具使用、API調(diào)用等泛化能力，代表工作如AgentBench、在AIAgent系統(tǒng)中，大模型的Agent能力是系統(tǒng)成功運(yùn)行的關(guān)鍵，也是系統(tǒng)人工智能水平的決定因素。因此，對LLM的Agent能科技突破：邁向通用人工智能的大模型群體力：隨著LLMs在不同領(lǐng)域的廣泛應(yīng)用，理解它們在實(shí)際環(huán)境中的表現(xiàn)變得至關(guān)重要。通過對這些模型作為智能代理的能力進(jìn)行評測，我們可以更好地了解它們在現(xiàn)實(shí)世界任務(wù)中的表現(xiàn)，如自動(dòng)編程、數(shù)據(jù)分析、游戲玩法或網(wǎng)頁瀏覽等。2）識(shí)別和解決限制：通過評測可以發(fā)現(xiàn)LLMs在作為代理時(shí)的局限性，如推理、決策制定、長期記憶和多輪對話管理等方面的不