第十三章智能體技術(shù)人工智能通識基礎(chǔ)主講教師：王存睿目錄智能體概述01插件工具02知識庫03記憶04工作流05目錄智能體概述011.1智能體概念智能體（AIAgent）是一種能夠感知環(huán)境、進(jìn)行決策和執(zhí)行動作的智能實(shí)體。1智能體概述1.2智能體概念A(yù)IAgent的最終目標(biāo)是通向AGI，通往AGI的道路仍需探索，AI智能體是當(dāng)前的主要路線1智能體概述1.3智能體概念A(yù)I智能體的發(fā)展階段可類比自動駕駛的L4級別，距離完全成熟仍有顯著差距。將AI和人類協(xié)作的程度類比自動駕駛的不同階段1智能體概述1.4智能體分類我們將目前AI智能體劃分為兩大類：1.自主智能體自主智能體力圖實(shí)現(xiàn)復(fù)雜流程自動化。當(dāng)給定自主智能體一個目標(biāo)時(shí)，它們能自行創(chuàng)建任務(wù)、完成任務(wù)、創(chuàng)建新任務(wù)、重新確定任務(wù)列表的優(yōu)先級、完成新的首要任務(wù)，并不斷重復(fù)這個過程，直到完成目標(biāo)。準(zhǔn)確度要求高，因而更需要外部工具輔助減少大模型不確定性的負(fù)面影響。2.智能體模擬智能體模擬力圖更加擬人可信，分為強(qiáng)調(diào)情感情商的智能體以及強(qiáng)調(diào)交互的智能體強(qiáng)調(diào)交互的智能體在多智能體環(huán)境中可能涌現(xiàn)出超越設(shè)計(jì)者規(guī)劃的場景和能力，大模型生成的不確定性反而成為優(yōu)勢，多樣性使其有望成為AIGC重要組成部分。1智能體概述1.5發(fā)展現(xiàn)狀—國外基于LLM的AGENT領(lǐng)域產(chǎn)品增長情況1智能體概述1.6發(fā)展現(xiàn)狀—國內(nèi)基于LLM的AGENT領(lǐng)域產(chǎn)品增長情況1智能體概述1.7AIGENT發(fā)展中的挑戰(zhàn)1智能體概述1.8主流智能體平臺——字節(jié)Coze重點(diǎn)平臺特點(diǎn)無代碼開發(fā)豐富的插件庫內(nèi)置多個LLM多平臺發(fā)布知識庫功能數(shù)據(jù)庫功能圖像流工作流多Agent模式團(tuán)隊(duì)協(xié)作1智能體概述1.9主流智能體平臺——騰訊元器智能體平臺特點(diǎn)工作流模式騰訊生態(tài)集成全域分發(fā)支持1智能體概述1.10主流智能體平臺——Dify平臺特點(diǎn)開源的LLM應(yīng)用開發(fā)平臺低代碼/無代碼開發(fā)模塊化設(shè)計(jì)豐富的功能組件支持多種大語言模型強(qiáng)大的數(shù)據(jù)集管理功能1智能體概述1.11本書實(shí)踐平臺——COZE的架構(gòu)1智能體概述目錄插件工具02在Coze

平臺中，插件是一個工具集，一個插件內(nèi)可以包含一個或多個工具（API）。2.1插件基本概念2插件工具2.2插件在提示詞中的使用方法2插件工具2.3插件的參數(shù)調(diào)用和返回值2插件工具2.4插件的使用2插件工具2.5端插件端插件是扣子插件的一種類型，能夠使智能體直接與本地設(shè)備進(jìn)行交互，實(shí)現(xiàn)對本地設(shè)備的控制和信息獲取。2插件工具目錄知識庫033.1為什么需要知識庫通用大語言模型僅基于公開數(shù)據(jù)進(jìn)行訓(xùn)練，無法覆蓋特定組織的私有化知識體系。例如，模型無法掌握內(nèi)部規(guī)章制度、專有知識、用戶專屬項(xiàng)目的實(shí)施細(xì)節(jié)及進(jìn)度信息等非公開數(shù)據(jù)。通過搭建私有知識庫系統(tǒng)，可將企業(yè)制度文檔、項(xiàng)目會議紀(jì)要、技術(shù)資料等專有信息進(jìn)行結(jié)構(gòu)化整合。1.自主智能體扣子支持從多種數(shù)據(jù)源例如本地文檔、在線數(shù)據(jù)、Notion、飛書文檔等渠道上傳文本和表格數(shù)據(jù)。上傳后，扣子可將知識內(nèi)容自動切分為一個個內(nèi)容片段進(jìn)行存儲，同時(shí)支持用戶自定義內(nèi)容分片規(guī)則，例如通過分段標(biāo)識符、字符長度等方式進(jìn)行內(nèi)容分割。2.智能體模擬扣子的知識功能還提供了多種檢索方式來對存儲的內(nèi)容片段進(jìn)行檢索，例如使用全文檢索通過關(guān)鍵詞進(jìn)行內(nèi)容片段檢索和召回。大模型會根據(jù)召回的內(nèi)容片段生成最終的回復(fù)內(nèi)容。Coze的知識庫功能包含兩個能力：3知識庫3.2Coze平臺知識和記憶的對比知識：知識是供智能體或工作流調(diào)用的靜態(tài)數(shù)據(jù)，可在空間內(nèi)共享。由開發(fā)者創(chuàng)建和維護(hù)，智能體的終端用戶無法對知識內(nèi)容進(jìn)行修改。記憶：扣子提供了數(shù)據(jù)庫、變量、長期記憶等記憶功能。通常這些數(shù)據(jù)是智能體的終端用戶在使用智能體時(shí)產(chǎn)生的動態(tài)數(shù)據(jù)，不支持跨智能體使用。類別

存儲的數(shù)據(jù)

特點(diǎn)

知識周邊所有的房屋的信息（房屋面積、朝向、租房價(jià)格等）周邊所有小區(qū)的信息（小區(qū)位置、小區(qū)年代、周邊交通等）某地區(qū)租房政策文件信息官方租房介紹文檔...由智能體開發(fā)者上傳和維護(hù)所有用戶可見但不可修改可跨智能體使用記憶用戶租房喜好（位置、面積、是否帶獨(dú)衛(wèi)等）用戶歷史租房信息用戶關(guān)注的小區(qū)/房屋...用戶個人數(shù)據(jù)不可以跨智能體使用3知識庫3.3知識庫類型扣子支持使用扣子知識庫和火山知識庫，兩者對應(yīng)的分類方式不同?？圩又R庫：分為文本類型、表格類型、圖片類型的知識庫?；鹕街R庫：分為結(jié)構(gòu)化和非結(jié)構(gòu)化的知識庫。對比維度

扣子知識庫

火山知識庫

產(chǎn)品定位扣子官方知識庫，支持智能切片管理，適合輕量檢索場景?；鹕揭嫣峁┑钠髽I(yè)級知識庫服務(wù)，精細(xì)化切片管理，適合于企業(yè)客戶場景。存儲空間與性能輕量級數(shù)據(jù)量及檢索操作。相對扣子知識庫，火山知識庫支持更大的存儲空間（例如單個知識庫支持300萬個文檔數(shù)量）、更高的QPS（單個知識庫最高可支持1萬QPS）、更精細(xì)的切片管理（單個文檔支持最大切片數(shù)10萬個）和更復(fù)雜的文檔處理需求，能夠滿足企業(yè)客戶對于大規(guī)模知識庫的存儲需求。操作難度其操作流程簡單便捷，用戶可以輕松上手。配置相對復(fù)雜、繁瑣。3知識庫3.4在資源庫新建知識庫3知識庫3.5設(shè)置知識庫參數(shù)概念解釋1.精準(zhǔn)解析：支持從文檔中提取元素支持設(shè)置過濾策略，耗時(shí)更長的時(shí)間。2.快速解析：不支持從文檔中提取圖像、表格等元素，適用于純文本。3.按層級分段：根據(jù)內(nèi)容的重要性和邏輯關(guān)系設(shè)置為多個層級。層級為2系統(tǒng)會將知識庫內(nèi)容按照1級和2級標(biāo)題進(jìn)行劃分形成結(jié)構(gòu)化信息。4.檢索切片保留層級信息：是否保留文檔段落的層級結(jié)構(gòu)信息，以便在檢索結(jié)果中展示段落之間的層次關(guān)系。3知識庫3.6提示詞中調(diào)用知識庫選擇在已經(jīng)提前創(chuàng)建好的知識庫；配置提示詞，讓智能體自動使用知識庫回答問題；點(diǎn)擊右上角“優(yōu)化”，可以自動優(yōu)化提示詞，獲得更好的結(jié)果。3知識庫目錄記憶044.1記憶的概念在Coze

平臺中，”記憶”和”知識庫”是兩個重要的概念，它們在功能和應(yīng)用上有所區(qū)別：知識庫：知識庫功能主要用于存儲和管理外部數(shù)據(jù)，允許Bot與指定的數(shù)據(jù)進(jìn)行交互；記憶：記憶庫功能則用于保留和理解對話細(xì)節(jié)，支持添加外部知識庫給模型補(bǔ)充知識，使Bot與用戶的互動更有針對性和個性化。簡單點(diǎn)說就是：一個是動態(tài)更新的，一個是靜態(tài)的，一個是實(shí)時(shí)更新的，一個是預(yù)先收集的。4記憶4.2記憶的類型1.變量：用戶變量用于存儲每個用戶在使用智能體過程中，需要持久化存儲和讀取的數(shù)據(jù)，例如用戶的個性化設(shè)置、語言偏好、歷史交互記錄等。2.數(shù)據(jù)庫：允許用戶以表格結(jié)構(gòu)存儲數(shù)據(jù)，用戶可通過自然語言與智能體進(jìn)行交互來插入或查詢數(shù)據(jù)庫中的數(shù)據(jù)。這種類似傳統(tǒng)軟件開發(fā)中數(shù)據(jù)庫的功能，允許用戶以表格結(jié)構(gòu)存儲數(shù)據(jù)。這種數(shù)據(jù)存儲方式非常適合組織和管理結(jié)構(gòu)化數(shù)據(jù)，例如客戶信息、產(chǎn)品列表、訂單記錄等。3.長期記憶：智能體會自動收集對話中和用戶相關(guān)的個性化信息，并將其記錄到自己的長期記憶中。在多輪對話中，智能體會根據(jù)對話的上下文生成更符合當(dāng)下場景的回復(fù)。但上下文是相對短期的記憶，超過模型指定的上下文輪數(shù)之后，對話效果通常會質(zhì)量下降。尤其在和情感陪伴類的智能體對話時(shí)，對話體驗(yàn)更依賴模型的長期記憶能力。4文件盒子：文件盒子基于合規(guī)和隱私保護(hù)統(tǒng)一存儲和管理用戶上傳的文檔、圖片、表格等常用類型文件，在面向復(fù)雜的用戶任務(wù)場景時(shí)，通過文件盒子可以反復(fù)使用已保存的多模態(tài)數(shù)據(jù)。4記憶4.3記憶-變量可以通過創(chuàng)建變量來保存用戶個人信息，例如語言偏好等，并讓智能體記住這些特征，使回復(fù)更加個性化。變量以key-value形式存儲用戶的某一行為或偏好。大語言模型會根據(jù)用戶輸入內(nèi)容進(jìn)行語義匹配，為定義的變量賦值并保存值。你可以在提示詞中為智能體聲明某個變量的具體使用場景。變量分類

變量名稱

變量描述

變量類型

支持渠道

用戶信息sys_uuid用戶唯一ID。String全部渠道sys_longitude用戶實(shí)時(shí)位置的經(jīng)度信息，使用此變量會觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_latitude用戶實(shí)時(shí)位置的緯度信息，使用此變量會觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_lat_lon用戶實(shí)時(shí)位置的經(jīng)緯度信息，緯度在前，經(jīng)度在后，使用此變量會觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_lon_lat用戶實(shí)時(shí)位置的經(jīng)緯度信息，經(jīng)度在前，緯度在后，使用此變量會觸發(fā)用戶授權(quán)。String扣子商店和扣子模板4記憶4.4記憶-數(shù)據(jù)庫扣子的數(shù)據(jù)庫功能提供了一種簡單、高效的方式來管理和處理結(jié)構(gòu)化數(shù)據(jù)，開發(fā)者和用戶可通過自然語言插入、查詢、修改或刪除數(shù)據(jù)庫中的數(shù)據(jù)。同時(shí)，也支持開發(fā)者開啟多用戶模式，支持更靈活的讀寫控制?？圩犹峁┝祟愃苽鹘y(tǒng)軟件開發(fā)中數(shù)據(jù)庫的功能，允許用戶以表格結(jié)構(gòu)存儲數(shù)據(jù)。這種數(shù)據(jù)存儲方式非常適合組織和管理結(jié)構(gòu)化數(shù)據(jù)，例如客戶信息、產(chǎn)品列表、訂單記錄等。單用戶模式

多用戶模式

讀寫模式有限讀寫模式完整讀寫模式讀寫權(quán)限開發(fā)者和用戶都可以添加記錄，但僅能讀/修改/刪除自己創(chuàng)建的來自同渠道的數(shù)據(jù)。開發(fā)者和用戶都可讀/寫/修改/刪除表中來自同渠道的任何數(shù)據(jù)，由業(yè)務(wù)邏輯控制讀寫權(quán)限。生效方式在創(chuàng)建表格時(shí)，選擇單用戶模式。在創(chuàng)建表格時(shí)，選擇多用戶模式。調(diào)用方式支持在Prompt、Query中通過NL2SQL方式及代碼方式調(diào)用支持在工作流中通過NL2SQL方式及代碼方式調(diào)用支持在Prompt、Query中通過NL2SQL方式及代碼方式調(diào)用支持在工作流中通過NL2SQL方式及代碼方式調(diào)用應(yīng)用場景示例一個記賬智能體，每個用戶/開發(fā)者,自己記錄賬單，自己查看。一個金融分析智能體，開發(fā)者導(dǎo)入上市公司近三年財(cái)報(bào)到數(shù)據(jù)表用于做金融分析，所有用戶都可以讀這份數(shù)據(jù)用于金融分析。一個漂流瓶智能體，用戶可以發(fā)布漂流瓶，也可以隨機(jī)讀取別人的漂流瓶。一個聯(lián)網(wǎng)游戲智能體，游戲結(jié)束后，可以查看排行榜。4記憶4.5記憶-數(shù)據(jù)庫調(diào)用4記憶4.6記憶-長期記憶長期記憶功能模仿人類大腦形成對用戶的個人記憶，根據(jù)這些記憶可以提供個性化回復(fù)，提升用戶體驗(yàn)。長期記憶功能主要包含以下2部分能力：記錄：自動識別并記錄用戶在對話中提供的個性化信息，例如用戶畫像、記憶點(diǎn)等信息。召回：在用戶要求提取相關(guān)的長期記憶，并總結(jié)個性化信息，在此基礎(chǔ)上生成最終回復(fù)。支持智能體的開發(fā)者刪除或清空本人的長期記憶。在調(diào)試頁面的右上角單擊Memory>長期記憶，可查看本人相關(guān)的所有長期記憶，也可以編輯或刪除、清空本人的長期記憶。4記憶4.7記憶-長期記憶常見問題1長期記憶與變量的區(qū)別？變量是由智能體開發(fā)者創(chuàng)建的，智能體僅記錄開發(fā)者定義過的變量。而長期記憶是智能體從對話中自動提取、總結(jié)、并且不斷調(diào)整和積累的用戶信息，是更為個性化的內(nèi)容。2長期記憶與知識的區(qū)別？知識是更通用的基礎(chǔ)設(shè)施，雖然支持自動更新已添加的知識，但知識仍然是相對靜態(tài)的內(nèi)容。而長期記憶一定是在不斷構(gòu)建的，隨著用戶使用智能體對話的變多，記憶也會越來越豐富。3為什么Memory中看不到長期記憶？長期記憶記錄到Memory中需要一定時(shí)間，建議在對話一段時(shí)間后再進(jìn)入Memory>長期記憶頁面查看長期記憶，或者再與智能體對話1~2輪之后查看。常見問題4記憶4.8記憶-文件盒子文件盒子（Filebox）是扣子智能體的能力之一，它提供了多模態(tài)數(shù)據(jù)的合規(guī)存儲、管理以及交互能力。多模態(tài)數(shù)據(jù)是指用戶發(fā)給智能體的圖片、PDF、DOCX、Excel等常見文件。1記憶

>文件盒子區(qū)域，開啟文件盒子能力2編排頁面的預(yù)覽與調(diào)試區(qū)域，展開Memory

>文件盒子4.以在照片或文檔頁簽中查看自己上傳的文件列表3.在照片或文檔頁簽的右上角單擊上傳。4記憶目錄工作流055.1為什么需要工作流業(yè)務(wù)流程當(dāng)用戶向小助手發(fā)起咨詢后，小助手會首選判斷用戶咨詢的問題是否與扣子產(chǎn)品有關(guān)。如果是扣子使用的相關(guān)問題，則調(diào)用扣子知識庫查找相關(guān)說明并使用大模型能力進(jìn)行總結(jié)和回復(fù)。并且將消息記錄寫入到多維表格中，進(jìn)行自動分析。如果不是扣子使用的相關(guān)問題，則直接調(diào)用大語言模型進(jìn)行回復(fù)，且不進(jìn)行問題記錄。5工作流5.2為什么需要工作流這就需要一個調(diào)用知識庫、插件和大模型的復(fù)雜流程5工作流5.3利用工作流實(shí)現(xiàn)流程5工作流5.4工作流概念工作流是一系列可執(zhí)行指令的集合，用于實(shí)現(xiàn)業(yè)務(wù)邏輯或完成特定任務(wù)。工作流的核心在于將大模型的強(qiáng)大能力與特定的業(yè)務(wù)邏輯相結(jié)合，通過系統(tǒng)化、流程化的方法來實(shí)現(xiàn)高效、可擴(kuò)展的AI應(yīng)用開發(fā)。扣子提供了一個可視化畫布，你可以通過拖拽節(jié)點(diǎn)迅速搭建工作流?？圩悠脚_提供兩種工作流工作流（Workflow）：用于處理功能類的請求，可通過順序執(zhí)行一系列節(jié)點(diǎn)實(shí)現(xiàn)某個功能。適合數(shù)據(jù)的自動化處理場景，例如生成行業(yè)調(diào)研報(bào)告、生成一張海報(bào)、制作繪本等。對話流（Chatflow）：處理對話類請求。對話流通過對話的方式和用戶交互，并完成復(fù)雜的業(yè)務(wù)邏輯。例如個人助手、智能客服、虛擬伴侶等。5工作流5.5對話流和工作流的區(qū)別差異工作流對話流場景適合數(shù)據(jù)的自動化處理場景，例如生成行業(yè)調(diào)研報(bào)告、生成一張海報(bào)、制作繪本等。對話流專為對話場景設(shè)計(jì)，更適合處理對話類請求。它通過與用戶對話，完成復(fù)雜業(yè)務(wù)邏輯，適用于如智能客服、虛擬伴侶等需要復(fù)雜交互的應(yīng)用。節(jié)點(diǎn)涉及大模型處理的節(jié)點(diǎn)不支持查看對話歷史。開始節(jié)點(diǎn)必須傳入會話名稱，以便記錄用戶和模型的對話歷史。對話流中的模型類節(jié)點(diǎn)支持讀取對話歷史，會話中的上下文會和用戶問題一起傳遞給大模型。角色配置不支持角色配置。支持為每個對話流單獨(dú)配置角色屬性，如名稱、頭像、開場白、音色和輸入方式等。對話服務(wù)會根據(jù)配置，以指定角色與用戶互動。用戶界面支持布局組件、展示組件等豐富的組件類型。目前僅支持AI對話組件。AI對話組件可將對話流包裝為一個聊天面板，展示在移動端或網(wǎng)頁端頁面中。發(fā)布渠道在AI應(yīng)用中的工作流，支持發(fā)布到API，工作流綁定用戶界面之后，還可以發(fā)布到模板、商店。暫不支持發(fā)布到社交渠道、