業(yè)務部門通過自研AI系統(tǒng)增效2.AI3.實戰(zhàn)案例分享4.現存問題與未來規(guī)劃5.總結與展望背景介紹背景介紹效率瓶頸問題傳統(tǒng)客戶服務流程手動操作步驟過多效率低下效率瓶頸問題傳統(tǒng)客戶服務流程手動操作步驟過多效率低下部門內部數據共享不暢，影響決策效率和服務質量業(yè)務部門懂業(yè)務，研發(fā)部門懂技術業(yè)務流程優(yōu)化和自動化促進數據驅動決策數字化轉型歷程-初期嘗試與探索業(yè)務流程優(yōu)化和自動化促進數據驅動決策數據可視化儀表板AI大語言模型賦能訓練訓練LLM---端到端模型?單一任務場景文本?具備推理泛化能力文本基礎大模型放棄訓練放棄訓練LLM---非端到端模型?保留LLM對于公共知識的感知能力?灌輸領域知識的認知能力懂得業(yè)務的懂得業(yè)務的AI優(yōu)先需要懂得業(yè)務的人代碼實現次之實戰(zhàn)案例分享案例一：利用LLM助力案例處理服務電話中心面臨的挑戰(zhàn)用戶對解決問題速度的要求快速定位解決方案的需求電話量逐年上升目前的知識庫（關鍵詞搜索）目前的知識庫（關鍵詞搜索）?需要業(yè)務背景理想的知識庫（向量搜索理想的知識庫（向量搜索）?上下文語義理解?支持多輪問答?數據本地化第一階段：向量相似度匹配的AI知識庫優(yōu)勢?優(yōu)勢?少量數據集?語義相似度搜索?問答對的單一形式?源數據內容交叉信息少?對用戶提問要求高圖片來源：Retrieval-AugmentedGenerationforLargeLanguageModels:ASurvey從多文檔中挑選從多文檔中挑選出針對用戶提問的單一文檔或相關段落重新梳理AI知識庫系統(tǒng)的任務需求本質數據源的優(yōu)化-企業(yè)文檔的數據標準化應用分層檢索文檔分層級拆分改善檢索對稱性文檔生成問答對增加數據源多樣性問答對變形推理型問題數據標準化帶來的痛點-割裂的數據原始數據源的數據標準化雖然增加了檢索準確性，但丟棄了很多上下文內容；內容雖然獨立且易于檢索，但缺失了原文所體現的因果聯系。因此仍然需要保留企業(yè)文檔。以查詢路由的方式來判斷問題特征，以此確認預設的雙閾值。雙閾值的設計允許在短語或文檔級別之間切換檢索目標。?對于推理型問題，只有全文內容才可以完全體現“因果”性。?而若想在短語層面體現“因果”性。需要通過打分、評價等數據形式來進行強化學習。以現階段來看這種額外的因果聯系的建立并不可信，因為它增加了處理過程的復雜性，導致最終的結果未必準確。解決方案-雙閾值設計雙閾值設計：雙閾值是由用戶可自定義的兩個數值，代表高閾值和基礎閾值，目的是為了確定檢索目標是短語多個輸出的排序唯一答案的確認多個輸出的整合支持多種文檔格式降低用戶提問要求相似度匹配結果提升特定性內容輸出結果不理想交叉型內容檢索仍有混淆?語義信息損失?可解釋性差?依賴上下文?精確的語義關系?結構化查詢?豐富的領域知識?可解釋性?計算效率高?靈活性強Cons：?自動特征提取?更新和維護成本大?處理自然語言?覆蓋范圍限制?復雜度高現狀：針對一篇文章的內容做問答期望：針對多篇文章篩選目標文章在不確定中尋找確定用戶的真實提問->決定節(jié)點，關系，屬性?如何啟用傳真和掃描功能?打印機驅動怎么安裝？問題錯誤->解決方案?為什么會出現驅動安裝失敗的情況？問題錯誤->問題原因?error100代表了什么問題?日志代碼->問題錯誤?error100怎么解決？日志代碼->解決方案知識庫效果測試&收益（第一至三階段）傳統(tǒng)關鍵字檢索第一階段:向量匹配第二階段:高級需要進行大量的人工審核工作來保證數據標準化結果的準確完整業(yè)務系統(tǒng)環(huán)境的變化需要運維工具的改變通過自然語言的交互，能夠融合復雜的運維環(huán)境，自行規(guī)劃決策，便捷的獲取跨領域信息，給出各種運維任務的建議或結論環(huán)境復雜多樣支撐和交互支撐和交互人員精力消耗人員精力消耗適應和迭代適應和迭代環(huán)境上下文AIAgent加持的運維工具AIAgent加持后運維工具將不同領域技能的有機結合，讓繁雜的垂直知識領域知識互享、傳達以及利用更具效率。結合環(huán)境信息規(guī)劃整理03感知與定義規(guī)劃整理03感知與定義02自然語言交互0107記憶沉淀模式模式AI完成部分任務和流程初稿人類修改調整確認模式人類人類自主結束工作基于人類問答，提供信息和建議基于人類目標，完成單任務/簡單任務單任務場景單任務場景：備份信息獲取對于對于家將，誤。,,或過剩,。橙色表示效率瓶頸lIi,前前后人因錯誤減少45%跨領域精力消耗減少平均效率提升培訓的業(yè)務場景培訓場景培訓管理員培訓管理員培訓素材和資料培訓素材和資料培訓提綱和課程培訓提綱和課程考核和互動考核和互動{{{{人員技能要求人員技能要求人員業(yè)務要求人員業(yè)務要求資料的數量龐大資料的格式不同課程固化調整不便需要很多人力成本題庫編寫人力成本大出題形式固定用AI來解決業(yè)務痛點培訓管理員、培訓培訓管理員、培訓助理培訓素材和資料培訓素材和資料培訓提綱和課程培訓提綱和課程考核和互動考核和互動利用LLM+Vector利用LLM+VectorDB+LocalDB+Chatbot實現考核和問答考試階段培訓階段考試階段培訓階段準備階段準備階段考核評分5學員自主培訓考核評分5學員自主培訓4培訓素材處理編寫培訓資料編寫題庫和答案原培訓素材處理編寫培訓資料編寫題庫和答案原來112?登錄考試平臺2?登錄考試平臺?完成答題?判卷評分?獲得證書主觀題問答評估題目解析?自行閱讀材料3?內容和格式?提煉知識點?評估時長?提煉主要內容?形成培訓文本?上傳更新平臺?審核和發(fā)布?編寫海量題庫?校對答案?上傳考試平臺?建立考試項目?發(fā)布考試利用LLM的文檔分析、利用LLM的文檔分析、內部知識庫的能力解決培訓素材、培訓資料和題庫的準備??學時評估?? 3? 3現在 學員自主培訓現在 學員自主培訓 AI培訓素材處理1AI培訓系統(tǒng)架構圖AI極大的減輕了管理員對培訓內容的準備工作，提高了生產LLM生成客觀題庫人工審核題庫和答案試題隨機抽取保存在本地數據庫隨機抽取試題答案比對打分用戶考試場景中的AI應用-主觀題考核提供改進后的答案對用戶提供答案進行評估和解析收益可以歸結為5個詞：人力、效率、技能、互動、靈活以往的在線培訓以往的在線培訓，學員只能自行觀看培訓內容，AI培訓可以增加AI助理隨時提問隨時解答可以根據需要隨時生產和調整培訓內容任何一個人員都可以使用AI培訓系統(tǒng)任何一個人員都可以使用AI培訓系統(tǒng)，生成自己想要的培訓內容和課程不需要專業(yè)的培訓策劃；一鍵生成培訓提綱和培訓內容，可以隨時更換素材生成新的培訓和題庫原本一個培訓策劃和實現的過程，現在只需要對素材進行要求，即可一鍵生成培訓現存問題與未來規(guī)劃使用大語言模型的生成結果時需要大量的人工審核盡管可以通過人工標注來訓練機器學習模型進行分類任務并以此優(yōu)化模型，但這個過程存在兩個主要限制：未來計劃-解決方案：數據標準化的自動化使用可量化的評分標準將人工審核工作自動化針對不同類型數據源的評分標準結構化數據一致性一致性連貫性相關性流暢度語義性非結構數據文本序列相似性文本內容重疊忠實度答案相關性上下文精度上下文召回率未來計劃-解決方案：數據標準化的自動化為保證大語言模型的生成內容的準確性需要人工審核結構化數據靚滓僚囹滓*+非結構化數據褓%&靚滓靚*+乘茼重未來計劃-解決方案：數據標準化的自動化評分標準的量化執(zhí)行策略代替人工對大語言模型的生成結果進行自動審核結構化數據靚滓僚囹滓)*非結構化數據褓%&靚)*滓靚)*未來計劃-數據標準化的自動化：量化評分十分接近，系統(tǒng)無法判斷什么樣的得分可以通過自動審核模糊邏輯，設置高中