AI搜索RAG?模型優(yōu)化實踐2024RAG背景?模型知識問答?模型直答?模型微調RAG(檢索增強?成)問題LLM外在幻覺多中少領域知識?有有實時信息??有可溯源??有成本低?低回答問題LLM+領域知識回答LLM回答問題+檢索知識RAG架構?檔語義切?混合索引向量+?本問題?檔解析query改寫擴展檢索服務

混合索引+重排LLM服務回答RAG的效果問題及歸因?檔解析及切?Query理解&檢索服務LLM幻覺切?截斷?檔解析錯誤模型?成幻覺拒答檢索結果

不相關&不完整模型未理解內容回答不完整切?不完整檢索結果

不相關&不完整模型總結不完整回答不相關模型理解出錯響應速度慢模型參數(shù)量?RAG效果關鍵點切?語義完整信息召回完整?檔解析準確?模型

推理總結準確RAG架構-?模型優(yōu)化?檔語義切?混合索引向量+?本問題?檔解析query改寫擴展檢索服務

混合索引+重排LLM

Agent檢索信息不完整時回答/意圖澄清層級抽取微調?模型評測?模型效果評測在線離線RAG模塊架構：阿?云AI搜索開發(fā)平臺搜索組件Query理解?模型服務第三?開源?模型?模型評測服務訓練服務（PAI）推理服務（PAI-EAS）SFT數(shù)據(jù)?成Query改寫實體識別Query分詞數(shù)據(jù)層在線引擎HavenaskElasticsearch數(shù)據(jù)格式數(shù)據(jù)源PDF、Word、PPTExcel、CSVMaxComputeHologresHDFSJSON、HTML、MarkdownOSS

RDS離線服務向量化?本切?數(shù)據(jù)提取sgpt-bloomstellabge-m3多粒度切分?本提取層次切分OCR語義切分視覺模型拼寫糾錯指代消解多輪對話Qwen系列?模型組件編排LangChainLlamaIndex數(shù)據(jù)湖Paimon、Hudi意圖識別NL2SQL阿?云SDKOpenAI

SDK?檔結構化?檔切?問題切?截斷 ?模型幻覺補全PDF、純?本等?件類型?法直接解析語義層級，導致切?語義不完整上下?已知信息：[?檔1]修改云盤的UUID步驟如下，根據(jù)已知信息回答問題，確保只使?已知信息中的內容回答問題，問題：'''如何修改云盤的UUID'''回答要修改云盤的UUID，請按照以下步驟操作：登錄到云盤服務的管理控制臺。尋找并進?“存儲”或“磁盤管理”相關的設置???！?不完整 回答不完整上下?已知信息：[?檔1]修改云盤的UUID步驟如下：1.

遠程連接ECS實例。根據(jù)已知信息回答問題，確保只使?已知信息中的內容回答問題，問題：'''如何修改云盤的UUID'''回答要修改云盤的UUID，請按照以下步驟操作：1.

遠程連接ECS實例。不完整幻覺?檔切?-語義層級抽取模型公開數(shù)據(jù)集PDFWord純?本數(shù)據(jù)增強層級合并噪聲混?純?本模型訓練SFTStepDPO后處理策略層級定位遞歸抽取??切分保證切?語義完整?模型抽取?檔語義層級實現(xiàn)基于語義層級的內容摘要，回答全局（超?上下?）問題語義層級抽取模型-數(shù)據(jù)增強層級合并不同層級標題合并到相同層級噪聲混?基于業(yè)務數(shù)據(jù)構造噪聲純?本構造刪除所有格式信息，轉為純?本標題換?假標題引?…語義層級抽取模型-模型訓練SFTInputOutput基于qwen2-1.5B，約5萬訓練樣本StepDPOInputChosen基于SFT模型預測錯誤樣本構造，只優(yōu)化第?個出錯的層級Reject{"h1":"Opensearch產品架構","substructure":[{"h2":"搜索開發(fā)?作臺"{"h1":"Opensearch產品架構","substructure":[{"h2":"搜索開發(fā)?作臺","substructure":[]},{"h2":"LLM智能問答版","substructure":[]}]}{"h1":"Opensearch產品架構","substructure":[{"h2":"Opensearch版本包括"語義層級切?耗時&成本Lost

intheMiddle?級標題?級標題1?級標題2段落1段落2段落3段落4?級標題?級標題1段落1/摘要?級標題?級標題2段落3/摘要?級標題?級標題1段落2/摘要?級標題?級標題2段落4/摘要語義層級切?切??上下?低?少多信息完整度?中v.s.當前?案：適當增加切??度更優(yōu)?案？?模型微調&Agent探索?模型?成問題…AnalyticDB

MySQL版有多種刪除數(shù)據(jù)的?式，建議如下：數(shù)據(jù)刪除頻率低、基于主鍵為條件的刪除，可通過DELETE刪除數(shù)據(jù)。數(shù)據(jù)刪除頻率低、基于任意條件的刪除，可通過DELETE刪除數(shù)據(jù)。*

通過TRUNCATE

TABLE刪除指定?級分區(qū)。根據(jù)已知信息回答問題，確保只使?已知信息中的內容回答問題，問題：'''analyticdb

mysql怎么清除過期的?級分區(qū)'''：上下?回答(from

GPT4)AnalyticDB

MySQL版清除過期的?級分區(qū)可以通過以下?式進?1.

基于主鍵為條件的刪除，可以使?DELETE的?式刪除數(shù)據(jù)。……幻覺RAG實際應?中模型幻覺率仍偏?，幻覺率：GPT4

~7%，14B及以下模型普遍20+%上下?…RDS

PostgreSQL實例創(chuàng)建數(shù)據(jù)庫…創(chuàng)建RDS

MySQL實例、數(shù)據(jù)庫和賬號…快速創(chuàng)建RDS

SQL

Server實例根據(jù)已知信息回答問題，確保只使?已知信息中的內容回答問題，問題：'''rds創(chuàng)建數(shù)據(jù)庫?法'''回答(from

GPT4)創(chuàng)建云數(shù)據(jù)庫RDS的數(shù)據(jù)庫?法分為RDS

PostgreSQL數(shù)據(jù)庫和RDS

MySQL數(shù)據(jù)庫兩種情況：……缺少RDS

SQL

Server復雜答案中容易遺漏部分內容幻覺不完整效果評測Model-as-Judge檢索結果問題回答評測指標（類似RAGAS）幻覺編造：基于檢索結果-回答，回答中是否存在檢索結果之外的信息混淆：基于檢索結果-問題-回答，回答中是否使?了檢索結果中與問題?關的信息回答問題完整性：基于檢索結果-問題-回答，回答中是否遺漏檢索結果中的關鍵信息相關性：基于問題-回答，回答中是否存在于不回答問題的表述初評反思評測?作流修正?? 單prompt

?作流 ?作流+??67%83%95%100%?模型微調數(shù)據(jù)來源公開數(shù)據(jù)合成問題+搜索引擎結果指令構造引?溯源?格?定義樣本篩選規(guī)則篩選數(shù)據(jù)構造拒答數(shù)據(jù)領域多樣性多輪對話幻覺控制模型評測樣本混合模型訓練DPOSFT富?本?成模型效果GPT4-oQwen1.5-72B-ChatQwen1.5-14B-ChatOpenSearch-Qwen-SFTOpenSearch-Qwen-DPO綜合評分幻覺率綜合評分幻覺率綜合評分幻覺率綜合評分幻覺率綜合評分幻覺率簡單場景RGB0.9556.0%0.91711.7%0.9316.5%0.9544.2%CRUD0.9663.0%0.96511.0%0.9635.0%0.9755.0%復雜場景DuReader0.9635.0%0.92317.0%0.89120.5%0.90413.1%0.9379.0%業(yè)務場景0.9387.1%0.86915.7%0.82030.0%0.86210.0%0.8829.0%基于Qwen1.5-14B微調后，14B模型基本達到了72B模型效果，且幻覺率更優(yōu)實際業(yè)務場景?公開數(shù)據(jù)集更復雜，微調模型在復雜場景中表現(xiàn)更突出RAG場景中的復雜問題上下??班?國家男??球隊_百度百科…?班?2?1擊敗英格蘭第四次捧起獎杯…?班?歷史性第四次奪得歐洲杯冠軍，創(chuàng)下最多奪冠次數(shù)紀錄！…回答?法回答該問題。已知?班?國家隊獲得過1964年、2008年、2012年、2024年歐洲杯冠軍，但?法判斷哪位球員獲得的冠軍數(shù)最多。復雜問題需要通過多步推理和多輪搜索才能最終解答，導致傳統(tǒng)RAG系統(tǒng)?法處理復雜問題。問題：?班?獲得歐洲杯次數(shù)最多球員是誰？ 問題：黎曼的?肖是什么？上下?伯恩哈德·黎曼（德國數(shù)學家）_百度百科…最具獨創(chuàng)精神的數(shù)學家…?班?歷史性第四次奪得歐洲杯冠軍，創(chuàng)下最多奪冠次數(shù)紀錄！…回答抱歉?法回答該問題。Agentic

RAG問題搜索服務規(guī)劃Agent總結Agent回答問題：?班?獲得歐洲杯次數(shù)最多球員是誰？總結：?班?獲得1964、2008、2012、2024歐洲杯冠軍

規(guī)劃：缺少1964、2008、2012、2024?班?歐洲杯參賽名單搜索：1964歐洲杯?班?參賽名單、2008歐洲杯?班?參賽名單…總結：伊涅斯塔、哈維、卡?利亞斯…獲得了2008、2012歐洲杯冠軍，是?班?獲得歐洲杯最多的球員問題：黎曼的?肖是什么？總結：黎曼出?于1826年

規(guī)劃：1826年對應的?肖未知搜索：1826年對應的?肖總結：黎曼出?于1826年，?肖是狗。搜索服務Agent效果&挑戰(zhàn)解答率搜索次數(shù)RAG78%1ReAct85%1.7Search-FirstReAct90%1.2效果挑戰(zhàn)先搜索再由Planner

Agent推理調度，可顯著減少推理步數(shù)

?仍有近30%的復雜問題?法解答??時延?推理步數(shù)?，多次調?LLM，耗時不可控成本?多步推理和搜索積累數(shù)據(jù)，每步的token數(shù)顯著增加，成本線性上升推理?向不準確模型多步推理誤差累積，導致拒答、幻覺，推理步數(shù)越多拒答率、幻覺率越?RAG應?實踐RAG典型場景?戶選品、直播答疑商品售前咨詢，售后服務提升購物互動體驗、銷量轉化電商場景內容場景企業(yè)知識庫教育搜題IT、?娛等個性化信息檢索提升檢索效率、?戶粘性、活躍度、業(yè)務轉化企業(yè)內部資料產品?檔、技術資料等提升企業(yè)信息檢索效率搜題?成答案，知識總結提升學習效率，?戶粘性、活躍度、業(yè)務轉化RAG客戶場景-基于阿?云AI搜索開發(fā)平臺RAG客戶場景-離線?檔結構化營養(yǎng)咨詢?檔解析PDFMarkDown結構化語義離線RAG客戶場景-離線切?&索引營養(yǎng)咨詢?檔解析MarkDown語義切?創(chuàng)建索引切??本混合索引離線切?1切?2RAG客戶場景-在線Agent營養(yǎng)咨詢檢索Agent在線切?2問題：如何搭配?物才能滿??溫作業(yè)的需求？