RAG

的開放性及企業(yè)落地姜勇Dify

架構師建設

RAG

目前的困境RAG

發(fā)展史Enterprise

RAGRAG

的展望1.2.3.4.from:

FP1MissingContentFP2MissedtheTopRanked

DocumentsFP3NotinContext-ConsolidationstrategyLimitationsFP4NotExtractedFP5WrongFormatFP6Incorrect

SpecificityFP7

Iplete第一階段：Basic

RAGAnswerRetrievebasedonvector

searchBasicRAGPipeline:Indexing&

Querying第二階段：Advanced

RAGHybrid

RetrieveAnswerResult

ProcessQuery

typeKeyword[NDCG@3]Vector[NDCG@3]Hybrid[NDCG@3]Hybrid+SemanticRanker[]Conceptseeking

queries39.045.846.359.6Factseeking

queries37.849.049.163.4Exactsnippet

search51.141.551.060.8Websearch-like

queries41.846.350.058.9Keywordqueries79.211.761.066.9Lowqueryterm

overlap23.036.135.949.1Querieswith

misspellings28.839.140.654.6Long

queries42.741.648.159.4Mediumqueries38.144.746.759.9Short

queries53.138.853.063.9Hybird

RetrieveAnswerResult

ProcessQuery

Transform“GarbageInGarbage

Out.”類型示例問題與語料不相關詢問產品配置庫關于貨物運輸?shù)膯栴}問題模糊“這篇文章的不是關于事實召回“總結一下這篇文章的主要內容”包含多個子問題"今年的歐洲杯在哪里舉辦，什么時候開始?"需要多跳邏輯“Whowonthe2023superbowlandwherewastheirheadcoach

from?”包含非語義組成（結構化）“Whataremoviesaboutaliensin1980”-shouldfilterby

year=1980問題包含比較某省市房貸利率政策從2022年至2023年有哪些調整？”Howtodealwithbelowqueries

？類型解決方案問題與語料不相關檢索前增加問題分類或檢查步驟，如查詢路由（Queryrouting）問題模糊基于歷史的問題重寫（Rewrite）不是關于事實召回（總結）索引過程中實現(xiàn)摘要（Summary

Index），分層檢索（Recrusive）長文本窗口模型（LongContext

Model）包含多個子問題子問題拆分（sub-question）后并行查詢需要多跳邏輯問題規(guī)劃（Question

Planing）迭代召回（Iterative

Retrieval）包含非語義組成（結構化）元數(shù)據(jù)過濾器（Metadata

Filter）問題包含比較問題規(guī)劃（Question

Planing）ModelMax

Tokengpt-4o128Kclaude-3200KGemini1.5

Pro1Mqwen-long10Mdeepseek-chat32KERNIE

Speed128Kglm-4128Kdoubao-lite-128k128Kmoonshot-v1-128k128K第三階段：Multiple-mode

with

longcontextRAGThemodel’s

contextsizeis

huge,so,RAGis

notrequired

???機會：分塊算法更靈活，可以達到文檔級別文檔之間的分析和比較更容易總結更容易更容憶管理，減少壓縮技巧的使用減少幻覺為大模型支持無限

Context前的過濾手段，減少成本Long-context&

RAGParentchunkforlong-context,childchunkforretrivalRAGSemantic

CacheModerationAuthenticationObservationEvaluationLoad

BalancingRAG

系統(tǒng)的本質是基于自然語言的開放域問答系統(tǒng)，難點也在于“開放域”。要想獲得符合預期的召回效果，需要對應用情景進行概括和收斂，尋找合適的檢索模式或組合。在動手設計一個

RAG

系統(tǒng)之前，最好先考慮好你的用戶是哪些人，以及他們最可能問出什么樣的問題?！兑牖旌蠙z索（Hybrid

Search）和重排序（Rerank）改進

RAG系統(tǒng)召回效果》沒有最好的，只有最適合場景的策略Nooneisbetterthantheotherbutjustwhenonefitsmoreincertaintypeofquestions.RAGPiplineDify.AI

官方如果你喜歡Dify，歡迎：在

GitHub

上貢獻代碼，與我們一同共建更好的Dify；通過線上線下活動、社交媒體向你的朋友們分享

Dify，以及你的使用經(jīng)驗；在GitHub上給我們點亮?

yDify.AI

官方小助手麥某著名企業(yè)