RAG

的開(kāi)放性及企業(yè)落地姜勇Dify

架構(gòu)師目錄建設(shè)

RAG

目前的困境RAG

發(fā)展史Enterprise

RAGRAG

的展望1.2.3.4.RAG

難點(diǎn)from:

/html/2401.05856v1RAG

難點(diǎn)FP1MissingContentFP2MissedtheTopRanked

DocumentsFP3NotinContext-ConsolidationstrategyLimitationsFP4NotExtractedFP5WrongFormatFP6Incorrect

SpecificityFP7

Incomplete第一階段：Basic

RAGRAG

發(fā)展史AnswerRetrievebasedonvector

searchRAG

發(fā)展史BasicRAGPipeline:Indexing&

QueryingRAG

發(fā)展史RAG

發(fā)展史第二階段：Advanced

RAGHybrid

RetrieveAnswerResult

ProcessRAG

發(fā)展史RAG

發(fā)展史Query

typeKeyword[NDCG@3]Vector[NDCG@3]Hybrid[NDCG@3]Hybrid+SemanticRanker[NDCG@3]Conceptseeking

queries39.045.846.359.6Factseeking

queries37.849.049.163.4Exactsnippet

search51.141.551.060.8Websearch-like

queries41.846.350.058.9Keywordqueries79.211.761.066.9Lowqueryterm

overlap23.036.135.949.1Querieswith

misspellings28.839.140.654.6Long

queries42.741.648.159.4Mediumqueries38.144.746.759.9Short

queries53.138.853.063.9RAG

發(fā)展史Hybird

RetrieveAnswerResult

ProcessQuery

TransformRAG

發(fā)展史“GarbageInGarbage

Out.”RAG

發(fā)展史類型示例問(wèn)題與語(yǔ)料不相關(guān)詢問(wèn)產(chǎn)品配置庫(kù)關(guān)于貨物運(yùn)輸?shù)膯?wèn)題問(wèn)題模糊“這篇文章的作者是誰(shuí)？不是關(guān)于事實(shí)召回“總結(jié)一下這篇文章的主要內(nèi)容”包含多個(gè)子問(wèn)題"今年的歐洲杯在哪里舉辦，什么時(shí)候開(kāi)始?"需要多跳邏輯“Whowonthe2023superbowlandwherewastheirheadcoach

from?”包含非語(yǔ)義組成（結(jié)構(gòu)化）“Whataremoviesaboutaliensin1980”-shouldfilterby

year=1980問(wèn)題包含比較“江蘇省房貸利率政策從2022年至2023年有哪些調(diào)整？”Howtodealwithbelowqueries

？RAG

發(fā)展史RAG

發(fā)展史類型解決方案問(wèn)題與語(yǔ)料不相關(guān)檢索前增加問(wèn)題分類或檢查步驟，如查詢路由（Queryrouting）問(wèn)題模糊基于歷史的問(wèn)題重寫(xiě)（Rewrite）不是關(guān)于事實(shí)召回（總結(jié)）索引過(guò)程中實(shí)現(xiàn)摘要（Summary

Index），分層檢索（Recrusive）長(zhǎng)文本窗口模型（LongContext

Model）包含多個(gè)子問(wèn)題子問(wèn)題拆分（sub-question）后并行查詢需要多跳邏輯問(wèn)題規(guī)劃（Question

Planing）迭代召回（Iterative

Retrieval）包含非語(yǔ)義組成（結(jié)構(gòu)化）元數(shù)據(jù)過(guò)濾器（Metadata

Filter）問(wèn)題包含比較問(wèn)題規(guī)劃（Question

Planing）RAG

發(fā)展史ModelMax

Tokengpt-4o128Kclaude-3200KGemini1.5

Pro1Mqwen-long10Mdeepseek-chat32KERNIE

Speed128Kglm-4128Kdoubao-lite-128k128Kmoonshot-v1-128k128K第三階段：Multiple-mode

with

longcontextRAGThemodel’s

contextsizeis

huge,so,RAGis

notrequired

???RAG

發(fā)展史機(jī)會(huì)：分塊算法更靈活，可以達(dá)到文檔級(jí)別文檔之間的分析和比較更容易總結(jié)更容易更容易的記憶管理，減少壓縮技巧的使用減少幻覺(jué)為大模型支持無(wú)限

Context前的過(guò)濾手段，減少成本Long-context&

RAGRAG

發(fā)展史Parentchunkforlong-context,childchunkforretrivalEnterprise

RAGRAGSemantic

CacheModerationAuthenticationObservationEvaluationLoad

BalancingRAG

展望RAG

系統(tǒng)的本質(zhì)是基于自然語(yǔ)言的開(kāi)放域問(wèn)答系統(tǒng)，難點(diǎn)也在于“開(kāi)放域”。要想獲得符合預(yù)期的召回效果，需要對(duì)應(yīng)用情景進(jìn)行概括和收斂，尋找合適的檢索模式或組合。在動(dòng)手設(shè)計(jì)一個(gè)

RAG

系統(tǒng)之前，最好先考慮好你的用戶是哪些人，以及他們最可能問(wèn)出什么樣的問(wèn)題?！兑牖旌蠙z索（Hybrid

Search）和重排序（Rerank）改進(jìn)

RAG