檢索增強生成RAG的必要性目錄多種RAG系統(tǒng)的介紹RAG存在的挑戰(zhàn)RAG的必要性1.幻覺幻覺的影響：錯誤的信息會誤導用戶并導致缺乏信任RumorPropagation:OntheafternoonofFebruary16,2023,homeownersinaHangzhoucommunitywerediscussingChatGPTintheirgroupchat.Oneofthehomeownersjokinglysuggestedtryingtouseittowriteanews

articleaboutthecancellationoftrafficrestrictionsinHangzhou.ThishomeownerthenlivestreamedthewritingprocessusingChatGPTandpostedthearticleinthegroup.Somehomeownerstookitseriously,tookscreenshots,andforwardedthem,leadingtothespreadofincorrectinformation.[1]陳慧敏等,大語言模型時代的社會機遇與挑戰(zhàn).計算機研究與發(fā)展,20231.過時除了幻覺之外，記憶的知識也可能是過時的WecanfinetuneLLMsfordomainadaption1.隱私安全However,LMscaneasilyleakprivatetrainingdata[1]Carlinietal.ExtractingTrainingDatafromLargeLanguageModels.arXiv,2021.1.RetrievalAugmentedGeneration(RAG)RAG建模可以幫助LLM訪問外部知識，使響應更加準確和可靠外部知識庫易于更新=RAG

ModelingSupervised

Finetuning1.RetrievalAugmentedGeneration(RAG)RAG模型由檢索模塊和生成模塊組成KnowledgeBasesRetrieverQueryLMInputRetrieved

KnowledgeRetrieval

Module1.RetrievalAugmentedGenerationRAGcanbealsoadaptedtoblackboxLLMs(In-ContextLearning)[1]Rametal.In-ContextRetrieval-AugmentedLanguageModels.TACL2023.1.RetrievalAugmentedGenerationExpendingRAGformulti-modaldata[1]Yasunagaetal.Retrieval-AugmentedMultimodalLanguageModeling.ICML2023.Usingretrievedimagestoenhancethegenerationeffectiveness多種RAG系統(tǒng)的介紹2.1初級RAG輸入-檢索-生成2.1初級RAG輸入-檢索-生成（1）輸入用戶首先通過自然語言提交一個查詢或問題。這一輸入可以是任何形式的信息請求，例如詢問特定的事實、請求建議或希望獲取詳細數(shù)據(jù)。系統(tǒng)需要解析并理解用戶的意圖，為后續(xù)處理做好準備。2.1初級RAG輸入-檢索-生成（2）索引在索引階段，系統(tǒng)對原始數(shù)據(jù)進行清理和提取。這些數(shù)據(jù)可能來自多種格式，如PDF、HTML、Word和Markdown。經(jīng)過清理后，數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為純文本格式。為了適應語言模型的上下文限制，文本被分割成較小的、易于處理的塊。這些塊隨后通過嵌入模型編碼為向量表示，并存儲在向量數(shù)據(jù)庫中。這一過程確保能夠高效執(zhí)行后續(xù)的相似性搜索。2.1初級RAG輸入-檢索-生成（3）檢索當用戶提交查詢后，RAG系統(tǒng)使用與索引階段相同的編碼模型，將用戶查詢轉(zhuǎn)換為向量表示。系統(tǒng)計算查詢向量與索引語料庫中各塊向量之間的相似性得分。通過比較這些得分，系統(tǒng)優(yōu)先檢索出與查詢最相關(guān)的前K個塊。這些塊將作為擴展上下文，供后續(xù)生成階段使用。2.1初級RAG輸入-檢索-生成（4）生產(chǎn)在生成階段，用戶查詢和選定的文檔被綜合成一個連貫的提示，交由大語言模型生成響應。模型的回答方式可能會依據(jù)任務要求有所不同，既可以利用其固有的知識，也可以將回答限制在提供的文檔信息內(nèi)。在持續(xù)對話場景下，現(xiàn)有的對話歷史可以被整合到提示中，以增強生成內(nèi)容的相關(guān)性和一致性。2.2高級RAG預檢索-后檢索2.2高級RAG預檢索-后檢索（1）預檢索在預檢索階段，主要關(guān)注優(yōu)化索引結(jié)構(gòu)和原始查詢。優(yōu)化索引的目標是提高被索引內(nèi)容的質(zhì)量，涉及多種策略，包括增強數(shù)據(jù)粒度、優(yōu)化索引結(jié)構(gòu)、添加元數(shù)據(jù)、對齊優(yōu)化和混合檢索。同時，查詢優(yōu)化的目標是使用戶的原始問題更清晰、更適合檢索任務。常見的方法包括查詢重寫、查詢轉(zhuǎn)換、查詢擴展等技術(shù)。2.2高級RAG預檢索-后檢索（2）后檢索一旦檢索到相關(guān)上下文，有效整合這些信息與查詢至關(guān)重要。后檢索階段的主要方法包括對檢索到的內(nèi)容進行重新排序和上下文壓縮。重新排序是將最相關(guān)的信息移至提示的邊緣，這一策略在LlamaIndex、LangChain和HayStack等框架中得到了應用。直接將所有相關(guān)文檔輸入LLM可能導致信息過載，使得關(guān)鍵細節(jié)被無關(guān)內(nèi)容稀釋。因此，后檢索工作集中在選擇必要信息上，強調(diào)關(guān)鍵部分，并縮短需要處理的上下文，以提高信息處理的效率和有效性。2.3模塊化RAG模塊組-模式組模塊化RAG是一種靈活的檢索增強生成架構(gòu)，在初高級RAG基礎上引入可替換和重新配置的模塊，以提升信息檢索和處理的適應性和效率2.3模塊化RAG模塊組-模式組設計多個不同的功能模塊，包括搜索、融合、記憶、路由、預測、任務適配器等模塊。（1）模塊組搜索模塊適應特定場景，能夠直接在各種數(shù)據(jù)源（如搜索引擎、數(shù)據(jù)庫和知識圖譜）中進行搜索，使用LLM生成的代碼和查詢語言；融合模塊通過采用多查詢策略來解決傳統(tǒng)搜索的局限性，將用戶查詢擴展為多樣化的視角，利用并行向量搜索和智能重新排序來揭示顯性和變革性知識。記憶模塊利用LLM的記憶來指導檢索，創(chuàng)建一個無界記憶池，通過迭代自我增強將文本與數(shù)據(jù)分布更緊密地對齊。路由模塊通過多樣的數(shù)據(jù)源導航，為查詢選擇最佳路徑，無論是摘要、特定數(shù)據(jù)庫搜索還是不同信息流。預測模塊旨在通過LLM直接生成上下文來減少冗余和噪聲，確保相關(guān)性和準確性。任務適配器模塊將RAG調(diào)整為各種下游任務，自動化零樣本輸入的提示檢索，并通過少樣本查詢生成創(chuàng)建特定任務的檢索器。2.3模塊化RAG模塊組-模式組根據(jù)實際任務需求，設計不同的配置模式。模塊化RAG允許模塊替換或重新配置，展現(xiàn)出卓越的適應性，以應對特定挑戰(zhàn)。Rewrite-Retrieve-Read模型利用LLM的能力，通過重寫模塊和反饋機制來優(yōu)化檢索查詢，從而提升任務的表現(xiàn)。Retrieve-Read-Retrieve-Read，展示了如何動態(tài)利用模塊輸出來增強其他模塊的功能，體現(xiàn)了對增強模塊協(xié)同作用的深入理解。Generate-Read方法用LLM生成的內(nèi)容替代傳統(tǒng)的檢索。Recite-Read強調(diào)從模型權(quán)重中進行檢索，增強模型處理知識密集任務的能力。（2）模式組2.4檢索自由型RAG何時檢索2.4檢索自由型RAG何時檢索對于事實型問題“HowdidUSstatesgettheirnames?”時，Self-RAG會判定其需要基于檢索到的知識進行回答。與傳統(tǒng)RAG不同，Self-RAG會對檢索到的文檔進行相關(guān)性和置信度評分，優(yōu)先選擇評分最高的文檔來生成答案，如上圖中的Relevant+Supported>Relevant+Partially>Irrelevant。對于創(chuàng)作型問題如“Writeanessayofyourbestsummervacation”，Self-RAG會判定該問題無需檢索即可直接生成答案。在傳統(tǒng)RAG中，兩個問題都需要檢索固定數(shù)量的文檔并生成回答，Self-RAG展現(xiàn)出更高的靈活性和準確性。2.5知識圖譜型RAG知識圖譜知識圖譜以結(jié)構(gòu)化形式描述客觀世界中的概念實體及關(guān)系；將非線性世界中的知識信息結(jié)構(gòu)化、可視化，具有可解釋、可推理的認知能力；已廣泛應用于搜索、推薦、問答、金融、公安等多個領(lǐng)域。2.5知識圖譜型RAG知識圖譜2.5知識圖譜型RAG知識圖譜GraphRAG在保留傳統(tǒng)RAG架構(gòu)的基礎上，利用LLM將文本庫轉(zhuǎn)化為知識圖譜，知識圖譜使復雜關(guān)系的呈現(xiàn)更加直觀，便于更靈活的知識查詢和快速響應用戶需求。同時，GraphRAG結(jié)合了向量數(shù)據(jù)庫技術(shù)，極大地提高了檢索速度和準確性。GraphRAG2.5知識圖譜型RAG知識圖譜LightRAG是一種輕量級檢索增強生成（RAG）框架，通過將圖結(jié)構(gòu)整合到文本索引和檢索過程中，旨在提高大型語言模型（LLMs）的信息檢索能力。LightRAG采用雙層檢索系統(tǒng)，從低層次和高層次等角度，結(jié)合圖結(jié)構(gòu)和向量表示，高效地檢索相關(guān)實體及其關(guān)系，顯著提升響應速度和上下文相關(guān)性。LightRAG2.5知識圖譜型RAG知識圖譜LightRAGRAG存在的挑戰(zhàn)3.挑戰(zhàn)Whentoretrieveknowledge?PassiveRetrieval:RetrieveriscalledonceoreverystepofgenerationLMIdecidewhentoretrieve

Passive

Retrieval

Retrieval

Once:

Theremightbesomemissingpiecesofinformation,

such

as

REALM(Guuetal.2020)Idecidewhentoretrieve

AdaptiveRetrieval:

Teachmodelto

learnwhentoretrieveLMRetrieval

Every

Tokens:

The

model

is

inefficient,

such

as

KNN-LM

(Khandelwal

et

al.

2020)[1]Jiangetal.ActiveRetrievalAugmentedGeneration.ACL2023.3.挑戰(zhàn)Howtouseretrievedknowledge?ThenoiseofretrievalwillaffecttheperformanceoflanguagemodelsThequeryisusuallyshort,thustheuserintentionisusuallyunclearWhowastheproducerofTheWoods?3.DenoisingRetrievedContentsChain-of-NoteGeneratingthesummarizednotesusingLLMs[1]Yuetal.CHAIN-OF-NOTE:ENHANCINGROBUSTNESSINRETRIEVAL-AUGMENTEDLANGUAGEMODELS.arXiv,2023.3.DenoisingRetrievedContentsChain-of-NoteUsingtheinstructionstopromptLLMstosummarizethecontextandjudgetherelevancebetweenqueriesandretrievedcontents[1]Yuetal.CHAIN-OF-NOTE:ENHANCINGROBUSTNESSINRETRIEVAL-AUGMENTEDLANGUAGEMODELS.arXiv,2023.TaskDescription:

1.ReadthegivenquestionandfiveWikipediapassagestogatherrelevantinformation.

2.Writereadingnotessummarizingthekeypointsfromthesepassages.

3.Discusstherelevanceo