B站大模型×領(lǐng)域RAG打造高效、智能化的用戶服務(wù)體驗(yàn)Author：Feng

Fan傳統(tǒng)智能客服

vs．大模型智能客服傳統(tǒng)智能客服

vs.

RAG?模型智能客服傳統(tǒng)智能客服系統(tǒng)還是需要為每種任務(wù)單獨(dú)設(shè)計(jì)和維護(hù)特定模型RAG?模型客服在單?框架內(nèi)同時(shí)?持多種任務(wù)，?效靈活傳統(tǒng)智能客服

vs.

RAG?模型智能客服B站線上智能客服攔截率：傳統(tǒng)智能客服（基線組）

vs.

RAG?模型智能客服（?模型組）RAG?模型智能客服框架3.

如何做到準(zhǔn)確安全回答？1.

領(lǐng)域知識(shí)庫如何構(gòu)建？2.

怎么?效檢索知識(shí)？總流程：流程模塊拆分：■領(lǐng)域知識(shí)庫的有效構(gòu)建業(yè)務(wù)知識(shí)信息全?、實(shí)時(shí)冗余、?結(jié)構(gòu)化、檢索效率低領(lǐng)域知識(shí)庫如何有效構(gòu)建歷史??會(huì)話信息提煉噪?、?結(jié)構(gòu)化、檢索效率低FAQ信息提煉結(jié)構(gòu)化、檢索效率???運(yùn)營(yíng)FAQ：精準(zhǔn)但覆蓋有限LLM由歷史??會(huì)話抽取FAQ：覆蓋全?領(lǐng)域知識(shí)庫如何有效構(gòu)建業(yè)務(wù)知識(shí)信息全?、實(shí)時(shí)冗余、?結(jié)構(gòu)化、檢索效率低歷史??會(huì)話信息提煉噪?、?結(jié)構(gòu)化、檢索效率低FAQ信息提煉結(jié)構(gòu)化、檢索效率???運(yùn)營(yíng)FAQ：精準(zhǔn)但覆蓋有限LLM由歷史??會(huì)話抽取FAQ：覆蓋全?怎樣高效檢索知識(shí)．query改寫1.

Re-writing:指代消解補(bǔ)全querymemory信息補(bǔ)全query效果：增加有效攔截query改寫2.

Step-back:向上泛化，提出更基本概念，獲取相關(guān)背景信息，補(bǔ)充query效果：query理解更準(zhǔn)確?query改寫2.

Step-back:向上泛化，提出更基本概念，獲取相關(guān)背景信息，補(bǔ)充query效果：query理解更準(zhǔn)確?query改寫3.

Sub-query:分解?查詢檢索q-q

search重排q-a

match．如何準(zhǔn)確回答安全落地如何準(zhǔn)確回答安全落地通?LLM

+

prompt?程：?

零訓(xùn)練成本?

幻覺較難控制：通?模型較常?現(xiàn)象，prompt控制有限?

默認(rèn)提供答案：不具備充分信息，模型傾向提供回答??拒答，增加誤導(dǎo)?險(xiǎn)?向RAG微調(diào)LLM：?

幻覺可有效控制且顯著降低?

跨?檔整合能?增強(qiáng)?

信息溯源更準(zhǔn)確?

擁有拒答能?保障可靠?

訓(xùn)練成本和資源投?增加如何準(zhǔn)確回答安全落地強(qiáng)化RAG模型：效果整體優(yōu)化后內(nèi)外部RAG評(píng)測(cè)集上平均提升

20%在答案準(zhǔn)確度、答案整合度、拒答能?均顯著改進(jìn)，業(yè)務(wù)評(píng)測(cè)中滿?落地要求。*通?LLM是基于B站?研?模型bilibili

index，作為強(qiáng)化RAG模型的基座。當(dāng)前評(píng)估結(jié)果基于index前代版本，新版本已推出并具有更強(qiáng)性能。強(qiáng)化RAG模型：任務(wù)設(shè)計(jì)輸?端：先拼接query和對(duì)應(yīng)的檢索結(jié)果，并引?思維鏈來構(gòu)造prompt；輸出端：將任務(wù)拆解為多步推理步驟，并在訓(xùn)練過程中顯示引導(dǎo)模型掌握這種推理模式。如何準(zhǔn)確回答安全落地強(qiáng)化RAG模型：數(shù)據(jù)準(zhǔn)備如何準(zhǔn)確回答安全落地根據(jù)偏好數(shù)據(jù)訓(xùn)練reward

model，便于模型迭代和優(yōu)化，同時(shí)輔助??質(zhì)檢■長(zhǎng)文本與R

AG

如何協(xié)同RAG和??本如何協(xié)同?尾問題的應(yīng)?局限知識(shí)稀疏：

相關(guān)信息的稀缺，RAG模型難以從檢索組件獲取充?的直接相關(guān)知識(shí)，拒答降低?戶問題解決率復(fù)雜關(guān)聯(lián)：

問題答案依賴于多個(gè)邏輯步驟和?泛的信息源??本解決?尾的痛點(diǎn)??本挑戰(zhàn)擴(kuò)?上下?窗?，更全?的知識(shí)覆蓋，即使是弱相關(guān)的知識(shí)，將?尾問題轉(zhuǎn)化為多種弱相關(guān)參考點(diǎn)，為?戶提供豐富背景信息，也可以引導(dǎo)?戶交互澄清等。帶來延遲和成本智能客服與大模型的未來展望多模態(tài)理解及檢索增強(qiáng)推理集成業(yè)務(wù)系統(tǒng)Agent交互?模型智能客服的未來展望麥某著名企業(yè)是一家面向技術(shù)型企業(yè)的培訓(xùn)咨詢機(jī)構(gòu)，攜手2000余位中外客座技術(shù)團(tuán)隊(duì)的能力提升、軟件工程效能和產(chǎn)