此圖片為AI生成About

me

–

，from

華為云BP&IT團隊4年SAP，9年華為華為云數(shù)智使能團隊負(fù)責(zé)人AI+

知識 +

數(shù)據(jù)

+

TA終身學(xué)習(xí)者通過本次分享，你可以了解到：華為云客服AI“養(yǎng)成之路”華為云客服AI落地過程中，遇到的“三道坎”及解題方法在企業(yè)中應(yīng)用AI大模型的

“避坑指南”目錄1. 探路篇：華為云客服AI助手工作復(fù)盤2. 避坑篇：在企業(yè)應(yīng)用AI大模型的思考華為云客服業(yè)務(wù)背景：最重要的客戶觸點之一，如何持續(xù)提升用戶體驗和問題閉環(huán)效率？官網(wǎng)智能客服客戶客服坐席SRE坐席專員流失率高，經(jīng)驗沉淀困難業(yè)務(wù)復(fù)雜、變化快，賦能周期長痛點2痛點1隨業(yè)務(wù)量增長，坐席人數(shù)線性增加階段1：2017~2019年核心訴求：業(yè)務(wù)作業(yè)過程線上化作業(yè)數(shù)字化工單處理線上化官網(wǎng)智能客服（QA

Bot）知識庫建設(shè)客服業(yè)務(wù)的技術(shù)演進歷程：期待能夠面向客戶和坐席，提供更“有用”的客服AI助手階段2：2019~2022年核心訴求：借助知識及“傳統(tǒng)”AI手段，沉淀經(jīng)驗資產(chǎn)，提升人效階段3：2023~（探索中）官網(wǎng)智能客服升級

|

客服坐席AI助手核心訴求：AI大模型驅(qū)動生產(chǎn)力躍遷客服AI助手的“養(yǎng)成之路”

：跨過“三道坎”，依然還在路上…階段③：盤古11B+提示詞工程+RAG（向量索引）+人工標(biāo)注+SFT微調(diào)問題：人工標(biāo)注效率低、標(biāo)注質(zhì)量差，誰來標(biāo)、誰來檢？階段②：盤古11B+提示詞工程+RAG問題：模型能力不足、上下文過短、關(guān)鍵詞檢索不準(zhǔn)階段④：盤古11B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注+AI萃取經(jīng)驗知識問題：部分產(chǎn)品存量知識不夠，冷啟動效果差、周期長階段⑤：盤古38B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注Plus+AI萃取經(jīng)驗知識+持續(xù)運營問題：日調(diào)用超100w次，資源和性能瓶頸凸顯，如何高效使用資源？如何解決復(fù)雜問題？階段①：POC，盤古11B內(nèi)測，直接作答問題：通用大模型不理解垂域知識、信息安全如何保障？聯(lián)合EI服務(wù)，早期試用盤古大模型聯(lián)合EI服務(wù)，早期試用CSS向量索引及盤古大模型SFT能力客服AI插件版上線，試點團隊推廣認(rèn)證AI訓(xùn)練師，發(fā)布AI標(biāo)注規(guī)范和流程客服AI助手融入作業(yè)流程，AI萃取歷史工單經(jīng)驗覆蓋客服全員，組建客服AI運營團隊落地Data

Grounding、多模態(tài)解析，探索語音場景NOW：最新模型，客服AI助手方案沉淀，孵化AICore，復(fù)制到SRE、營銷、SMB輔銷2%17%48%56%68%81%第①道坎：如何讓AI大模型能“做事”？第②道坎：如何讓AI飛輪“低功耗”轉(zhuǎn)起來？第③道坎：如何讓AI能力持續(xù)提升？①

讓AI大模型能“做事”，當(dāng)前僅靠簡單的R+A+G還遠遠不夠，還需要3個關(guān)鍵配套1、RAG是當(dāng)下性價比最高的LLM落地方案，本質(zhì)上是一種工程化“代償”方案2、但是，RAG搞Demo容易、落地難，還需要幾個關(guān)鍵配套配套1：工程化實現(xiàn)配套2：企業(yè)知識管理配套3：全鏈路監(jiān)控/評估Source:codeconductor.ai附：

RAG工程化實現(xiàn)方案，初看是搜索，越做越是Agent原始問題向量知識湖融合搜索BadCase分析客服坐席開卷問題解答①

自動N：輸出TOPN知識片段官網(wǎng)資料案例/wiki…Y：輸出標(biāo)準(zhǔn)答案意圖理解優(yōu)質(zhì)QS攔截知識整理后，入知識庫上下文補充+盤古知識語義化&切片+盤古+盤古+盤古標(biāo)注、反饋②

只有讓AI飛輪“低功耗”轉(zhuǎn)起來，才能讓“AI養(yǎng)成”這個游戲持續(xù)的玩下去提出問題接收答案AI循環(huán)作業(yè)循環(huán)冷啟動人工坐席作業(yè)即標(biāo)注AI答的好√修改AI結(jié)果后發(fā)給客戶直接發(fā)給客戶AI答的差×AI作答坐席作答過程記錄AI訓(xùn)練師經(jīng)驗AI檢索增強

AI模型微調(diào)RAG SFT標(biāo)注資料團隊、知識運營知識企業(yè)場景用戶量有限（k級），反饋率極低（<5%）；拿不到足夠的反饋，就無法支撐AI持續(xù)迭代，怎么破？我們的解題思路：“作業(yè)即標(biāo)注”，重新設(shè)計作業(yè)過程，將AI反饋流程與作業(yè)流程融合，以驅(qū)動AI飛輪客戶③

持續(xù)提升領(lǐng)域AI大模型能力的“秘方”是什么？如何讓AI大模型的能力提升符合預(yù)期：理解垂域知識，執(zhí)行垂域任務(wù)，有更多數(shù)據(jù)和算力來持續(xù)投入訓(xùn)練L0.FL1.FL1.CL2企業(yè)/行業(yè)數(shù)據(jù)增量預(yù)訓(xùn)練通用指令數(shù)據(jù)SFT場景指令數(shù)據(jù)SFT我們的解題思路：1、一套企業(yè)級的L1大模型集中資源和精力，打磨一個“懂行”的企業(yè)級L1基模型（也可能是開源的行業(yè)大模型）2、深刻理解數(shù)據(jù)，才能持續(xù)提升數(shù)據(jù)質(zhì)量對訓(xùn)練數(shù)據(jù)集建模，本質(zhì)上是在對業(yè)務(wù)任務(wù)建模（嘗試弄清楚AI到底缺啥數(shù)據(jù)？缺多少？

--

“實習(xí)生測試”）持續(xù)改進訓(xùn)練數(shù)據(jù)和提示詞（多看數(shù)據(jù)

+

評測體系）不斷research（當(dāng)然，得先做search）客服AI應(yīng)用試點情況：過去一年時間，在AI輔助下，工單平均處理時長下降35.11%最終，你會發(fā)現(xiàn)：AI大模型落地不僅僅是IT挑戰(zhàn)，還是一場業(yè)務(wù)變革…華為AI變革“3層5階8步法”：以業(yè)務(wù)價值目標(biāo)為牽引，流程

+

組織

+

數(shù)據(jù)

+

IT，端到端變革④組織變革業(yè)務(wù)專家數(shù)據(jù)專家技術(shù)專家數(shù)據(jù)工程師知識工程師/專家提示工程師（初階）AI訓(xùn)練師（中高階）AI研究員（高階）作業(yè)人員具備AI初階技能和數(shù)據(jù)工程師業(yè)務(wù)專家向AI高級訓(xùn)練師和Kmer轉(zhuǎn)變層二AI開發(fā)與交付第五階：IT⑥AI建模與發(fā)布初階：模型選型，Prompt中階：微調(diào)，外掛知識庫，Botmaker高階：AI數(shù)據(jù)集，領(lǐng)域模型訓(xùn)練層三持續(xù)運營智能應(yīng)用②場景識別識別高能耗點業(yè)務(wù)

數(shù)據(jù)

技術(shù)

三個準(zhǔn)備度評估機會點優(yōu)先級選擇2.

信息流設(shè)計閉環(huán)，作業(yè)即標(biāo)注第二階：流程③重塑流程1.業(yè)務(wù)流程重構(gòu)第一階：場景①明確目標(biāo)層一 1.

生產(chǎn)力、競爭力和客戶體驗提升重新定義 2.

防控關(guān)鍵風(fēng)險與安智能業(yè)務(wù) 全3.

提升業(yè)務(wù)效率降低成本第四階：數(shù)據(jù)⑤數(shù)據(jù)和知識工程高質(zhì)量數(shù)據(jù)的采集清洗轉(zhuǎn)換模式數(shù)據(jù)集的專家撰寫和擴增第三階：組織第五階：

IT⑦AI融入業(yè)務(wù)應(yīng)用⑧AI持續(xù)運營AI評測上線大小模型編排SAL治理獲得反饋對數(shù)據(jù)和知識刷新和修正。對模型持續(xù)校準(zhǔn)和訓(xùn)練目錄1. 探路篇：23年AI輔助華為云業(yè)務(wù)工作復(fù)盤2. 避坑篇：在企業(yè)應(yīng)用AI大模型的思考思考：在企業(yè)中應(yīng)用AI大模型的幾個“坑”AI大模型的“代償”一時爽，一直“代償”能一直爽嗎？我的IT團隊能“適應(yīng)”AI大模型應(yīng)用時代嗎？應(yīng)該從哪兒開始搞起？AI大模型應(yīng)用到底是“+AI

”還是“AI+”？沿著AI大模型的第一性原理，一切才剛剛開始，別在AI大模型前進的車輪下“繡花”O(jiān)penAIGPT Google

Gemini Anthropic

ClaudeSrouce:

《BIGIDEAS

2024》by

ARK

InvestSource:Claude\

AnthropicSource:Gemini-Google

DeepMindSource:Models-OpenAI

API因地制宜，選擇合適的“游戲模式”，組建GenAI應(yīng)用團隊，與AI大模型共同成長思考：與傳統(tǒng)IT團隊人員配置差異很大；從應(yīng)用角度，用好ICL，輔以SFT，按需做增量預(yù)訓(xùn)練，是不錯的選擇GenAI應(yīng)用團隊與傳統(tǒng)IT應(yīng)用團隊差異很大面向AI大模型的應(yīng)用設(shè)計和開發(fā)人才第一、數(shù)據(jù)第二、算力第三（英雄出少年，關(guān)注優(yōu)秀GenAI團隊的構(gòu)成）三種“游戲模式”，該選哪個？123Source:byBijitGhosh|

Medium業(yè)務(wù)BAAI訓(xùn)練師（評估/標(biāo)注）IT產(chǎn)品運營

AI助手運營（運營AI助手

&

AI訓(xùn)練師）ITSA

AI

SA（AI加持的解決方案）ITSE

AI

SE（提示詞工程/算法/訓(xùn)練）IT產(chǎn)品經(jīng)理以終為始，用“AI+”思想設(shè)計，以“+AI”來逐步改變，當(dāng)下正是“春耕時節(jié)”思考：當(dāng)下是與業(yè)務(wù)建立統(tǒng)一認(rèn)知、組建團隊、練兵的好時機；應(yīng)當(dāng)甄選“好”場景，小處著手，低垂的果子先摘Source:SpaceX-Missions:

MarsTAKE

AWAY：春耕時節(jié)，大處著眼，小處著手我們的“探路”報告① 為了讓AI大模型能“做事”，RAG有用，但遠遠不夠，需要三個配套（工程化實現(xiàn)、企業(yè)知識管理、全鏈路評測）② 為了讓AI飛輪“低功耗”轉(zhuǎn)起來，重新設(shè)計業(yè)務(wù)流程和IT交互，讓AI大模型融入作業(yè)（“作業(yè)即標(biāo)注”）③ 為了持續(xù)提升領(lǐng)域AI大模型能力，需要建立企業(yè)級L1，并對訓(xùn)練數(shù)據(jù)建模，以改進數(shù)據(jù)質(zhì)量④ 加餐：企業(yè)AI變革的“三層五階八步”方法論（以業(yè)務(wù)價值目標(biāo)為牽引，圍繞組織、流程、數(shù)據(jù)和IT的變革落地）我們的“避坑”指南① AI大模型未來會“更快、更準(zhǔn)、更長、更便宜、更多模態(tài)”，別在前進的車輪下“繡花”② 組建GenAI應(yīng)用團隊，從應(yīng)用角度用好ICL，輔以SFT，按需做增量預(yù)訓(xùn)練③ 甄選“好”場景，小處著手，低垂的果子先摘，當(dāng)下是非常好的機會窗來儲備?2018HuaweiTechnologiesCo.,Ltd.AllRightsd.Theinformationinthisdocumentmaycontainpredictivestatementsincluding,withoutlimitation,statementsregardingthefuturefinancialandoperatingresults,future

productportfolio,newtechnology,etc.Thereareanumberoffactorsthatcouldcauseactualresultsanddevelopmentstodiffermateriallyfromthoseexpressedorimpliedinthepredictive

statements.Therefore,suchinformationisprovidedforreferencepurposeonlyandconstitutesneitheranoffern