多智能體協(xié)作下的大模型運(yùn)維場景實戰(zhàn)2025.6.282025.6.28 匯報人孫占峰目目錄浙江移動數(shù)智運(yùn)維體系介紹浙江移動運(yùn)維體系演進(jìn)歷程開始研究云計算技術(shù)研究并推廣DCOS技術(shù)研究并推廣微服務(wù)架構(gòu)完成核心系統(tǒng)全面容器化完成核心數(shù)據(jù)庫去完成核心系統(tǒng)全面微服務(wù)化核心系統(tǒng)數(shù)據(jù)庫第1個地市完整去OARM機(jī)房建設(shè)研究并試點AI大模型2000-20042011-2015大俠2000-20042011-2015大俠運(yùn)維體系化運(yùn)維2005-2010標(biāo)準(zhǔn)化運(yùn)維連續(xù)性故障1510達(dá)成比例達(dá)云原生1.0時期連續(xù)性故障1510達(dá)成比例達(dá)云原生1.0時期管理驅(qū)動：流程化運(yùn)維2016-2022人輔助機(jī)器安全可控智能運(yùn)維2023-至今>2016-2022人輔助機(jī)器安全可控智能運(yùn)維2023-至今>精益運(yùn)維腳本化工具化中臺化腳本化工具化中臺化云原生2.0時期云原生2.0時期數(shù)字升維：工具化運(yùn)維AI原生時期AIAI原生時期AI注智：智能化運(yùn)維異常事件111自愈率達(dá)事前事事前事中可預(yù)測可預(yù)測可灰度可灰度可觀測可觀測可協(xié)同可協(xié)同可逃生可逃生可守底可守底六大關(guān)鍵工程（1/2）開展“戰(zhàn)猿突襲，以戰(zhàn)練戰(zhàn)”行動，落地推進(jìn)混沌工程，基于故障消費(fèi)能力，故障注入能力和風(fēng)建立用戶卡頓監(jiān)測、業(yè)務(wù)波動檢網(wǎng)元態(tài)勢感知的五層可觀測性體系。觀測可以分層，數(shù)據(jù)必須融 六大關(guān)鍵工程（2/2）元宇宙運(yùn)維指揮體系，即為人機(jī)協(xié)同演進(jìn)提供高效工具，也為遠(yuǎn)程接入和數(shù)據(jù)共享提速增效，借助數(shù)字空間打破物理限制，為未 基于架構(gòu)建設(shè)、單元化改造和流業(yè)務(wù)恢復(fù)為首要目標(biāo)打造逃生體業(yè)務(wù)挽回率達(dá)83.5%。運(yùn)維面臨的挑戰(zhàn)警聚斂、故障定位、變更關(guān)聯(lián)、業(yè)務(wù)修復(fù)等方面的信大模型時代下運(yùn)維體系變革的探索大模型行業(yè)發(fā)展趨勢通用人工智能的發(fā)展方向24年7月，OpenAI公開了其全新的AGI（ArtificialGeneral AIAgent企業(yè)落地趨勢核實結(jié)果做出決策圖片來源：.pk/artAIAgent在運(yùn)維領(lǐng)域的主要工作模式工作流系統(tǒng)基于預(yù)設(shè)規(guī)則與流程的智能體執(zhí)協(xié)作系統(tǒng)智能體與人類通過交互式接口協(xié)全自動系統(tǒng)具備自主感知、決策、執(zhí)行閉環(huán)-●AIAgent落地運(yùn)維場景仍需解決的問題基于單一場景的智能體仍然面臨著運(yùn)維處理中復(fù)雜交互的場景問題基于單一場景的智能體仍然面臨著運(yùn)維處理中復(fù)雜交互的場景問題，不成體系的智能體難以滿足客戶感知的需求。臨著運(yùn)維處理中準(zhǔn)確性要求高的挑戰(zhàn)，不加約束的大模型難以達(dá)運(yùn)維領(lǐng)域需要可控智能體可控，實現(xiàn)智能體對運(yùn)維場景的確定性介入?；贖ASOP的可控智能體決策可控過程可控結(jié)果可控基于HASOP的可控智能體新范式：一條具體實施路線定義標(biāo)準(zhǔn)流程LLMs輔助專家開展運(yùn)維知識工程，將各類運(yùn)維任務(wù)定義為標(biāo)準(zhǔn)流程，包括流程角色，觸發(fā)條制作標(biāo)準(zhǔn)提詞將得到的HASOP定程節(jié)點角色進(jìn)行提組裝智能體定義標(biāo)準(zhǔn)通信標(biāo)準(zhǔn)化智能體的輸入輸出控制，采用字段結(jié)構(gòu)來統(tǒng)一智能體每次交互數(shù)據(jù)人類強(qiáng)化更新不斷調(diào)優(yōu)流程設(shè)計和有效率運(yùn)維領(lǐng)域需要多維智能體如何解決單智能場景（LLM-based）的“孤島協(xié)同，構(gòu)建一套應(yīng)用全生命周期的智能運(yùn)維系統(tǒng)?；赟RE體系的多維智能體場景協(xié)同數(shù)據(jù)協(xié)同結(jié)果協(xié)同基于SRE運(yùn)維體系的多維智能體建設(shè)：一個基礎(chǔ)運(yùn)行原理智能體場景多智能體協(xié)作的故障處理實踐實踐準(zhǔn)備：人員與技術(shù)儲備欲善其事必先利其器欲善其事必先利其器，浙江移動全面推進(jìn)“AI+”戰(zhàn)略落地，形成了“兩層四類”的人員梯隊，建設(shè)了IT領(lǐng)域智算服務(wù)平臺。在AI變革中，促使各部門力出一處，使能內(nèi)外部客戶數(shù)智化轉(zhuǎn)型。業(yè)務(wù)應(yīng)用ToCToHToBO域B域M域ToN迅速提升核心支撐能力，同時助力技術(shù)骨干轉(zhuǎn)型提示詞增強(qiáng)應(yīng)用管理應(yīng)用使能層工作流編排檢索增強(qiáng)智能體模版提示詞工程插件工具管理提示詞增強(qiáng)智能體增強(qiáng)應(yīng)用管理智能體增強(qiáng)智能體增強(qiáng)提示詞增強(qiáng)應(yīng)用管理通用能力保持技術(shù)的連貫性，激發(fā)內(nèi)部的創(chuàng)新活力適應(yīng)市場變化，實現(xiàn)能力升級模型使能層模型開發(fā)模型訓(xùn)練模型微調(diào)業(yè)務(wù)應(yīng)用ToCToHToBO域B域M域ToN迅速提升核心支撐能力，同時助力技術(shù)骨干轉(zhuǎn)型提示詞增強(qiáng)應(yīng)用管理應(yīng)用使能層工作流編排檢索增強(qiáng)智能體模版提示詞工程插件工具管理提示詞增強(qiáng)智能體增強(qiáng)應(yīng)用管理智能體增強(qiáng)智能體增強(qiáng)提示詞增強(qiáng)應(yīng)用管理通用能力保持技術(shù)的連貫性，激發(fā)內(nèi)部的創(chuàng)新活力適應(yīng)市場變化，實現(xiàn)能力升級模型使能層模型開發(fā)模型訓(xùn)練模型微調(diào)模型推理模型評估epek增強(qiáng)IIl模型開放部署信息管理內(nèi)容校驗?zāi)Ｐ途W(wǎng)關(guān)九天基座自研模型開源模型服務(wù)調(diào)用管理模型訓(xùn)推模型倉 模型適配 版本管理擁抱AI能力，提升工作效率數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)收集數(shù)據(jù)清洗數(shù)據(jù)標(biāo)注數(shù)據(jù)存儲數(shù)據(jù)開發(fā)數(shù)據(jù)維護(hù)數(shù)據(jù)開放“智成”（場景使用價值創(chuàng)造）“智用”（工具應(yīng)用效率提升）算力基礎(chǔ)設(shè)施異構(gòu)算力管理算力基礎(chǔ)設(shè)施異構(gòu)算力管理全局資源調(diào)度全程鏈路監(jiān)控運(yùn)維故障管理算力（C）存力（文件/對象/融合）運(yùn)力（R）AI中心虛擬團(tuán)隊人員梯隊建設(shè)智算服務(wù)建設(shè)浙江移動人機(jī)協(xié)同的“1-5-10”保障體系，指標(biāo)已經(jīng)達(dá)到75%峰值且陷入瓶頸，亟需通過向人工智能運(yùn)維轉(zhuǎn)型并實現(xiàn)以1分鐘發(fā)現(xiàn)、1分鐘定位、1分鐘恢復(fù)為目標(biāo)的故障快速應(yīng)急能力。故障處置重塑設(shè)計發(fā)現(xiàn)啟動評估決策執(zhí)行快恢切流中間件恢復(fù)能力預(yù)案平臺故障等級計算自愈平臺通告文案組裝故障處置重塑設(shè)計發(fā)現(xiàn)啟動評估決策執(zhí)行快恢切流中間件恢復(fù)能力預(yù)案平臺故障等級計算自愈平臺通告文案組裝開關(guān)云底座恢復(fù)能力秒級通告慢SQL查殺擴(kuò)容1分鐘發(fā)現(xiàn)及啟動應(yīng)急1分鐘發(fā)現(xiàn)及啟動應(yīng)急1分鐘定界1分鐘恢復(fù)1分鐘恢復(fù)1分鐘發(fā)現(xiàn)及啟動應(yīng)急5分鐘定界10分鐘恢復(fù)初因定位業(yè)務(wù)定位業(yè)務(wù)定位平面定位平面定位底層容器定位底層容器定位其他定位其他定位實踐必要性2：生產(chǎn)運(yùn)維面臨的問題經(jīng)過多年運(yùn)營經(jīng)過多年運(yùn)營，傳統(tǒng)機(jī)器輔助人的運(yùn)維模式已經(jīng)難以進(jìn)一步提升故障應(yīng)急效率，“大”、“長”、“慢”導(dǎo)致的“難”、“險”、“差”問題凸顯，向人工智能運(yùn)維模式轉(zhuǎn)型是破題的關(guān)鍵。云化微服務(wù)化導(dǎo)致運(yùn)維規(guī)模指數(shù)級擴(kuò)大 IT人員流動較大，運(yùn)維經(jīng)驗傳承周期長機(jī)器輔助人的應(yīng)急效率較低，難以進(jìn)一步提升難大規(guī)模集群網(wǎng)狀調(diào)用使得人工定界處置難險流動頻繁且成長慢導(dǎo)致運(yùn)維人力斷層風(fēng)險 應(yīng)急處置的時間較長，用戶使用感知差實踐體系：多智能體協(xié)同框架將多年將多年SRE運(yùn)維管理經(jīng)驗應(yīng)用于智能體系統(tǒng)框架，實現(xiàn)SRE管理、專家經(jīng)驗和智能體的有機(jī)結(jié)合。在智能場景內(nèi)部通過HASOP提升微觀操作的準(zhǔn)確性，在智能場景外部通過SRE-MAS體系實現(xiàn)宏觀層面的協(xié)同管理。統(tǒng)一目標(biāo)Combat統(tǒng)一目標(biāo)CombatPrinciples統(tǒng)一理解統(tǒng)一結(jié)論P(yáng)DCAKPI樹等52841OperationalFlow智能場景調(diào)度↓人機(jī)協(xié)同決策↓動作執(zhí)行反饋評估饋輸出智能場景2多智能體智能體2智能體3智能體N知識維護(hù)工具注冊工作流編排知識庫檢索智能場SREWARROOM調(diào)度智能體人機(jī)協(xié)同決策單智能體記憶工具執(zhí)行HASOP角色定義流程定義動作定義知識建模知識獲取知識表示智能體定義專家知識工程智能運(yùn)維場景智能體編排智能場景1智能體1規(guī)劃DeepSeekQwenChatGLMBaichuanLLama…QWQ九天大模型DeepSeekQwenChatGLMBaichuanLLama…QWQ九天大模型智能場景1：密集陣智能體浙江移動的故障搶修智能體“密集陣”包含了“智檢”、“智判”、“智行”、“智驗”四大核心能力，實現(xiàn)運(yùn)維的自動化與智能化全面升級。專家知識專家知識智檢智判智行智驗巡檢生產(chǎn)指標(biāo)，識巡檢生產(chǎn)指標(biāo)，識自動選擇預(yù)案并調(diào)用故障檢測智能體故障檢測智能體故障定界智能體故障處置智能體智能場景2：變更智能體變更智能體“靈鑒”包含了“提、審、行、鑒”四大核心能力，實現(xiàn)變更管控智能化全面升級。評估智能體評估智能體風(fēng)險預(yù)測操作智能體定界智能體操作審計故障變更推薦提單智能體會話管理九天大模型QwenQWQ智能場景3：內(nèi)部投訴智能體（智曉）內(nèi)部投訴智能體-智曉具備“意圖識別、工單分類、知識問答、智能處理”等能力，月均自動化處理投訴量超900起，投訴、咨詢業(yè)務(wù)分流上升50%，極大提升服務(wù)響應(yīng)效率。廳廳通廳廳通內(nèi)部投內(nèi)部投訴智能體基于運(yùn)維專屬大模型能力.通過學(xué)習(xí)企業(yè)內(nèi)部工單知識，并應(yīng)用優(yōu)化Embedding模型，準(zhǔn)確召回相關(guān)知識，提供及式，準(zhǔn)確定位工單類別.根據(jù)分類信息進(jìn)行下一步的知識匹配與工單分配。不至于問答，智能體與內(nèi)部系統(tǒng)輕量化集成，具備業(yè)務(wù)辦理短信核查、業(yè)務(wù)到期短信核查等智能處理能力。構(gòu)建智能體運(yùn)維智能體開發(fā)構(gòu)建智能體運(yùn)維智能體開發(fā)運(yùn)維知識庫運(yùn)維指令運(yùn)維插件工具接入知識導(dǎo)入每周活躍人數(shù)問題響應(yīng)時長更短群聊時期FAQ時期智能體時期每周活躍人數(shù)問題響應(yīng)時長更短群聊時期FAQ時期智能體時期9.9K1.8萬