基于大模型的根因分析實戰(zhàn)文吉暢捷通信息技術(shù)股份有限公司CONTENTSCONTENTS3.解決思路/整體方案4.具體實現(xiàn)/技術(shù)實踐暢捷通是做什么的？暢捷通信息技術(shù)股份有限公司是用友旗下成員企業(yè)，成立于2010年3月，于2014年在港交所上市，是中國領(lǐng)先的小微企業(yè)財稅及業(yè)務云服務提供商。業(yè)務架構(gòu)復雜要保障每個用戶的體驗業(yè)務迭代速度快暢捷通運維轉(zhuǎn)型之路——目標0-2-5-10業(yè)務從自建機房逐步轉(zhuǎn)向全面采用公有云容器化架構(gòu)，為業(yè)務發(fā)展提供了更強大的基礎(chǔ)，但同時也帶來了運維復雜性的指數(shù)級增長。容器化容器化虛擬化虛擬化云計算自建機房自建機房從一次飛機撞鳥說起2023年11月1日，旭日8409飛機起飛離地時，發(fā)動機遭遇鳥擊。情況萬分危急，關(guān)系到機上183人的生命安全。總耗時7秒總耗時7秒●執(zhí)行檢馬上給我退貨！發(fā)生故障時難以定位?打開3-5個看板?執(zhí)行2-4次分析腳本90%的問題此時就能找到原因，耗時10分鐘。但另10%的問題，才會產(chǎn)生大的故障，且往往難以定位原因無法快速判斷爆炸半徑暢捷通運維面臨什么樣的壓力？解決思路/整體方案1.吸收了所有故障排查經(jīng)驗2.緊急時刻不需要思考4.資料集中，查閱方便運維領(lǐng)域現(xiàn)狀-傳統(tǒng)AIOps的缺陷?運維團隊積累的專家經(jīng)驗很難編碼到算法模型中。通常，這些經(jīng)驗會被簡化為閾值或復雜的規(guī)則，不僅難以維護，也難以傳承。 ?接入和維護成本高，需要業(yè)務和算法團隊深入理解業(yè)務邏輯和算法模型。?未遇到過的故障很難被解決，?接入和維護成本高，需要業(yè)務和算法團隊深入理解業(yè)務邏輯和算法模型。?未遇到過的故障很難被解決，因為它們超出了模型的訓練范圍。可落地的協(xié)同處理流程建立故障處理流程；高效協(xié)同多個組織；可落地的協(xié)同處理流程建立業(yè)務高峰期預防應急機制。應急止損方法論——應急止損建立應急止損操作流程和工具。應急止損方法論——排障樹建立故障排查的專家經(jīng)驗排障樹。基于大語言模型的根因診斷（RCA）Agent框架我們定義了一些工具和插件，這些工具和插件是用于出現(xiàn)故障時進行檢測。除了工具和插件，我們還設計了工作流編排，可以自動化的故障處理流程。此外我們構(gòu)建了一個知識庫，它包含了歷史故障數(shù)據(jù)、專家經(jīng)驗和故障處理策略，這些都是進行有效根因分析的關(guān)鍵資源?；A(chǔ)工具的構(gòu)建將傳統(tǒng)的針對多模態(tài)運維數(shù)據(jù)的異常檢測方法變成工具（Agent用戶僅需維護指標項即可。服務器資源瓶頸分析域名錯誤量upstream分布分析工作流的構(gòu)建構(gòu)建工作流，我們在prompt和文檔中預先設置了不同報警的分析流程，即應該先后檢查哪些數(shù)據(jù)，從而得出結(jié)論。具體實現(xiàn)/技術(shù)實踐數(shù)據(jù)治理——CMDB建設將資產(chǎn)標簽化，將標簽目錄化，得到完整的產(chǎn)品六級目錄，既有業(yè)務信息，又有資產(chǎn)實例的關(guān)聯(lián)關(guān)系，每種資源都擁有自己的身份證號：六級目錄。這是AIOps落地的基石。數(shù)據(jù)治理——監(jiān)控統(tǒng)一來源于不同監(jiān)控工具的報警必須滿足最小字段集合，這樣以來所有的報警都能標準的關(guān)聯(lián)到具體的業(yè)務、產(chǎn)品，從而關(guān)聯(lián)出所有的資源、中間件等信息。同時我們也完成了CMDB的自動化維護，形成了包含業(yè)務、基礎(chǔ)資源、人員、代碼倉庫、配置等關(guān)聯(lián)關(guān)系的大型數(shù)據(jù)字典，本身也為webUI提供了許多API，這些API都將作為Agent被注冊。數(shù)據(jù)治理——監(jiān)控統(tǒng)一SOP定義——專家經(jīng)驗的沉淀針對每種現(xiàn)象，我們都梳理了運維專家的排障腦圖，將故障排查過程固化下來。工具構(gòu)建之查詢類Agent查詢類Agent融合了CMDB（產(chǎn)品、應用、資源的關(guān)聯(lián)關(guān)系）、IT資產(chǎn)清單、CICD配置、config數(shù)據(jù)的查詢。查詢類Agent的還包含了歷史故障單的查詢，讓AI具備尋找歷史相似事件的能力。mmmm一工具構(gòu)建之動作類Agent動作類的Agent就是前文提到的，對于排障腦圖中某個具體節(jié)點的對象的分析過程，我們可以非常原子化的進行這些Agent的定義，比如下面是我們定義的一些Agent服務器資源瓶頸檢查異常訪問來源檢查異常訪問upstream檢查流程編排流程編排效果升級降低編碼的復雜性和成本輸出實際運用我們目前已經(jīng)實現(xiàn)了所有線上報警的自動分析，目前根因的召回率已經(jīng)超過了50%，隨著Agent和流程編排的完善，召回率還會逐漸提升。對于成功召回根因的報警，機器人會自動關(guān)閉報警工單，同時支持釘群交互，形成閉環(huán)。我們更進一步的嘗試總結(jié)與展望方案總結(jié)——望、聞、問、切本方案通過構(gòu)建根因排查邏輯樹、建立統(tǒng)一的報警字段集規(guī)范，建立多模態(tài)Agent集合，充分調(diào)度AI大模型文本推理的能力，對報警通知、報警事件單和根因分析過程進行了整合，實現(xiàn)了報警的自動化分析，整體耗時在1分鐘以內(nèi)，對于90%常見的報警都能分析出根因所在，即便是10%的不常見報警，也能完成分析過程，運維人員無需重復分析，為應急止損和故障定位爭取了更多時間，保證了業(yè)務穩(wěn)定性。大模型時代，做AI的主人大模型技術(shù)誕生之后，已經(jīng)顛覆了IT從業(yè)者的工作和思維習慣，大家的技術(shù)水平差距已經(jīng)被大模型抹平了，而善于思考，能把問題想明白變這個事情，變得更加重要了。其實用大模型技術(shù)完成推理+檢索實現(xiàn)RCA應用的過程，其實就是在prompt或者知識庫中定義了各種ifelse的邏輯，理論上只要能說得清的邏輯，就可以通過傳統(tǒng)編碼的方式實現(xiàn)，我們?yōu)槭裁匆袚鶤I大模型偶爾“一本正經(jīng)胡說八道”的把問題想明白說清楚>專業(yè)技術(shù)強大我們接下來會做的事情?更多工作流：讓AI串聯(lián)更多工作流程，比如監(jiān)控、巡檢、故障止損、智能容量預防、智能風險識別等?工作流插件化：讓這些工作流變成插件，從而可以在大模型應用中進行調(diào)用?大總管的模式：面向?qū)υ捒蚬ぷ?，所有的交互不再需要設計webUI，也不再需要設計問題，簡化開發(fā)的過程，充分釋放AI的能力我們接下來會做的