分享主題大模型在日志運(yùn)維場景的應(yīng)用實(shí)踐饒

琛

琳

日

志

易

產(chǎn)

品

副

總

裁截屏掃碼，領(lǐng)取網(wǎng)絡(luò)研討會資料合集(含本期)行業(yè)報(bào)告資源群免責(zé)申明：本內(nèi)容非原報(bào)告內(nèi)容;1.

進(jìn)群福利：進(jìn)群即領(lǐng)萬份行業(yè)研究、管理方案及其他學(xué)習(xí)資源，直接打包下載報(bào)告來源互聯(lián)網(wǎng)公開數(shù)據(jù)；如侵權(quán)請聯(lián)系客服微信，第一時(shí)間清理；2.

每日分享：6+份行研精選、3個(gè)行業(yè)主題3.

報(bào)告查找：群里直接咨詢，免費(fèi)協(xié)助查找4.

嚴(yán)禁廣告：僅限行業(yè)報(bào)告交流，禁止一切無關(guān)信息報(bào)告僅限社群個(gè)人學(xué)習(xí)，如需它用請聯(lián)系版權(quán)方；如有其他疑問請聯(lián)系微信。微信掃碼長期有效知識星球行業(yè)與管理資源專業(yè)知識社群：每月分享8000+份行業(yè)研究報(bào)告、商業(yè)計(jì)劃、市場研究、企業(yè)運(yùn)營及咨詢管理方案等，涵蓋科技、金融、教育、互聯(lián)網(wǎng)、房地產(chǎn)、生物制藥、醫(yī)療健康等；已成為投資、產(chǎn)業(yè)研究、企業(yè)運(yùn)營、價(jià)值傳播等工作助手。微信掃碼行研無憂目錄Contents01.

02.

03.大模型在日志場景的應(yīng)用方向?qū)嵺`運(yùn)用大模型的路徑大模型在金融企業(yè)應(yīng)用案例更快捷的分析海量日志更智能的解讀和預(yù)測故障理想vs現(xiàn)實(shí)：估算資源構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)模型的評估和迭代優(yōu)化產(chǎn)品設(shè)計(jì)“揚(yáng)長避短”背景：某金融企業(yè)大量業(yè)務(wù)日志難點(diǎn)：關(guān)鍵字復(fù)雜多變方案：實(shí)現(xiàn)知識庫增強(qiáng)的自然語言查詢效果：故障排查時(shí)間縮短40%01大模型在日志場景的應(yīng)用方向?

更快捷的分析海量日志?

更智能的解讀和預(yù)測故障?

理想vs現(xiàn)實(shí)：估算資源谷歌Sec-PaLM的日志概要效果日志問答方案(1)：超大窗口問題1：窗口不會無限大，日志卻無限多。問題2：對于長文本中部的內(nèi)容，LLM不太敏感。日志問答方案(2)：AgentChain問題1：運(yùn)維知識理解的要求較高問題2：agent/functioncall能力要求較高日志問答方案(3)：模式提問+分段選擇資源消耗估算場景看起來很美好，但實(shí)際部署時(shí)存在一定成本壓力。我們進(jìn)行了一些簡單的資源估算:?

1000條SSH日志大概包含5-6萬個(gè)tokens。對于這個(gè)長度，LLM推理速度較慢，需要10多秒。?

使用最新的Yi-6b-200k模型測試，24GB顯存僅能處理約3ktokens，相當(dāng)于50行日志。?

按ChatGLM規(guī)模預(yù)估,80G顯存的單卡最多只能處理200行SSH日志。?

并行計(jì)算時(shí)，8塊80G卡也只能同時(shí)處理約1600行。結(jié)論:?

直接進(jìn)行日志問答，在理論上可行，但算力需求巨大。?

該方案實(shí)際成本過高，目前的硬件條件難以支撐實(shí)際應(yīng)用。?

生成和調(diào)用現(xiàn)有分析工具相對更現(xiàn)實(shí)。02實(shí)踐運(yùn)用大模型的路徑?

構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)?

模型的評估和迭代優(yōu)化?

產(chǎn)品設(shè)計(jì)“揚(yáng)長避短”Text2SPL場景介紹/背景?TexttoSQL任務(wù)是NLP領(lǐng)域的經(jīng)典課題之一。常見的數(shù)據(jù)集有：??SPL對比SQL的差異：沒有預(yù)知的tableschema。要自行判斷

prompt里哪些名詞疑似字段名。無法直接套用ChatGPT，SPL目前只是概念通用，語法層無標(biāo)準(zhǔn)：?

WikiSQL，維基百科數(shù)據(jù)集主要是單表查詢，語句比較簡單。?

Spider，數(shù)據(jù)集包含join等多表和嵌套，語句比較復(fù)雜。在seq2seq之前，模板技術(shù)一般評分20+；bert/T5之前，一般評分60+；ChatGPT將評分提升到

85+。?日志易

SPL語法和splunk/kusto/esql/ppl/humio有差別。?日志易內(nèi)置字段也和CIM/ECS有差別。?

CoSQL，在Spider的基礎(chǔ)上添加了模糊語義多輪對話。目前評分在50+。?

BIRD：新一代數(shù)據(jù)集，不光考慮表結(jié)構(gòu)，還要考慮臟數(shù)據(jù)、執(zhí)行效率。目前ChatGPT評分為

40。通用大模型的表現(xiàn)(1)：GPT對比T5的飛躍自然語言提問splunk-google-t5ChatGPTsearchforthetermserror,failfailure,failed,orsevereintheeventsthatalsomentionbuttercupgamesindex=_internalfail*not[searchindex=_internalerror,fail*errorsearch(errorORfailORfailureORfailedORsevere)ANDbuttercupgamessearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,status200,andaction"purchase".usethechartcommandtocountthenumberofpurchases.thesearchspecifiesthepurchasesmadeforeachproductbyusingcategoryId.Thedifferenceisthatthecountofpurchasesisnowanargumentofthesparkline()function.index=access_*status=200action=purchase|chartcount(price)就這一條是可以直接運(yùn)行的，還和期望輸出有差距searchsourcetype="access_*"status=200action="purchase"|chartcount(action)bycategoryId|evalpurchases=sparkline(count)就這一條是不能直接用的。兩次追加提示后改對：searchsourcetype="access_*"status=200action="purchase"|chartsparkline(count(action))bycategoryIdsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,geteventswithstatus200,andaction"purchase".thencomputethemostcommoncategoryIdvalues.sourcetype=access_*status=200actionpurchase|topcategoryIdsearchsourcetype="access_*"status=200action="purchase"|topcategoryIdsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,geteventswithstatus200,andaction"purchase".thencomputetheonemostcommonclientip.sourcetype=access_*status=200actionpurchase|topclientipsearchsourcetype="access_*"status=200action="purchase"|top1clientipsearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,thegetpriceas"Price"byproductName,thenrenameproductNamecolumnas"ProductName"sourcetype=access_.|statsvalues(price)aspricebyproductName|searchsourcetype="access_*"|evalPrice=price|statsvalues(Price)byproductName|renameproductNameas"ProductName"兩次追加提示后改的更高效，并且能記?。簊earchsourcetype="access_*"|statsvalues(price)asPricebyproductName|renameproductNameas"ProductName"通用大模型的表現(xiàn)(2)：提示工程不是萬能的問題

1：基礎(chǔ)模型較差時(shí)，復(fù)雜邏輯完全無法處理問題

2：模型的預(yù)訓(xùn)練知識在細(xì)節(jié)處有嚴(yán)重干擾訓(xùn)練數(shù)據(jù)籌備(1)：內(nèi)外網(wǎng)數(shù)據(jù)搜集原始數(shù)據(jù)來源n

指令說明文檔n

手動(dòng)編寫，含多輪對話n

內(nèi)部應(yīng)用配置：圖表標(biāo)題及SPL語句n

github上公開的常用日志關(guān)鍵字n

github上公開的es/splunk/kusto安全分析規(guī)則訓(xùn)練數(shù)據(jù)籌備(2)：問答類數(shù)據(jù)增強(qiáng)ChatGPT??成n

alpaca式的

self_instruct方案：通過

GPT-3.5接口，自動(dòng)生成部分微調(diào)數(shù)據(jù)。n

添加

prompt聲明圈定問答范圍：ActasaSplunkExperttowriteSPL。n

然后人工復(fù)核，調(diào)整數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(3)：豐富提問方式StarChat??扮演n

starcoder是開源

LLM中編碼能力最強(qiáng)的。實(shí)驗(yàn)發(fā)現(xiàn)他甚至能給出具體的

splunk文檔

url。n

通過

A/B角色扮演，讓

starcoder說出對應(yīng)

SPL語句的提問。n

效果一般，清洗后去掉了三分之二的數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(4)：加入其他產(chǎn)品知識?檔?問答n

利用

pandoc工具將

word文檔轉(zhuǎn)為

markdown純文本。n

來自北交大

transGPT交通大模型的LLMforDialogDataGenerate方法，基于文本生成問答。模型的評估與迭代?

嘗試不同基礎(chǔ)模型的效果：?

baichuan2的loss長期不收斂?

嘗試不同數(shù)據(jù)配比的效果：?

1:2>1:5>1:1?

嘗試構(gòu)建除文本匹配以外的驗(yàn)證方案：?

引入SPLparserAPI語法校驗(yàn)?

對比索引實(shí)際響應(yīng)內(nèi)容?

有趣的是：和Splunk得到了相似的結(jié)論。揚(yáng)長避短的產(chǎn)品設(shè)計(jì)??瀏覽器插件形式：兼容全部主產(chǎn)品版本、獨(dú)立迭代錨定搜索頁：獲取數(shù)據(jù)集、字段列表等即時(shí)知識敏感數(shù)據(jù)攔截：注重?cái)?shù)據(jù)安全，避免個(gè)人隱私外發(fā)?03大模型在金融企業(yè)應(yīng)用案例?

背景：金融企業(yè)大量業(yè)務(wù)日志?

難點(diǎn)：關(guān)鍵字復(fù)雜多變?

方案：實(shí)現(xiàn)知識庫增強(qiáng)的自然語言查詢?

效果：故障排查時(shí)間縮短40%案例背景③.

找到返回碼了，②.

業(yè)務(wù)系統(tǒng)上千個(gè)返回碼，人只記得住最常見的10來個(gè)。其他的中文含義對應(yīng)啥返回碼？不過你問的是什么錯(cuò)誤提示呢？①.

金融企業(yè)通常有200-600個(gè)業(yè)務(wù)系統(tǒng)，口頭叫法大同小異，但開發(fā)商輸出到日志里，實(shí)際用的是什么標(biāo)識符？ChatSPL效果ChatSPL客戶收益?

在“爭分奪秒”的故障定位過程中，相比復(fù)雜的向量數(shù)據(jù)庫召回方案，ChatSPL場景設(shè)計(jì)簡單易行。查找錯(cuò)誤類的用時(shí)下降

40%。?

業(yè)務(wù)線運(yùn)維均可通過

ChatSPL

進(jìn)行關(guān)鍵字查詢、分組統(tǒng)計(jì)、趨勢分析，極大的解放了維護(hù)平臺的高級運(yùn)維人員。將人力投入到可觀測性等高階能力建設(shè)中。未來展望?

后續(xù)版本的功能計(jì)劃?

英文版本?

查詢結(jié)果可視化?

針對日志/告警的解讀?

主動(dòng)推薦可選提問：5W1H?

針對日志生成grok正則?

期待開源大模型的成長??！行業(yè)報(bào)告資源群免責(zé)申明：本內(nèi)容非原報(bào)告內(nèi)容;1.

進(jìn)群福利：進(jìn)群即領(lǐng)萬份行業(yè)研究、管理方案及其他學(xué)習(xí)資源，直接打包下載報(bào)告來源互聯(lián)網(wǎng)公開數(shù)據(jù)；如侵權(quán)請聯(lián)系客