AI+微服務(wù)體系下的可觀測性實(shí)踐2025.6.27-282025.6.27-28 匯報(bào)人錢世俊目目錄傳統(tǒng)微服務(wù)觀測實(shí)踐字節(jié)跳動(dòng)-微服務(wù)框架cloudweGO是一套由字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)服務(wù)框架團(tuán)隊(duì)開源的、可快速構(gòu)建企業(yè)級云原生微服務(wù)架構(gòu)的中間件集合。共同的特點(diǎn)是高性能、高擴(kuò)展性、高可靠,專注于微服務(wù)通信與治理。涵蓋GO與Rust開發(fā)語言,上至框架下至網(wǎng)絡(luò)庫、編解碼庫、序列化庫均是自研,各個(gè)項(xiàng)目既可獨(dú)立使用也可搭配使用,并圍繞這些項(xiàng)目,構(gòu)建了完整的上下游生態(tài)。字節(jié)跳動(dòng)-微服務(wù)框架kitex是一個(gè)Golang微服務(wù)RPC框架,具有高性能、強(qiáng)可擴(kuò)展的特點(diǎn)。如果對微服務(wù)性能有要求,又希望定制擴(kuò)展融入自己的治理體系,kitex會(huì)是一個(gè)不錯(cuò)的選擇。Hertz是一個(gè)Golang微服務(wù)HTTP框架,具有高易用性、高性能、高擴(kuò)展性等特點(diǎn)。如果對微服務(wù)性能有要求,又希望框架能夠充分滿足內(nèi)部的可定制化需求,Hertz會(huì)是一個(gè)不錯(cuò)的選擇。volo是字節(jié)跳動(dòng)服務(wù)框架團(tuán)隊(duì)研發(fā)的輕量級、高性能、可擴(kuò)展性強(qiáng)、易用性好的RustRPC框架,使傳統(tǒng)微服務(wù)框架的觀測體系monitor-prometheus項(xiàng)目(observability)obs-opentelemetry項(xiàng)目Metrics請求量/處理耗時(shí)運(yùn)行時(shí)監(jiān)控傳統(tǒng)微服務(wù)框架的觀測埋點(diǎn)·LevelDisabled禁用埋點(diǎn)LevelBase僅啟用基本埋點(diǎn)·LevelDetailed啟用基本埋點(diǎn)和細(xì)粒度埋點(diǎn)客戶端埋點(diǎn)服務(wù)端埋點(diǎn)RPC調(diào)用開始連接建立開始連接建立結(jié)束請求發(fā)送（含編碼）開始請求發(fā)送（含編碼）結(jié)束響應(yīng)接收（含解碼）開始響應(yīng)二進(jìn)制讀取開始（僅適用于FastCodec）響應(yīng)二進(jìn)制讀取完畢（僅適用于FastCodec）響應(yīng)接收（含解碼）完畢RPC調(diào)用結(jié)束RPC調(diào)用開始請求接收（含解碼）開始請求二進(jìn)制讀取完畢（僅適用于FastCodec）請求接收（含解碼）完畢handler處理開始handler處理完畢響應(yīng)發(fā)送（含編碼）開始響應(yīng)發(fā)送（含編碼）結(jié)束RPC調(diào)用結(jié)束客戶端埋點(diǎn)微服務(wù)應(yīng)用傳統(tǒng)微服務(wù)框架的觀測體系微服務(wù)應(yīng)用OTELCollector應(yīng)用觀測平臺Trace/Metrics/LogScrapeMetricsRemoteWrite采集器PrometheusRemoteWrite傳統(tǒng)微服務(wù)框架的觀測體系采集器采集器Metrics傳統(tǒng)微服務(wù)框架的觀測體系 AI+微服務(wù)的特點(diǎn)MultiAgent應(yīng)用層多語言,多技術(shù)棧大語言模型服務(wù)依賴層服務(wù)依賴層ToolsGPU集群基礎(chǔ)設(shè)施層·高帶寬低延遲網(wǎng)絡(luò)(如InfiniBand、NVLink)·高速存儲(如HBM)基礎(chǔ)設(shè)施層AI+微服務(wù)時(shí)代下新的觀測挑戰(zhàn) 更完整的端到端全鏈路 模型訓(xùn)練&推理監(jiān)控 智能體用量&會(huì)話分析AI+微服務(wù)體系的全棧觀測能力觀測能力增強(qiáng)AI端到端全鏈路觀測模型訓(xùn)練觀測模型推理觀測AI應(yīng)用/智能體觀測會(huì)話分析模型維度分析多維度分析能力Token用量分析會(huì)話分析模型維度分析多維度分析能力推理引擎訓(xùn)練框架推理引擎訓(xùn)練框架AI網(wǎng)關(guān)觀測埋點(diǎn)豐富端到端全鏈路觀測埋點(diǎn)覆蓋完整的AI全鏈路端到端全鏈路觀測APMAPM客戶端監(jiān)控端側(cè) 應(yīng)用告警告警統(tǒng)一關(guān)聯(lián)告警統(tǒng)一關(guān)聯(lián)統(tǒng)一可觀測大盤統(tǒng)一可觀測大盤用APM服務(wù)端監(jiān)控應(yīng)用層 應(yīng)用告警時(shí)序數(shù)據(jù)統(tǒng)一存儲Metrics時(shí)序數(shù)據(jù)引擎Metrics時(shí)序數(shù)據(jù)引擎Trace數(shù)據(jù)統(tǒng)一存儲Log數(shù)據(jù)統(tǒng)一存儲TraceTrace分析引擎應(yīng)用指標(biāo)Infra指標(biāo)云組件指標(biāo)Trace應(yīng)用指標(biāo)Infra指標(biāo)云組件指標(biāo)TraceIDTraceTrace 全量LOG 模型訓(xùn)練/推理平臺PaaSPaaS告警基礎(chǔ)設(shè)施觀測IaaS告警統(tǒng)一觀測與下鉆分析gsG超參數(shù)記錄自研推理引擎xLLM模型訓(xùn)練/推理觀測gsG超參數(shù)記錄自研推理引擎xLLM訓(xùn)練實(shí)驗(yàn)觀測橫向?qū)Ρ日埱笏俾式涌谘訒r(shí)錯(cuò)誤率錯(cuò)誤率Token消耗速率首Token延時(shí)非首Token延時(shí)首Token延時(shí)非首Token延時(shí)訓(xùn)練集群狀態(tài)運(yùn)行時(shí)指標(biāo)運(yùn)行時(shí)指標(biāo)容容器觀測基基礎(chǔ)資源觀測運(yùn)行時(shí)指標(biāo)運(yùn)行時(shí)指標(biāo)模型訓(xùn)練/推理觀測推理指標(biāo)訓(xùn)練實(shí)驗(yàn)觀測訓(xùn)訓(xùn)練實(shí)驗(yàn)觀測AccuracyAccuracy超參數(shù)記錄超參數(shù)記錄橫向?qū)Ρ葯M向?qū)Ρ戎笜?biāo)橫向?qū)Ρ榷嗝襟w支持AI應(yīng)用/智能體觀測智能體的時(shí)代正在到來,隨著各類框架與相關(guān)協(xié)議的涌現(xiàn)對觀測也帶來了更多的挑戰(zhàn)AI應(yīng)用/智能體框架Eino是覆蓋devops全流程的大模型具鏈。AI應(yīng)用/智能體框架-觀測埋點(diǎn)支持"橫切面功能注入"和"中間狀態(tài)透出".用戶提供、注冊"function"(callbackHandler)AI應(yīng)用/智能體-Metrics觀測大模型指標(biāo)黃金指標(biāo)運(yùn)行時(shí)監(jiān)控指標(biāo)AI應(yīng)用/智能體-Tracing觀測Trace列表Trace詳情（火焰圖）Trace詳情（列表視圖）Trace詳情（拓?fù)湟晥D）AI應(yīng)用/智能體-LLM性能&Token用量分析Token用量分析LLM性能分析多智能體-模型視角觀測多輪會(huì)話分析每次對話對應(yīng)著一條調(diào)用鏈ClientClient1000msAgentAgent900msLLMLLM300msMCPMCP300msLLMLLM300ms多輪會(huì)話分析根據(jù)會(huì)話I根據(jù)會(huì)話I戶I等信息篩選會(huì)話會(huì)話ID與用戶ID配置會(huì)話整體token消耗，調(diào)用鏈總數(shù)以及每個(gè)調(diào)用鏈的起始時(shí)間、耗時(shí)、Input、Output、調(diào)用鏈ID、Token消耗用D如何更進(jìn)一步利用觀測數(shù)據(jù)AI場景下數(shù)據(jù)的重要性毋庸置疑而觀