全鏈路智能化可觀測體系建設之路目錄/CONTENTS1可觀測體系建設背景2可觀測體系演進之路4平臺功能建設實踐3指標體系的構(gòu)建與應用4平臺功能建設實踐可觀測體系建設跨平臺工具多跨平臺工具多告警泛濫無關聯(lián)分析無關聯(lián)分析被動監(jiān)控微服務微服務化定位難依賴人工定位難依賴人工鏈路長鏈路長GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站1.2可觀測體系建設的必要性Gartner發(fā)布的《2023年十大戰(zhàn)略技術趨勢》中表示：“可觀測性應用將成為數(shù)據(jù)驅(qū)動型決策的最強支撐?！痹诖吮尘跋?，結(jié)合公司監(jiān)控體系的現(xiàn)狀和痛點，啟動了可觀測體系建設。提升技術穩(wěn)定性提升技術穩(wěn)定性洞察業(yè)務發(fā)展輔助應用架構(gòu)優(yōu)化洞察業(yè)務發(fā)展輔助應用架構(gòu)優(yōu)化可觀測體系演進之路運維體系演進之路轉(zhuǎn)型運維體系演進之路轉(zhuǎn)型當前階段IT架構(gòu)演進綜合業(yè)務感知力?“以業(yè)務/用戶視角為中心”IT架構(gòu)演進綜合業(yè)務感知力?“以業(yè)務/用戶視角為中心”GOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站基于IT架構(gòu)演變的運維能力建設復雜度持續(xù)攀升，加上云原生技術和微服務架構(gòu)的廣泛應用，傳統(tǒng)監(jiān)控體系在故障定位、根因分析、業(yè)務連續(xù)性保障等方面面臨嚴峻挑戰(zhàn)。以往的粗放式后端監(jiān)控方式需要匹配市場和業(yè)務的發(fā)展需求，走向更精細化的全流程運維管控。GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站2.2可觀測體系建設路徑全鏈路可觀測基礎可觀測智能可觀測發(fā)展路徑全鏈路可觀測基礎可觀測智能可觀測發(fā)展路徑參與方參與方關鍵活動關鍵活動平臺能力平臺能力指標體系的構(gòu)建GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站3.2以業(yè)務場景為導向的分層指標體系為確?？捎^測體系覆蓋的全面性，設計并構(gòu)建以業(yè)務場景為導向的分層指標體系，實現(xiàn)從業(yè)務到技術實體內(nèi)存占用、征信中心內(nèi)存標所歸屬的業(yè)完整監(jiān)控鏈路拿完整監(jiān)控鏈路拿拿指標采集和定義指標迭代和下線指標審核和監(jiān)控指標采集和定義指標迭代和下線指標審核和監(jiān)控平臺用戶平臺用戶指標管家平臺功能建設實踐GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站4.1整體功能架構(gòu)設計本方案以“構(gòu)建全方位業(yè)務導向的監(jiān)控指標體系”為核心、以“統(tǒng)一數(shù)據(jù)底座”測試/安全數(shù)據(jù)分析運維開發(fā)公司領導數(shù)據(jù)檢索技術巡檢測試/安全數(shù)據(jù)分析運維開發(fā)公司領導數(shù)據(jù)檢索技術巡檢效能管理業(yè)務觀測智能運維業(yè)務運營 指標體系指標體系業(yè)務層服務層組件層基礎層統(tǒng)一標準數(shù)據(jù)存儲統(tǒng)一標準數(shù)據(jù)存儲實時數(shù)倉離線數(shù)倉數(shù)據(jù)湖指標（Metric）指標（Metric）監(jiān)控指標數(shù)據(jù)采集應用應用業(yè)務應用中間件軟件基礎軟件前端H5系統(tǒng)CPU硬件4.2多源數(shù)據(jù)接入為解決當前監(jiān)控數(shù)據(jù)分散、監(jiān)控工具繁多的問題，平臺對多源數(shù)據(jù)進行了標準化處理和整合，統(tǒng)一異構(gòu)的調(diào)用鏈路、監(jiān)控對象、指標、日志數(shù)據(jù)格式，確保數(shù)據(jù)的通用性和一致性，滿足高時效的監(jiān)控要求，為整個可觀測體系提供堅實可靠的數(shù)據(jù)支撐。業(yè)務層服務層授信場景組件層基礎層業(yè)務層服務層XX場景組件層基礎層數(shù)據(jù)整合場景分類指標掛載4.4平臺能力概述可觀測平臺建設圍繞監(jiān)控全生命周期，通過體系化和智能化的功能設計與實施，多方位解決監(jiān)控現(xiàn)狀痛點和歷史難題，在故障發(fā)現(xiàn)、故障診斷和故障處置各環(huán)節(jié)提供能力支撐。故障發(fā)現(xiàn)故障診斷故障診斷故障處置4.5故障發(fā)現(xiàn)控4.5故障發(fā)現(xiàn)_策略配置多多維指標動態(tài)參數(shù)配置采用語法樹結(jié)構(gòu)組織各節(jié)點，各節(jié)點包含具體的指標和規(guī)則。當策略調(diào)度時，系統(tǒng)采用深度遍歷方式計算各節(jié)點的布爾結(jié)果，最終匯總得出根節(jié)點的總體布爾值，實現(xiàn)復雜的組合告警邏輯。4.5故障發(fā)現(xiàn)_時序監(jiān)測模型基于業(yè)務指標的數(shù)據(jù)模式，分類建設異常檢測模型，包括周期型、平穩(wěn)型、脈沖型等6種類型。通過時序檢測模型LSTM對業(yè)務指標進行異常檢測，精準識別業(yè)務異常波動。周期型?數(shù)據(jù)隨時間呈現(xiàn)固定的周期性波動，有明顯的峰谷規(guī)律線下訓練?周期長度固定或接近固定線下訓練平穩(wěn)型平穩(wěn)型?數(shù)據(jù)在時間上無明顯趨勢或周期性，圍繞某個均值上下波動?方差和均值在不同時間段保持穩(wěn)定脈沖型脈沖型?數(shù)據(jù)在短時間內(nèi)出現(xiàn)突發(fā)性脈沖或異常點?基本狀態(tài)平穩(wěn)，偶爾出現(xiàn)高振幅脈沖在線檢測在線檢測別4.5故障發(fā)現(xiàn)_全局監(jiān)控4.5故障發(fā)現(xiàn)_場景監(jiān)控4.6故障診斷4.6故障診斷_指標趨勢分析②支持按照同一對象不同指標以及不同4.6故障診斷_錯誤碼檢索4.6故障診斷_橫縱向鏈路橫向調(diào)用鏈路：追蹤單筆請求鏈路。平臺封裝TRACEID、日期等關鍵信息，進而調(diào)用APM以獲取該請求調(diào)用鏈路上所涉及的系統(tǒng)模塊，以多叉樹結(jié)構(gòu)清晰呈現(xiàn)完整調(diào)用關系?；诖苏{(diào)用鏈上同時出現(xiàn)的告警信息，縮小排查范圍、溯源可能問題源，有效提升問題定位效率。全局縱向拓撲：不同層級監(jiān)控對象的下鉆分析。通過該級聯(lián)拓撲結(jié)構(gòu)，清晰呈現(xiàn)應用、組件和資源之間的依賴關系，及各節(jié)點的異常信息，從而構(gòu)建關聯(lián)分析鏈路，有助于識別關鍵排查路徑和潛在瓶頸。同時，該全局視角使得用戶能夠從宏觀層面把握系統(tǒng)的整體健康狀態(tài)。4.6故障診斷_橫縱向鏈路故障發(fā)現(xiàn)和診斷案例精準告警統(tǒng)一精準告警主動監(jiān)控主動監(jiān)控關聯(lián)分析關聯(lián)分析輔助定位GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站4.7故障處置應用自愈處置告警處置效果及未來展望GOGOPS全球運維大會暨研運數(shù)智化技術峰會2025·深圳站監(jiān)控場景覆蓋?已覆蓋7大業(yè)務場景（授信、用信、貸中、還款、觸達、活動和批量），監(jiān)控場景覆蓋?已覆蓋7大業(yè)務場景（授信、用信、貸中、還款、觸達、活動和批量），監(jiān)控事件覆蓋率達到80%以上應用架構(gòu)優(yōu)化告警發(fā)現(xiàn)?精準識別業(yè)務波動，多方式提升監(jiān)控告警診斷?建設4大故障診斷功能，包括橫向調(diào)用監(jiān)控體系建設?已覆蓋534個