球暨研運(yùn)數(shù)智化技術(shù)峰會時間：2025年4月25日-26日地址：中國·深圳承辦單位：承辦單位：OS運(yùn)維的現(xiàn)狀與挑戰(zhàn)OS運(yùn)維的現(xiàn)狀與挑戰(zhàn)SysOM運(yùn)維平臺核心設(shè)計(jì)---健康分與自動化診斷專家工具集與持續(xù)追蹤總結(jié)與展望1234指標(biāo)數(shù)量與復(fù)雜性指標(biāo)含義模糊告警數(shù)量與誤報(bào)率噪音比超過90%,告警疲勞GOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站GOPS2025GOPS2025周期難以捕捉，不能及時告警周期難以捕捉，不能及時告警缺現(xiàn)場抓不到少指標(biāo)缺現(xiàn)場GOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站操作系統(tǒng)運(yùn)維復(fù)雜性案例Load高分析Load計(jì)算公式a0=上個采樣周期load值a=R進(jìn)程+D狀態(tài)進(jìn)程數(shù)量設(shè)設(shè)噴掂超9Shenzhen2015-HHGOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站rrLL—健康分與自動化診斷前端前端系統(tǒng)概覽系統(tǒng)診斷節(jié)點(diǎn)監(jiān)控容器監(jiān)控異常識別根因分析持續(xù)追蹤安全安全運(yùn)維與調(diào)優(yōu)負(fù)載診斷通道通道GOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站傳統(tǒng)運(yùn)維依賴指標(biāo)告警，新體系直接輸出問題結(jié)論。例如，監(jiān)控顯示IOBPS高，新體系直接告警出三要素：<進(jìn)程，文件，磁盤>新體系主動發(fā)現(xiàn)風(fēng)險(xiǎn)，而非被動等待告警。通過健康分預(yù)測系統(tǒng)風(fēng)險(xiǎn)，提前干預(yù)，降低故障發(fā)生率。GOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站度減少運(yùn)維人員排查時間，提高問題處理精準(zhǔn)度。某企業(yè)采用新體系后，運(yùn)維效率提升40%,問題解決時間縮短50%。GOPS2025GOPS2025運(yùn)維鏈路運(yùn)維鏈路閉環(huán)能力監(jiān)控全局視角降噪，整合多維度指標(biāo)為健康分。監(jiān)控健康分直觀反映系統(tǒng)健康狀態(tài)，降低運(yùn)維復(fù)雜度告警場景化診斷工具，覆蓋內(nèi)存、調(diào)度、網(wǎng)絡(luò)等場景。專家工具集提供針對性診斷，快速解決復(fù)雜問題診斷秒級抖動捕捉能力，填補(bǔ)傳統(tǒng)監(jiān)控盲區(qū)。持續(xù)追蹤技術(shù)實(shí)時監(jiān)測系統(tǒng)性能，精準(zhǔn)捕捉秒級抖動所見即所得的根因分析，快速定位問題。通過自動化工具，秒級定位問題根源，提升運(yùn)維響應(yīng)速度GOPS2025健康分的四大維度GOPS2025健康分的四大維度效果展示延時延時用戶體驗(yàn)下降。集群健康指標(biāo)②延遲集群健康指標(biāo)②延遲飽和度100100負(fù)載飽和度100100負(fù)載吞吐量異?？赡芤l(fā)運(yùn)行。錯誤OOM,以及硬件等反映系統(tǒng)穩(wěn)定性。錯誤率上升可能預(yù)示系統(tǒng)錯誤GOGOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站網(wǎng)絡(luò)重傳全局回收延時直方圖網(wǎng)絡(luò)重傳內(nèi)存延時網(wǎng)絡(luò)抖動線程競爭線程競爭內(nèi)核長路徑調(diào)度延時指標(biāo)調(diào)度延時中斷延時中斷延時硬中斷關(guān)閉延時軟中斷關(guān)閉延時內(nèi)核態(tài)內(nèi)存計(jì)數(shù)硬中斷關(guān)閉延時軟中斷關(guān)閉延時洞)Shenzhen暫無數(shù)據(jù)內(nèi)核態(tài)已使用內(nèi)存分布②ShenzhenShenzhen分層綜合評估指標(biāo)評測方法指標(biāo)加工/預(yù)處理綜合評估指標(biāo)評測方法健康度自頂向下包含集群、節(jié)點(diǎn)、pod(容器)三個層級的健康分。每個層級的健康分的影響因素包括：a.當(dāng)前層級資源(指標(biāo)+日志)健康度b.下一層級所有實(shí)體的健康度。檢查項(xiàng)ShenzhenShenzhen1.可用內(nèi)存低2.健康分降低健康分趨勢健康分趨勢0O總健康分◎●怕和度分98O負(fù)收分怕和度分3.異常事件【時段內(nèi)多次出現(xiàn)此告繁，如不需關(guān)注，請反網(wǎng)絡(luò)用戶態(tài)發(fā)生收包延時【短時間內(nèi)多次出現(xiàn)此告警，如不需關(guān)注，請反饋?！抗?jié)點(diǎn)內(nèi)存使用高。4.診斷結(jié)論診斷發(fā)起時間診斷發(fā)起時間2.共享內(nèi)存占用過多(6.33GB),疑似存在共享內(nèi)存泄露。1.請查看診斷詳情部分進(jìn)一步分析內(nèi)存的具體占用情況；2.請查看共享內(nèi)存緩存占用排序部分查看文件的路徑，確認(rèn)路徑下的共享內(nèi)存文件是否是預(yù)期的，非預(yù)期的文件刪除即可釋放占用的共享內(nèi)存。5.診斷詳情小ICachad)NarlibjdockericrtanersvajibydbsckedicontinersJ867267325151fa23ta78e135002/shm86720732515V5161hs01.1xtNarhjdocherocrtanesvanibdsckejcontainers/641743ekcote82262e6a68500:281504551364069:5Nantbjdockaniotanersvanibjdsckeycontalnrs541743ascote82702e5a695Dds8150551364D5b9:504dDca5a0d47d9107stm)64743asconlecoL1Nanbjdockanicntainesjvafjibldckerycntainars/BD72d732515ta23ca/8e延時，負(fù)載，泄漏，流量，信號，進(jìn)程鏈報(bào)文分析延時，負(fù)載，泄漏，流量，信號，進(jìn)程鏈報(bào)文分析分析LoadLoad高原因以及觸發(fā)問題的top任務(wù)資源依賴歷史負(fù)載分析泄漏的對象及分配函數(shù)現(xiàn)場跟蹤分資源泄漏資源泄漏資源超賣版本變更環(huán)境差異硬件差異監(jiān)控盲區(qū)現(xiàn)場缺失Sysom前端熱點(diǎn)分析熱點(diǎn)對比CPU&GPU熱點(diǎn)圖OnCpu熱點(diǎn)OffCpu熱點(diǎn)內(nèi)存熱點(diǎn)鎖熱點(diǎn)內(nèi)核棧&用戶態(tài)棧內(nèi)核棧&用戶態(tài)棧?；厮輻；厮莘柋矸朑OPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2025·深圳站GOPS2025GOPS2025某客戶反饋業(yè)務(wù)網(wǎng)絡(luò)偶發(fā)超時，通過查看進(jìn)程熱點(diǎn)追蹤，發(fā)現(xiàn)熱點(diǎn)在nft_do_chainSearch..函數(shù)名自身熱度總熱度ettro_fork(18的，4,65secnds)_softintentry_text_start418,4.65secons1virtet.recelvet100%,4,65sensetLgro_recetve(99.netif_recelve_s地_1ist199.57,4.63secords)atDookslaw(98.49%,4.58netfilter規(guī)則過多導(dǎo)致網(wǎng)絡(luò)協(xié)議棧處理速度變慢。通過nftlistruleset查看發(fā)現(xiàn)存在12000+條規(guī)則某業(yè)務(wù)軟件版本升級后，偶現(xiàn)cpu沖高，問題存在隨機(jī)性，一般工具很難抓到關(guān)鍵數(shù)據(jù)昨天●(“instanceld":"I-uf6bz5wdsfmkrfz1kcys","userld("instanceld":"1-ufbbz5wdsfmkrtzTkcys",("instanceld":"1-ufbbz5wdsfmkrtzTkcys",自229自229單095蓄41,185自2755總：25.26%1調(diào)：1.04%自：24.22%03.767章n總5.72%1劑03%自114自44%:36%1話0.12%自357%自：6.05%總14%1請13