螞蟻集團變更管控實踐目錄CONTENTS變更管控的意義變更管控的方法和架構(gòu)變更管控如何智能化我們的未來規(guī)劃123401

變更管控的意義變更管控的價值與復雜性亞馬遜系統(tǒng)復雜度 NETFLIX系統(tǒng)復雜度系統(tǒng)復雜度無法避免：任何設(shè)計系統(tǒng)的組織產(chǎn)生的所有設(shè)計都將受限于組織間的溝通結(jié)構(gòu)。穩(wěn)定性問題引發(fā)因素：變更是導致線上穩(wěn)定性問題的主要引發(fā)因素，如何進行變更風險防控，降低企業(yè)的穩(wěn)定性風險。GO

P

S

全球運維大會

2023

·

上海站編碼和變更問題占比一半以上研發(fā)效率技術(shù)研發(fā)：追求敏捷開發(fā)、DevOps業(yè)務運營：高效的配置變更，快速上線運營活動接口依賴、數(shù)據(jù)依賴、消息依賴…系統(tǒng)復雜性組織協(xié)同隨著企業(yè)/業(yè)務體量的增大，研發(fā)模式必然會向著更多元、更復雜的形式演進。中間會存在大量的溝通成本與信息差變更管控的價值與復雜性GO

P

S

全球運維大會

2023

·

上海站02

變更管控的方法與架構(gòu)如何定義變更變更

≠

ops變更是對線上服務“狀態(tài)”的修改操作由內(nèi)部人員發(fā)起GO

P

S

全球運維大會

2023

·

上海站OCMS（OpenChangeManagement

Specification）從技術(shù)視角，定義變更的信息與技術(shù)模型兼容不同背景下的各類變更，做到“統(tǒng)一化”屏蔽上層業(yè)務帶來的信息差異，為后續(xù)變更防御、變更搜索、變更審計提供標準模型為其他技術(shù)風險領(lǐng)域能力，提供標準的信息結(jié)構(gòu)讓更專業(yè)的人做更專業(yè)的事代際名稱支持的變更流程和生效方式G0以事件通知的協(xié)議接入，不提供管控能力，僅可做變更事件的通知、搜索G1對于無法按照批次拆分一步一步生效的變更，做單節(jié)點的變更流程管控G2可以按照批次拆分生效的變更（如集群服務器重啟），做完整工單的變更流程管控G3在有完整的變更工單管控的基礎(chǔ)上，增加了變更提單階段的管控G4在變更提單管控的基礎(chǔ)上，增加了變更無人值守的決策能力如何防控變更中的風險不可能100%提前發(fā)現(xiàn)所有問題使變更引發(fā)的風險可控/可接受相對完善的前后置防御能力隨著變更的持續(xù)執(zhí)行，風險的發(fā)生概率是逐步收斂的GO

P

S

全球運維大會

2023

·

上海站靈活的變更防御框架防御能力路由：針對不同變更，通過配置表達式的形式，路由到不同防御能力集合，滿足不同背景下變更的防御檢測多樣性訴求防御能力調(diào)度與并行執(zhí)行：各防御能力間相互獨立，按照一個“統(tǒng)一的結(jié)構(gòu)”進行返回3.

開放性的防御SPI：不同部門/業(yè)務的風險防控人員，可根據(jù)自己的需求，以FaaS化的形式進行防御校驗邏輯的集成GO

P

S

全球運維大會

2023

·

上海站03

變更防控如何智能化從研發(fā)的視角入手監(jiān)控我的CPU利用率有沒有飆升？我的日志里面有沒有Error？我的上下游系統(tǒng)的服務，有沒有報錯時序指標的異常檢測日志異常堆棧的變化情況檢測鏈路級別的業(yè)務錯誤檢測日志GO

P

S

全球運維大會

2023

·

上海站上下游時序指標異常檢測

–

智能變更監(jiān)控GO

P

S

全球運維大會

2023

·

上海站日志堆棧異常檢測

–

新增/突增異常訓練階段：將通用錯誤日志中的異常信息進行正則化處理，并將處理后的日志正則模板按照相似度進行分類，構(gòu)造該系統(tǒng)的日志模板庫。GO

P

S

全球運維大會

2023

·

上海站預測階段：將系統(tǒng)實時采集異常日志信息同樣進行正則化處理，并與模板庫中全量模板進行相似度擬合，得出該異常是否為新增異常的結(jié)論；針對突增異常，需要計算異常模板計數(shù)，預測思路和時序異常檢測思路相似。上下游系統(tǒng)服務報錯

–

鏈路異常檢測簡單模式：通過trace日志聚合即可反映出系統(tǒng)間每筆流量的調(diào)用異常情況以及業(yè)務錯誤碼的變化情況，但這種方式的問題在于計算量過于龐大，極度損耗資源。結(jié)合中間件：將每筆流量的調(diào)用攜帶特殊標記進行透傳染色，這樣既能明確感知一筆流量所經(jīng)過的系統(tǒng)鏈路，又能在透傳的同時攜帶系統(tǒng)交互的關(guān)鍵信息，從而實現(xiàn)整條鏈路的異常檢測。GO

P

S

全球運維大會

2023

·

上海站配置值自適應校驗GO

P

S

全球運維大會

2023

·

上海站04

我們的未來規(guī)劃GO

P

S

全球運維大會

2023

·

上海站開源社區(qū)：AlterShield云原生場景快速集成：通過KubernetesOperator機制，將OCMS部分下沉到集群中，實現(xiàn)了滾動升級場景的免接入。同時，AlterShield

Operator本身提供了分批發(fā)布的托管方式，無需再集成其他CI/CD工具。但AlterShield