輕量級演練體系建設張宏博01

/背景介紹

02

/

整體方案03

/

演進階段及效果04

/

規(guī)劃展望CONTENTS目錄1.在線服務數(shù)量千級2.不同區(qū)域資源部署不對等

，存在大量鏈路路由特殊配置3.資源供給不足且不均衡

，加劇整體穩(wěn)定性風險1.識別業(yè)務核心鏈路，清理不合理依賴關系2.針對核心服務梳理建設高可用預案對業(yè)務穩(wěn)定性至關重要傳統(tǒng)trace追蹤和流量計數(shù)難識別業(yè)務強弱依賴關系和重要性演練執(zhí)行效率低?研發(fā)進行降級演練和有效性驗證

，步驟繁瑣

，對人員熟悉度要求高?演練結束需確保功能恢復

，存在忘記回退到演練前狀態(tài)情況有風險?演練過程中需要多種方式校驗有效性

，多個平臺操作割裂效率低驗證準確性和復用度差?業(yè)務場景及核心鏈路繁多，以往演練環(huán)境/校驗項保鮮和復用性差?

因校驗項過多導致存在漏校驗風險，整個過程冗長較重現(xiàn)狀方案問題演練驗證演練結束恢復驗證降級演練/強弱降級演練以年度執(zhí)行

，演練頻次低

，存在風險背景介紹鏈路識別保鮮架構風險現(xiàn)狀識別準確率低演練前驗證演練執(zhí)行準備階段01

/背景介紹02

整體方案

03

/

演進階段及效果04

/

規(guī)劃展望CONTENTS目錄整體方案01

/背景介紹02

/

整體方案03

/

演進階段及效果04

/

規(guī)劃展望CONTENTS目錄存量核心鏈路識別和保鮮宗旨：保證核心鏈路識別準確度、避免業(yè)務重復操作增量1.

涉資鏈路(自動計算)2.

核心鏈路(人工打標)3.

強依賴(人工/自動打標)核心鏈路打標降級演練自動化驗證思路?

從業(yè)務實際降級場景出發(fā)?

基于演練平臺觸發(fā)事件?

實現(xiàn)業(yè)務和場景適配?

借助測試能力完成有效性驗證存在問題1.效率低

，單預案演練1小時，

目標場景演練耗時2天2.對人的熟練度要求高

，驗證能力復用性差階段收益1.各種有效性驗證手段收斂到一個原子2.所有驗證能力可在后續(xù)演練中持續(xù)復用3.演練時長1小時=>30分鐘

，效率提升50%4.演練驗證發(fā)現(xiàn)1例降級演練策略配置問題5.降級演練頻次可保持至少每個季度1次演進階段一：

降級演練半自動化效果驗證演進階段二：

降級演練全自動化效果演練一階段遺留問題

階段收益1.

效率瓶頸：

降級演練和驗證平臺割裂

，操作時需要在兩個平臺多次跳轉

，效率無法進一步提升2.

涉及角色多：驗證預案及流水線隨場景增加

，演練時RD進行演練及演練恢復，

QA完成各階段有效性驗證1.基于平臺一鍵完成演練自動驗證，無需多平臺跳轉操作2.從RD和QA共同執(zhí)行演練，到RD可自主完成演練和驗證3.降級演練所需時長變化60min->30min->15min演進階段三：

降級演練&效果驗證全自動化二階段遺留問題

階段收益1.

驗證完成全自動化

，是否降級本身更值得關注？

1.

除有效性驗證外，降級演練本身也實現(xiàn)全自動化2.

演練頻率達到月度后能否更高？可否常態(tài)化？

2.

降級演練及驗證融入上線流程，可常態(tài)化演練3.

參與角色能否更少?

3.

降級演練驗證配置靈活，可支持不同業(yè)務模式切流演練痛點效率低、場景多、

時間長1.RD需要進行切流演練和有效性驗證

，

步驟繁瑣

，

對人員能力要求高2.機房切流演練按比例逐步切流校驗、

按比例切流恢復

，驗證場景x

N3.演練過程中需要以多種方式校驗有效性

，

多平臺切換割裂4.切流演練需等待5min

，通過監(jiān)控看板數(shù)據(jù)趨勢確認切流是否生效5.切流演練有效性需抓包確認

，

同時核心功能場景可用性需同步驗證切流演練自動化驗證請求流程

切流演練階段分按比例切換前中后

增加機房請求有效性驗證、數(shù)據(jù)鏈路分析驗證

賬號池的構建保證驗證能力完整度1.鏈路覆蓋：

降級自動演練驗證能力覆蓋業(yè)務10+核心場景鏈路2.人力節(jié)?。簭腞D&QA兩種角色參與定期演練

，到無需人力介入定時自動演練3.演練效率：業(yè)務容災演練和驗證時長60min->15min

，演練效率提升75%4.演練頻次：得益于演練效率上的提升

，業(yè)務容災演練由1次/年提升到1次/月&周5.問題發(fā)現(xiàn)：發(fā)現(xiàn)10例因容災降級演練策略配置問題導致降級未生效問題1.強弱依賴演練：演練1000+接口，識別200+強依賴接口，

80+問題2.

自動化演練：覆蓋50+鏈路，核心鏈路覆蓋度72%3.演練頻率：從多角色半年度/年度演練，到每周零投入自動化觸發(fā)演練50個接口，發(fā)現(xiàn)14例問題容災降級演練驗證強弱依賴演練驗證收益01

/背景介紹02

/

整體方案03

/

演進階段及效果04

/

規(guī)劃展望

CONTENTS目錄【變更感知】鏈路Diff巡檢消費P0&P1鏈路多類型周維度自動演練【風險視圖】穩(wěn)定性度量看板、風險水位視圖【高熱場景仿真】核心場景全鏈路壓測客戶端仿真及性能準入【核心存儲穩(wěn)定性】P0場景存儲流量降級和切流【演練廣度】全業(yè)務場景落地覆蓋P0&P1級核心鏈路梳理最佳實踐經驗積累【演練深度】入口-2

=

業(yè)務+1【演練提效】全自動化演練能力

演練效率+50%【類型拓展