基于混沌工程理念在測試領(lǐng)域的探索與實踐順應分布式架構(gòu)轉(zhuǎn)型趨勢，工商銀行基于混沌工程理念開展了可靠性測試實踐與探索，依托“自研+開源”的方式打造可靠性測試的工具支撐體系，并通過實施內(nèi)外雙層管理措施與分級分類推廣策略，切實保障了可靠性測試的落地實施，顯著提升了分布式服務架構(gòu)的穩(wěn)定性和業(yè)務連續(xù)性。近年來，伴隨分布式、云計算等新興技術(shù)的快速發(fā)展，銀行信息系統(tǒng)正逐步從單體集中式架構(gòu)向分布式架構(gòu)轉(zhuǎn)型，以實現(xiàn)靈活、高效服務。順應這一趨勢，工商銀行積極響應技術(shù)發(fā)展變化，基于分布式、云計算技術(shù)搭建了全新的開放平臺核心銀行系統(tǒng)，并同步構(gòu)建了較為成熟的分布式服務架構(gòu)體系。為更好地保證系統(tǒng)穩(wěn)定性和業(yè)務連續(xù)性，工商銀行基于混沌工程理念在測試領(lǐng)域開展了深度探索及實踐。一、運用混沌工程原理增強系統(tǒng)穩(wěn)定性截至目前，工商銀行基于分布式架構(gòu)體系，已成功實現(xiàn)了分布式、服務化、容器化及DevOps等多項變革，大幅提升了從系統(tǒng)開發(fā)到上線運行的便捷性。與此同時，為進一步減少故障影響、增強系統(tǒng)穩(wěn)定性，工商銀行于2019年開展了基于混沌工程理念的可靠性測試，并依托故障演練平臺實施了常態(tài)化與專項深度測試，以夯實分布式應用的高可用服務能力。1.強化可靠性測試工具支撐為構(gòu)建混沌工程故障演練工具體系，工商銀行采用“自研+開源”方式打造可視化混沌工程故障演練平臺，提供了故障演練配置管理、性能實時查詢、演練結(jié)果分析報告自動生成等多項能力，成功實現(xiàn)從故障場景設計、故障場景注入及撤銷到故障結(jié)果智能分析的一站式服務?；煦绻こ坦收涎菥毠ぞ唧w系如圖1所示。圖1混沌工程故障演練工具體系一是建設故障演練平臺，提供故障注入能力。故障演練平臺屏蔽應用底層部署差異性，將物理機、虛擬機、容器等多種基礎(chǔ)部署環(huán)境透明化，抽象形成了系統(tǒng)、應用、容器三方面故障演練能力，可高效支持CPU滿載、磁盤IO高、數(shù)據(jù)庫訪問延時等百余種故障類型演練，并基于園區(qū)、應用、節(jié)點提供了分級分類的故障快速編排能力（如圖2所示），大幅降低了可靠性測試的操作門檻。圖2分級分類的故障快速編排能力二是建設高可用專家?guī)?，提升故障演練精準度。通過生產(chǎn)問題總結(jié)、可靠性測試實踐、業(yè)界場景等探索建立高可用測試模型，高可用專家?guī)旄采w了應用層、數(shù)據(jù)庫層、平臺層、緩存層、消息中間件層、路由層等六大類70余種測試案例。在此基礎(chǔ)上，故障演練平臺根據(jù)被測試系統(tǒng)的技術(shù)架構(gòu)特點，可自動匹配高可用專家?guī)斓臏y試案例，并“一鍵式”生成故障演練測試任務。高可用專家?guī)旒軜?gòu)如圖3所示。圖3高可用專家?guī)旒軜?gòu)三是構(gòu)建自動化支撐體系，持續(xù)提升故障演練水平?；诠收涎菥毱脚_、性能測試工具和應用監(jiān)控系統(tǒng)，工商銀行打造了故障演練自動化體系（如圖4所示）。該體系可根據(jù)當期版本架構(gòu)變化選取測試對象，并獲取測試對象穩(wěn)態(tài)時的TPS、交易響應時間、交易成功率等監(jiān)控指標，進而預設自動化執(zhí)行目標；此后，故障演練平臺調(diào)用性能測試工具，即可發(fā)起壓力測試并調(diào)起自動化腳本執(zhí)行，同時基于測試結(jié)果判斷自動化執(zhí)行前后關(guān)鍵指標的變化情況，分析系統(tǒng)優(yōu)化提升改進方向；最終，通過不斷擴大自動化執(zhí)行范圍，循環(huán)調(diào)起自動化執(zhí)行流程，實現(xiàn)可持續(xù)與常態(tài)化的高可用服務守護。圖4故障演練自動化體系2.建立內(nèi)外雙層保障機制在構(gòu)建基礎(chǔ)性工具后，工商銀行秉持“內(nèi)筑制度流程規(guī)范、外修專項團隊建設”的原則，創(chuàng)新搭建了分層分類保障機制，以加速推進可靠性測試工作的落地實施。一是建立持續(xù)改進機制。面向?qū)嵤┝鞒?，工商銀行通過明確實施階段、實施環(huán)境與分工安排，以及完善測試案例及測試問題管理系統(tǒng)，實現(xiàn)了對可靠性測試的精細化管理，并在持續(xù)改進過程中，以月為周期建立了培訓、交流、總結(jié)螺旋上升的持續(xù)改進機制。其中，在培訓方面，重點針對故障演練工具的特點和運用方式展開培訓；在交流方面，定期組織召開可靠性測試交流會；在總結(jié)方面，不斷將優(yōu)秀經(jīng)驗提煉固化到高可用專家?guī)熘?，并針對性?yōu)化工具或管理流程，避免問題事件再次發(fā)生。二是組建管理和實施團隊。在團隊建設方面，工商銀行優(yōu)先組建了由各部門可靠性測試牽頭人、故障演練平臺維護人員共同參與的管理團隊，負責牽頭組織工具推廣、測試設計和測試實施等工作，并組建了由應用架構(gòu)師、測試人員、開發(fā)人員、運維人員參與的專項實施團隊負責具體實施。其中，應用架構(gòu)師負責根據(jù)應用系統(tǒng)的高可用架構(gòu)特點，制定本應用可靠性測試的演練方案；測試人員負責根據(jù)演練方案開展具體的實施工作，并通過監(jiān)控指標開展系統(tǒng)容錯的結(jié)果分析；開發(fā)人員和運維人員負責故障發(fā)生后的問題分析和應急響應?；谏鲜霾渴?，通過專項管理和具體實施兩個團隊的分工協(xié)作，工商銀行切實保障了可靠性測試工作的推廣質(zhì)量。3.實施分級分類推廣體系基于“分步實施、分級提升”的推廣原則，工商銀行按照“先試點再推廣、先重點再全面”的方式逐步推進可靠性測試落地。一是開展試點應用，打造先鋒榜樣。2019年，工商銀行優(yōu)先選取業(yè)務需求多、貼近生產(chǎn)的快捷支付、智能投顧等業(yè)務線作為試點，以系統(tǒng)層、應用層、基礎(chǔ)設施層為入口，針對性注入服務提供方與消費方節(jié)點異常、注冊中心集群異常等故障，成功發(fā)現(xiàn)了節(jié)點亞健康缺乏熔斷機制、超時時間過長無法實現(xiàn)隔離等問題。二是選取典型應用，強化重點領(lǐng)域。工商銀行從故障表現(xiàn)、故障節(jié)點等維度梳理演練場景，選擇生產(chǎn)重點保障應用，基于同城雙活、優(yōu)雅啟停、限流、超時等七種常用的高可用服務能力，結(jié)合演練場景組合開展了深度專項測試，全面覆蓋服務器隔離要求、去單點要求等十余種高可用服務規(guī)范。基于上述舉措，工商銀行成功發(fā)現(xiàn)并解決了優(yōu)雅啟停響應時間超長、熔斷未生效等多個問題，有效保障了重要對客應用的持續(xù)服務能力。三是面向全量應用，開展全面推廣。按照版本研發(fā)節(jié)奏，工商銀行面向當期版本涉及改造的分支模塊，以及存量應用系統(tǒng)架構(gòu)有變動的場景，針對性設計了可靠性測試方案和測試案例；同時，組織架構(gòu)師、開發(fā)負責人、測試人員等項目組成員，對可靠性測試覆蓋的交易分支、注入故障類型、交易觀察指標變化情況等開展專題評審，并根據(jù)評審結(jié)論不斷調(diào)整測試方案和測試案例，以及適時修正程序處理邏輯，切實提升了應用系統(tǒng)的持續(xù)對外服務能力。二、實踐成效與后續(xù)展望實踐中，工商銀行基于混沌工程測試體系，對某期版本快捷支付進行了可靠性測試，具體步驟如下：針對快捷支付鏈路，工商銀行首先開展了面向服務提供方與服務消費方節(jié)點異常、注冊中心集群異常的故障設計，之后按照全鏈路交易流程，實施了網(wǎng)絡、硬盤、進程破壞等故障注入，并持續(xù)觀察快捷支付鏈路的交易成功率、TPS、交易耗時變化；同時，為進一步完善測試場景，還制定了交易成功率、TPS在一分鐘內(nèi)恢復正常等系統(tǒng)穩(wěn)態(tài)指標。測試結(jié)果顯示，服務消費方在亞健康情況下，交易量有所下降，但交易成功率未受影響；服務提供方在亞健康情況下，交易量下跌一段時間后能夠自動恢復；注冊中心在亞健康的情況下，交易量與交易成功率均未受影響。基于上述結(jié)論，工商銀行得出如下優(yōu)化思路：對于服務消費方部分節(jié)點亞健康影響整體交易的情況，選擇增加熔斷機制，對服務調(diào)用成功率在連續(xù)一段時間內(nèi)下降的服務節(jié)點進行熔斷屏蔽，從而快速恢復交易。此外，在實際操作中，當開發(fā)人員增加熔斷機制后，測試人員還會再次針對該場景進行復測，以確保問題得到妥善解決。截至2022年5月底，工商銀行已在超過300個應用系統(tǒng)中開展了基于混沌工程的可靠性測試，累