破界-迭代-內(nèi)生Alibabacloud'SNetworkstabilityEvolution蓋鏡源阿里云智能集團(tuán)高級產(chǎn)品解決方案架構(gòu)師本演講的主旨匯報(bào)阿里云網(wǎng)絡(luò)穩(wěn)定性工程實(shí)踐，破界：傳統(tǒng)網(wǎng)絡(luò)穩(wěn)定性模型的局限BreakingBoundaries:LimitationsofTraditionalNetworkstabilityModels傳統(tǒng)穩(wěn)定性-容災(zāi)思想1.設(shè)計(jì)并行路徑：傳統(tǒng)穩(wěn)定性-容災(zāi)思想1.設(shè)計(jì)并行路徑：多鏈路/多板卡/多設(shè)備/多廠商/多機(jī)房等2.故障檢測感知：光路檢測、健康檢3.故障快速恢復(fù)：路徑切換、主備倒換、設(shè)備替換等云網(wǎng)絡(luò)穩(wěn)定性新挑戰(zhàn)1.微突發(fā)流量導(dǎo)致的性能抖動，多租戶環(huán)境下的QoS保障2.軟件處理網(wǎng)絡(luò)轉(zhuǎn)發(fā)，租戶網(wǎng)絡(luò)的確定性性能3.龐大軟件系統(tǒng)，駕馭與變更管理公共云的特殊性1.海量租戶：需要軟件Overlay做大租戶規(guī)模，系統(tǒng)龐大、變更頻繁2.資源共享：鄰居租戶共享同一套物理資源，租戶間突發(fā)任務(wù)干擾迭代：云網(wǎng)絡(luò)穩(wěn)定性建設(shè)新范式lteration:NewparadigmforcloudNetworkstabilityconstruction被動響應(yīng)到內(nèi)生主動防御的思路、體系、技術(shù)核心思路轉(zhuǎn)變影響”并獲得“免疫力”2.“故障后容災(zāi)”→“風(fēng)險(xiǎn)提前暴露”并修復(fù)構(gòu)建新的體系計(jì)、可觀測與應(yīng)急恢復(fù)準(zhǔn)）、運(yùn)營流程（約束）、最使用主動防御技術(shù)2.主動式故障域隔離3.打破控制面局限4.確定性的變更管理0303“問題-修復(fù)-沉淀”快速閉環(huán)縮短根因定位→修復(fù)方案→代碼/配置變更→驗(yàn)證上線→經(jīng)驗(yàn)沉淀n的周期真正實(shí)現(xiàn)“一次故障，獲得免疫"02創(chuàng)新更契合的穩(wěn)定性技術(shù)02創(chuàng)新更契合的穩(wěn)定性技術(shù)主動式重路由ZooRoute:內(nèi)網(wǎng)跨城傳輸1秒內(nèi)完成選路調(diào)整公網(wǎng)質(zhì)量調(diào)優(yōu)NetExpress:公網(wǎng)平均抖動降低30%。7*24主動式遙測ZooNet:實(shí)現(xiàn)租戶級問題主動發(fā)現(xiàn)破除任何"黑盒"依賴穩(wěn)定性不再寄托于外部承諾而是根植于自身可演進(jìn)、可驗(yàn)證、可迭代的縮小故障影響范圍基于可用區(qū)的單元化部署?隔離：一個獨(dú)立功能組件只在一個可用區(qū)內(nèi)完成服務(wù)，避免其他可用區(qū)故障影響?可靠：相同功能的組件在多個可用其他可用區(qū)組件副本接管服務(wù)實(shí)例水平拆分?服務(wù)用戶多、資源規(guī)模大的組件，按某種維度（比如實(shí)例id）拆分成多個獨(dú)立子實(shí)例?每個子實(shí)例僅服務(wù)一部分用戶，彼此之間無共享、無干擾，縮小故障范圍、縮短故障平均修復(fù)時間隨機(jī)化打散ShuffleSharding?將服務(wù)隨機(jī)映射到多個子實(shí)例，確保不同租戶故障域組合差異化?單子實(shí)例故障時，受影響租戶隨機(jī)且稀疏分布?“規(guī)模免疫”：系統(tǒng)越大，個體租戶受故障影響的概率越低控制故障爆炸半徑?在保留彈性與共享的前提下，通過主動式故障域隔離，控制爆炸半徑，實(shí)現(xiàn)“既共享又安全”的目標(biāo)優(yōu)化的關(guān)鍵策略1.優(yōu)先數(shù)據(jù)面收斂故障：500ms優(yōu)化的關(guān)鍵策略1.優(yōu)先數(shù)據(jù)面收斂故障：500ms~3s生效2.關(guān)鍵資源預(yù)留：控制面關(guān)鍵服務(wù)部署時必須有足夠的資源預(yù)留，不依賴彈性3.保持控制面負(fù)載恒定：通過隊(duì)列限速、緩存、調(diào)度等機(jī)制4.靜態(tài)穩(wěn)定：控制平面組件失聯(lián)時，轉(zhuǎn)發(fā)組件保持最后狀態(tài)繼續(xù)工作控制面的局限性控制面的局限性1.控制平面過載時，無法及時響應(yīng)請求2.資源不足時，無法實(shí)現(xiàn)彈性擴(kuò)容3.依賴外部服務(wù)，外部服務(wù)可能會故障4.邏輯復(fù)雜、調(diào)用延遲、一致性校驗(yàn)等導(dǎo)致響應(yīng)時間長Endogenous4:DeterministicchangeManagement對生產(chǎn)系統(tǒng)變更入口進(jìn)行管理，確保系統(tǒng)密閉性能做到99%的正確率?腳本調(diào)API，效率有提升到99%的正確率?運(yùn)維控制臺上創(chuàng)建、執(zhí)行、分析，標(biāo)準(zhǔn)化?效率、正確率更高?權(quán)限管控，系統(tǒng)密閉性形成?白屏化基礎(chǔ)上，“變更編排→智能監(jiān)控→異常自動剎車”?效率再次提升、有錯即停以破壞性為核心的測試，面向失敗的演進(jìn)?大規(guī)模復(fù)雜系統(tǒng)，單元測試/集成測試是不夠的?在可控條件下，主動制造不可控的破壞、主動注入故障?錘煉系統(tǒng)、面向失敗進(jìn)行學(xué)習(xí)和改進(jìn)，固化到系統(tǒng)中事前評估與事后復(fù)盤線上演練把經(jīng)驗(yàn)"編碼"線上演練重復(fù)故障注入?事前：影響域分析與風(fēng)險(xiǎn)預(yù)判?事后：聚焦"系統(tǒng)為何未能自動恢復(fù)"?將故障教訓(xùn)轉(zhuǎn)化為可執(zhí)行、可復(fù)用、自動化的系統(tǒng)能力?從"人治"向"自治"躍遷?把之前發(fā)生的故障構(gòu)造成下一次演練的輸入結(jié)語我