s01020304爆發(fā)式增長業(yè)務(wù)的穩(wěn)定性挑戰(zhàn)爆發(fā)式增長業(yè)務(wù)的穩(wěn)定性應(yīng)對之道異地多活—交易單元化技術(shù)架構(gòu)降爆炸半徑—自研ServiceMesh實現(xiàn)去中心化網(wǎng)關(guān)SUBJECT爆發(fā)式增長業(yè)務(wù)的穩(wěn)定性挑戰(zhàn)01業(yè)務(wù)子系統(tǒng)多下游二方/三方依賴多業(yè)務(wù)子系統(tǒng)多下游二方/三方依賴多X因素多變更引發(fā)的故障非變更引發(fā)的故障機房級故障較少，對業(yè)務(wù)系統(tǒng)挑戰(zhàn)高基礎(chǔ)設(shè)施機房級故障較少，對業(yè)務(wù)系統(tǒng)挑戰(zhàn)高基礎(chǔ)設(shè)施K8S調(diào)度故障，K8S升級故障云操作系統(tǒng)Tair分布式數(shù)據(jù)庫requestApiGatewayService1.1Service3.1Service1.2Service2.1Service3.2Service1.3Service2.2Service3.3ServiceService1.4Service1.5Service2.3Service3.4Service2.4Service3.5Service1.6Service3.6??復(fù)雜系統(tǒng)鏈路較長，定位問題可能變得困難?二方/三方系統(tǒng)故障，RT變長，成功率下降等??系統(tǒng)的自我保護，防止被上游異常大流量打死X因素挑戰(zhàn)變更類故障變更類故障故障類別非變更類故障消耗類值變化故障類別非變更類故障消耗類值變化其實本質(zhì)也是變化量變引起質(zhì)變非生產(chǎn)環(huán)境變更......其實本質(zhì)也是變化量變引起質(zhì)變非生產(chǎn)環(huán)境變更......證書到期證書到期服務(wù)到期服務(wù)到期賬戶余額變化賬戶余額變化庫存類變化庫存類變化數(shù)據(jù)量級變化數(shù)據(jù)量級變化SUBJECT爆發(fā)式增長業(yè)務(wù)的穩(wěn)定性應(yīng)對之道02支付渠道故障資損熔斷演練支付渠道故障資損熔斷演練代碼掃描測試覆蓋率質(zhì)量評分質(zhì)量平臺壓測平臺壓測計劃壓測引流語料單機服務(wù)故障RT延遲故障三方故障注入混沌工程數(shù)據(jù)庫連接/超外部依賴監(jiān)控外部依賴管控平臺支付渠道自動切換支付渠道監(jiān)控支付渠道下線決策支付渠道上下線單元化切流單元化中間件單元化監(jiān)控單元化管控平臺限流管控平臺代碼掃描測試覆蓋率質(zhì)量評分質(zhì)量平臺壓測平臺壓測計劃壓測引流語料單機服務(wù)故障RT延遲故障三方故障注入混沌工程數(shù)據(jù)庫連接/超外部依賴監(jiān)控外部依賴管控平臺支付渠道自動切換支付渠道監(jiān)控支付渠道下線決策支付渠道上下線單元化切流單元化中間件單元化監(jiān)控單元化管控平臺限流管控平臺灰度發(fā)布灰度發(fā)布灰度平臺灰度引流灰度引流故障演練預(yù)案降級故障預(yù)案降級故障風(fēng)險故障風(fēng)險故障數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)處理逆向監(jiān)控逆向校驗?zāi)嫦蛐ｒ瀳缶ㄖ獔缶ㄖL(fēng)險視圖風(fēng)險視圖業(yè)務(wù)監(jiān)控告警應(yīng)用水位播報應(yīng)用水位播報水位自動巡檢qpsqps水位播報風(fēng)險監(jiān)控業(yè)務(wù)監(jiān)控風(fēng)險監(jiān)控業(yè)務(wù)監(jiān)控存儲水位播報存儲水位播報事中全鏈路日志全鏈路日志全鏈路追蹤變更歸因整體大盤監(jiān)控大盤天級大盤用反監(jiān)控用反監(jiān)控輿情監(jiān)控故障歸因故障歸因分業(yè)務(wù)大盤分業(yè)務(wù)大盤資損熔斷統(tǒng)一數(shù)據(jù)流統(tǒng)一數(shù)據(jù)流聚類異常發(fā)現(xiàn)聚類異常發(fā)現(xiàn)熔斷處置決策熔斷處置決策預(yù)案平臺預(yù)案執(zhí)行預(yù)案執(zhí)行風(fēng)險預(yù)案關(guān)聯(lián)風(fēng)險預(yù)案關(guān)聯(lián)機房切流機房切流上線前灰度環(huán)境做引流驗證通過環(huán)境標(biāo)實現(xiàn)流量精細(xì)化管控，支持白名單、百分比等灰度流量控制靈活，不需要全鏈路都有灰度環(huán)境。人工收集壓測語料，壓測case手工執(zhí)行壓測準(zhǔn)備，手工切流，手工檢查壓測過程中收集數(shù)據(jù)，手工生成保告VS線上引流錄制，自動收集壓測語料自動收集servercpu等信息，自動生成壓測保告。歷史報告對比。線上真實流量回歸驗證，流量錄制回放對業(yè)務(wù)代碼的侵入性盡可能少錄制不影響線上性能串聯(lián)一起請求的所有調(diào)用信息流、訂單流、資金流三流對比?？缦到y(tǒng)數(shù)據(jù)校驗規(guī)則使用Faas來實現(xiàn)，可插撥擴展?？焖偕蠈€上系統(tǒng)保持敬畏SUBJECT異地多活—單元化技術(shù)架構(gòu)?自研Go中間件單元化技術(shù)方案?單元化落地過程中的高級坑?高可用與單元化成本的平衡取舍03?問題：核心業(yè)務(wù)依賴機房，無法抵抗地域級、機房級故障，無法做到真正的容災(zāi)?目標(biāo)：建設(shè)一種通用的機房級異地容災(zāi)架構(gòu)，讓業(yè)務(wù)具備異地容災(zāi)（單元化故障快速恢復(fù)的能力?異地多活，單元封閉?距離導(dǎo)致的網(wǎng)絡(luò)時延是物理限制，不可能突破?多次跨地域的調(diào)用會嚴(yán)重影響服務(wù)RT，導(dǎo)致用戶體驗嚴(yán)重下降?網(wǎng)絡(luò)時延對數(shù)據(jù)一致性是巨大挑戰(zhàn)，要寫業(yè)務(wù)多活更是難上加難異地多活單元化架構(gòu)異地多活，單元封閉?Unit：即所有讀寫流量在單元內(nèi)完成，有異常不會影響其他單元。隨時切流?Copy：讀流量走單元服務(wù)，寫流量走中心服務(wù)。單元切流無異常，中心服務(wù)出問題，整體都會出問題?買家緯度單元化?核心鏈路內(nèi)最多只有一次糾偏?統(tǒng)一單元化管控?單元化切流壓測，實現(xiàn)壓測提效?服務(wù)具備單元化糾偏路由能力。數(shù)據(jù)層中間件TDDL具系統(tǒng)龐大鏈路復(fù)雜：系統(tǒng)龐大鏈路復(fù)雜：(解決：內(nèi)圈向外推動)?上下游鏈路較為復(fù)雜，架構(gòu)由核心內(nèi)部服務(wù)向外擴充推動單元化?只有必須的服務(wù)才進行單元化改造，平衡改造成本強中心化服務(wù)，例如庫存服務(wù)，如何做到單元封閉：(解決：按單元做業(yè)務(wù)劃撥)?例如按單元劃撥庫存，某單元無庫存后，從其他單元再劃撥單元化后，壓測鏈路是否影響：(解決：流量染色，支持單元化切流壓測)?業(yè)務(wù)無感，業(yè)務(wù)代碼基本無改造，中間件層面支持，升級SDKSequence沖突(解決：單元GroupSequence，各單元使用自己的Sequence號段)?單元化后，Sequnce號段浪費，按單元化比例分配sequence號段單元庫存1001200單元B1001300中心單元C1001500扣庫存雙向同步雙向同步雙向同步扣庫存扣庫存單元庫存1001200單元B1001300中心單元C1001500扣庫存單元B扣庫存單元庫存1001200單元B1001300中心單元C1001500--原表column1是tinyint類型，變更為in--非單元化之前執(zhí)行過類似變更，沒有問題，單元化之后，執(zhí)行此變更，引起鎖表，連接數(shù)爆漲，業(yè)務(wù)不可用的故障1.創(chuàng)建臨時表：CREATETABLEA`LIKEA。并變更結(jié)構(gòu)ALTERTABLEA`XXXX。`(SELECT%sFROMAFORCEINDEX(%s)WHERExxx。步：UPDATE/INSERT/DELETEA`。4.切換新舊表：RENAMETABLEA`toA。單元化數(shù)據(jù)庫執(zhí)行無鎖變更有丟數(shù)據(jù)風(fēng)險所以對于單元化數(shù)據(jù)庫，使用的是原生mysql變更而原生Mysql字段類型變更會鎖表高可用與單元化成本取舍?兩單元都扛流量，沒有資源浪?大促態(tài)擴到多單元，多機房扛SUBJECT降爆炸半徑—自研ServiceMesh實現(xiàn)去中心化網(wǎng)關(guān)?ServiceMesh基礎(chǔ)設(shè)施建設(shè)?ServiceMesh業(yè)務(wù)落地方案04QPS接口量飛速增長迅速增長解題解題云原生架構(gòu)升級性去中心化OnOnServiceMesh采用Mecha的Service底層引擎多語言、多框架，對跨語采用Mecha的ServiceSS讓業(yè)務(wù)開發(fā)回歸業(yè)務(wù)，為業(yè)務(wù)提效?可以通過類似Envoy的數(shù)據(jù)面來管理>Filter),由邊