GOPS2025Beijing2015-2025暨研運(yùn)數(shù)智化技術(shù)峰會2025年6月27-28日中國·北京高效運(yùn)維社區(qū)高效運(yùn)維社區(qū)品AOPS○開放運(yùn)維聯(lián)盟OOPSAOpenoOPSAlanceANNIVERSARYANNIVERSARY京東物流全鏈路生產(chǎn)帶量壓測建設(shè)與實(shí)踐ANNIVERSARYANNIVERSARY目目錄京東物流全鏈路壓測的技術(shù)突破京東物流全鏈路壓測建設(shè)全景圖京東物流生產(chǎn)帶量壓效果和收益京東物流全鏈路壓測未來展望GOPS2025GOPS2025Beijing2015-2025技術(shù)難點(diǎn)-技術(shù)選型-技術(shù)實(shí)施全鏈路生產(chǎn)帶量壓測環(huán)境、數(shù)據(jù)、場景、壓力全鏈路生產(chǎn)帶量商詳→加購→支付→履約倉→揀→運(yùn)→配商詳→加購→支付→履約倉→揀→運(yùn)→配你想象中的高保真壓測?環(huán)境保真數(shù)據(jù)隔離影子庫生產(chǎn)環(huán)境高保真壓測難點(diǎn)從單點(diǎn)容量評估-->鏈路節(jié)點(diǎn)比例精準(zhǔn)調(diào)控微服務(wù)分布式系統(tǒng)架構(gòu)、局部的模塊測試、鏈路薄弱點(diǎn)暴露難從線下壓測-->線上高保真壓測線下搭建對等壓測環(huán)境，中間件&依賴的外圍系統(tǒng)不穩(wěn)定產(chǎn)生不同程度的失真從單一憋單-->常態(tài)化生產(chǎn)壓測憋單時(shí)間窗口短、難以產(chǎn)生足量訂單模擬大促流量洪峰，并且影響醫(yī)療、生鮮等門店商品配送時(shí)效高保真壓測面臨困難是什么生產(chǎn)壓測生產(chǎn)壓測代碼開發(fā)成本低在這里輸入你的正文闡述與關(guān)鍵詞標(biāo)題相關(guān)的具體內(nèi)容在這里輸入你的正文闡述與在這里輸入你的正文闡述與關(guān)鍵詞標(biāo)題相關(guān)的具體內(nèi)容核心思路是壓測數(shù)據(jù)隔離，通過對壓測流量進(jìn)行標(biāo)識、中間件識別和透傳壓測生產(chǎn)中間件存儲影子中間件存儲介質(zhì)0介質(zhì)0生產(chǎn)流量壓測流量壓測流量生產(chǎn)流量生產(chǎn)中間件存儲影子中間件存儲介質(zhì)N介質(zhì)N生成帶壓測標(biāo)識流量依托壓測工具，給壓測流量打標(biāo)識、染色壓測標(biāo)識透傳&流轉(zhuǎn)壓測標(biāo)識處理組件-識別并透傳壓測流量，保證壓測標(biāo)識在被壓測服務(wù)間傳遞不丟失影子技術(shù)選用合適的影子技術(shù)，持久化壓測流量(與生產(chǎn)存儲介質(zhì)物理或者邏輯隔離，保證不污染生產(chǎn)壓測標(biāo)識透傳組件TraceHolderTraceHolder原理是在線程ThreadLocal中保存量的特性，在線程間隔離，在任何方法中都可以輕松獲取當(dāng)前線程的ThreadLocal,避免參數(shù)傳遞麻煩，保//開啟forcebot標(biāo)//移除forcebot標(biāo)GOPSGOPS2025壓測流量壓測流量JSF壓測流量透傳JSF壓測流量透傳影子緩存JImdb流量隔離壓測流量透傳MySQLSDK壓測流量透傳壓測流量透傳影子clover影子mysql影子TopicMysqlCloverJMQTraceHolder組件的誕生，實(shí)現(xiàn)中間件的統(tǒng)一增強(qiáng)，各系統(tǒng)只需升級中間件SDK版本和修改相關(guān)配置，可快速實(shí)現(xiàn)壓測流量隔離透傳。影子主題影子主題功能提供一種過濾機(jī)制，將壓測的消息流量發(fā)送到影子主題，只有需要壓測的下游才參與壓測影子庫建立原庫與影子庫數(shù)據(jù)源，基于換用戶請求TraceHolder.setForcebot()MySQLSDKshadow.jar-TraceHolder.isForcebot()—False—生產(chǎn)庫/生產(chǎn)表—Ture——Ture—并根據(jù)壓測標(biāo)識將染色的流量持久化到影子鏈路全鏈路壓測技術(shù)-推廣&落地賦能技術(shù)文檔沉淀實(shí)踐demo案例分享核心鏈路試點(diǎn)核心鏈路試水大促備戰(zhàn)組推進(jìn)大促洪峰驗(yàn)證大促618、雙十一洪峰驗(yàn)證生產(chǎn)逃逸風(fēng)險(xiǎn)事件的攻克全面展開物流內(nèi)部全面推廣系統(tǒng)穩(wěn)定性持續(xù)向好，幸福感持續(xù)增強(qiáng)流量峰值覆蓋-響應(yīng)時(shí)間保效率提升第四步第一步第二步第三步生產(chǎn)全鏈路的高保真壓測實(shí)施生產(chǎn)上線技改方案宣傳推廣梳理改造范圍&實(shí)施瓶頸定位&復(fù)盤小范圍試點(diǎn)、驗(yàn)證、踩坑風(fēng)險(xiǎn)應(yīng)急方案GOPS2025GOPS2025Beijing2015-2025全鏈路生產(chǎn)壓測-項(xiàng)目全景圖進(jìn)度管控質(zhì)量管控風(fēng)險(xiǎn)管控JDL京東物流全鏈路軍演壓測項(xiàng)目規(guī)劃100+人次執(zhí)行識別鏈路薄弱點(diǎn)達(dá)成軍演目標(biāo)執(zhí)行壓測3-4輪壓測窗口少應(yīng)用拓?fù)浣涌阪溌发趈dljdl-eca-standard-ability⑧7X*ebaichuan-router-disp-②20%jdl-eca-standard-abilityejdl-oms-express->baicl②jdl-oms-outbound->ba②jdl-eca-standard-abilitybaichuan-router-disp-3②jdl-eca-standard-ability調(diào)用鏈路快速理清*…化--人工全鏈路壓測主要風(fēng)險(xiǎn)是什么?流量逃逸生產(chǎn)的請求被誤打上壓測標(biāo)識，導(dǎo)致生產(chǎn)訂單卡單壓測請求丟掉壓測標(biāo)識，導(dǎo)致壓測流量走到生產(chǎn)環(huán)境，污染線上數(shù)據(jù)。發(fā)壓的源頭會添加壓測標(biāo)識(TraceHolder.setForcebot()),理論上不會影響線上的請求，除非生產(chǎn)線程池被污染。壓測流量丟壓標(biāo)逃逸到生產(chǎn)情況?TraceHolder技術(shù)方案不覆蓋的中間件，業(yè)務(wù)線程池改造不徹底，需替換成TraceHolder組件封裝的線程池對象壓測標(biāo)識丟了如何快速識別處理?物料準(zhǔn)備、代碼增強(qiáng)、監(jiān)控告警上對壓測流量進(jìn)行壓測標(biāo)記，壓測請求帶有壓測屬性，可快速識別清理壓測請求，通過壓測開關(guān)，快速熔斷高效協(xié)同◆時(shí)間線清晰◆執(zhí)行動作明確◆職責(zé)分明1XX網(wǎng)關(guān)及相關(guān)公網(wǎng)業(yè)務(wù)流量整體切到廊坊機(jī)房；XX機(jī)房除首頁、搜索、推薦相關(guān)流量外，其余流量(切回XX的流量包含商詳/購物車/結(jié)算/訂單/通天塔/秒殺/閃購);注意：各機(jī)房切換隔離/壓測環(huán)境時(shí)務(wù)必檢查沒2XX內(nèi)網(wǎng)域名流量切量到XX;34核心業(yè)務(wù)值班人集中備戰(zhàn)checkin(入場及簽到)軍演壓測環(huán)填20:00完全就緒，集中備戰(zhàn)56789XXX機(jī)房首頁、搜索、推薦相關(guān)流量整體切入口涉及結(jié)算、收銀臺、訂單；1、發(fā)壓流量(匯天備戰(zhàn)目標(biāo)1倍流量);觀察入口系統(tǒng)可用率和tp99,不符合預(yù)期的業(yè)務(wù)模塊執(zhí)行預(yù)案/降級，并檢直預(yù)案/降級執(zhí)行結(jié)果是否符合預(yù)期；2、1倍流量各業(yè)務(wù)系統(tǒng)穩(wěn)定后記錄結(jié)果數(shù)據(jù)；注意串項(xiàng)：壓測過程中出現(xiàn)阻塞軍演壓測流程問題請及時(shí)報(bào)入口涉及首頁、搜索、推薦、商詳、購物車、結(jié)算；1、發(fā)壓流量(匯天備戰(zhàn)目標(biāo)1倍流量);觀察入口系統(tǒng)可用率和tp99,不符合預(yù)期的業(yè)務(wù)模塊執(zhí)行預(yù)案/降級，并檢查預(yù)案/降級執(zhí)行結(jié)果是否符合預(yù)期；2、1倍流量各業(yè)務(wù)系統(tǒng)穩(wěn)定后記錄結(jié)果數(shù)據(jù)；注意事項(xiàng)：壓測過程中出現(xiàn)阻塞軍演壓測流程問題請及時(shí)報(bào)入口涉及結(jié)算、收銀臺、訂單.瞬時(shí)峰值脈沖(流量X倍)1、按照本機(jī)房備戰(zhàn)目標(biāo)設(shè)置限流，網(wǎng)關(guān)開啟1倍限流；2、各前端入口發(fā)壓到備戰(zhàn)目標(biāo)流量1.5-X倍；3、觀察1.5-X倍流量各系統(tǒng)表現(xiàn)是否符合預(yù)期；所有壓測任務(wù)全部停止(單鏈路/系統(tǒng)驗(yàn)證壓測群里周知)10月XX821:00前X×X機(jī)房流量切回；應(yīng)急助手應(yīng)急助手機(jī)器人05月28日18:59意[雷達(dá)]物流一核心鏈路SLA可視化看板red【入口異常模塊】【定位異常模塊】臨異常指標(biāo)：可用率當(dāng)前：99.41%,閾值：99.9%異常指標(biāo)：可用率當(dāng)前：99.15%,閾值：99.9%負(fù)責(zé)人【影響業(yè)務(wù)】你的每一份努力，都在為更好的自己鋪路?！I(yè)務(wù)監(jiān)控大盤鏈路監(jiān)控雷達(dá)圖·歷史問題可追溯·問題聚焦減小排查難度·責(zé)任到人問題跟蹤閉環(huán)6uan應(yīng)用日志分析中間件可觀測數(shù)據(jù)源進(jìn)行關(guān)聯(lián)分析，提供一體化的可觀測界面，一站式定位問題，降低MTTR全鏈路生產(chǎn)壓測-可觀測性收益性能瓶頸暴露快速精準(zhǔn)鎖定問題輔助決策薄弱點(diǎn)無處遁藏薄弱點(diǎn)無處遁藏大促監(jiān)控掌握生產(chǎn)流量行為容量水位風(fēng)險(xiǎn)預(yù)警優(yōu)化資源利用率科學(xué)指導(dǎo)配置資源，避免資源浪費(fèi)，降低資源成本歷史問題可追溯持久化歷史紅燈報(bào)警可追溯系統(tǒng)穩(wěn)定性保障全方位保障系統(tǒng)穩(wěn)定泰山平臺泰山平臺全鏈路生產(chǎn)壓測-技術(shù)全景圖結(jié)果采集f壓測熔斷壓測熔斷流量錄制回放流流量錄制流量規(guī)則壓測回放多協(xié)議支持壓壓測監(jiān)控資源監(jiān)控JVM監(jiān)控監(jiān)控&診斷平臺監(jiān)監(jiān)控告警大促盯盤閾值配置全鏈路監(jiān)控DB監(jiān)控Redis中間件可視化大盤全鏈路生產(chǎn)壓測-流量全景圖2023年6182023年雙112024年雙11技術(shù)突破訂單詳情接單適配層接單適配層JDQ數(shù)據(jù)管道頁頁純配訂單中心紅紅中小件接單預(yù)分揀分單履約層配運(yùn)履約層SR、ES、MySQL應(yīng)用業(yè)務(wù)寫鏈路破業(yè)務(wù)1業(yè)務(wù)2GOPS2025GOPS2025Beijing2015-2025生產(chǎn)穩(wěn)定性保障壓測效率提升軍演壓測機(jī)制建立軍演壓測白皮書軍演知識庫沉淀前置攔截問題賴接口性能差等問題風(fēng)險(xiǎn)應(yīng)急能力提升指標(biāo)完善：1%-業(yè)務(wù)異常：3%部署上線：4%-監(jiān)控問題：4%-流量異常：6%故障演練：8%性能問題限流問題故障演練流量異常監(jiān)控問題部署上線業(yè)務(wù)異常數(shù)據(jù)逃逸指標(biāo)完善性能問題：63%壓測場景失真依賴接口問題中間件JMQ抖動中間件JMQ積壓中間件Hbase服務(wù)器資源不足個(gè)別機(jī)器性能差網(wǎng)絡(luò)抖動問題問題現(xiàn)象和原因接口TP99升高；壓測物料占比失真接口TP99高和可用率下降；依賴接口有性能問題服務(wù)器CPU打爆；TP99跳點(diǎn)明顯；個(gè)別broker性能較差消息積壓；JMQ出隊(duì)能力不足TP99高和可用率低；Hbase限流有問題，未到配額啟動限流CPU打滿TP99高和可用率低；優(yōu)化壓測場景，物料仿真構(gòu)造2、上下游對齊SLA、壓測場景優(yōu)化3、依賴接口代碼優(yōu)化(中間件)和重試機(jī)制優(yōu)化4、日志降級為大促配置5、限流策略優(yōu)化1、優(yōu)化慢查詢，簡化MySQL邏輯，優(yōu)化索引等增加broker分片，開啟并行策略Hbase擴(kuò)容、調(diào)整Hbase限流配額擴(kuò)容宿遷服務(wù)器能差接口超時(shí)，服務(wù)可用率降低；依賴接口未同機(jī)房閉環(huán)