微眾銀行網(wǎng)絡(luò)架構(gòu)演進(jìn)及運(yùn)維實(shí)踐GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

楊俊杰 網(wǎng)絡(luò)運(yùn)維室經(jīng)理目錄銀行網(wǎng)絡(luò)運(yùn)維的日常1WeBank生產(chǎn)網(wǎng)構(gòu)建思路27*24銀行服務(wù)下的網(wǎng)絡(luò)運(yùn)維3Netdevops的一些思考4GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

銀行網(wǎng)絡(luò)運(yùn)維的日常機(jī)柜擴(kuò)容\IDC建設(shè)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

出品鏈路帶寬擴(kuò)容，運(yùn)營(yíng)商核查資源、新增合作伙伴專線接入業(yè)務(wù)需求，擴(kuò)容服務(wù)器，配套擴(kuò)容接入層，涉及連接關(guān)系梳理、實(shí)施方案，變更方案，IP地址分配，路由發(fā)布入網(wǎng)，監(jiān)控系統(tǒng)錄入，切換演練。專線建設(shè)、帶寬擴(kuò)容業(yè)務(wù)系統(tǒng)故障、網(wǎng)絡(luò)設(shè)備故障、網(wǎng)絡(luò)質(zhì)量異常。出口容量監(jiān)控、上聯(lián)帶寬容量監(jiān)控，網(wǎng)絡(luò)架構(gòu)整體容量擴(kuò)容計(jì)劃故障處理、容量管理全網(wǎng)季度巡檢、以天為單核心設(shè)備自動(dòng)巡檢配置基線、實(shí)施規(guī)范制定修訂網(wǎng)絡(luò)設(shè)備OS生命周期管理網(wǎng)絡(luò)設(shè)備巡檢、制度規(guī)范修訂、OS管理NAT地址分配，合作方接入后專線冗余切換，接入個(gè)性化需求支持。合作方接入聯(lián)調(diào)網(wǎng)絡(luò)架構(gòu)調(diào)整的優(yōu)化變更，主動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)架構(gòu)隱患觸發(fā)的架構(gòu)變更網(wǎng)絡(luò)架構(gòu)優(yōu)化變更基礎(chǔ)網(wǎng)絡(luò)建設(shè)日常運(yùn)營(yíng)網(wǎng)絡(luò)變更銀行網(wǎng)絡(luò)運(yùn)維的日常銀行標(biāo)準(zhǔn)網(wǎng)絡(luò)架構(gòu)與互聯(lián)網(wǎng)OTT架構(gòu)相比較，略有復(fù)雜，需要重點(diǎn)考慮安全隔離、監(jiān)管要求，網(wǎng)絡(luò)運(yùn)營(yíng)難度高，兩地三中心、多地多中心演進(jìn)，網(wǎng)絡(luò)架構(gòu)復(fù)雜度上升靈活跨DC流量調(diào)度需要了解基礎(chǔ)架構(gòu)層面各個(gè)組件的高可靠實(shí)現(xiàn)，掌握IDC相關(guān)的基本知識(shí)，可以更好幫助設(shè)計(jì)網(wǎng)絡(luò)的底層架構(gòu)，了解上層組件需求，更好的適配業(yè)務(wù)系統(tǒng)所需要的網(wǎng)絡(luò)環(huán)境由原來(lái)的兩地三中心，演變成多地多中心，DC的流量如何調(diào)度，是一個(gè)基本能力。流量的可視化，針對(duì)網(wǎng)絡(luò)設(shè)備buffer、管道通信質(zhì)量的細(xì)顆粒度監(jiān)控，成為網(wǎng)絡(luò)運(yùn)營(yíng)關(guān)注的重點(diǎn)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

銀行網(wǎng)絡(luò)運(yùn)維7*24應(yīng)急響應(yīng)UIOC重大故障現(xiàn)場(chǎng)抗壓能力快速?zèng)Q策升級(jí)匯報(bào)機(jī)制應(yīng)急預(yù)案快速執(zhí)行ECC技術(shù)棧TCP/IP協(xié)議棧OSPF\BGP\STP\LACP\MPLS

VPN數(shù)據(jù)包分析能力Liunx系統(tǒng)操作能力Python\shell腳本語(yǔ)言編程能力銀行業(yè)務(wù)系統(tǒng)理解網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)監(jiān)管要求變更、故障處理規(guī)范要求審計(jì)風(fēng)險(xiǎn)評(píng)估能力操作規(guī)范、管理規(guī)范。。。等合規(guī)制度GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

目錄銀行網(wǎng)絡(luò)運(yùn)維的日常1WeBank生產(chǎn)網(wǎng)構(gòu)建思路27*24銀行服務(wù)下的網(wǎng)絡(luò)運(yùn)維3Netdevops的一些思考4GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

WeBank分布式架構(gòu)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

全分布式架構(gòu)支持業(yè)務(wù)快速發(fā)展交易筆數(shù)峰值>3.2億/天消息峰值>24萬(wàn)/秒子系統(tǒng)>1000個(gè)物理服務(wù)器>8000臺(tái)注：“交易”是指交易請(qǐng)求從進(jìn)入銀行前置到處理完成并返回的整個(gè)過(guò)程，是對(duì)端到端的交易筆數(shù)統(tǒng)計(jì)?！跋ⅰ笔侵赶到y(tǒng)間調(diào)用的消息，是對(duì)系統(tǒng)間相互調(diào)用次數(shù)的統(tǒng)計(jì)。數(shù)據(jù)截至2018.12WeBank分布式架構(gòu)微眾架構(gòu)互聯(lián)網(wǎng)＋傳統(tǒng)金融海量用戶海量交易海量數(shù)據(jù)安全穩(wěn)定影響可控高性能億級(jí)客戶量?jī)|級(jí)日交易量高彈性容量擴(kuò)展性性能擴(kuò)展性低成本開源技術(shù)低端服務(wù)器資源高可用快速恢復(fù)高冗余低風(fēng)險(xiǎn)故障影響隔離影響范圍小高標(biāo)準(zhǔn)自動(dòng)化運(yùn)維規(guī)?；芾戆踩煽氐娜植际郊軜?gòu)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

7*24不停服-網(wǎng)絡(luò)服務(wù)能力挑戰(zhàn)實(shí)時(shí)金融交易-網(wǎng)絡(luò)穩(wěn)定可靠連接合作伙伴能力智慧運(yùn)維網(wǎng)絡(luò)架構(gòu)穩(wěn)定，變更、故障流量切換對(duì)業(yè)務(wù)無(wú)感知。連接金融機(jī)構(gòu)、連接合作伙伴，具備開放、便捷，靈活、安全的接入能力。海量用戶服務(wù)能力，互聯(lián)網(wǎng)接入流量需要彈性靈活跨地域BGP切換，避免運(yùn)營(yíng)商網(wǎng)絡(luò)故障對(duì)用戶接入影響實(shí)時(shí)的網(wǎng)絡(luò)監(jiān)控告警、東西向流flow采集分析、容量監(jiān)控預(yù)警，故障一鍵隔離自動(dòng)化連接用戶GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

WeBank生產(chǎn)網(wǎng)架構(gòu)構(gòu)建思路可擴(kuò)展性流量可調(diào)度可切換低延時(shí)可視化標(biāo)準(zhǔn)化GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)轉(zhuǎn)發(fā)必須是低時(shí)延出口流量可跨DC間進(jìn)行調(diào)度DC間網(wǎng)絡(luò)可平行擴(kuò)展架構(gòu)設(shè)計(jì)必須標(biāo)準(zhǔn)化、模塊化管道流量可采集可回溯Farbic節(jié)點(diǎn)故障可快速倒換WeBank生產(chǎn)網(wǎng)架構(gòu)構(gòu)建思路DCN架構(gòu)應(yīng)該如何來(lái)搭建BGP還是OSPF？容器的網(wǎng)絡(luò)方案如何適配？承載Hadoop大數(shù)據(jù)業(yè)務(wù)能力RDMA場(chǎng)景網(wǎng)絡(luò)支撐能力東西向Flow采集分析展示能力GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

WeBank生產(chǎn)網(wǎng)架構(gòu)構(gòu)建思路CSWCSWCSWCSWAGGAGGAGGAGGLCLCLCLCTOR TORTOR TOR TOR TORTOR TORD 隔C 離N 帶外

D 管聯(lián)M

理區(qū)

Z 區(qū)BDBD城域內(nèi)網(wǎng)WC WCLCLCSRVSRVTORTORLBLBFWFWWCWCWC WCLC LC LC LC LC LCSRV SRV SRV SRV SRV SRVTOR TOR TOR TOR TOR TORLB LB LB LB LB LBFW FW FW FW FW FW城域外網(wǎng)DC隔離N 帶外聯(lián)管理DM區(qū)

Z 區(qū)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

連接合作伙伴ARARARARARWeBank

DCICPE上海SDN-WAN運(yùn)營(yíng)商公有云平臺(tái)SD-WAN公有云平臺(tái)SD-WAN運(yùn)營(yíng)商傳輸網(wǎng)公眾互聯(lián)網(wǎng)EXPEXPLDLDLDARASLDARAS城市1EXPEXPLDLDLDARASLDARAS城市2CPE北京CPE成都運(yùn)營(yíng)商傳輸網(wǎng)IDC外聯(lián)接入?yún)^(qū)運(yùn)營(yíng)商傳輸網(wǎng)IDC外聯(lián)接入?yún)^(qū)FWFWFWARDCI專線與SD-WAN運(yùn)營(yíng)商對(duì)接用戶可以通過(guò)三種方式靈活接入WeBank網(wǎng)絡(luò)，VPN/運(yùn)營(yíng)商專線/SD-WAN鏈路復(fù)雜多樣的接入場(chǎng)景：1、不同業(yè)務(wù)場(chǎng)景對(duì)網(wǎng)絡(luò)質(zhì)量要求不一樣，高頻或低頻2、接入條件限制，如何快速接入？3、實(shí)時(shí)性高、要求HAGOP

S

全球運(yùn)維大會(huì)

2019·

上海站

數(shù)據(jù)中心DCI連接公眾用戶-互聯(lián)網(wǎng)出口流量切換多活系統(tǒng)的設(shè)計(jì)，需要考慮多個(gè)層次的組件實(shí)現(xiàn)負(fù)載分擔(dān)與故障自愈，不僅僅是網(wǎng)絡(luò)層，但網(wǎng)絡(luò)是實(shí)現(xiàn)多活的第一道入口網(wǎng)絡(luò)接入層負(fù)載均衡防火墻APP服務(wù)器DB網(wǎng)絡(luò)接入層負(fù)載均衡防火墻APP服務(wù)器DB使用DNS切A記錄，運(yùn)營(yíng)商緩存記錄怎么辦？負(fù)載均衡心跳同步如何解決，配置如何統(tǒng)一?防火墻心跳同步是否需要跨機(jī)房，策略如同步，防火墻路由模式部署還是透明部署

？GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

連接公眾用戶-互聯(lián)網(wǎng)出口流量切換EXPEXPEXPEXPEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCDC內(nèi)網(wǎng)DC內(nèi)網(wǎng)公眾互聯(lián)網(wǎng)CRCRCRCRDC內(nèi)網(wǎng)BD BDBD BDBD BD主路由

備路由主路由備路由

WeBankDCI網(wǎng)絡(luò)AR異地DMZ接入專區(qū)關(guān)鍵點(diǎn)：GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

不依賴于DNS更改A記錄等方式實(shí)現(xiàn)流量切換，7*24實(shí)時(shí)金融業(yè)務(wù)要求入口流量快速切換，通過(guò)BGP路由優(yōu)先級(jí)方式實(shí)現(xiàn)導(dǎo)流，在秒級(jí)范圍內(nèi)完成切換防火墻切換時(shí)，需關(guān)閉TCP-syn包檢查，僅做狀態(tài)檢測(cè)防火墻，流量平穩(wěn)后，恢復(fù)TCP-SYN檢測(cè)，不做跨機(jī)房配置同步，由運(yùn)維平臺(tái)自動(dòng)化對(duì)比配置一致性檢查L(zhǎng)B發(fā)布VIP時(shí)，與交換機(jī)聯(lián)動(dòng)發(fā)布32位路由，打上community屬性，可按單條路由進(jìn)行精細(xì)化調(diào)度。LB間不做跨DC心跳同步，配置同步由自動(dòng)化工具實(shí)現(xiàn)架構(gòu)設(shè)計(jì)最重要的是什么?規(guī)劃時(shí)需盡可能預(yù)想可能出現(xiàn)的運(yùn)營(yíng)風(fēng)險(xiǎn)聽取意見(jiàn)，多輪架構(gòu)測(cè)試，輸出輪證數(shù)據(jù)考慮建設(shè)后的可擴(kuò)展伸縮性依據(jù)業(yè)務(wù)需求來(lái)綜合設(shè)計(jì)，一定要滿足業(yè)務(wù)訴求穩(wěn)定與靈活上做好平衡，沒(méi)有100%完美的設(shè)計(jì)符合業(yè)務(wù)需求，按業(yè)務(wù)需求適配架構(gòu)，可持續(xù)為業(yè)務(wù)提供服務(wù)才最重要GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

關(guān)于SDN架構(gòu)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

金融同業(yè)也在逐步設(shè)計(jì)云架構(gòu)、行業(yè)云、公有云。歸根結(jié)底還是業(yè)務(wù)需求驅(qū)動(dòng)生產(chǎn)上一定是最需要云化的場(chǎng)景，做SDN架構(gòu)適配混合云解決大部份彈性伸縮問(wèn)題大部份SDN架構(gòu)考慮網(wǎng)絡(luò)自動(dòng)化運(yùn)維，網(wǎng)絡(luò)資源編排，資源調(diào)度等問(wèn)題轉(zhuǎn)發(fā)面是否需軟化，需要結(jié)合網(wǎng)絡(luò)規(guī)模與業(yè)務(wù)硬性需求看，具體問(wèn)題具體分析目錄銀行網(wǎng)絡(luò)架構(gòu)的模樣1WeBank生產(chǎn)網(wǎng)構(gòu)建思路27*24銀行服務(wù)下的網(wǎng)絡(luò)運(yùn)維3Netdevops的一些思考4GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)故障幾個(gè)場(chǎng)景APP已經(jīng)提示網(wǎng)絡(luò)出問(wèn)題程序已經(jīng)拋出異常，socket超時(shí)，請(qǐng)網(wǎng)絡(luò)同學(xué)排查一下應(yīng)用耗時(shí)增加時(shí)與該曲線毛刺時(shí)間點(diǎn)匹配網(wǎng)絡(luò)有問(wèn)題GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)故障幾個(gè)場(chǎng)景-2設(shè)備類告警GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

協(xié)議DOWN防火墻HA切換端

UP/DOWNVPN

隧道中斷板卡異常主控異常電源、風(fēng)險(xiǎn)端口錯(cuò)包……轉(zhuǎn)發(fā)類、容量告警內(nèi)外網(wǎng)質(zhì)量異常數(shù)據(jù)包轉(zhuǎn)發(fā)異常出口帶寬告警……故障處理流程01，網(wǎng)絡(luò)自身是否有告警，轉(zhuǎn)發(fā)層面是否現(xiàn)異常，網(wǎng)絡(luò)質(zhì)量是有異常確認(rèn)網(wǎng)絡(luò)異常，執(zhí)行異常處理，無(wú)效，按應(yīng)急預(yù)案執(zhí)行0203

異常處置結(jié)束，總結(jié)異常原因網(wǎng)絡(luò)平臺(tái)異常?緊急故障情況下，應(yīng)急預(yù)案內(nèi)容是否為最新修訂的，近期網(wǎng)絡(luò)架構(gòu)有調(diào)整，可否按此版本執(zhí)行？原因無(wú)法明確時(shí)，有哪些數(shù)據(jù)可說(shuō)明網(wǎng)絡(luò)平臺(tái)目前的狀態(tài)？GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)平臺(tái)應(yīng)對(duì)故障的解決思路可視化：SNMP采集流量常態(tài)化保存，基于streaming

telemetry采集INT數(shù)據(jù)，獲取完整DC內(nèi)東西Flow分析網(wǎng)絡(luò)質(zhì)量，基于GRPC

秒級(jí)獲取核心設(shè)備buffer隊(duì)列信息、丟包統(tǒng)計(jì)。針對(duì)不支持INT的交換芯片，采用ERSPAN方式依據(jù)業(yè)務(wù)需求按需采集，實(shí)現(xiàn)自動(dòng)化的丟包、異常突發(fā)流量檢測(cè)分析。架構(gòu)標(biāo)準(zhǔn)化：IDC建設(shè)、網(wǎng)絡(luò)擴(kuò)容時(shí)，低階設(shè)計(jì)交付物應(yīng)系統(tǒng)化輸出，如連接關(guān)系、IP分配、路由發(fā)布模板、安全基線配置運(yùn)維智能化：需要主動(dòng)分析現(xiàn)網(wǎng)網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)做好容量管理、故障預(yù)測(cè)。緊急故障，一定避免手工執(zhí)行故障處理，應(yīng)急預(yù)案落實(shí)到SOP自動(dòng)化中，故障場(chǎng)景預(yù)先配置好SOP執(zhí)行腳本，系統(tǒng)自動(dòng)下發(fā)架構(gòu)標(biāo)準(zhǔn)化運(yùn)維智能化網(wǎng)絡(luò)數(shù)據(jù)可回溯網(wǎng)絡(luò)建設(shè)應(yīng)標(biāo)準(zhǔn)化、模塊化，避免建設(shè)時(shí)留坑，防止后期運(yùn)營(yíng)風(fēng)險(xiǎn)主動(dòng)分析現(xiàn)網(wǎng)運(yùn)營(yíng)指標(biāo)數(shù)據(jù)，預(yù)測(cè)容量變化，實(shí)時(shí)巡檢穩(wěn)健的網(wǎng)絡(luò)平臺(tái)可視化GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)運(yùn)營(yíng)平臺(tái)的支撐由運(yùn)營(yíng)需求，驅(qū)動(dòng)功能模塊的開發(fā)GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

網(wǎng)絡(luò)基礎(chǔ)數(shù)據(jù)一定是網(wǎng)絡(luò)團(tuán)隊(duì)人員最清楚最熟悉，統(tǒng)一收集數(shù)據(jù)存儲(chǔ)供CMDB、運(yùn)營(yíng)工具、計(jì)費(fèi)平臺(tái)使用SOP自動(dòng)化思路網(wǎng)絡(luò)異常告警命中SOP場(chǎng)景SOP自動(dòng)化觸發(fā)網(wǎng)絡(luò)異常告警收斂至指定微信群關(guān)注，有異常第一時(shí)間告警，告警信息附帶對(duì)應(yīng)SOP編號(hào)SOP號(hào)對(duì)應(yīng)相應(yīng)處理置流程執(zhí)行SOP場(chǎng)景對(duì)應(yīng)應(yīng)急預(yù)案腳本，運(yùn)維平臺(tái)生成執(zhí)行事件單，審批后立即執(zhí)行GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

目錄銀行網(wǎng)絡(luò)運(yùn)維的日常1WeBank生產(chǎn)網(wǎng)構(gòu)建思路27*24銀行服務(wù)下的網(wǎng)絡(luò)運(yùn)維3Netdevops的一些思考4GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

NetDevops的一些思考GOP

S

全球運(yùn)維大會(huì)

2019·

上海站

1、以穩(wěn)定運(yùn)營(yíng)為目標(biāo)兩地三中心、單IDC機(jī)柜規(guī)模<50，CLI可以解決一切問(wèn)題，有任何的網(wǎng)絡(luò)故障、變更，人肉搞定。2、以穩(wěn)定運(yùn)營(yíng)為目標(biāo)+多地多數(shù)據(jù)中心網(wǎng)絡(luò)集群?jiǎn)蜪DC機(jī)柜規(guī)模>100，CLI依然可以解決一部份問(wèn)題，網(wǎng)絡(luò)運(yùn)維者力不從心。。需求真的很常見(jiàn)：我需要優(yōu)化防火墻架構(gòu)，