黎斌騰訊-公網(wǎng)網(wǎng)關(guān)運維負責人黎斌GOGOPS全球運維大會2023·上海站目錄1目錄3如何系統(tǒng)化應對極端場景TGW是TencentGateway的簡稱，是承擔公司自研以及騰訊云IDC機房外網(wǎng)出口、負載均衡等功能的IaaS平臺。騰訊云上基于TGW的產(chǎn)品包括EIP和CLB。EIPGOPS全球運維大會GOPS全球運維大會2023·上海站GOGOPS全球運維大會2023·上海站轉(zhuǎn)發(fā)平面：數(shù)據(jù)流通道，負責轉(zhuǎn)發(fā)RSRSServer管控平面：規(guī)則的管理以及運營系統(tǒng)?轉(zhuǎn)發(fā)：接受到數(shù)據(jù)包之后，需要解包或者封包，將請求再轉(zhuǎn)發(fā)給客戶端或者RS?調(diào)度：根據(jù)不同的調(diào)度算法，將請求動態(tài)分配給RS?健康探測：當某臺或某幾臺云服務器不可用時，負載均衡可自動屏蔽故障的RS，將請求分發(fā)給正常運行的RS，保障應用系統(tǒng)正常工作?會話保持：將同一客戶端的請求轉(zhuǎn)發(fā)到同一RS…LD：LoadbalanceDispatcherRS：RealServer?控制臺：申請?監(jiān)控平臺：帶寬/QPS/連接數(shù)等指標的上報，用于計費以及監(jiān)控?限速中心：帶寬包以及性能保證型實例的實時限速GOGOPS全球運維大會2023·上海站Client////2428/25單機容災：不同設備通過ECMP實現(xiàn)容災切換，另外還有交換機容災交換機交換機交換機交換機機架容災交換機交換機交換機交換機AZ容災：通過大小路由實現(xiàn)，zoneA發(fā)/25位的路由，zoneB發(fā)24位的路由，平時走zoneA。ZoneA故障自動切換到zoneBZoneAZoneB現(xiàn)網(wǎng)案例一2019年某集群遭遇畸形包攻擊，服務器直接失聯(lián)，整SET故障，攻擊停止后，通過擴容恢復，整個故障持續(xù)46分鐘。和廠商配合復現(xiàn)了很久，才定位到特定批次的網(wǎng)卡bug，在特定的畸形包攻擊場景下，網(wǎng)卡直接hang住，需要機房駐場重啟才能恢復。在這種攻擊場景下，單機/機架/交換機/機房容災措施都沒有用，流量自動切換后，最后還是整集群故障。和數(shù)據(jù)通道共用一張網(wǎng)卡，網(wǎng)卡故障導致帶同集群兩種機型做硬件異構(gòu)，確保批次BUG不會導致整集群故障硬件批次的BUG，最多只影響集群中50%的設備，集群依然可以正常提供服務廠商E廠商B廠商F帶外獨立管理網(wǎng)，確保帶外不受數(shù)據(jù)鏈路影響現(xiàn)網(wǎng)案例二22年9月，帶擴展頭的IPv6報文觸發(fā)程序處理缺陷，引發(fā)core，故障持續(xù)50分鐘所有擴容上去的設備都core了，最后找到發(fā)出異常報文的規(guī)則，把規(guī)則下線后才恢復。擴容和遷移等恢復手段在這種場景都失效了。有特殊處理邏輯的報文僅占總量的5%，但是core極大概率是這部分產(chǎn)生的95%分片ICMP常規(guī)GOGOPS全球運維大會2023·上海站95%的服務制定core文件生成規(guī)范，core文件中一定要帶上vip、vpcid等關(guān)鍵信息，程序core后如何系統(tǒng)化應對極端場景GOGOPS全球運維大會2023·上海站未雨綢繆測世界上總在發(fā)生過去從來沒有發(fā)生過的事，比如911、新冠、俄測世界上總在發(fā)生過去從來沒有發(fā)生過的事，比如911、新冠、俄烏大戰(zhàn)，對于我們的系統(tǒng)，同樣如此。極端場景一旦發(fā)生，因為缺少應對預案，故障影響大，恢復時間不可控最核心的功能是轉(zhuǎn)發(fā)，對于轉(zhuǎn)發(fā)平面來說，最極端的場景就是轉(zhuǎn)發(fā)異常。交換機管控OSS限速中心除了服務器異常，關(guān)聯(lián)組件也可能會影響轉(zhuǎn)發(fā)，比如限速中心下發(fā)了一個錯誤的限速配置控制平面轉(zhuǎn)發(fā)平面控制平面RealServer RealServerTCP/UDP/overlay/under除單機、進程、業(yè)務指標等白盒監(jiān)控之外，補充最重要的黑盒監(jiān)控模擬真實的業(yè)務場景，進行探測，有未知的異常，都能第一時間發(fā)現(xiàn)各種原因可能導致監(jiān)控失效，比如部分集群沒有添加撥測規(guī)則，告警被屏蔽建議針對監(jiān)控本身，再而外增加監(jiān)控，通過巡檢、演練等方式來確保監(jiān)控切實有效調(diào)度系統(tǒng)故障集群調(diào)度系統(tǒng)VIP2VIP2BUFFER集群在未知故障場景下，通過將規(guī)則拷貝到預留的buffer集群，BUFFER集群了場景場景人員人員全