2微博平臺(tái)運(yùn)維自動(dòng)化演進(jìn)之路345DAU(單位:萬)MAU(單位:億)02DAU(單位:10600春晚動(dòng)態(tài)(億)春晚動(dòng)態(tài)(億春晚動(dòng)態(tài)(億)1DAU互動(dòng)量7設(shè)備：萬+設(shè)備：萬+KPISLA：99.99%SLA：99.99%RPC：萬億+微微博平臺(tái)89aS混合云工具系統(tǒng)化腳本風(fēng)云aS混合云工具系統(tǒng)化腳本風(fēng)云智能化運(yùn)維數(shù)據(jù)API智能化運(yùn)維數(shù)據(jù)API化平臺(tái)平臺(tái)服務(wù)用平臺(tái)服務(wù)用APIAPI基礎(chǔ)服務(wù)IDC同步快速滿足迭代需求快速滿足迭代需求…Puppet…Command…Puppet…CommandCron服務(wù)器規(guī)模線性增長業(yè)務(wù)單元線性增長系統(tǒng)變更及代碼上線次數(shù)線性增長突發(fā)的熱點(diǎn)事件(#周一見##馬航370##劉翔摔倒##明星趣聞#)大型運(yùn)營活動(dòng)及三節(jié)保障(紅包飛)每日不定時(shí)段的Push(應(yīng)用Push，活動(dòng)Push，運(yùn)營Push，互動(dòng)時(shí)間人力成本線性增長差異化加劇，認(rèn)知成本線性增長ProxybWmbMapping認(rèn)證模塊權(quán)限管理特別黑名單管理用戶通訊關(guān)系信組試簽冊(cè)鏈贊多媒體黑名單布共理viceProxybWmbMapping認(rèn)證模塊權(quán)限管理特別黑名單管理用戶通訊關(guān)系信組試簽冊(cè)鏈贊多媒體黑名單布共理vice用應(yīng)用池應(yīng)用設(shè)備用應(yīng)用池應(yīng)用設(shè)備核心需求：唯一性配置管理系統(tǒng)監(jiān)控多對(duì)多應(yīng)用&發(fā)布部署降級(jí)&封殺Nginx變更一對(duì)多服務(wù)池服務(wù)器應(yīng)用應(yīng)用 用戶&權(quán)限&審計(jì)運(yùn)維變更窗口Shell管理DispatchPuppet資源管理APP集群管理關(guān)聯(lián)系統(tǒng)API 用戶&權(quán)限&審計(jì)運(yùn)維變更窗口Shell管理DispatchPuppet資源管理APP集群管理關(guān)聯(lián)系統(tǒng)APIDB 問題管理理應(yīng)用管理 APPAPPPool_操作腳本文件Shell操作任務(wù)(子任務(wù))任務(wù)腳本任務(wù)模板態(tài)作 歷史任務(wù)Node理應(yīng)用管理 APPAPPPool_操作腳本文件Shell操作任務(wù)(子任務(wù))任務(wù)腳本任務(wù)模板態(tài)作 歷史任務(wù)Node設(shè)備池子NodeNodeNodeNode備池子發(fā)送任務(wù)接收消息獲取shell指令定義線程發(fā)送shell指令與agent連接的通信協(xié)議層及通信線程發(fā)送任務(wù)接收消息獲取shell指令定義線程發(fā)送shell指令與agent連接的通信協(xié)議層及通信線程指令流：通知master變化通知master變化主動(dòng)連接下發(fā)任務(wù)任務(wù)完成，主動(dòng)匯報(bào)接主動(dòng)連接主動(dòng)連接Shell調(diào)度任務(wù)調(diào)度果務(wù)處理詢結(jié)果詢結(jié)果隊(duì)列forkforkshell行任務(wù)主動(dòng)連接Shell調(diào)度任務(wù)調(diào)度果務(wù)處理詢結(jié)果詢結(jié)果隊(duì)列forkforkshell行任務(wù)指令流：agent上報(bào)Shell調(diào)度任務(wù)調(diào)度ShellShellShell處理forkExecShellExec任務(wù)Exec任務(wù)ExecShell行任務(wù)務(wù)hereherehere務(wù)hereherehere一臺(tái)服務(wù)器的生命周期Step1Step1設(shè)備申請(qǐng)-設(shè)備申請(qǐng)，項(xiàng)目評(píng)審-入CMDB，裝機(jī)Step2機(jī)器初始化-設(shè)備錄入資源池，初始化Step3服務(wù)部署-環(huán)境部署-監(jiān)控部署-服務(wù)部署(代碼&confs)-流量引入Step4自動(dòng)報(bào)修&下架-服務(wù)自動(dòng)上下線-機(jī)器置換或下架新機(jī)器化化理庫ol理庫ol置配置修改Module變量版本保存版本CMDB同步服務(wù)單元管理節(jié)點(diǎn)在線狀態(tài)維護(hù)oolAPIhost管理版本保存版本CMDB同步服務(wù)單元管理節(jié)點(diǎn)在線狀態(tài)維護(hù)oolAPIhost管理獲取服務(wù)單元IP列表Tomcat層API平均響應(yīng)時(shí)間RPC平均響應(yīng)時(shí)間JVMAPI求量躍線數(shù)ExceptionTOP10SlowTOP10ErrorTOP10HbaseslowTOP10MCslowTOP10HbaseerrorTOP10MCerrorTOP10層MySQL依賴監(jiān)測(cè)RedisslowTOP10DBslowTOP10RediserrorTOP10DBerrorTOP10HTTPerrorTOP10HTTPslowTOP10務(wù)依賴監(jiān)測(cè)核心API分步耗時(shí)Tomcat層API平均響應(yīng)時(shí)間RPC平均響應(yīng)時(shí)間JVMAPI求量躍線數(shù)ExceptionTOP10SlowTOP10ErrorTOP10HbaseslowTOP10MCslowTOP10HbaseerrorTOP10MCerrorTOP10層MySQL依賴監(jiān)測(cè)RedisslowTOP10DBslowTOP10RediserrorTOP10DBerrorTOP10HTTPerrorTOP10HTTPslowTOP10務(wù)依賴監(jiān)測(cè)核心API分步耗時(shí)七層(七層(Nginx/varnish)API平均響應(yīng)時(shí)間程數(shù)API據(jù)輸出oardsandroidhitewebysqlredisworker據(jù)輸出oardsandroidhitewebysqlredisworker數(shù)據(jù)收集數(shù)據(jù)收集聚合集群分發(fā)集群Statsd_proxyILogtailer過濾集群AgentJPOOL1.服務(wù)池管理：配置服務(wù)池的壓測(cè)指標(biāo)閾值信息(支持自定義指標(biāo))配置進(jìn)行容量評(píng)估時(shí)需要采集的數(shù)據(jù)url。配置執(zhí)行從nginx中摘除和恢復(fù)服務(wù)器的url。這些都是通過接口層從JPOOL1.服務(wù)池管理：配置服務(wù)池的壓測(cè)指標(biāo)閾值信息(支持自定義指標(biāo))配置進(jìn)行容量評(píng)估時(shí)需要采集的數(shù)據(jù)url。配置執(zhí)行從nginx中摘除和恢復(fù)服務(wù)器的url。這些都是通過接口層從x中摘除和恢復(fù)服務(wù)器的方法，graphite提供獲取壓測(cè)指標(biāo)值和獲取容量評(píng)估需要采集的數(shù)據(jù)的接口。2.壓測(cè)管理：壓測(cè)管理主要進(jìn)行自動(dòng)化OOLGraphite其他3.查詢服務(wù)：可以對(duì)壓測(cè)的結(jié)果進(jìn)行查詢，并提供對(duì)外接口。統(tǒng)UI管理壓測(cè)管理查詢服務(wù)通知服務(wù)挑戰(zhàn)一作過程中，眾多步驟都需要人工干預(yù)(特別是監(jiān)控，配置眾多，各個(gè)類別都需要單獨(dú)配置)。源在現(xiàn)有的技術(shù)框架下未能用。值值可伸縮業(yè)務(wù)采用公有云可伸縮業(yè)務(wù)采用公有云混合云彈性調(diào)度理論上可節(jié)省6倍成本收享受標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施紅利打通多語言環(huán)享受標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施紅利發(fā)揮運(yùn)維規(guī)?；瘍?yōu)勢(shì)私有云有云建設(shè)接入司資源整合理調(diào)度框架整合跨云端調(diào)度私有云有云建設(shè)接入司資源整合理調(diào)度框架整合跨云端調(diào)度混合云容器化erHadoop…WebJava服務(wù)管理配置管理構(gòu)建管理發(fā)布管理擴(kuò)縮容管理4/7層管理退庫管理監(jiān)控中心SwarmDispatchDockerDeamon初始化成本中心Hadoop…WebJava服務(wù)管理配置管理構(gòu)建管理發(fā)布管理擴(kuò)縮容管理4/7層管理退庫管理監(jiān)控中心SwarmDispatchDockerDeamon初始化成本中心資源管理公有云VPC私有云專線設(shè)施心 評(píng)估限敏捷標(biāo)準(zhǔn)化、自動(dòng)化低成本按需使用、按量付費(fèi)高安全安全可敏捷標(biāo)準(zhǔn)化、自動(dòng)化低成本按需使用、按量付費(fèi)高安全安全可控彈性無限擴(kuò)展工作負(fù)載工作負(fù)載透透明位置、規(guī)則可控高性能硬件加速、配置優(yōu)化私有云資源管理公有云資源管理計(jì)費(fèi)及賬單管理服務(wù)器錄入/還原私有云資源管理公有云資源管理計(jì)費(fèi)及賬單管理服務(wù)器錄入/還原Buffer池管理配額及申請(qǐng)管理理員分工及權(quán)限超級(jí)管理員超級(jí)管理員：負(fù)責(zé)公有云ECS管理以及內(nèi)網(wǎng)集群間設(shè)備交換集群管理員：負(fù)責(zé)產(chǎn)品線內(nèi)設(shè)備管理以及從共享池，阿里云籌借機(jī)器服務(wù)池管理：負(fù)責(zé)具體業(yè)務(wù)的擴(kuò)縮容以及代碼變更等集群管理員服務(wù)池?cái)U(kuò)縮容代碼構(gòu)建及發(fā)布業(yè)務(wù)監(jiān)控容量管理11DCP-DockerRegistry構(gòu)建私有RegistryHub鏡像緩存MirrorRegistryRegistry式存儲(chǔ)注冊(cè)節(jié)點(diǎn)信息獲取相關(guān)信息DCP1212更新配置3Vhost單鎖注冊(cè)節(jié)點(diǎn)信息獲取相關(guān)信息DCP1212更新配置3Vhost單鎖NginxNginx管理系統(tǒng)架構(gòu)2.0sul主主布ConsulConsulnginxnginx-upsync-modules支持基于Consul自動(dòng)服務(wù)發(fā)現(xiàn)httpsgithubcomweibocomnginxupsyncmodulecorecore-moduleupsync-module42 服務(wù)check服務(wù)checkgisterister1142 服務(wù)check服務(wù)checkgisterister11 43WebWeb類lookupForUpdatetbeatacceptortbeatrocessortomcatsubscribesubscribesnapshotcalcacheredis()redis()lookupForUpdatetbeatacceptortbeatrocessortomcatsubscribesubscribesnapshotcalcacheredis()redis()entConfigConfigServerbeataggregatortbeatbeatregisterunregisteradminwhitelistRPCServer42igServerAgentConfigServerRPCServer42igServerAgentConfigServerC流 務(wù)器C流 務(wù)器初始化模塊發(fā)起請(qǐng)求6.部署服務(wù)7.服務(wù)注冊(cè)5.發(fā)起容器調(diào)度調(diào)度中心服務(wù)Consul集群服務(wù)檢查4/7層模塊流量接入模塊ConfigSrv共享池公有云監(jiān)控中心Buffer池1.資源評(píng)估資源不足2.配額評(píng)估初始化模塊發(fā)起請(qǐng)求6.部署服務(wù)7.服務(wù)注冊(cè)5.發(fā)起容器調(diào)度調(diào)度中心服務(wù)Consul集群服務(wù)檢查4/7層模塊流量接入模塊ConfigSrv共享池公有云監(jiān)控中心Buffer池1.資源評(píng)估資源不足2.配額評(píng)估容管管理員混合云平臺(tái)混合云平臺(tái)配額模配額模塊春晚動(dòng)態(tài)調(diào)度概況春晚動(dòng)態(tài)調(diào)度概況混合云部署概況微博平臺(tái)紅包飛手機(jī)微博其他容器化概況A容器數(shù)A容器數(shù)A---容器數(shù)B---專線帶寬使用量C---服務(wù)單元水位D---容量Buff