騰訊內(nèi)部云架構(gòu)設(shè)計(jì)介紹曾經(jīng)存在的問題速度慢不穩(wěn)定部署混亂監(jiān)控不完善開發(fā)效率低內(nèi)部云建設(shè)的目的提升研發(fā)水平提升運(yùn)維水平提升服務(wù)水平節(jié)省設(shè)備成本內(nèi)部云建設(shè)的依據(jù)海量快穩(wěn)定依據(jù)互聯(lián)網(wǎng)業(yè)務(wù)特性打造內(nèi)部云云模式劃分SaaSPaaSIaaS內(nèi)部云層次劃分接入層業(yè)務(wù)請求接入，后端分發(fā)邏輯層業(yè)務(wù)邏輯實(shí)現(xiàn)存儲層數(shù)據(jù)持久化內(nèi)部云建設(shè)方式騰訊內(nèi)部云MIG內(nèi)部云TAFSNG內(nèi)部云SPPIEG內(nèi)部云云網(wǎng)關(guān)平臺游戲云云存儲平臺TEG主攻公共特性更突出的接入和存儲兩部分，業(yè)務(wù)BG主攻情況復(fù)雜各具特色的業(yè)務(wù)邏輯層…接入層接入層業(yè)務(wù)接入問題業(yè)務(wù)接入通常會(huì)遭遇下面三個(gè)問題：多網(wǎng)接入外網(wǎng)ip緊張易被攻擊云網(wǎng)關(guān)TGWTGW電信用戶接入服務(wù)器聯(lián)通用戶移動(dòng)用戶IPV6用戶….云網(wǎng)關(guān)TGW多網(wǎng)統(tǒng)一接入節(jié)省外網(wǎng)IP外網(wǎng)安全隔離負(fù)載均衡業(yè)務(wù)后臺自動(dòng)容災(zāi)TGW是騰訊自建的網(wǎng)關(guān)系統(tǒng)，具有如下特點(diǎn)：2.TGW7C/STGWSET模型LD數(shù)最大容量最大包量TGW7-1G42G300wTGW7-10G410G300wTGW4-10G416G500w第三方Web應(yīng)用Flash應(yīng)用互娛自研游戲互始代理游戲其它解決方案解決方案4.TGW4-windows七層1.TGW7B/S四層解決方案3.TGW4私有協(xié)議大流量業(yè)務(wù)Windows業(yè)務(wù)解決方案TGW整體解決方案TGW整體解決方案TGW為業(yè)務(wù)量身定做4種方案，使公司所有業(yè)務(wù)都能夠接入TGW。四種方案分別為：七層B/S方案，七層C/S方案，四層TGW方案，四層windows方案。云網(wǎng)關(guān)TGW通過集群提供服務(wù)，4臺服務(wù)器為一個(gè)集群雙機(jī)架，雙交換機(jī)備份強(qiáng)大的抗DDoS攻擊能力。容災(zāi)TGW死機(jī)探測TGW流量，連接數(shù)等異常監(jiān)控業(yè)務(wù)流量，質(zhì)量，server死機(jī)探測等監(jiān)控監(jiān)控目標(biāo)存儲層存儲層云存儲CDBCFSCMEM依靠這三個(gè)云存儲平臺，解決業(yè)務(wù)的cache、db和文件存儲云存儲之CDB“三高”的數(shù)據(jù)庫系統(tǒng)高通用：無需業(yè)務(wù)改代碼使用mysql的業(yè)務(wù)換一下IP/Port即可高可用：三種切換模式高性能：4倍于A5CDBTGW，跨機(jī)架容災(zāi)業(yè)務(wù)后臺系統(tǒng)DBMSMasterDBMSSlave同步SCSI盤驅(qū)動(dòng)TSSD集群分散寫、異步寫、合并寫隨機(jī)讀能力強(qiáng)大幅減少擦除云存儲之CMEM“三高”的Key-ValueCache系統(tǒng)高通用：無需業(yè)務(wù)改代碼兼容memcache協(xié)議、TTC協(xié)議、redis協(xié)議等高性能：內(nèi)核級優(yōu)化高性價(jià)比：冷熱數(shù)據(jù)動(dòng)態(tài)調(diào)度到不同存儲介質(zhì)云存儲之CFS“四高”的分布式文件存儲系統(tǒng)高通用：無需業(yè)務(wù)改代碼像訪問本地文件系統(tǒng)一樣高并發(fā)：后臺是TFS集群高附加：數(shù)據(jù)共享業(yè)務(wù)層高可用：業(yè)務(wù)設(shè)備死機(jī)可以直接拿新機(jī)器頂替，不涉及數(shù)據(jù)恢復(fù)/遷移業(yè)務(wù)后臺系統(tǒng)文件系統(tǒng)驅(qū)動(dòng)TFS集群CFS邏輯層邏輯層邏輯層要解決的問題開發(fā)效率網(wǎng)絡(luò)通訊容錯(cuò)容災(zāi)協(xié)議發(fā)布部署監(jiān)控告警性能安全邏輯層現(xiàn)狀邏輯層的框架各Bg自建為主

業(yè)務(wù)需求不同

歷史包袱主流的后臺開發(fā)框架

TAF、SPP、MCP++、SrvFramework…模塊眾多(上千個(gè)服務(wù))配置管理弱面向兩種語言(c++/java)背景…監(jiān)控不夠立體化服務(wù)模型和協(xié)議多樣化部署管理凌亂MIG邏輯層建設(shè)背景容錯(cuò)機(jī)制部署與發(fā)布流量監(jiān)控,異常監(jiān)控集中日志,配置管理服務(wù)管理消息染色機(jī)制調(diào)用鏈及調(diào)用時(shí)序分析接口級別測試集成測試服務(wù)(tcp/udp,select/epoll)協(xié)議(字符串,二進(jìn)制,xml)遠(yuǎn)程調(diào)用(同步,異步)…開發(fā)測試運(yùn)營產(chǎn)品開發(fā)響應(yīng)時(shí)間更快產(chǎn)品更加穩(wěn)定/可靠業(yè)務(wù)之間交叉更加容易分層設(shè)計(jì)，讓平臺解決大部分問題，并根據(jù)運(yùn)營不斷完善！

TAF結(jié)構(gòu)運(yùn)營平臺通信框架公共庫統(tǒng)一協(xié)議(JCE)透明部署自動(dòng)發(fā)布集中配置/LOG調(diào)用鏈分析管理容錯(cuò)負(fù)載均衡灰度RPC(同步/異步/單項(xiàng))高性能過載提供給框架以及業(yè)務(wù)使用多平臺二進(jìn)制可擴(kuò)展自動(dòng)生成

讓開發(fā)更關(guān)注業(yè)務(wù)，讓運(yùn)營更簡單！NotifyStatLogPatchRegistry1Registry2RegistryNWebServer1Server2ServerNNode1Server1Server2ServerNNodeN主控節(jié)點(diǎn)（熱備）運(yùn)維管理平臺異常信息指標(biāo)統(tǒng)計(jì)遠(yuǎn)程LOG發(fā)布平臺服務(wù)節(jié)點(diǎn)業(yè)務(wù)Server……Config配置中心5354Property業(yè)務(wù)信息registryclientstringToProxy(“PetObj”);petsvrpetsvrtcp/udpnode1node2keepalivereportstatuspatchpatchstatpropnotifyconfiglogadmincommandadminsync/async服務(wù)交互流程TAF關(guān)鍵特性開發(fā)便捷容錯(cuò)、容災(zāi)支持set部署業(yè)務(wù)特性路由用戶消息染色調(diào)用鏈分析統(tǒng)一管理、運(yùn)營支撐平臺指標(biāo)監(jiān)控與告警代碼自動(dòng)生成客戶端服務(wù)端Jce文件jce2cpp遠(yuǎn)程調(diào)用——(遠(yuǎn)程調(diào)用原來如此簡單)業(yè)務(wù)同步調(diào)用業(yè)務(wù)異步調(diào)用業(yè)務(wù)單向調(diào)用容錯(cuò)、容災(zāi)——(減小服務(wù)器/網(wǎng)絡(luò)的影響)1h5mClientsvrregistrystringToProxy(“PetObj”)返回PetSvrIP:Port列表tcp/udpsvrsvrnode服務(wù)器掛掉基本不影響業(yè)務(wù)Clientsvrtcp/udpsvrsvr連續(xù)超時(shí)次數(shù)超時(shí)比率(client)定時(shí)重試降低網(wǎng)絡(luò)波動(dòng)帶來的影響IDC1C1S1IDC3C1IDC2C1S1減少跨IDC的訪問SET分組AB100w在線A,A,A,A,AB,B,B,B,B500w在線50A50B5000w在線?5000w在線5A15B15A25B25A35B3…缺點(diǎn)：調(diào)用關(guān)系多對多的平等關(guān)系放在一個(gè)籃子里面的雞蛋容量、灰度、分區(qū)域不好控制缺點(diǎn)：服務(wù)或者應(yīng)用的名稱和原服務(wù)不一致，配置文件、發(fā)布服務(wù)需要單獨(dú)對待，不能統(tǒng)一管理。麻煩SET分組AB100w在線A,A,A,A,AB,B,B,B,B500w在線5000w在線–按set分組5A5B5A5B5A5B…按SET部署的優(yōu)點(diǎn)：1，服務(wù)名統(tǒng)一，服務(wù)配置統(tǒng)一管理。2，按照小組為單位，容量容易控制。3，各個(gè)小組之間沒有調(diào)用關(guān)系，不干擾。4，對IDC分組的再細(xì)化。web/wapsvrproxy.taf_set_router(router)001intgetGridByKey(Stringkey);user根據(jù)狀態(tài)選擇路由010如果有router，則以router為準(zhǔn)；否則使用已有的灰度值000UIServerLogicServerDBServer狀態(tài)為1的服務(wù)收到狀態(tài)為0的消息時(shí)，返回resetgrid服務(wù)端只有一種狀態(tài)時(shí)，則忽略路由值，但是會(huì)透傳服務(wù)端邏輯在業(yè)務(wù)自己啟動(dòng)的線程中時(shí)，狀態(tài)會(huì)丟失特性路由——(灰度策略)web/wapsvr001user根據(jù)狀態(tài)選擇路由010taf_dye(“queryInfo”,“88883245”)000UIServerLogicServerDBServer對任意一條消息進(jìn)行染色染色的key值由業(yè)務(wù)指定后續(xù)調(diào)用在框架層自動(dòng)染色染色消息集中到logserver用戶消息染色——(跟蹤用戶消息流)dyelogserverweb/wap/tafserverS1S2userA1A2入口消息采樣Key、深度、廣度；采樣率；樹狀結(jié)構(gòu)；采樣消息統(tǒng)一stat服務(wù)；跨IDC調(diào)用情況；B1B3B2調(diào)用鏈分析——(合理部署、架構(gòu)優(yōu)化)statC1C3C2深度廣度調(diào)用鏈分析——(看清楚一個(gè)用戶請求)查詢是否是超Q查詢是否綁定查詢關(guān)注好友列表查詢好友昵稱過濾檢查敏感字獲取關(guān)注好友用戶入口查詢是否是超Q查詢是否綁定查詢關(guān)注的好友列表循環(huán)查詢好友昵稱？循環(huán)過濾敏感字？優(yōu)化為批量接口解決調(diào)用鏈過長的問題TAF管理平臺:/發(fā)布管理服務(wù)啟停、日至等級設(shè)置，發(fā)送自定義命令配置文件維護(hù)，配置文件主動(dòng)push一鍵式的擴(kuò)容自動(dòng)測試業(yè)務(wù)配置信息維護(hù)運(yùn)營情況統(tǒng)計(jì)……指標(biāo)統(tǒng)計(jì)與監(jiān)控——(嵌入式監(jiān)控、讓數(shù)據(jù)說明一切)已采集指標(biāo)包括：主調(diào)模塊、被調(diào)模塊、主調(diào)ip、被調(diào)ip、被調(diào)端口、返回值、成功數(shù)、超時(shí)數(shù)、異常數(shù)、最大處理時(shí)間、最小處理時(shí)間、總處理時(shí)間、服務(wù)調(diào)用時(shí)間區(qū)間分布邏輯層要解決的問題開發(fā)效率網(wǎng)絡(luò)通訊容錯(cuò)容災(zāi)協(xié)議發(fā)布部署監(jiān)控告警性能安全TAF數(shù)據(jù)工廠日志集中統(tǒng)一配置統(tǒng)一發(fā)布Registry1Registry2RegistryN運(yùn)維Server1Server2ServerNNode1Server1Server2ServerNNodeN…監(jiān)控TGWCDNCDBCMEMCFS存儲接入MIG業(yè)務(wù)整體架構(gòu)規(guī)模：業(yè)務(wù)數(shù)：100+服務(wù)數(shù)：6000+節(jié)點(diǎn)數(shù)：4000+進(jìn)程數(shù)：20000+調(diào)用量：4P/天TAFMIG業(yè)務(wù)整體架構(gòu)手機(jī)QQ瀏覽器后臺架構(gòu)LoginConfig接入代理StatIPInfoAuthcdbWeb運(yùn)營管理平臺帳號中心同步中心消息中心云U盤LBS代理插件服務(wù)Local