1、騰訊內(nèi)部云架構(gòu)設(shè)計(jì)介紹,曾經(jīng)存在的問(wèn)題,內(nèi)部云建設(shè)的目的,內(nèi)部云建設(shè)的依據(jù),依據(jù)互聯(lián)網(wǎng)業(yè)務(wù)特性打造內(nèi)部云,云模式劃分,內(nèi)部云層次劃分,內(nèi)部云建設(shè)方式,TEG主攻公共特性更突出的接入和存儲(chǔ)兩部分，業(yè)務(wù)BG主攻情況復(fù)雜各具特色的業(yè)務(wù)邏輯層,接入層,業(yè)務(wù)接入問(wèn)題,業(yè)務(wù)接入通常會(huì)遭遇下面三個(gè)問(wèn)題：,云網(wǎng)關(guān)TGW,TGW,電信用戶(hù),接入服務(wù)器,聯(lián)通用戶(hù),移動(dòng)用戶(hù),IPV6用戶(hù),.,云網(wǎng)關(guān)TGW,多網(wǎng)統(tǒng)一接入 節(jié)省外網(wǎng)IP 外網(wǎng)安全隔離 負(fù)載均衡 業(yè)務(wù)后臺(tái)自動(dòng)容災(zāi),TGW是騰訊自建的網(wǎng)關(guān)系統(tǒng)，具有如下特點(diǎn)：,2. TGW7 C/S,第三方 Web應(yīng)用 Flash應(yīng)用,互娛自研游戲 互始代理游戲 其它,解決

2、方案,解決方案,4. TGW4- windows,七層,1. TGW7 B/S,四層,解決方案,3. TGW4,私有協(xié)議 大流量業(yè)務(wù),Windows業(yè)務(wù),解決方案,TGW整體解決方案,TGW整體解決方案,TGW為業(yè)務(wù)量身定做4種方案，使公司所有業(yè)務(wù)都能夠接入TGW。四種方案分別為：七層B/S方案， 七層C/S方案，四層TGW方案，四層windows方案。,云網(wǎng)關(guān)TGW,通過(guò)集群提供服務(wù)，4臺(tái)服務(wù)器為一個(gè)集群 雙機(jī)架，雙交換機(jī)備份 強(qiáng)大的抗DDoS攻擊能力。,容災(zāi),TGW死機(jī)探測(cè) TGW流量，連接數(shù)等異常監(jiān)控 業(yè)務(wù)流量，質(zhì)量，server死機(jī)探測(cè)等監(jiān)控,監(jiān)控,目標(biāo),存儲(chǔ)層,云存儲(chǔ),依靠這三個(gè)云存

3、儲(chǔ)平臺(tái)，解決業(yè)務(wù)的cache、db和文件存儲(chǔ),云存儲(chǔ)之CDB,“三高”的數(shù)據(jù)庫(kù)系統(tǒng) 高通用：無(wú)需業(yè)務(wù)改代碼 使用mysql的業(yè)務(wù)換一下IP/Port即可 高可用：三種切換模式 高性能：4倍于A(yíng)5,云存儲(chǔ)之CMEM,“三高”的Key-Value Cache系統(tǒng) 高通用：無(wú)需業(yè)務(wù)改代碼 兼容memcache協(xié)議、TTC協(xié)議、redis協(xié)議等 高性能：內(nèi)核級(jí)優(yōu)化 高性?xún)r(jià)比：冷熱數(shù)據(jù)動(dòng)態(tài)調(diào)度到不同存儲(chǔ)介質(zhì),云存儲(chǔ)之CFS,“四高”的分布式文件存儲(chǔ)系統(tǒng) 高通用：無(wú)需業(yè)務(wù)改代碼 像訪(fǎng)問(wèn)本地文件系統(tǒng)一樣 高并發(fā)：后臺(tái)是TFS集群 高附加：數(shù)據(jù)共享 業(yè)務(wù)層高可用：業(yè)務(wù)設(shè)備死機(jī)可以直接拿新機(jī)器頂替，不涉及數(shù)據(jù)恢

4、復(fù)/遷移,邏輯層,邏輯層要解決的問(wèn)題,邏輯層現(xiàn)狀,邏輯層的框架各Bg自建為主 業(yè)務(wù)需求不同 歷史包袱 主流的后臺(tái)開(kāi)發(fā)框架 TAF、SPP、MCP+、SrvFramework,模塊眾多(上千個(gè)服務(wù)),配置管理弱,面向兩種語(yǔ)言( c+/java),背景,監(jiān)控不夠立體化,服務(wù)模型和協(xié)議多樣化,部署管理凌亂,MIG邏輯層建設(shè)背景,容錯(cuò)機(jī)制 部署與發(fā)布 流量監(jiān)控,異常監(jiān)控 集中日志,配置管理 服務(wù)管理 消息染色機(jī)制 調(diào)用鏈及調(diào)用時(shí)序分析,接口級(jí)別測(cè)試 集成測(cè)試,服務(wù)(tcp/udp,select/epoll) 協(xié)議(字符串,二進(jìn)制,xml) 遠(yuǎn)程調(diào)用(同步,異步) ,開(kāi)發(fā),測(cè)試,運(yùn)營(yíng),產(chǎn)品,開(kāi)發(fā)響應(yīng)時(shí)間

5、更快 產(chǎn)品更加穩(wěn)定/可靠 業(yè)務(wù)之間交叉更加容易,分層設(shè)計(jì)，讓平臺(tái)解決大部分問(wèn)題，并根據(jù)運(yùn)營(yíng)不斷完善！,TAF結(jié)構(gòu),透明部署 自動(dòng)發(fā)布 集中配置/LOG 調(diào)用鏈分析,管理 容錯(cuò) 負(fù)載均衡 灰度,RPC(同步/異步/單項(xiàng)) 高性能 過(guò)載,提供給框架以及業(yè)務(wù)使用,多平臺(tái) 二進(jìn)制可擴(kuò)展 自動(dòng)生成,讓開(kāi)發(fā)更關(guān)注業(yè)務(wù)，讓運(yùn)營(yíng)更簡(jiǎn)單！,Notify,Stat,Log,Patch,Registry1,Registry2,RegistryN,Web,Server1,Server2,ServerN,Node1,Server1,Server2,ServerN,NodeN,主控節(jié)點(diǎn)（熱備）,運(yùn)維管理平臺(tái),異常信息,指

6、標(biāo)統(tǒng)計(jì),遠(yuǎn)程LOG,發(fā)布平臺(tái),服務(wù) 節(jié)點(diǎn),業(yè)務(wù)Server,Config,配置中心,172.16.28.153,172.16.28.154,Property,業(yè)務(wù)信息,registry,client,stringToProxy(“PetObj”);,petsvr,petsvr,tcp/udp,node1,node2,keep alive,report status,patch,patch,stat,prop,notify,config,log,admin command,admin,sync/async,服務(wù)交互流程,TAF關(guān)鍵特性,開(kāi)發(fā)便捷 容錯(cuò)、容災(zāi) 支持set部署 業(yè)務(wù)特性路由 用戶(hù)消息

7、染色 調(diào)用鏈分析 統(tǒng)一管理、運(yùn)營(yíng)支撐平臺(tái) 指標(biāo)監(jiān)控與告警,代碼自動(dòng)生成,客戶(hù)端,服務(wù)端,Jce 文件,jce2cpp,遠(yuǎn)程調(diào)用(遠(yuǎn)程調(diào)用原來(lái)如此簡(jiǎn)單),業(yè)務(wù)同步調(diào)用,業(yè)務(wù)異步調(diào)用,業(yè)務(wù)單向調(diào)用,容錯(cuò)、容災(zāi)(減小服務(wù)器/網(wǎng)絡(luò)的影響) 1h5m,服務(wù)器掛掉基本不影響業(yè)務(wù),Client,svr,tcp/udp,svr,svr,連續(xù)超時(shí)次數(shù),超時(shí)比率(client),定時(shí)重試,降低網(wǎng)絡(luò)波動(dòng)帶來(lái)的影響,SET分組,SET分組,按SET部署的優(yōu)點(diǎn)： 1，服務(wù)名統(tǒng)一，服務(wù)配置統(tǒng)一管理。 2，按照小組為單位，容量容易控制。 3，各個(gè)小組之間沒(méi)有調(diào)用關(guān)系，不干擾。 4，對(duì)IDC分組的再細(xì)化。,web/wap s

8、vr,proxy.taf_set_router(router),0,0,1,int getGridByKey(String key);,user,根據(jù)狀態(tài)選擇路由,0,1,0,如果有router，則以router為準(zhǔn)； 否則使用已有的灰度值,0,0,0,UI Server,Logic Server,DB Server,狀態(tài)為1的服務(wù)收到狀態(tài)為0 的消息時(shí)，返回reset grid 服務(wù)端只有一種狀態(tài)時(shí)，則 忽略路由值，但是會(huì)透?jìng)?服務(wù)端邏輯在業(yè)務(wù)自己?jiǎn)?dòng) 的線(xiàn)程中時(shí)，狀態(tài)會(huì)丟失,特性路由(灰度策略),web/wap svr,0,0,1,user,根據(jù)狀態(tài)選擇路由,0,1,0,taf_dye(“

9、queryInfo”, “88883245”),0,0,0,UI Server,Logic Server,DB Server,對(duì)任意一條消息進(jìn)行染色 染色的key值由業(yè)務(wù)指定 后續(xù)調(diào)用在框架層自動(dòng)染色 染色消息集中到log server,用戶(hù)消息染色(跟蹤用戶(hù)消息流),dye log server,web/wap/tafserver,S1,S2,user,A1,A2,入口消息采樣 Key、深度、廣度； 采樣率； 樹(shù)狀結(jié)構(gòu)； 采樣消息統(tǒng)一stat服務(wù)； 跨IDC調(diào)用情況；,B1,B3,B2,調(diào)用鏈分析(合理部署、架構(gòu)優(yōu)化),stat,C1,C3,C2,深度,廣度,調(diào)用鏈分析(看清楚一個(gè)用戶(hù)請(qǐng)求)

10、,用戶(hù)入口,查詢(xún)是否是超Q,查詢(xún)是否綁定,查詢(xún)關(guān)注的好友列表,循環(huán)查詢(xún)好友昵稱(chēng)？ 循環(huán)過(guò)濾敏感字？,優(yōu)化為批量接口 解決調(diào)用鏈過(guò)長(zhǎng)的問(wèn)題,TAF 管理平臺(tái): ,發(fā)布管理 服務(wù)啟停、日至等級(jí)設(shè)置，發(fā)送自定義命令 配置文件維護(hù)，配置文件主動(dòng)push 一鍵式的擴(kuò)容 自動(dòng)測(cè)試 業(yè)務(wù)配置信息維護(hù) 運(yùn)營(yíng)情況統(tǒng)計(jì) ,指標(biāo)統(tǒng)計(jì)與監(jiān)控(嵌入式監(jiān)控、讓數(shù)據(jù)說(shuō)明一切),已采集指標(biāo)包括： 主調(diào)模塊、被調(diào)模塊、主調(diào)ip、被調(diào)ip、被調(diào)端口、返回值、 成功數(shù)、超時(shí)數(shù)、異常數(shù)、最大處理時(shí)間、最小處理時(shí)間、 總處理時(shí)間、服務(wù)調(diào)用時(shí)間區(qū)間分布,邏輯層要解決的問(wèn)題,TAF,MIG業(yè)務(wù)整體架構(gòu),規(guī)模： 業(yè)務(wù)數(shù)：100+ 服務(wù)數(shù)：6000+ 節(jié)點(diǎn)數(shù)：4000+ 進(jìn)程數(shù)：20000+ 調(diào)用量：4P/天,TAF,MIG業(yè)務(wù)整體架構(gòu),手機(jī)QQ瀏覽器后臺(tái)架構(gòu),Login,Config,接入代理,Stat,IPInfo,Auth,c,d,b,Web運(yùn)營(yíng) 管理平臺(tái),帳號(hào)中心,同步中心,消息中心,云U盤(pán),LBS代理,插件服務(wù),Local Cache,分布式Cache平臺(tái),文件系統(tǒng) CFS,智能預(yù)抓,圖片轉(zhuǎn)換,內(nèi)核解析,渲染服務(wù),頁(yè)面轉(zhuǎn)換,部署 發(fā)布,配置