1、基于容器構(gòu)建高可用系統(tǒng)的架構(gòu)傳統(tǒng)企業(yè)進(jìn)軍互聯(lián)網(wǎng)面臨的問題與挑戰(zhàn)微服務(wù)架構(gòu)服務(wù)掛掉模塊解耦依賴多模塊多環(huán)境 復(fù)雜橫向擴(kuò)展調(diào)用靈活路由混亂頻繁升級(jí)容錯(cuò) 高可用可獨(dú)立部署Docker帶來了什么？Lxc虛擬化啟動(dòng)速度快鏡像分層CI環(huán)境構(gòu)建提升性能，節(jié)約成本快速部署更快的擴(kuò)容 縮容測(cè)試生產(chǎn)環(huán) 境一致為何基于Docker可以實(shí)現(xiàn)微服務(wù)架構(gòu)容 器容 器容 器容 器容 器物理機(jī)虛擬機(jī)虛擬機(jī)容器容器容 器容 器容 器容 器容 器容 器鏡像是應(yīng)用的唯一單元應(yīng)用包本身配置環(huán)境運(yùn)行環(huán)境運(yùn)行依賴包操作系統(tǒng)發(fā)行版操作系統(tǒng)內(nèi)核容 器容 器容 器容 器容 器高可用系統(tǒng)需要具備哪些能力？運(yùn)維監(jiān)控系統(tǒng) 監(jiān)控配置管理批量命令性能分

2、析應(yīng)用拓?fù)浯髷?shù)據(jù)存儲(chǔ)日志收集系統(tǒng)日志彈性伸縮鏡像倉庫鏡像文件Docker模式海量索引主機(jī)管理集群管理異常 報(bào)警發(fā)布部署中間件安裝自動(dòng)伸縮 服務(wù)發(fā)現(xiàn) 負(fù)載均衡調(diào)用鏈路中間件日志應(yīng)用性能服務(wù)編排錯(cuò)誤詳情內(nèi)存快照Native模式中間件網(wǎng)絡(luò)管理應(yīng)用構(gòu)建倉庫應(yīng)用日志安全日志總體架構(gòu)設(shè)計(jì)系統(tǒng)運(yùn)維IaaS ( 用友云、阿里云、華為云、企業(yè)自建云)應(yīng)用層訂單服務(wù) tomcat應(yīng)用服務(wù)發(fā)現(xiàn)分布式協(xié)調(diào) 服務(wù)Zookeeper鏡像倉庫代碼倉庫構(gòu)建倉庫NginxNginxNginxHAProxyHAProxyHAProxy接入層灰度發(fā)布系 統(tǒng) 監(jiān) 控應(yīng) 用 性 能 分 析性能監(jiān)控日 志 收 集HDFSHBaseMyS

3、QLElasticSearch數(shù)據(jù)層自動(dòng)構(gòu)建DockerMesosMarathon容器層一鍵部署配置管理批量命令余額服務(wù) dubbo緩存 redis互聯(lián)網(wǎng)用戶互聯(lián)網(wǎng)用戶互聯(lián)網(wǎng)用戶開發(fā)人員運(yùn)維人員互聯(lián)網(wǎng)用戶管理人員互聯(lián)網(wǎng)用戶節(jié)點(diǎn)管理物理架構(gòu)設(shè)計(jì)總體流程設(shè)計(jì)發(fā)布管理系統(tǒng)監(jiān)控Ganglia應(yīng)用監(jiān)控代碼管理Git鏡像倉庫構(gòu)建倉庫Maven任務(wù)調(diào)度集群JenkinsMesosMasterMesosMasterMesosMasterGanglia Nagios統(tǒng)一收集分布式存儲(chǔ)業(yè)務(wù)監(jiān)控日志分析服務(wù)注冊(cè)與 發(fā)現(xiàn)基于Docker模式的構(gòu)建流程rootuap-01# docker build -t yonyou

4、/tomcat .rootuap-01# docker run -d -p 8080:8080 yonyou/tomcatrootuap-01# docker push yonyou/tomcat :1.0build & tagpushrun & pullServerServerServerServerServerServerServerServerServerServerrootuap-01# docker run -d -p 8081:8080 yonyou/tomcatrootuap-01# docker run -d -p 8090:8080 yonyou/tomcat 由1臺(tái)服務(wù)器，

5、產(chǎn)生了10個(gè)新“服務(wù)器”（容器）DockerFile基于Docker模式的構(gòu)建腳本應(yīng)用向資源池發(fā)布如何做？基于Docker模式的服務(wù)發(fā)布腳本持續(xù)交付怎么做？容器編排服務(wù)端口設(shè) 定應(yīng)用版本號(hào)鏡像倉庫發(fā)布腳本開始發(fā)布Marathon 分發(fā)Mesos MasterMesos Slave服務(wù)啟動(dòng)服務(wù)發(fā)現(xiàn)代碼提交Git/SVN代碼構(gòu)建Maven倉庫應(yīng)用war包Nginx 反向代理域名接入用戶可訪問用戶引流root01# wget app.war tomcat.tar.gz jdk.tar.gzroot01# ./bin/catalina.sh run -config ./conf/mesos.xmlro

6、ot01# tar zvxf tomcat.tar.gz jdk.tar.gzwgetunzipstartTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcat由1臺(tái)服務(wù)器，產(chǎn)生了10個(gè)新“中間件”（原生）服務(wù)編排腳本root01# ./bin/catalina.sh run -config ./conf/mesos.xml root01# ./bin/catalina.sh run -config ./conf/mesos.xml基于Native模式應(yīng)用構(gòu)建和發(fā)布流程無需構(gòu)建直接發(fā)布Native模式應(yīng)用發(fā)布的利與弊簡(jiǎn)單，無需D

7、ockerFile環(huán)境沖突不用服務(wù)編排基于Framework性能優(yōu)勢(shì)版本管理端口管理百萬并發(fā)壓測(cè) Docker不同模式的性能對(duì)比測(cè)試場(chǎng)景：物理機(jī)+Docker結(jié)論：Docker bridge網(wǎng)絡(luò)模 型，性能最差，但是相比 Docker host模型損耗不大，1%左右。Docker host網(wǎng)絡(luò)模型和Native方式，性能幾乎無差 異。彈性高可用的設(shè)計(jì)ContainerApplications云計(jì)算資源池（Data Center and Clouds）動(dòng)態(tài)彈性伸縮（Dynamic Scaling）Mesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos

8、SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMarathonContainerContainerNativeNativeApplicationsRPC ServicesApplicationsSchedule JobsZookeeper ZooZkeoeopkereperMesosMaster健康狀態(tài)檢查保證高可用應(yīng)用運(yùn)行的架構(gòu)分布式索引Mesos + Docker 虛擬化Marathon(init.d)Mesos SDKtomcat,dubbo,redis,hadoop(容

9、器生成的節(jié)點(diǎn))原生 實(shí)例訂單服務(wù)tomcat tomcat tomcattomcat tomcat tomcat用戶登錄服務(wù)數(shù)據(jù)緩存dubbo dubbo dubboElasticSearchElasticSearch大數(shù)據(jù)處理NginxredisredisredisNginxHAProxyHAProxy鏡像倉庫應(yīng)用倉庫容器實(shí)例HadoopHBase HBase應(yīng)用訪問的數(shù)據(jù)流向域名接入服務(wù)發(fā)現(xiàn)MarathonTomcatDockerNginx Docker數(shù)據(jù)存儲(chǔ)Hbase ClusterNativeNginx DockerTomcatNativeZookeeperES Cluster Na

10、tive80HAProxy8080Router Server80HAProxy8080Mesos 資源池（混合架構(gòu)）TomcatDockerDB ServerMySQLTomcatNativeDubboNativeNginxupstream資源的合理利用保證服務(wù)的高性能CPUI/O NetWork Mem業(yè)務(wù)監(jiān)控和應(yīng)用性能監(jiān)控怎么做？Web Server #1NginxLogstash（shipper）DB Server #2MySQLLogstash（shipper）RPC Server #2DubboAPM Agent（txId）API Server #3JavaAPM Agent（txI

11、d）日志收集與性能分析Kibana WebRedisCollector數(shù)據(jù)存儲(chǔ)HBaseAPM WebRedisLogstash（indexer）App Server #1TomcatAPM Agent（txId）ElasticSearch更大數(shù)據(jù)量的Easticsearch集群Web UISearch QueryCollectorIndex Query提交索引數(shù)據(jù)搜索請(qǐng)求執(zhí)行搜索ElasticSearch Data NodeElasticSearch Query Node保存索引數(shù)據(jù)ElasticSearchMaster NodeMesos SDKDocker EngineDockerNative應(yīng)用云化的一些規(guī)范與準(zhǔn)則 代碼與拓?fù)錈o關(guān) 應(yīng)用無狀態(tài)化 不要寫本地磁盤 日志統(tǒng)一管理DockerFile +鏡像化 不要依賴基礎(chǔ)設(shè)施 使用通用的REST API 禁止手工部署應(yīng)用 Port資源必須規(guī)劃 禁用不穩(wěn)定的源平臺(tái)建設(shè)過程中用到的技術(shù)棧企業(yè)互聯(lián)網(wǎng)開放平臺(tái)的總體構(gòu)成公共應(yīng)用支撐開發(fā)工具技術(shù)平臺(tái)前端控件、框架服務(wù)端中間件、框架云運(yùn)維平臺(tái)互聯(lián)網(wǎng)連接器編