1、 構建高效的研發(fā)與自動化運維體系為什么IT運維需要自動化？所謂IT運維管理的自動化是指通過將日常IT運維中大量的重復性工作，小到簡單的日常檢查、配置變更和軟件安裝，大到整個變更流程的組織調(diào)度，由過去的手工執(zhí)行轉(zhuǎn)為自動化操作，從而減少乃至消除運維中的延遲，實現(xiàn)“零延時”的IT運維。簡單的說，IT運維自動化是指基于流程化的框架，將事件與IT流程相關聯(lián)，一旦被監(jiān)控系統(tǒng)發(fā)生性能超標或宕機，會觸發(fā)相關事件以及事先定義好的流程，可自動啟動故障響應和恢復機制。自動化工作平臺還可幫助IT運維人員完成日常的重復性工作(如備份，殺毒等)，提高IT運維效率。同時，IT運維的自動化還要求能夠預測故障、在故障發(fā)生前能夠

2、報警，讓IT運維人員把故障消除在發(fā)生前，將所產(chǎn)生損失減到最低。運維應包括如下：環(huán)境定義：開發(fā)環(huán)境、測試環(huán)境、類生產(chǎn)環(huán)境、生產(chǎn)環(huán)境等。部署：能夠?qū)⒉渴鸢行У牟渴鸬讲煌沫h(huán)境。監(jiān)控：能夠監(jiān)控部署后的系統(tǒng)和應用。告警：出現(xiàn)問題時的響應和處理機制。性能優(yōu)化：系統(tǒng)各個服務如Nginx/Java/PHP/DB/網(wǎng)絡的優(yōu)化。SLA保障：通常要和業(yè)務相關部門討論確定。服務治理、任務調(diào)度、集群協(xié)同、調(diào)用鏈分析、接口質(zhì)量、SQL質(zhì)量、實時日志等打包、自動化測試、檢測、灰度發(fā)布、分區(qū)上線、運維自動化、配置標準化、指令標準化等分布式框架、存儲&緩存中間件、自動化測試、云搜索、開放平臺、營銷平臺等基礎設施自建技術基礎

3、設施（開源+自研）自動化發(fā)布系統(tǒng)灰度發(fā)布、分區(qū)發(fā)布運維配置自動化系統(tǒng)運維系統(tǒng)自動發(fā)現(xiàn)、標準化配置原子指令系統(tǒng)支持數(shù)百臺服務器、數(shù)百個原子腳本操作搜索平臺支持數(shù)百個索引、上億條數(shù)據(jù)推薦計算平臺支持數(shù)億用戶數(shù)據(jù)計算API自動化測試系統(tǒng)、Mock模擬測試系統(tǒng)支持接口的自動化測試、模擬測試、Web自動化測試API放水系統(tǒng)、SQL防水系統(tǒng)治理系統(tǒng)不合理調(diào)用實時日志系統(tǒng)支持Nginx、Tomcat、BI實時日志和離線跟蹤分布式開發(fā)框架統(tǒng)一分布式通信配置分發(fā)系統(tǒng)支持配置項、集群服務發(fā)現(xiàn)MQ分布式消息中間件（推模式IDP、拉模式Kafka）1500w/周一周五，600w/周六日KV分布式緩存系統(tǒng)中間件（Mem

4、cached、Redis、Tair）億級數(shù)據(jù)緩存、95%命中率LPFS分布式文件中間件（MongoDB）MongoDB、圖片、文件DB數(shù)據(jù)庫分庫分表中間件（MySQL）無限數(shù)據(jù)量擴展分布式任務調(diào)度中間件（Schedule）支持100+服務、200+/日個分布式任務調(diào)度Push統(tǒng)一消息推送平臺每日100w+推送量，推送至Android、iOS、Email、SMS、微信、Comet依賴開源的技術棧語言：Java(Tomcat/Spring) Shell(運維) Nodejs(前端) Android iOS分布式：ActiveMQ Kafka Zookeeper Router服務發(fā)現(xiàn) Cat存儲：M

5、ysql Mongodb Tair Memcached Redis計算：Solr ElasticSearch Hadoop HBase Storm Spark運維：Linux Nginx Puppet Zabbix OpenStack項目管理：Eclipse Git Maven構建 Hudson持續(xù)集成 Confluence知識分享 DMS項目管理開發(fā)階段Code/build開發(fā)框架|-web開發(fā)框架Swift|-nodejs前端開發(fā)框架|-ios移動開發(fā)框架|-android開發(fā)框架|-shell腳本自動化分布式中間件|-分布式調(diào)用RPC|-實時推送comet|-推消息隊列IDP|-拉消息隊

6、列Kafka|-配置系統(tǒng)Zookeeper|-調(diào)度系統(tǒng)Scheduler存儲中間件|-關系存儲mysql|-文件存儲mongodb|-KV存儲tair|-二級緩存redis|-一級緩存memcached計算平臺|-云搜索|-推薦|-大數(shù)據(jù)計算|-網(wǎng)頁解析|-文本解析|-Word預覽測試階段Test/ci|-API自動化測試|-API模擬測試Mock|-Web自動化測試Selenium|-微信測試WXTest|-Open測試KATest|-測試環(huán)境發(fā)布上線階段Release/deploy|-發(fā)布系統(tǒng)|-運維系統(tǒng)|-代碼檢測Builder運維階段運維系統(tǒng)Monitor|-自動化系統(tǒng)|-監(jiān)控系統(tǒng)Za

7、bbix|-雷達日志系統(tǒng)|-Puppet/Mco服務治理Service|-API放水系統(tǒng)APIWater|-SQL放水系統(tǒng)MonyogSQL|-Router服務中心|-配置分發(fā)系統(tǒng)|-調(diào)度系統(tǒng)Scheduler|-調(diào)用鏈系統(tǒng)Cat運營階段開放平臺|-微信平臺Weixin|-微博平臺Weibo|-電話平臺Jiya|-支付平臺Pay|-開放平臺API|-SEO平臺Resource運營平臺Channel|-推送平臺Push|-短信平臺Push|-郵件平臺Mail|-微信平臺Open|-私信平臺MessageCode1、分布式服務架構服務發(fā)現(xiàn)、通信、控制分布式注冊中心Router：同步調(diào)用RPC服務協(xié)

8、議：HTTP協(xié)議/心跳檢測服務發(fā)現(xiàn)：集群信息統(tǒng)一文件Router.conf負載均衡異步調(diào)用MQ推模式：開發(fā)快、穩(wěn)定、實時快拉模式：可回溯、日志收集、數(shù)據(jù)同步分布式任務調(diào)度Schedule調(diào)度系統(tǒng)分布式事務控制Swift開發(fā)框架：交易型事務的一致性2、運維研發(fā)的自動化體系運維配置標準化3大層次2.1、硬件標準化：-機器標準化：機房、機架位、交換機、機器-資源標準化：IP、DNS-配置標準化：機器配置自動化采集、標準化檢測，KVM化2.2、軟件標準化：-軟件安裝標準化：tomcat jdkmemcachedredis.-Nginx標準化：域名、配置、發(fā)布2.3、項目標準化：-項目配置標準化：S區(qū)、

9、A區(qū)、B區(qū)、C區(qū)-支持多種項目：tomcat、java、nodejs、Python、iosAndroid2.1、硬件標準化自動化采集2.2、軟件標準化統(tǒng)一軟件規(guī)格2.2、軟件標準化自動化安裝卸載2.2、軟件標準化服務自動管理2.2、Nginx標準化自動配置300域名3、項目發(fā)布自動化體系3.1、代碼發(fā)布系統(tǒng)-灰度發(fā)布-分區(qū)發(fā)布：泳道發(fā)布3.2、配置發(fā)布系統(tǒng)-發(fā)布配置信息-集群協(xié)作：Solr、Kafka3.3、原子指令-系統(tǒng)級操作-系統(tǒng)操作日志4、服務治理體系服務健康狀態(tài)檢測分布式任務調(diào)度（Schedule）調(diào)用鏈分析（Cat）實時日志監(jiān)測（雷達系統(tǒng)）API質(zhì)量治理（APIWater)SQL質(zhì)量治理（Monyog）4.1、服務健康狀態(tài)檢測4.2、分布式任務調(diào)度Schedule分布式調(diào)度中心：基于Mina分布式協(xié)調(diào)選擇服務的單點調(diào)度多點服務failover長時間任務斷點續(xù)傳任務依賴調(diào)度4.3、調(diào)用鏈分析Cat4.4、實時日志監(jiān)測（雷達系統(tǒng)）實時日志查看歷史日志分析用戶或IP追蹤日志統(tǒng)計4.4