1、DevOps監(jiān)控平臺(tái)實(shí)踐劉 通 博中興通訊第1頁，共33頁。標(biāo)題數(shù)字等都可以通過點(diǎn)擊和重新輸入進(jìn)行更改，頂部“開始”面板中可以對(duì)字體、字號(hào)、顏色、行距等進(jìn)行修改。建議正文8-14號(hào)字，1.3倍字間距。點(diǎn)擊此處添加標(biāo)題Me劉通博2006年加入中興通訊DevOps團(tuán)隊(duì)架構(gòu)師熱愛技術(shù)，熱愛籃球，熱愛游戲第2頁，共33頁。目錄CONTENTS01背景介紹03架構(gòu)方案04總結(jié)02問題分析第3頁，共33頁。01背景介紹第4頁，共33頁。讓研發(fā)人員像使用水電氣一樣的使用研發(fā)資源，使其能聚焦高價(jià)值的研發(fā)工作。DevOps團(tuán)隊(duì)愿景第5頁，共33頁。軟件DevOps工具鏈點(diǎn)擊此處添加標(biāo)題點(diǎn)擊此處添加標(biāo)題計(jì)劃項(xiàng)目管

2、理項(xiàng)目管理敏捷看板迭代計(jì)劃需求管理任務(wù)管理內(nèi)容管理 編碼代碼管理代碼托管代碼安全代碼合規(guī)代碼檢查構(gòu)建編譯構(gòu)建流水線 構(gòu)建服務(wù)資源管理流水線驗(yàn)證測(cè)試管理資源管理環(huán)境管理 用例管理測(cè)試執(zhí)行運(yùn)維運(yùn)維環(huán)境管理配置管理自動(dòng)化部署 監(jiān)控運(yùn)營(yíng)運(yùn)維運(yùn)營(yíng)流量分析行為分析度量DevOps發(fā)布發(fā)布依賴倉(cāng)庫制品倉(cāng)庫第6頁，共33頁。 JVM性能調(diào)優(yōu)500010000未來2000 遷移了物理設(shè)備 JVM性能調(diào)優(yōu) Gerrit參數(shù)調(diào)優(yōu) 單主多活架構(gòu) 使用插件共享事件流， 索引，緩存，會(huì)話開發(fā)git代理服務(wù)Gerrit的發(fā)展第7頁，共33頁。Gerrit架構(gòu)的演進(jìn)第8頁，共33頁。Gerrit數(shù)字化表達(dá)780%6000+1

3、4000+3200000+第9頁，共33頁。02問題引入&分析第10頁，共33頁。DevOps規(guī)模擴(kuò)張 采購(gòu)第三方的插件， 實(shí)現(xiàn)多地多主架構(gòu) 開發(fā)git代理， 后端實(shí)現(xiàn)git庫的分布式2000+10000+300+4000+第11頁，共33頁。尷尬的問題 風(fēng)平浪靜 單地多活架構(gòu) 使用插件共享事件流， 索引，緩存，會(huì)話 采購(gòu)第三方的插件， 實(shí)現(xiàn)多地多主架構(gòu) 開發(fā)git代理， 后端實(shí)現(xiàn)git庫的分布式用戶：Gerrit系統(tǒng)下代碼太慢了！ 我們：我剛試了下，沒慢啊。領(lǐng)導(dǎo)：Gerrit系統(tǒng)掛了，哪里出了問題？我們：還不清楚原因，正在排查。第12頁，共33頁。傳統(tǒng)監(jiān)控平臺(tái)硬件應(yīng)用操作系統(tǒng)網(wǎng)絡(luò)設(shè)備Zabb

4、ix數(shù)據(jù)庫中間件基于Zabbix的監(jiān)控基于指標(biāo)項(xiàng)的告警第13頁，共33頁。全局的總圖顯示全局狀態(tài)服務(wù)器上排查問題 第14頁，共33頁。問題背后問題用戶體驗(yàn)方面的監(jiān)控日志數(shù)據(jù)分散告警繁多第15頁，共33頁。03架構(gòu)設(shè)計(jì)第16頁，共33頁。架構(gòu)設(shè)計(jì)-架構(gòu)方案第17頁，共33頁。One more thingOne more thing第18頁，共33頁。架構(gòu)設(shè)計(jì)四原則10倍的規(guī)模設(shè)計(jì)架構(gòu)結(jié)構(gòu)解耦數(shù)據(jù)集中化3倍的規(guī)模落地4321第19頁，共33頁。10倍規(guī)模的設(shè)計(jì)BCDA自動(dòng)化測(cè)試自動(dòng)化部署Docker自動(dòng)化運(yùn)維DevOps邊際成本低第20頁，共33頁。10倍規(guī)模的設(shè)計(jì)如果規(guī)模擴(kuò)張10倍！哪些工具的邊

5、際成本很高？配置？維護(hù)？最理想：只增加服務(wù)器第21頁，共33頁。3倍規(guī)模的部署雪崩效應(yīng)第22頁，共33頁。結(jié)構(gòu)解耦數(shù)據(jù)接入12數(shù)據(jù)緩沖3數(shù)據(jù)處理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)消費(fèi)54第23頁，共33頁。反思痛點(diǎn)第24頁，共33頁。Zabbix痛點(diǎn)1：監(jiān)控告警混合痛點(diǎn)2：監(jiān)控體量上限痛點(diǎn)3：數(shù)據(jù)無法匯聚canal第25頁，共33頁。canal第26頁，共33頁。Logstash數(shù)據(jù)清洗工具，無法提供更復(fù)雜的處理批量處理效果差處理規(guī)則散落無分布式版本痛點(diǎn)解決方案Spark Streaming處理引擎分布式計(jì)算規(guī)則集中能力隨資源增加第27頁，共33頁。Elasticsearch痛點(diǎn)數(shù)據(jù)容量查詢效率痛點(diǎn)解決方案數(shù)據(jù)的分類，部分?jǐn)?shù)據(jù)直接不入庫Spark Streaming提前處理計(jì)算邏輯第28頁，共33頁。最終架構(gòu)圖第29頁，共33頁。未完善的點(diǎn)canal的方案依舊是過度，最終我們想改Zabbix的server端告警數(shù)據(jù)的親緣性自動(dòng)化運(yùn)維第30頁，共33頁。04總結(jié)第31頁，共33頁?？偨Y(jié)開源工具滿足了最初的需求深度使用后最大的難