1、 2015全球運(yùn)維大會(huì)APM 業(yè)務(wù)運(yùn)維利器聽云 楊金全議題 什么是業(yè)務(wù)運(yùn)維 業(yè)務(wù)運(yùn)維的價(jià)值 如何做好業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會(huì)什么是業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會(huì)由核心目標(biāo)說起 將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合，轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品，同時(shí)最大限度降低服務(wù)運(yùn)行的成本，保障服務(wù)運(yùn)行的安全。 貫穿整個(gè)IT服務(wù)生命周期發(fā)布前 - 發(fā)布 運(yùn)行維護(hù) 優(yōu)化 下線 運(yùn)行維護(hù) 容量管理、業(yè)務(wù)監(jiān)控、故障管理 優(yōu)化 性能、可用性 2015全 球 運(yùn) 維 大 會(huì)運(yùn)維分類業(yè)務(wù)運(yùn)維 IT基礎(chǔ)設(shè)施運(yùn)維- 硬件監(jiān)控- 系統(tǒng)監(jiān)控(CPU、Memory、IO、TCP)-關(guān)注核心業(yè)務(wù)

2、（不只單點(diǎn)，整個(gè)業(yè)務(wù)系統(tǒng)） 服務(wù)狀態(tài)管理（數(shù)據(jù)庫(kù)、NoSQL、API）調(diào)用鏈（Business Transaction） 業(yè)務(wù)拓?fù)銴PI SLA數(shù)據(jù)（基準(zhǔn)、挖掘）- 2015全 球 運(yùn) 維 大 會(huì)業(yè)務(wù)運(yùn)維的價(jià)值 2015全 球 運(yùn) 維 大 會(huì)業(yè)務(wù)運(yùn)維數(shù)據(jù)業(yè)務(wù)指標(biāo)數(shù)據(jù) 用戶體驗(yàn)數(shù)據(jù)- DNS、網(wǎng)絡(luò)、首包、首屏- 頁(yè)面渲染、元素加載- 可用性-PV、訂單數(shù)量性 能錯(cuò) 誤調(diào)用鏈業(yè)務(wù)拓?fù)浠鶞?zhǔn)數(shù)據(jù) 運(yùn)維數(shù)據(jù)工單警報(bào)故障- 2015全 球 運(yùn) 維 大 會(huì)業(yè)務(wù)運(yùn)維價(jià)值 業(yè)務(wù)可用性- 保證sla 清晰業(yè)務(wù)調(diào)用關(guān)系- 迅速定位問題 錯(cuò)誤管理- 預(yù)警業(yè)務(wù)基準(zhǔn)數(shù)據(jù)- 高峰時(shí)間段數(shù)據(jù)挖掘-轉(zhuǎn)化率熱力圖 2015全 球

3、 運(yùn) 維 大 會(huì)如何做好業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會(huì)業(yè)務(wù)監(jiān)控 Zabbix Nagios 2015全 球 運(yùn) 維 大 會(huì)應(yīng)用日志分析Cost處理各種各樣的日志格式Error-log, Slow Log, SQL Slow Log public void a()long beginTime= System.currentTimeMillis();log.debug(System.currentTimeMillis() - beginTime);無法快速串聯(lián)業(yè)務(wù)組件消耗時(shí)間額外的代碼開發(fā)量時(shí)間成本繁瑣的運(yùn)維工作 2015全 球 運(yùn) 維 大 會(huì)APMApplication Perform

4、ance Management對(duì)軟件應(yīng)用的性能和可用性進(jìn)行監(jiān)控和管理，致力于發(fā)現(xiàn)和定位性能瓶頸和故障，以保證應(yīng)用達(dá)到預(yù)期的服務(wù)水平（SLA） 2015全 球 運(yùn) 維 大 會(huì)APM助力業(yè)務(wù)運(yùn)維客服真實(shí)用戶的體驗(yàn)數(shù)字化業(yè)務(wù)1.2.3.4.最終用戶體驗(yàn)視角展現(xiàn)慢交互追蹤解決卡頓軌跡回溯解決閃退行業(yè)對(duì)比（競(jìng)品分析）CD NCDN評(píng)估外網(wǎng)監(jiān)控全網(wǎng)監(jiān)控業(yè)務(wù)流量傳輸1. 應(yīng)用流程和傳輸監(jiān)測(cè)網(wǎng)絡(luò)首屏?xí)r間評(píng)估，CDN評(píng)估在造成用戶影響前報(bào)警行業(yè)對(duì)比（競(jìng)品分析）業(yè)務(wù)級(jí)運(yùn)維Web2.3.4.網(wǎng)絡(luò)運(yùn)維主機(jī)虛擬網(wǎng)絡(luò)App運(yùn)維應(yīng)用實(shí)時(shí)性能監(jiān)控虛擬計(jì)算研發(fā)1.2.3.生產(chǎn)環(huán)境的性能展現(xiàn)代碼級(jí)監(jiān)控和慢應(yīng)用追蹤應(yīng)用性能的診斷，

5、追蹤和優(yōu)化依據(jù)研發(fā)DBDBAlog虛擬存儲(chǔ) 2015全 球 運(yùn) 維 大 會(huì)衡量指標(biāo) 交互時(shí)間（用戶感知）- 渲染時(shí)間- 首屏?xí)r間 響應(yīng)時(shí)間（獨(dú)占時(shí)間）吞吐率 rpm - requests per minute cpm- calls per minute錯(cuò)誤率（可用性） 率CPU利用率內(nèi)存使用率線程數(shù)量-網(wǎng)絡(luò)層時(shí)間阻 塞 時(shí) 間 應(yīng)用層時(shí)間數(shù)據(jù)庫(kù)時(shí)間NoSQL時(shí)間API時(shí)間 2015全 球 運(yùn) 維 大 會(huì) 2015全 球 運(yùn) 維 大 會(huì)聽云App案例分析 用戶流失的定位 隨著用戶推廣訪問量增加，訪問量最大的主機(jī)出現(xiàn)性能問題，導(dǎo)致服務(wù)響應(yīng)時(shí)間也隨之出現(xiàn)明顯波動(dòng)，最終導(dǎo)致用戶的大量流失。 2015全

6、 球 運(yùn) 維 大 會(huì)聽云App案例分析 未知主機(jī)錯(cuò)誤 某應(yīng)用商城應(yīng)用中出現(xiàn)異常高的“未知主機(jī)”錯(cuò)誤率問題。 2015全 球 運(yùn) 維 大 會(huì)聽云Server案例 Memcached性能問題分層展示應(yīng)用響應(yīng)性能： 應(yīng)用層時(shí)間： 應(yīng)用代碼排除其他服務(wù)的執(zhí)行性能 數(shù)據(jù)庫(kù)調(diào)用時(shí)間： SQL數(shù)據(jù)庫(kù)訪問性能（支持：Oracle, MySQL, SQL Server, DB2） 外部服務(wù)時(shí)間： Web Service調(diào)用性能 NoSQL響應(yīng)時(shí)間： Memcache, Redis, MongoDB等NoSQL服務(wù)的訪問性能 2015全 球 運(yùn) 維 大 會(huì)EPayEpslpay應(yīng)用中的Memcached訪問性能很

7、差（ 500ms），需要關(guān)注！聽云Server用戶案例 SQL性能分析 2015全 球 運(yùn) 維 大 會(huì)聽云Server用戶案例 SQL性能分析 2015全 球 運(yùn) 維 大 會(huì)聽云Server案例 Web應(yīng)用過程分解 2015全 球 運(yùn) 維 大 會(huì)EpayEpslpay應(yīng)用下的 /ebs/remoting/hessian/ebsPortalHessian.htm 接 口中67.43%的性能消耗在Memcached的INCR操作上，平均響應(yīng)時(shí)間500ms聽云Server案例 慢應(yīng)用過程追蹤 聽云Server可以設(shè)置慢應(yīng)用過程追蹤閾值，當(dāng)某一個(gè)應(yīng)用過程的響應(yīng)時(shí)間超過閾值時(shí)，系統(tǒng)會(huì)自動(dòng)記錄詳細(xì)的性能追

8、蹤記錄 2015全 球 運(yùn) 維 大 會(huì)1月7日17:26，EPayEpslpay應(yīng)用下的 /ebs/remoting/hessian/ebsPortalHessian.htm接口的有一次響應(yīng)時(shí)間達(dá)到 了2.084秒，超過預(yù)先設(shè)定的閾值500ms，系統(tǒng)記錄了這次訪問性能追蹤數(shù)據(jù)聽云Server案例 慢應(yīng)用過程追蹤 2015全 球 運(yùn) 維 大 會(huì)性能追蹤摘要里展示本次訪問過程中各代碼模塊的耗時(shí)占比，其中可見net.spy.memcached.MemcachedClient.incr() 方 法 的調(diào)用耗時(shí)0.5秒，占比超過24%聽云Server案例 慢應(yīng)用過程追蹤 2015全 球 運(yùn) 維 大 會(huì)從追蹤詳情可查看詳細(xì)的代碼調(diào)用堆棧，通過堆棧分析，可 獲取調(diào)用這條非常慢Memcached的INCR操作的用戶代碼在 PortalHissianServiceImpl.java文件第114行的excute方法中。應(yīng)用多級(jí)拓補(bǔ) 2015全 球 運(yùn) 維 大 會(huì)APM價(jià)值CTOCIO業(yè)務(wù)產(chǎn)品研發(fā)運(yùn)維得到真實(shí)用戶的體驗(yàn) 用戶體驗(yàn)可量化 建立用戶體驗(yàn)為基準(zhǔn)的KPI體系 行業(yè)標(biāo)準(zhǔn)對(duì)比 提升客戶滿意度，降低TCO提高迭代效率生產(chǎn)環(huán)境下的代碼執(zhí)