IT系統(tǒng)監(jiān)控方案設(shè)計(jì)一、平臺建設(shè)背景隨著業(yè)務(wù)發(fā)展，公司業(yè)務(wù)系統(tǒng)逐漸增多，線上系統(tǒng)的數(shù)量也在不斷增加，依靠過去人工巡檢系統(tǒng)的方式發(fā)現(xiàn)系統(tǒng)故障、潛在風(fēng)險及安全隱患的方式效率越來越低下且運(yùn)維人員的工作強(qiáng)度及壓力也在不斷增加，為了提高發(fā)現(xiàn)系統(tǒng)故障的及時性、系統(tǒng)維護(hù)的專業(yè)性、規(guī)范化、科學(xué)性同時也能把運(yùn)維人員從重復(fù)的工作中解放出來去做更多有意義的事情，因此我們亟需引入新的監(jiān)控手段、工具來協(xié)助運(yùn)維工程師解二、建設(shè)目標(biāo)為保證自有軟件平臺運(yùn)行穩(wěn)定性，對線上平臺進(jìn)行自動化監(jiān)控，合理設(shè)置監(jiān)控粒度及監(jiān)控對象。盡可能的把潛在問題在萌芽狀態(tài)解決及消除隱患，以此提高IT技術(shù)支持部門的整體集成能力和交付系統(tǒng)運(yùn)建設(shè)監(jiān)控平臺的終極目標(biāo)如下所示：1.及時發(fā)現(xiàn)潛在的問題化被動為主動維護(hù)；2.為平臺性能優(yōu)化提供直觀參考依據(jù)；3.提高系統(tǒng)維護(hù)的專業(yè)性和規(guī)范性；4.提高用戶體驗(yàn)，降低服務(wù)宕機(jī)時間。三、監(jiān)控平臺功能與內(nèi)容1、集中監(jiān)控管理負(fù)責(zé)收集和處理來自系統(tǒng)中的各類告警信息，并進(jìn)行告警信息的匯聚和根源分析，幫助運(yùn)維人員找出故障發(fā)生的原因，快速定位故障點(diǎn)并包含網(wǎng)絡(luò)、主機(jī)、數(shù)據(jù)庫及應(yīng)用管理(系統(tǒng)軟硬件配置信息、系統(tǒng)性能指標(biāo)、故障告警和日志管理)。具體實(shí)現(xiàn)：對于日志的歸檔工作采用本地shell及信息收集引擎的方式將系統(tǒng)信息及異常日志集中存儲到監(jiān)控平臺做分析并進(jìn)行告警、2、統(tǒng)一監(jiān)控管理界面和多樣的告警方式通過布局合理的圖形化界面集中反映網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫和應(yīng)用的實(shí)時狀態(tài)，通過手機(jī)短信、郵件以及頁面等多種方式進(jìn)行告警。3、自定義告警優(yōu)先級策略一般的監(jiān)控到的結(jié)果是成功或者失敗，如Ping不通、訪問網(wǎng)頁出錯、連接不到Socket，發(fā)生時這些稱之為故障，故障是最優(yōu)先的告警。除此之外，還能監(jiān)控到返回的延時、內(nèi)容等，如Ping返回的延時、訪問網(wǎng)頁的時間、訪問網(wǎng)頁取到的內(nèi)容等。利用返回的結(jié)果可以自定義告警條件，如Ping監(jiān)控的返回延時一般是10-30ms之間，當(dāng)延時大于100ms時候，表示網(wǎng)絡(luò)或者服務(wù)器可能出現(xiàn)問題，引起網(wǎng)絡(luò)響應(yīng)慢，需要立即檢查是否流量過大或者服務(wù)器CPU太高等問題。4、自定義告警信息內(nèi)容標(biāo)準(zhǔn)當(dāng)服務(wù)器或應(yīng)用發(fā)生故障時告警信息內(nèi)容非常多，如告警運(yùn)行業(yè)務(wù)名稱、服務(wù)器IP、監(jiān)控的線路、監(jiān)控的服務(wù)錯誤級別、出錯信息、發(fā)生時間等。預(yù)先定義告警內(nèi)容及標(biāo)準(zhǔn)使收到的告警內(nèi)容具有規(guī)范性及可讀性。這點(diǎn)對于用短信接受告警內(nèi)容特別有意義，短信內(nèi)容最多是70個字符，要在70個字符完全知道故障內(nèi)容比較困難，更需要預(yù)先定義內(nèi)容規(guī)范。如：“視頻直播服務(wù)器10.0.211.65在2012-10-1813:00電信線路監(jiān)控第到1次失敗”，清晰明了的知道故障原因。5、短信告警功能目前平臺可以實(shí)現(xiàn)按照不同業(yè)務(wù)、責(zé)任人通過139郵箱告警功能自動發(fā)送告警短消息到相應(yīng)運(yùn)維工程師手機(jī)之上。同時可以實(shí)現(xiàn)調(diào)用第三方API方式進(jìn)行系統(tǒng)告警功能，第三方API只需須留有手機(jī)號碼，短信內(nèi)容變量即可完成短信的即時發(fā)送功能。6、通過郵件接收匯總報(bào)表實(shí)現(xiàn)每天收到一封網(wǎng)站服務(wù)器監(jiān)控的匯總報(bào)表郵件，花兩三分鐘總體了解網(wǎng)站和服務(wù)器的狀態(tài)。7、監(jiān)控管理標(biāo)準(zhǔn)實(shí)現(xiàn)對網(wǎng)絡(luò)運(yùn)行狀態(tài)、系統(tǒng)服務(wù)質(zhì)量和故障告警等的實(shí)時監(jiān)控管8、豐富的數(shù)據(jù)報(bào)表分析功能結(jié)合上述的各項(xiàng)功能，系統(tǒng)能夠根據(jù)工作需要產(chǎn)生標(biāo)準(zhǔn)格式報(bào)表,并能夠按條件生成和調(diào)整各類報(bào)表，以滿足IT系統(tǒng)管理及審計(jì)等多種四、平臺監(jiān)控對象1網(wǎng)絡(luò)設(shè)備性能參數(shù)指標(biāo)、性能指標(biāo)超限告警2主機(jī)Linux、Windows監(jiān)視服務(wù)器性能參數(shù)指標(biāo)、性能指標(biāo)超限告警3Nginx、Tomcat監(jiān)視中間件性能參數(shù)指標(biāo)、性能指標(biāo)超限告警4流媒體Wowza、Nginx監(jiān)視流媒體性能參數(shù)指標(biāo)、性能指標(biāo)超限告警5數(shù)據(jù)庫MySQL監(jiān)視數(shù)據(jù)庫性能參數(shù)指標(biāo)、性能指標(biāo)超限告警五、平臺架構(gòu)設(shè)計(jì)1、平臺架構(gòu)邏輯拓?fù)淦脚_設(shè)計(jì)架構(gòu)如下圖5.1所示平臺采用統(tǒng)一監(jiān)控，集中展現(xiàn)的方式實(shí)現(xiàn)對設(shè)備的監(jiān)控。監(jiān)控服務(wù)器通過部署在各監(jiān)控對象上的引擎收集信息，通過報(bào)表服務(wù)器進(jìn)行過濾、加工、整理，通過統(tǒng)一門戶進(jìn)行展現(xiàn)及短信告警功能。監(jiān)控管理軟件的