云平臺監(jiān)控系統(tǒng)研究與實現(xiàn)第一頁，共32頁。匯報內(nèi)容5123456第二頁，共32頁。研究背景與意義研究背景云平臺聚合了大量軟硬件資源，并采用虛擬化技術(shù)實現(xiàn)動態(tài)按需提供服務(wù),為確保云平臺正常運(yùn)轉(zhuǎn)，必須對云平臺多方監(jiān)控現(xiàn)有監(jiān)控系統(tǒng)存在功能單一、專用等缺點(diǎn)，不適合云平臺監(jiān)控研究意義云平臺監(jiān)控系統(tǒng)旨在構(gòu)建自主配置、容錯性強(qiáng)的監(jiān)控系統(tǒng)架構(gòu)，多維度監(jiān)控和證明云的物理資源和虛擬資源的正常運(yùn)行，降低云平臺運(yùn)營者維護(hù)云平臺的難度監(jiān)控用戶使用云存儲服務(wù)、計算服務(wù)和其他服務(wù)并進(jìn)行計費(fèi)管理，增強(qiáng)云端對用戶的透明度，提高用戶對云平臺服務(wù)商的信任程度第三頁，共32頁。主要工作系統(tǒng)關(guān)鍵點(diǎn)：云端節(jié)點(diǎn)接入自配置改進(jìn)、容錯機(jī)制改進(jìn)系統(tǒng)關(guān)鍵模塊：資源監(jiān)控、用戶監(jiān)控系統(tǒng)實現(xiàn)系統(tǒng)總體設(shè)計第四頁，共32頁。匯報內(nèi)容5123456第五頁，共32頁。云平臺監(jiān)控系統(tǒng)設(shè)計此模塊實現(xiàn)對物理資源、虛擬資源、服務(wù)資源進(jìn)行監(jiān)控，并進(jìn)行負(fù)載分析此模塊實現(xiàn)對用戶使用云服務(wù)的監(jiān)控和分析，并進(jìn)行計費(fèi)管理此模塊實現(xiàn)云端節(jié)點(diǎn)接入自配置，并且改進(jìn)系統(tǒng)容錯能力Ganglia開源，層級結(jié)構(gòu)第六頁，共32頁。云平臺監(jiān)控系統(tǒng)設(shè)計云端接入物理節(jié)點(diǎn)和虛擬節(jié)點(diǎn)的CPU、內(nèi)存、磁盤、負(fù)載、IO吞吐量等性能參數(shù)，使用Ganglia采集Hadoop運(yùn)行中的宏觀數(shù)據(jù)，如云平臺剩余存儲容量、等待作業(yè)數(shù)、HDFS總讀寫量等變化情況用戶使用云存儲服務(wù)、計算服務(wù)、其他服務(wù)情況用戶注冊，節(jié)點(diǎn)配置等產(chǎn)生數(shù)據(jù)監(jiān)控信息流第七頁，共32頁。匯報內(nèi)容5123456第八頁，共32頁。資源監(jiān)控資源監(jiān)控數(shù)據(jù)庫表結(jié)構(gòu)將RRD數(shù)據(jù)抽取到設(shè)計的監(jiān)控分析庫中，并進(jìn)行相應(yīng)的分析第九頁，共32頁。資源監(jiān)控組域節(jié)點(diǎn)后綴rrd分析RRD格式并從中提取數(shù)據(jù)信息存儲解析的數(shù)據(jù)讀取組域信息、節(jié)點(diǎn)信息、RRD文件信息數(shù)據(jù)抽取組件第十頁，共32頁。資源監(jiān)控云平臺單節(jié)點(diǎn)資源利用率瞬時利用率和平均利用率內(nèi)存利用率磁盤利用率（如內(nèi)存利用率）CPU利用率網(wǎng)絡(luò)帶寬利用率平均負(fù)載溫度多維度資源利用率分析第十一頁，共32頁。資源監(jiān)控云平臺服務(wù)器虛擬資源利用率虛擬資源內(nèi)存利用率虛擬資源磁盤利用率（如內(nèi)存利用率）虛擬資源CPU利用率服務(wù)器上虛擬機(jī)總共使用的虛擬CPU個數(shù)超過服務(wù)器實際CPU個數(shù)時，CPU資源將會按時間片劃分，導(dǎo)致網(wǎng)路通信等其他正常指標(biāo)的規(guī)律性波動。虛擬機(jī)cpu的個數(shù)對服務(wù)器產(chǎn)生的影響:網(wǎng)絡(luò)帶寬負(fù)載服務(wù)器與其上虛擬機(jī)通信，以及服務(wù)器上所有虛擬機(jī)之間通信并不對集群網(wǎng)絡(luò)造成影響，只有服務(wù)器和虛擬機(jī)與其他節(jié)點(diǎn)通信才對集群網(wǎng)絡(luò)造成實際影響第十二頁，共32頁。資源監(jiān)控云平臺集群資源利用率集群內(nèi)存利用率集群CPU利用率集群綜合利用率

引入權(quán)重w，用以調(diào)節(jié)不同資源類型對不同服務(wù)的影響程度

第十三頁，共32頁。用戶監(jiān)控考慮因素增強(qiáng)云端存儲對用戶透明度，深層次跟蹤文件，并統(tǒng)計用戶存儲占用量增強(qiáng)云端計算對用戶透明度，并統(tǒng)計用戶計算占用量需要對用戶按需收費(fèi)解決方案編寫組件StoreMonitor允許用戶對自己在云平臺中機(jī)密文件進(jìn)行全方位跟蹤，包括文件被訪問、修改情況，文件存放位置，數(shù)據(jù)塊遷移歷程及操作，并科學(xué)統(tǒng)計用戶存儲服務(wù)使用量編寫組件CalculateMonitor允許用戶對自己在云平臺開展的作業(yè)進(jìn)行開啟、停止、設(shè)置參數(shù)等控制、對作業(yè)運(yùn)行跟蹤及歷史記錄查詢，并科學(xué)統(tǒng)計用戶計算服務(wù)使用量定義計費(fèi)管理公式第十四頁，共32頁。用戶監(jiān)控用戶存儲監(jiān)控及分析組件對文件、文件夾進(jìn)行創(chuàng)建、刪除、修改等操作對設(shè)定跟蹤的文件進(jìn)行多方位的監(jiān)控，包括文件訪問情況、文件->數(shù)據(jù)塊對應(yīng)關(guān)系、數(shù)據(jù)塊->節(jié)點(diǎn)遷移歷程、數(shù)據(jù)塊經(jīng)歷的操作，以及用戶存儲量的變化，采用事件觸發(fā)模式保證數(shù)據(jù)的準(zhǔn)確性第十五頁，共32頁。用戶監(jiān)控用戶存儲量變化采集流程文件創(chuàng)建時：文件刪除時：文件追加時：文件副本數(shù)目更改時：文件所有者更改時：第十六頁，共32頁。用戶監(jiān)控用戶計算監(jiān)控及分析組件用戶對作業(yè)和任務(wù)的控制信息，比如開啟作業(yè)、設(shè)置優(yōu)先級等初始部署時采集已經(jīng)結(jié)束的作業(yè)任務(wù)信息實時采集運(yùn)行中的作業(yè)、任務(wù)各種信息第十七頁，共32頁。用戶監(jiān)控用戶計費(fèi)依據(jù)用戶存儲占用量用戶計算占用量計費(fèi)公式管理員給出計費(fèi)標(biāo)準(zhǔn)，每KB存儲資源占用收取費(fèi)用基數(shù)為M元，任務(wù)每秒計算收費(fèi)基數(shù)為N元，則對用戶U在T1到T2時間內(nèi)應(yīng)收費(fèi)用計算公式為：第十八頁，共32頁。匯報內(nèi)容5123456第十九頁，共32頁。云端節(jié)點(diǎn)接入自配置問題如何解決Ganglia手動配置信息且配置復(fù)雜的問題？例如匯集節(jié)點(diǎn)需配置所管轄節(jié)點(diǎn)的IP、Port等，以及組域信息、向上傳輸節(jié)點(diǎn)的信息解決方案實現(xiàn)自注冊機(jī)制，使得監(jiān)控服務(wù)器、匯集節(jié)點(diǎn)端、監(jiān)控節(jié)點(diǎn)端相互協(xié)作通信初始部署時節(jié)點(diǎn)向服務(wù)器發(fā)送本機(jī)信息監(jiān)控服務(wù)器根據(jù)機(jī)架位置構(gòu)建樹形結(jié)構(gòu)管理員調(diào)整樹形結(jié)構(gòu)例如匯集節(jié)點(diǎn)端報文格式和解析的配置文件第二十頁，共32頁。云端節(jié)點(diǎn)接入自配置節(jié)點(diǎn)動態(tài)發(fā)現(xiàn)機(jī)制（實現(xiàn)云端節(jié)點(diǎn)的動態(tài)加入和撤離）匯集節(jié)點(diǎn)組播報文協(xié)作過程心跳計數(shù)

中間匯集節(jié)點(diǎn)為注冊表中的每一個節(jié)點(diǎn)項定義一個計數(shù)器，它定期檢測注冊表中的節(jié)點(diǎn)是否有響應(yīng)報文，如果沒有收到響應(yīng)報文，則開始計數(shù)，達(dá)到一定次數(shù)后（默認(rèn)為五次），認(rèn)為該節(jié)點(diǎn)失效，產(chǎn)生報警，報警處理后若刪除該節(jié)點(diǎn)，則從匯集節(jié)點(diǎn)的注冊表中刪除第二十一頁，共32頁。容錯機(jī)制改進(jìn)備選節(jié)點(diǎn)考慮因素容錯性分析Ganglia組織類似樹形結(jié)構(gòu)，當(dāng)匯集節(jié)點(diǎn)發(fā)生故障時，則造成上層/下層節(jié)點(diǎn)的數(shù)據(jù)傳輸無法完成，即Ganglia沒有解決匯集節(jié)點(diǎn)的單點(diǎn)故障改進(jìn)方法匯集節(jié)點(diǎn)如果出現(xiàn)五次心跳錯誤，則產(chǎn)生報警，并自動選取其他節(jié)點(diǎn)替代失效節(jié)點(diǎn)，實現(xiàn)匯集數(shù)據(jù)快速遷移，故障自恢復(fù)

第二十二頁，共32頁。容錯機(jī)制改進(jìn)自恢復(fù)流程第二十三頁，共32頁。容錯機(jī)制改進(jìn)基于黃金分割率的單指數(shù)平滑預(yù)測算法選取內(nèi)存空限量為指標(biāo)預(yù)測公式預(yù)測精度評價指標(biāo)采用均方差（MSE）采集1800條數(shù)據(jù)，聚合為100條，誤差率：4.89%第二十四頁，共32頁。匯報內(nèi)容5123456第二十五頁，共32頁。云平臺監(jiān)控系統(tǒng)實現(xiàn)第二十六頁，共32頁。云平臺監(jiān)控系統(tǒng)實現(xiàn)第二十七頁，共32頁。云平臺監(jiān)控系統(tǒng)實現(xiàn)第二十八頁，共32頁。匯報內(nèi)容5123456第二十九頁，共32頁?？偨Y(jié)與展望總結(jié)結(jié)合Ganglia給出了云平臺監(jiān)控系統(tǒng)的總體功能設(shè)計和架構(gòu)設(shè)計監(jiān)控云平臺硬件資源和軟件資源運(yùn)行，并進(jìn)行多維度的資源利用率分析監(jiān)控用戶使用云服務(wù)的情況，并進(jìn)