云計算環(huán)境下的資源調度模型研究

1云計算數(shù)據(jù)中心資源調度問題云計算是一種商業(yè)模式和服務模式。計算任務分布在大多數(shù)計算機組成的數(shù)據(jù)處理中心，因此不同的應用程序系統(tǒng)可以根據(jù)用戶的需要獲得存儲存儲和信息服務的生產(chǎn)能力、內(nèi)存和信息服務。學術界將云計算列為水、電、氣、油之外的第五種公用資源,云計算是技術和社會需求發(fā)展的必然結果,云計算集成了計算機領域大規(guī)模數(shù)據(jù)中心、虛擬化技術、軟件即服務等先進技術。隨著云計算應用的開展,產(chǎn)生了大量的數(shù)據(jù)中心聚集現(xiàn)象,如何利用虛擬管理技術提高云計算數(shù)據(jù)中心利用效率,是當前研究的重點。云計算資源調度是將虛擬機按用戶需求動態(tài)地、自動化地分配給用戶。由于用戶需求規(guī)格和云計算環(huán)境中資源池數(shù)據(jù)中心所有的物理服務器的規(guī)格配置不一致,如果采用簡單的分配調度算法,例如常用的輪轉法、加權輪轉法、最小負載優(yōu)先等,很難達到物理服務器負載均衡。目前,學術界在云計算環(huán)境下資源調度方面已經(jīng)進行了大量研究工作,文獻提出云計算中基于NSGAⅡ的虛擬資源調度算法研究;文獻提出基于粒子群優(yōu)化策略研究;文獻提出云計算環(huán)境下的DPSO資源負載均衡算法;文獻根據(jù)云計算的彈性化和虛擬化等新特性,提出了云計算下負載均衡的多維QoS約束任務調度機制,用戶作業(yè)能按時完成。但是,云計算系統(tǒng)價值最優(yōu)化達不到期望的效果,有關云計算資源調度的優(yōu)化問題值得進一步深入研究探討。2云計算資源池云計算是一種建立在互聯(lián)網(wǎng)上的新型信息基礎架構,云計算是從計算機集群到并行計算模式,進而抽象到云虛擬機,最后得到云計算資源池的概念。云計算資源池如圖1所示,可以分為以下三部分:邊緣部分為云計算資源池的連接服務,連接服務符合SOA的訪問、發(fā)布、發(fā)現(xiàn)工作方式;方格是計算機集群組成的資源池模塊(R1,R2,R3,…,Rn),其資源描述為接口、綁定、服務;部分資源Ri組成域的概念。云計算資源池邊界不定,可以自由伸縮。云計算資源池處于資源虛擬化層,屏蔽了物理資源層的發(fā)布細節(jié),為上層管理中間件提供支持。云計算資源池是云環(huán)境的有機組成部分,其概念是從云計算中延伸發(fā)展出來的,它將真實的物理資源通過虛擬化的方式進行統(tǒng)一管理和分配,是向用戶提供透明計算服務和數(shù)據(jù)存儲功能的大規(guī)模分布式系統(tǒng)。用戶只需關注最終結果,而無需了解這一結果產(chǎn)生的內(nèi)部具體細節(jié)。3云計算資源規(guī)劃模型3.1云計算環(huán)境下物理服務器集群從構成數(shù)據(jù)中心的基礎構件向上層應用的角度分析云計算環(huán)境中的資源,包括物理服務器(集群)、虛擬服務器(集群)、安全組、中間件/應用服務、調度域、數(shù)據(jù)中心等。數(shù)據(jù)中心資源之間包含相互關系,如圖2所示。云計算環(huán)境下的物理服務器集群由網(wǎng)絡、硬盤、內(nèi)存、CPU等組成。虛擬服務器集群可以把用戶服務請求透明地分配到合理的服務器上,當用戶訪問的服務器出現(xiàn)異常時,智能集群系統(tǒng)就會把用戶的任務請求轉移到正常工作的服務器上。3.2任務中心實現(xiàn)云計算工作環(huán)境下用戶任務調度管理工作流程如圖3所示,主要由三部分組成:用戶模塊、管理節(jié)點模塊、計算/存儲節(jié)點模塊。用戶提交任務到資源管理中心,判斷用戶任務類型和屬性,選擇適合任務特性的調度算法;然后把相關信息發(fā)送給任務管理中心,任務管理中心向計算節(jié)點提交任務,當計算節(jié)點處理結束后把執(zhí)行結果反饋給任務管理中心;任務管理中心再把計算結果返回給用戶。在云計算環(huán)境下,節(jié)點狀態(tài)監(jiān)控中心動態(tài)監(jiān)控計算/存儲節(jié)點信息和任務調度中心,在發(fā)生異常時及時采取相關處理措施。3.3調度域內(nèi)負載均衡及任務部署資源池是云計算的最關鍵技術之一,高效地調度云計算資源池中的資源有其重要的現(xiàn)實意義。云計算數(shù)據(jù)中心分為多個調度域,一個調度域內(nèi)包含有多臺物理機,一臺物理機含有多個CPU。(1)假定每一個物理服務器的負載屬性為Ai(CPU、內(nèi)存、網(wǎng)絡),物理服務器綜合負載均值為v,物理服務器綜合負載報警值為δ,當一臺物理服務器在時間t內(nèi)的平均負載率不高于δ=c+v(其中c為相對較小的常數(shù))時,我們認為物理服務器工作正常。(2)假定一個CPU的利用率為此CPU在時間t內(nèi)的平均利用率;一臺物理機上所有CPU的利用率的平均值為這臺物理機CPU利用率pc;一個調度域內(nèi)所有物理機的CPU利用率為調度域內(nèi)的CPU負載均值dc。依據(jù)物理機的CPU計算能力進行加權(wei)平均,得到CPU負載均值負載報警值δc=c+Vc。(3)假定一臺物理機內(nèi)存在時間t內(nèi)的平均利用率為mm,一個調度域內(nèi)所有物理機的內(nèi)存利用率為dm,物理機各自的內(nèi)存大小為mi,則得到內(nèi)存的負載平均值;負載報警值δm=c+Vm。(4)假定一臺物理機網(wǎng)絡在時間t內(nèi)的平均利用率為nn,一個調度域內(nèi)的物理機網(wǎng)絡利用率為dn,物理機各自的網(wǎng)絡帶寬為ni,則得到網(wǎng)絡的負載平均值;負載報警值δn=c+Vn。調度算法的主要思想是:根據(jù)事先設置的報警閾值判斷物理服務器狀態(tài)是否良好,如若存在異常則調整服務器;然后找出CPU(個數(shù)加權)、內(nèi)存、網(wǎng)絡相對這三個屬性的負載均值的方差最小的一個,如下所示:算法1云計算資源池調度管理輸出任務部署集群狀態(tài)(VM,IDi,PM)。(1)初始化:令MQ為報警隊列,AQ為人工優(yōu)化隊列,NQ為新任務隊列,VM為虛擬機集合,IDi為物理機號,PM為物理機集群,SVM為單VM任務。(2)ifMQ不為空(4)Endif(5)ifAQ不為空(6)將需要優(yōu)化的物理機IDi遷下VM,利用min(vi-優(yōu)化目標值)找出可以移除的虛擬機,將調度域內(nèi)的n個物理機列成n*(m+2)矩陣,利用公式(1)計算出負載均值方差最小的物理機,將移除的虛擬機部署在此物理機上。(7)Endif(8)ifNQ不為空(9)If任務類型為SVM(10)將調度域內(nèi)的n個物理機列成n*(m+2)矩陣,利用公式(1)計算出負載均值方差最小的物理機,輸出給執(zhí)行模塊,任務部署在此物理機上。(11)Else(12)將調度域內(nèi)的n個物理機集群列成n*(m+2)矩陣,以集群為單位利用公式(1)計算出負載均值方差最小的物理機集群,任務部署到此集群上。(13)Endif4資源池負載均衡度實驗結果本文實驗使用CloudSim平臺模擬云計算環(huán)境,我們約定云計算資源池中有100臺物理主機,用戶任務請求工作數(shù)量在300到1000之間,任務請求使用資源池按泊松流到達,又各作業(yè)使用云計算資源池的時間符合負指數(shù)分布。云計算資源綜合利用率乘積法是目前任務負載較好的算法之一,實驗中用資源池調度管理算法和綜合利用率乘積法作比較,設定報警物理機負載閾值為80%,手動優(yōu)化物理機綜合負載目標值設為50%,對比兩種算法在云計算環(huán)境下資源池負載的均衡度。如圖4所示,本文設計的云計算資源池模型在不同任務數(shù)量的情況下,其資源池負載均衡度均比利用率乘積法負載均衡度高。為了進一步測試作業(yè)排隊使用資源池策略的性能,圖5分別為綜合負載資源調度算法和綜合利用率乘積算法完成相同數(shù)量的任務所使用的時間分布情況。由圖5可見,綜合負載資源調度法與綜合利用率乘積法相比,執(zhí)行時相同數(shù)量的用戶任務所需的執(zhí)行時間更少,時間波動范圍更小,更具有時間可控性。仿真結果表明,本文的綜合負載資源調度更能有效地解決云計算環(huán)境下資源負載問題,使得云計算節(jié)點在高效完成任務的情況下,云計算資源負載均衡效果更好,有利于整個云計算環(huán)境正常工作。5利用主機的主機進行負載均衡的仿真本文介紹了云計算下資源池模型,分析了云計算資源調度流程和云計算環(huán)境下實體之間的關系。建立了一種云計算環(huán)境中資源調度算法,綜合考慮了云計算資源池中各種資源的綜合負載情況,采用人工加自動的虛擬機遷移技術實現(xiàn)云計算中物理服務器的負載均衡。仿真實驗表明云計算資源調度模型具有很好的效果。下一步我們將對云計算環(huán)境下任務的動態(tài)并