碩士學位論文 （專業(yè)學位） 姓 名： 學 號： 所在院系：軟件學院 職業(yè)類別：工程碩士 專業(yè)領域：軟件工程 指導教師： 副指導教師： 二一三年十二月 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 A in 2010 基于 人力資源管理系統(tǒng)的設計與實現(xiàn) 陳世軍 同濟大學 2013 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 同濟大學 學位論文版權使用授權書 本人完全了解同濟大學關于收集、保存、使用學位論文的規(guī)定，同意如下各項內(nèi)容：按照學校要求提交學位論文的印刷本和電子版本；學校有權保存學位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù)字化或其它手段保存論文；學校有權提供目錄檢索以及提供本學位論文全文或者部分的閱覽服務；學校有權按有關規(guī)定向國家有關部門或者機構送交論文的復印件和電子版；在不以贏利為目的的前提下，學?？梢赃m當復制論文的部分或全部內(nèi)容用于學術活動。 學位論文作者簽名： 年 月 日 同濟大學學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學位論文，是本人在導師指導下，進行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學位論文的研究成果不包含任何他人創(chuàng)作的、已公開發(fā)表或者沒有公開發(fā)表的作品的內(nèi)容。對本論文所涉及的研究工作做出貢獻的其他個人和集體，均已在文中以明確方式標明。本學位論文原創(chuàng)性聲明的法律責任由本人承擔。 學位論文作者簽名： 年 月 日 同濟大學 碩士學位論文 摘要 I 摘要 云計算是目前國內(nèi)外商業(yè)和科研機構研究的熱點之一，是網(wǎng)格計算、并行計算、分布式計算的發(fā)展，是一種新興的商業(yè)計算模式。它采用了成熟的虛擬化技術將數(shù)據(jù)中心的資源打包為互聯(lián)網(wǎng)上的用戶提供按需服務。作業(yè)調(diào)度與資源分配是云計算的兩個關鍵技術，云計算的商業(yè)性使其關注對用戶的服務質(zhì)量，其虛擬化技術使得資源分配和作業(yè)調(diào)度不同于以往的并行分布式計算。 本 文系統(tǒng)的、全面的研究了云計算技術，以社會學分配理論 關于分配性正義的伯格模型為理論基礎，提出了云環(huán)境下基于伯格模型的作業(yè)調(diào)度算法。該算法適應云計算商業(yè)化和虛擬化的特性，區(qū)別于傳統(tǒng)的作業(yè)調(diào)度算法注重效率的特點，在云環(huán)境下的作業(yè)調(diào)度過程中建立起雙重公平性約束。第一重約束是在云環(huán)境下將用戶任務按照 好分類，依據(jù)人元模型理論給出了任務描述，按照任務的分類在其主元部分加入任務的一般期待來約束資源選擇過程的公平性，給出了加入一般期待的任務與資源的映射方法。第二重約束是在云環(huán)境中定義了資源分配的公平性評判函數(shù)，對資 源分配結果的公平性進行評判，依據(jù)評判結果修正模型的參數(shù)，約束系統(tǒng)的公平性。對于具有多重 性的任務，本文應用人元分析理論給出了處理任務的多重一般期待的方法。最后，擴展了 現(xiàn)了本文提出的任務描述和基于伯格模型的作業(yè)調(diào)度算法，對 臺進行了重編譯生成，并在擴展后的 臺上實現(xiàn)了作業(yè)調(diào)度的仿真程序，對算法進行了模擬驗證和對比分析，實驗顯示該算法能夠有效的執(zhí)行用戶任務并體現(xiàn)出較好的公平性。 此外，本文結合伯格模型的均衡論研究了云環(huán)境下負載均衡的控制模式 ，為云環(huán)境下資源的負載均衡策略研究提供了借鑒方案。 關鍵詞 ： 云計算 ， 作業(yè) 調(diào)度 ， 資源管理 ， 類 I is of at of is an of It a to to on of it of to In a of to of on to on in in is to oS to to in to of a to of of to is in a to of of to of on of oS a of of to in of II of 濟大學 碩士學位論文 目錄 錄 第 1 章 引言 . 1 題背景與意義 . 1 內(nèi)外發(fā)展現(xiàn)狀 . 1 課題的主要研究內(nèi)容 . 3 課題的研究方法 . 4 文的組織結構 . 4 第 2 章 云計算相關技術簡介 . 5 計算技術介紹 . 5 格計算及其調(diào)度 . 5 計算簡介 . 7 計算體系結構 . 11 計算服務及應用 . 12 布式技術概要 . 14 布式相關技術簡介 . 14 程模型 . 16 平臺 . 18 計算環(huán)境下調(diào)度算法技術介紹 . 19 章小結 . 20 第 3 章 云計算環(huán)境下分布式任務調(diào)度算法 . 21 計算環(huán)境下分布式資源管理與作業(yè)調(diào)度 . 21 計算環(huán)境下虛擬機監(jiān)控代理 . 21 計算環(huán)境下 度策略 . 23 計算環(huán)境下分布式系統(tǒng)的 類 . 25 計算環(huán)境下伯格模型的作業(yè)調(diào)度 . 26 計算環(huán)境下 資源分配公平性判定約束 . 27 計算環(huán)境下資源選擇過程的一般期待約束 . 29 計算環(huán)境下分布式算法資源描述 . 29 計算環(huán)境下分布式作業(yè)任務描述 . 30 計算環(huán)境下分布式作業(yè)任務調(diào)度算法邏輯 . 33 章小結 . 34 第 4 章 云環(huán)境下分布式任務調(diào)度伯格模型的負載均衡 . 35 計算環(huán)境下分布式任務調(diào)度模型的建立 . 35 計算環(huán)境下分布式任務調(diào)度均衡失效的應激反應分析 . 36 計算環(huán)境下分布式任務調(diào)度的均衡恢復策略 . 37 同濟大學 碩士學位論文 目錄 V 章小結 . 38 第 5 章 云計算環(huán)境下分布式調(diào)度算法的實現(xiàn)及驗證與 應用 . 39 法的實現(xiàn) . 39 度算法實現(xiàn)的輔助仿真軟件 . 39 度算法實現(xiàn) . 40 法的驗證 . 42 境配置 . 42 真流程 . 43 驗結果及分析 . 44 法的應用 . 46 第 6 章 總結與展望 . 47 結 . 47 望 . 48 致謝 . 49 參考文獻 . 50 個人簡歷、在讀期間發(fā)表的學術論文與研究成 果 . 51 第 1章 引言 1 第 1 章 引言 題 背景與 意義 云計算 是近幾年發(fā)展起來的一種 新興的商業(yè) 計算模型， 它 采用將計算任務分布在由大量計算機搭建的云系統(tǒng)平臺上，使得任務能夠根據(jù)自身需求獲取相應的資源，如 存等各種服務。同時，這些云平臺上的云資源可以 很方便的通過網(wǎng)絡 提供 給需要使用云計算的用戶。然而在云計算環(huán)境下，大量的任務 需要大量的系統(tǒng)資源，如何在有限的資源環(huán)境中，對用 戶提交的海量任務進行分配資源以及有效的對資源進行調(diào)度成為當前云計算中所要解決的重要問題之一。 1 另 一方面， 在云計算環(huán)境中，對用戶群體提交的海量任務進行調(diào)度是云計算的關鍵所在，通常要將 N 個任務分配到 M 個工作單元中，如何將這 N 個任務合理的分配在 M 個工作單元，使得系統(tǒng)負載平衡成為一個 題，因此有效的解決云計算環(huán)境下分布式作業(yè)任務調(diào)度能夠影響云計算系統(tǒng)的性能。 2 目前，解決云計算環(huán)境中的任務調(diào)度問題的主要方法有 務調(diào)度算法及其簡單擴展、計算能力調(diào)度算法以及公平調(diào)度算法等，針對調(diào)度算法的研究已經(jīng) 成為科研熱點。同時分布式任務調(diào)度也影響著云計算平臺的性能，也是云計算服務質(zhì)量 (關鍵問題，值得研究。 通過對本課題的研究，能夠?qū)υ朴嬎阒蟹植际阶鳂I(yè)任務調(diào)度有一個更好的理解，并在此基礎上，能夠?qū)υ朴嬎惴植际阶鳂I(yè)任務調(diào)度算法進行有效的改進，提高云計算中資源利用率，從而達到工作單元負載平衡，最終使得云計算服務質(zhì)量(到有效提高。 本課題的研究能夠改善云計算環(huán)境中作業(yè)任務調(diào)度的負載平衡，提高云計算服務質(zhì)量，最終提高用戶使用的滿意度，進而達到良好社會效應。另外 一方面，本課題的研究通過優(yōu)化分布式任務調(diào)度，提高云計算集群的使用效率，最終為提供云計算服務的公司節(jié)省了服務成本，能取得良好的經(jīng)濟效益。 內(nèi)外發(fā)展現(xiàn)狀 目前，國內(nèi)外在云計算環(huán)境中針對分布式作業(yè)任務調(diào)度算法主要有以下幾個方面的研究。 (1) 傳統(tǒng)的作業(yè)調(diào)度算法。 在云計算環(huán)境中， 傳統(tǒng)的調(diào)度算法通常有 最小連接調(diào)度、 輪循調(diào)度、加權輪循調(diào)度、 源地址散列調(diào)度、目標地址散列調(diào)度 等。 這同濟大學 碩士學位論文 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 2 些算實現(xiàn)簡單， 但是在實際的 云計算 調(diào)度應用中性能表現(xiàn)不佳， 因此沒能得到廣泛的應用 。 3 (2) 啟發(fā)式調(diào)度算法。 啟發(fā)式調(diào)度算法 是目前 應用比較廣泛的尋找最優(yōu)解的算法， 將其引入云計算 環(huán)境下 分布式作業(yè)任務調(diào)度中，正好能夠 解決分布式 作業(yè)任務 的問題，能夠有效的提高云計算環(huán)境下作業(yè)任務調(diào)度的性能。目前，針對云計算 環(huán)境 啟發(fā)式調(diào)度算法的主要 研究算法 有 蟻群算法、遺傳算法等。 啟發(fā)式算法在實際使用的過程中，能夠很好的自適應系統(tǒng)，并能找到最優(yōu)解，但是它在尋求最優(yōu)解的過程中，求解過程非常繁雜，對系統(tǒng)性能要求較高，同時尋求最優(yōu)解的時間 可能較長，從而影響系統(tǒng)的整體性能。 4 (4) 基于 作業(yè)調(diào)度算法。 采用 術進行云計算環(huán)境下的作業(yè)任務 調(diào)度來源于人工智能，雖然人工智能早在 20 世紀 60 年代就被提出，但是 其真正發(fā)展卻在 20 世紀 90 年代 。 面向 技術能夠有效的描述并分析分布式系統(tǒng) ， 并且它能 在 云計算環(huán)境下作業(yè)任務調(diào)度 過程中智能學習 ，因此也得到了廣泛的研究。 在基于 任務調(diào)度中，可以將云計算系統(tǒng)看成多層 統(tǒng)的幾乎，并將云計算環(huán)境中每一個資源節(jié)點封裝成一個 此，針對云計算 環(huán)境下作業(yè)任務調(diào)度算法的研究 可以 簡化為在不同 間進行計算任務分配，并根據(jù)實際情況隨時調(diào)整 算難度 。同時，在每個 ， 也需要對子任務繼續(xù)進行分配 ，爭取達到最優(yōu) 。 5 (5) 基于經(jīng)濟學模型的調(diào)度算法。 云計算環(huán)境中的作業(yè)任務調(diào)度算法 可以看成是計算任務與系統(tǒng)資源 之間的分配，這與經(jīng)濟學模型十分相似 ：云計算系統(tǒng)資源相當于經(jīng)濟學 中 商品供應商， 為云計算用戶提供計算資源； 云計算中 的 用戶相當于經(jīng)濟學中 的商品消費者， 需要為自己的 使用的資源支付 相應的費用。因此，可以在云計算 調(diào)度算法中引入經(jīng)濟學模型，在云計算資源與與計算用戶之間建立市場機制，利用價格杠桿來調(diào)節(jié)用戶需求和資源分配，從而對云計算系統(tǒng)進行優(yōu)化并提高云計算效率 。 另外，與經(jīng)濟學模型調(diào) 度算法類似，利用資源與拍賣間類似的聯(lián)系，目前還有基于拍賣機制的作業(yè)調(diào)度算法模型。 6 (6) 其它 改進的 調(diào)度算法。 除了以上介紹的調(diào)度 算法以外， 還有一些針對原算法基礎上進行綜合和改進的作業(yè)任務調(diào)度算法 ，如加入新人機制、 束、優(yōu)先級等不同的余數(shù)條件對算法進行改進。同時，也有針對原算法進行 的 改進 ，最終提高云計算環(huán)境下作業(yè)任務調(diào)度的負載均衡。 另一方面，云計算作為目前最重要的新興技術，已經(jīng)引起了學術界和工業(yè)界的廣泛關注。在國外， 供了 程框架、 供了 、 經(jīng)開始出售自己的云計算服務 、 “藍云”提供端對端的云計算解決方案以及 出的云平臺 得到了廣泛的應 第 1章 引言 3 用。 相對于 國外的技術，國內(nèi)也開始緊隨其后開發(fā)了自己的云計算平臺，國內(nèi) 百度云，阿里巴巴推出了阿里云技術， 360 也推出了自己的云盤技術以及國內(nèi)其它的 商都對云計算展開了相應的研究。 針對目前各種云環(huán)境下作業(yè)任務調(diào)度算法來說，目前調(diào)度算法趨向于使用多種算法組合使用以及針對啟發(fā)式算法進行的各種改進，從而達到更 好的調(diào)度效果，最終使得云計算環(huán)境中的各項單元負載平衡。 課題的主要研究內(nèi)容 1. 云計算的發(fā)展及其面臨的問題 介紹云計算的發(fā)展歷程、云存儲發(fā)展，云計算技術，云計算的實現(xiàn)，云計算帶來的好處以及目前云計算所面臨的各種問題。 2. 研究 通過對當前的云計算核心框架平臺 行研究，并將為主要實驗技術，構建云平臺。 為當前最主要的當前云計算的核心技術，對其調(diào)度算法進行研究，能夠更加深入底層算法，從而對其進行改進 達到更好的調(diào)度目的。 為云存儲的核心平臺，它同時也利用 行底層調(diào)度，利用 為底層文件系統(tǒng)，對其進行研究，能夠有效掌握當前云計算的主流技術。 3. 分布式作業(yè)任務規(guī)劃調(diào)度算法研究 目前針對云計算分布式任務任務調(diào)度算法的研究有很多，只有對這些作業(yè)調(diào)度算法進行深入的研究和了解，才能更好的對其進行改進，從而提高云計算環(huán)境下的作業(yè)調(diào)度效果。 同時，這些主流算法中或多或少存在著一些問題，只有對這些問題進行進行深入研究，才能對其不足之處進行改進，并提出更好作業(yè)調(diào)度規(guī)劃，最終提高云計 算服務的效率。 4. 性能測試及分析 在當前環(huán)境下，搭建相應的實驗集群，對當前提出的算法進行測試，并進行算法比較和分析。 5. 關鍵技術 在云計算中，關鍵技術主要包括作業(yè)調(diào)度算法、 理技術以及術等。 同濟大學 碩士學位論文 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 4 課題的研究方法 本課題采取的研究方法是，對當前的主流調(diào)度算法進行研究，采取啟發(fā)式調(diào)度算法實現(xiàn)云計算環(huán)境下的分布式作業(yè)任務調(diào)度，從而提高云計算服務質(zhì)量，達到云計算中資源的調(diào)度平衡，最終達到更好的效果。 本課題的技術路線是，應用當前已較為成熟的 程框架，結 合存儲模式，在啟發(fā)式調(diào)度算法的基礎上，對算法進行改進，從而實現(xiàn)分布式作業(yè)任務調(diào)度。 本課題的實施方案是，在已搭建平臺的基礎上，對分布式任務作業(yè)調(diào)度算法進行運行測試，并對結果進行比較和分析，以得到更好的實驗驗證目的。 對本課題來說，雖然在云計算環(huán)境下分布式作業(yè)任務調(diào)度是一個難題，但是是目前針對云計算中的各種調(diào)度算法研究也非常的多，而且云計算的各種技術手段也日益成熟，因此只要能夠合理對問題進行分析，對調(diào)度算法進行合理的改進，最后一定可以達到預期的目標。 文的組織結構 本文共分為六個章節(jié)： 第一章，引言。 介紹了課題的背景與意義，國內(nèi)外現(xiàn)狀以及本課題的研究內(nèi)容和研究方法。 第二章， 云計算 相關技術介紹。 介紹了云計算相關技術、分布式技術以及云計算環(huán)境下的調(diào)度算法。 第三章， 云計算環(huán)境下任務調(diào)度 算法研究 。 介紹了云計算環(huán)境下的作業(yè)任務調(diào)度算法以及算法的邏輯結構 第四章， 云計算環(huán)境下 分布式任務調(diào)度 負載均衡研究 。 介紹了云計算環(huán)境下的分布式任務調(diào)度模型經(jīng)歷以及負載均衡策略。 第五章， 作業(yè)任務調(diào)度與結果分析 。 介紹了算法實現(xiàn)、算法驗證以及算法的應用。 第六章，總結與展望。 對本文進行總結，并對今后的工作進行展望。 第 2 章 云計算相關技術 簡介 5 第 2 章 云計算相關技術 簡介 云計算作為當前 科研研究的熱點， 引起了很多科研單位的關注 ，并取得了很大的進展 。 同時， 它作為一項新興的技術，也吸引了 各大 商 的注意，他們針對云計算 研究投入了大量的投資，并開始推廣自己的云計算 產(chǎn)品 。 云計算研究的關鍵是 針對云計算環(huán)境下 作業(yè)任務 調(diào)度算法 的 研究， 只有 了解云計算 的相關技術， 才能理解云計算的工作流程， 并對其調(diào)度算法進行規(guī)劃研究 。 本章 將 介紹云計算 的 相關技術，并做一個系統(tǒng)的闡述 。 計算技術介紹 格計算 及其調(diào)度 云計算是在網(wǎng)格計算的基礎上發(fā)展起來 的，所以在介紹云計算的同時，有必要先了解一下網(wǎng)格計算的相關技術 。 網(wǎng)格計算 是 分布式計算 的一種發(fā)展 ， 它 依據(jù)并行計算原理， 將 非常復雜的計算 任務進行分解， 并將分解的 子任務分配 給許多計算機進行處理， 最終將處理后的結構進行綜合，從而得到最終結果 ， 其原理圖如下圖 示。 計 算 任 務節(jié) 點 一總 節(jié) 點 節(jié) 點 二任 務 一任 務 二任 務 三節(jié) 點 三任 務計 算 結 果圖 格計算原理圖 從上圖中，可以看出， 網(wǎng)格計算 具有 注重計算任務、任務間的交互相對較少以及計算流程比較簡單 的特點。 另一方面 ， 它對網(wǎng)絡、內(nèi)存空間和 硬盤 需求不大，同濟大學 碩士學位論文 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 6 它只消耗 源。 因此 ，近年來，網(wǎng)格計算通常 借助于世界各地閑置的計算機，通過 取強大的計算能力 ，完成計算量龐大的項目。如分析太空的 電訊號、探索外星生命、尋找黑洞、 發(fā)現(xiàn)有效抵抗艾滋病毒的藥物以及 尋找 超過 1000 萬位的 梅森質(zhì)素 等 。 7 網(wǎng)格計算的 發(fā)展是伴隨著個人電腦的普及， 使得越來越多人擁有了自己電腦，同時也 使得 越來越多的電腦處于閑置狀態(tài)。 另一方面，現(xiàn)在硬件的發(fā)展速度遠遠大于軟件的發(fā)展速度，因此個人電腦在開機狀態(tài)， 資源也沒能完全利用。如果將這些網(wǎng)絡上閑置的 源 進行 整合 ，那么 肯定會成為相當 強大的計算 能力 。網(wǎng)格計算 正好可以利用這些閑置的個人計算資源，將計算量很大的任務合理的分配給網(wǎng)絡上的計算機進行處理， 同時， 將這些處理 完后的結果進行綜合歸納即可得到最終結果。 雖然 這種計算方式看起來難度有點大 ，但是 隨著參與的計算機越來越多， 網(wǎng)格 計算 的計算 速度 也會變得非常 迅速。如上圖的 示，任務通過總結點進行分配，最終分配到每個節(jié)點的任務量就很少， 因此計算量也就很容易實現(xiàn)了。 另外一方面， 為了讓更多的計算機參與到計算中來，可以采取 相應 的 激勵 制度 ，如最近非常流行的虛擬貨幣 質(zhì)數(shù)幣 (就是利用 閑置的 源進行“挖礦”，并對每個計算機節(jié)點提交的任務量進行 統(tǒng)計，當質(zhì)數(shù)計算出來時會分配相應的質(zhì)數(shù)幣作為獎勵 ，提交任務量越高的計算機獲得的質(zhì)數(shù)幣也就越多 。同時， 獲得的質(zhì)數(shù)幣還能在網(wǎng)上用于買賣， 利用這種激勵方式 相當于 “購買” 了用戶的 源 ，進而參與的人越來越多 。 與云計算類似，網(wǎng)格計算也存在著其作業(yè)任務調(diào)度， 網(wǎng)格計算任務調(diào)度是如何在總計算時間最小的 情況下，將任務分解成 n 個相互獨立的計算任務， 并 把 這n 個任務分配給 m 個獨立的計算單元，使得資源得到充分利用。 網(wǎng)格計算任務調(diào)度的目的是使 整個系統(tǒng)任務達到最優(yōu)調(diào)度，同時 提高整個系統(tǒng)的吞吐量，最終實現(xiàn)的主要目標是服務質(zhì)量 (負載均衡、最優(yōu)跨度、經(jīng)濟援助。 (1) 服務質(zhì)量 網(wǎng)格計算通過 映用戶對系統(tǒng)資源的需求，并依此來提供計算和存儲服務。 在網(wǎng)格系統(tǒng)進行任務管理調(diào)度時，一定要保證網(wǎng)站計算系統(tǒng)的服務質(zhì)量 ( 8 (2) 負載均衡。 在網(wǎng)格計算中 ，網(wǎng)格系統(tǒng)的負載均衡直接影響整個系統(tǒng) 中 資源的使用率，因此在對網(wǎng)格計算作業(yè)任務進行調(diào)度時，需要 考慮系統(tǒng)負載均衡。同時，負載均衡也是 影響著 分布式計算和并行計算 性能 的一個關鍵因素。 9 (3) 最優(yōu)跨度 。 跨度通常指 的是調(diào)度的長度，通俗的說，它是指的從任務從開始到最后所有任務結束所用的時間 。 因此對網(wǎng)格計算來說，達到 最優(yōu)跨度 是網(wǎng)格系統(tǒng)最常見也是最主要的目標。 10 第 2 章 云計算相關技術 簡介 7 (4) 經(jīng)濟原則。 由于網(wǎng)格系統(tǒng)地理分布廣泛，而資源 分布也不均衡，針對這些資源的使用的費用也不盡相同，因此在對網(wǎng)格計算進行作業(yè)任務調(diào)度時，也需在考慮前面服務質(zhì)量、負載均衡和最優(yōu)跨度的基礎上考慮 到計算任務的花費，這樣才能使得網(wǎng)格計算能夠可持續(xù)的發(fā)展下去 。 11 在網(wǎng)格計算的作業(yè)任務調(diào)度中，通?？紤]比較多的是負載均衡 ，它是網(wǎng)格計算中一個比較關鍵的問題。 負載均衡的 目的是使得計算任務合理的分配到網(wǎng)格系統(tǒng)中的各個節(jié)點，從而提高 整體資源的利用率和吞吐量。 通常描述負載均衡 的方法有： 搶先與非搶先、 實時與非實時和靜態(tài)與動態(tài)三個角度 (1) 搶先與非搶先 。 在網(wǎng)格計算中，通常對一個已經(jīng)分配的任務進行再度分配，從而達到負載均衡的目的，叫搶先；而 對 已經(jīng)分配好的任務不再進行調(diào)度分配，叫非搶先。搶先的方式能夠?qū)θ蝿赵僬{(diào)度分配，可以更加合理的對資源進行利用，然而 它也增加了系統(tǒng)的復雜性和調(diào)度的難度。 12 (2) 實時與非實時。 在網(wǎng)格計算中，作業(yè)任務調(diào)度的目的是使得任務在規(guī)定的時間內(nèi)完成，負 載均衡的目的是為了完成規(guī)定時間內(nèi)的任務，這種方式為實時調(diào)度。 常見的實時系統(tǒng)中負載均衡算法有： 時間間隔受限調(diào)度、動態(tài)基于優(yōu)先級的調(diào)度、靜態(tài)基于優(yōu)先級的調(diào)度以及基于時間的調(diào)度等。 而非實時系統(tǒng)主要目的是 利用負載均衡 提高系統(tǒng)的性能 ，以負載均衡作為衡量系統(tǒng) 性能 的主要指標。 13 (3) 靜態(tài)與動態(tài)。 在網(wǎng)格計算中，負載均衡的靜態(tài)與動態(tài)的區(qū)分是根據(jù)調(diào)度算法是試用的靜態(tài)算法還是動態(tài)算來來劃分的，這是根據(jù)作業(yè)任務調(diào)度決策的時機來劃分的。 所謂靜態(tài)算法，是依據(jù)網(wǎng)格系統(tǒng)的基本信息情況，提前分配任務然后開始運行系統(tǒng)，它 可以 分為求最 優(yōu)解和次優(yōu)解的問題。 而動態(tài)算法則是在系統(tǒng)運行后，實時根據(jù)系統(tǒng)現(xiàn)狀，對系統(tǒng)進行調(diào)度，合理的分配負載信息。 動態(tài)算法雖然能夠根據(jù)當前情況進行決策，但是增加了系統(tǒng)的開銷，它可以分為 分布式調(diào)度和集中式調(diào)度兩種。 14 綜上所述，對網(wǎng)格計算下的負載均衡需要從 以下三方面考慮：一是負載評價，即對系統(tǒng)中負載的評價和系統(tǒng)中所有節(jié)點的評價；二是調(diào)度算法，即網(wǎng)格計算必須根據(jù)當前需求選擇合適的算法；三是二次調(diào)度，即當系統(tǒng)中負載均衡 不穩(wěn)定或失效時 ，需要對任務進行重新分配達到新的負載平衡。 計算簡介 從上文中，我們對網(wǎng)格 計算 有了一定的了解，云計算是在網(wǎng)格計算的基礎上發(fā)展起來的， 它與網(wǎng)格計算有著密不可分的關系 ，特別是在云計算的調(diào)度問題上，也同樣面臨著和網(wǎng)格計算類似的問題。因此對網(wǎng)格計算的了解有利于我們加深對同濟大學 碩士學位論文 云計算環(huán)境下的分布式作業(yè)任務調(diào)度算法研究與應用 8 云計算的了解。 云計算的發(fā)展，離不開大數(shù)據(jù)的發(fā)展。據(jù)不完全統(tǒng)計，在 一天產(chǎn)生的數(shù)據(jù)需要 張 儲，全球一天發(fā)出近 3000 億封 時數(shù)據(jù)等級已經(jīng)從現(xiàn)在的 024G)升級到 024 024024 際數(shù) 據(jù)公司 )統(tǒng)計表明： 2010 年全球產(chǎn)生 據(jù)、2011 年全球產(chǎn)生 據(jù)。而全球所有書籍、印刷品的全部數(shù)據(jù)量也才 200以要對這么龐大的數(shù)據(jù)量進行分析，普通的計算機是無法勝任的，因此云計算的技術才伴隨著云時代的來臨而發(fā)展。 通常來說，我們把網(wǎng)絡稱作為“云 ” ，因此云計算 就是利用 因特網(wǎng)中的各種可被利用的 計算 系統(tǒng)資源 ，以第三方擁有的資源提供用戶所需求的計算服務，這就是云計算的基本定義。 從技術上來說，云計算是并行計算、分布式計算和網(wǎng)格計算的一種發(fā)展， 它 是一種新的計算模式，它通過 利用 云計算數(shù)據(jù) 中心的 資源 (數(shù)據(jù)、應用、 源 )作為服務 提供給用戶使用。 同時，云計算也是 一種管理 框架，它通過把互聯(lián)網(wǎng)上高度 自治的虛擬化資源統(tǒng)一起來，組成一個計算能力 強大的資源池，并以此來對用戶提供服務。 那么云計算的核心技術是什么？ 云計算是由網(wǎng)格計算 (并行計算 (分布式計算 (基礎上發(fā)展而來的，也可以說它是這些計算的 商業(yè)實現(xiàn)模式 。 云計算是通過 將計算 任務分配給不同地區(qū)部署的 分布式計算 機，使得 用戶使用這些計算機就像在本地使用一樣。 因此 云計算的核心技術也由這幾種關鍵性技術組成，示。 云 計 算C l o u d C o m p u t i n 算 服 務I a a S 、 P a a S 、 S a a 計 算G r i d C o m p u t i n g / S O 化V i r t u a l i z a t i o 計 算C l u s t e r C o m p u t i n 計 算P a r t i t i o n C o m p u t i n 計算核心服務 由上圖 ，我們可以看出 云計算 提供不同層面的技術 和服務，具體來說，第 2 章 云計算相關技術 簡介 9 有以下三種表現(xiàn)形式： 基礎即服務 (as a 平臺即服務(as a 及 軟件即服務 (as a (1) 基礎即服務 ( 這種 云計算 服務 模式 即為用戶通過使用云計算服務商提供的各種 計算機基礎設施從而獲取相應的服務。 典型的應用如 存儲等。 15 (2) 平臺即服務 ( 這種云計算服務模式 指的 是 云 計算 服務商 通過 把相應的軟件開發(fā)平臺或者服務器平臺作為 服務提供給用戶。 典型的應用如萬網(wǎng)的云服務器。 16 (3) 軟件即服務 (這種云計算服務模式 指的是 用戶無需購買昂貴的軟件，僅需要支付相對低廉的費用，即可獲得云計算服務商提供的軟件服務 。 這種服務的優(yōu)勢在于： 用戶利用 可使用軟件， 而將軟件的管理 、 維護 以及安全 交給云計算服務商，從而 提高了工作效率。典型的應用如 在線 用程序 。 17 雖然云計算分成了 三種服務形式，但是在具體應用上，這三種服務是相輔相成，云服務商通過提供基礎服務的同時，才能為用戶提供開發(fā)平臺和相應的軟件 服務 ； 平臺服務 建立在計算機基礎服務上，同時它也為軟件服務提供相應的平臺 ； 軟件服務也建立在平臺服務和基礎服務的基礎上，沒有平臺和計算機基礎 設施 ，軟件服務也沒辦法實現(xiàn)。 它們的關系如下圖 示。 軟 件 即 服 務( S a a S )平 臺 即 服 務( P a a S )基 礎 即 服 務( I a a S )計算服務類型 同時，在云計算 系統(tǒng) 內(nèi)部，虛擬化技術是云計算的關鍵 ，本文研究的云計算環(huán)境下分布式作業(yè)任務調(diào)度算法研究與應用 也是在虛擬化基礎上實現(xiàn)的 ，而虛擬化部僅僅反應在云計算服務器虛擬化上，它還體現(xiàn)在存儲和網(wǎng)絡虛擬化中。 其虛擬化關系圖如下圖 示。 在圖中 ， 云計算系統(tǒng)虛擬化針對服務器虛擬化