1、云計(jì)算應(yīng)用實(shí)例IBM公司于2007年底宣布了云計(jì)算計(jì)劃，云計(jì)算的概念出現(xiàn)在大眾面前。本文簡(jiǎn)要介紹云計(jì)算概念的理解及主要應(yīng)用實(shí)例。 一、深入理解云計(jì)算在IBM的技術(shù)白皮書(shū) “Cloud Computing”中對(duì)云計(jì)算定義：“云計(jì)算一詞用來(lái)同時(shí)描述一個(gè)系統(tǒng)平臺(tái)或者一種類型的應(yīng)用程序。一個(gè)云計(jì)算的平臺(tái)按需進(jìn)行動(dòng)態(tài)地部署 （provision）、配置（configuration）、重新配置（reconfigure）以及取消服務(wù)（deprovision）等。在云計(jì)算 平臺(tái)中的服務(wù)器可以是物理的服務(wù)器或者虛擬的服務(wù)器。高級(jí)的計(jì)算云通常包含一些其他的計(jì)算資源，例如存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SANs）。網(wǎng)絡(luò)設(shè)備，防火墻以

2、及其他 安全設(shè)備等。云計(jì)算在描述應(yīng)用方面，它描述了一種可以通過(guò)互聯(lián)網(wǎng)Intemet進(jìn)行訪問(wèn)的可擴(kuò)展的應(yīng)用程序?！霸茟?yīng)用”使用大規(guī)模的數(shù)據(jù)中心以及功能強(qiáng)勁 的服務(wù)器來(lái)運(yùn)行網(wǎng)絡(luò)應(yīng)用程序與網(wǎng)絡(luò)服務(wù)。任何一個(gè)用戶可以通過(guò)合適的互聯(lián)網(wǎng)接入設(shè)備以及一個(gè)標(biāo)準(zhǔn)的瀏覽器就能夠訪問(wèn)一個(gè)云計(jì)算應(yīng)用程序?！鄙鲜龆x給出了云計(jì)算兩個(gè)方面的含義：一方面描述了基礎(chǔ)設(shè)施，用來(lái)構(gòu)造 應(yīng)用程序，其地位相當(dāng)于PC機(jī)上的操作系統(tǒng)：另一方面描述了建立在這種基礎(chǔ)設(shè)施之上的云計(jì)算應(yīng)用。在與網(wǎng)格計(jì)算的比較上，網(wǎng)格程序是將一個(gè)大任務(wù)分解成很 多小任務(wù)并行運(yùn)行在不同的集群以及服務(wù)器上，注重科學(xué)計(jì)算應(yīng)用程序的運(yùn)行。而云計(jì)算是一個(gè)具有更廣泛含義的計(jì)

3、算平臺(tái)，能夠支持非網(wǎng)格的應(yīng)用，例如支持網(wǎng)絡(luò) 服務(wù)程序中的前臺(tái)網(wǎng)絡(luò)服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器三層應(yīng)用程序架構(gòu)模式，以及支持當(dāng)前Web 2.0模式的網(wǎng)絡(luò)應(yīng)用程序。云計(jì)算是能夠提供動(dòng)態(tài)資源池、虛擬化和高可用性的下一代計(jì)算平臺(tái)?，F(xiàn)有的云計(jì)算實(shí)現(xiàn)使用的技術(shù)體現(xiàn)了以下3個(gè)方面的特征：1、 硬件基礎(chǔ)設(shè)施架構(gòu)在大規(guī)模的廉價(jià)服務(wù)器集群之上。與傳統(tǒng)的性能強(qiáng)勁但價(jià)格昂貴的大型機(jī)不同，云計(jì)算的基礎(chǔ)架構(gòu)大量使用了廉價(jià)的服務(wù)器集群，特別是x86架構(gòu)的服務(wù)器。節(jié)點(diǎn)之間的巨聯(lián)網(wǎng)絡(luò)一般也使用普遍的千兆以太網(wǎng)。2、 應(yīng)用程序與底層服務(wù)協(xié)作開(kāi)發(fā)，最大限度地利用資源。傳統(tǒng)的應(yīng)用程序建立在完善的基礎(chǔ)結(jié)構(gòu)，如操作系統(tǒng)之上，利用底層

4、提供的服務(wù)來(lái)構(gòu)造應(yīng)用。而云計(jì)算為了更好地利用資源，采用了底層結(jié)構(gòu)與上層應(yīng)用共同設(shè)計(jì)的方法來(lái)完善應(yīng)用程序的構(gòu)建。3、 通過(guò)多個(gè)廉價(jià)服務(wù)器之問(wèn)的冗余，使用軟件獲得高可用性。由于使用了廉價(jià)的服務(wù)器集群，節(jié)點(diǎn)的失效將不可避免。并且會(huì)有節(jié)點(diǎn)同時(shí)失效的問(wèn)題。為此，在軟件設(shè)計(jì)上需要考慮節(jié)點(diǎn)之間的容錯(cuò)問(wèn)題，使用冗余的節(jié)點(diǎn)獲得高可用性。 通過(guò)上面的技術(shù)手段，云計(jì)算達(dá)到了兩個(gè)分布式計(jì)算的重要目標(biāo)：可擴(kuò)展性和高可用性?？蓴U(kuò)展性表達(dá)了云計(jì)算能夠無(wú)縫地?cái)U(kuò)展到大規(guī)模的集群之上，甚至包含數(shù) 千個(gè)節(jié)點(diǎn)同時(shí)處理。高可用性代表了云計(jì)算能夠容忍節(jié)點(diǎn)的錯(cuò)誤，甚至有很大一部分節(jié)點(diǎn)發(fā)生失效也不會(huì)影響程序的正確運(yùn)行。二、云計(jì)算應(yīng)用實(shí)例1、

5、Google的云計(jì)算平臺(tái)應(yīng)用實(shí)例 Google公司有一套專屬的云計(jì)算平臺(tái)，這個(gè)平臺(tái)先是為Google最重要的搜索應(yīng)用提供服務(wù)，現(xiàn)在已經(jīng)擴(kuò)展到其他應(yīng)用程序。Google的云計(jì)算基 礎(chǔ)架構(gòu)模式包括4個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：Google File Systemt分布式文件系統(tǒng)，針對(duì)Google應(yīng)用程序的特點(diǎn)提出的MapReduce編程模式，分布式的鎖機(jī)制Chubby以及Google開(kāi)發(fā)的模 型簡(jiǎn)化的大規(guī)模分布式數(shù)據(jù)庫(kù)BigTable。Google File System文件系統(tǒng)（GFS）：除了性能，可伸縮性、可靠性以及可用性以外，GFS設(shè)計(jì)還受到Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響。體現(xiàn)在

6、4個(gè)方 面：1）充分考慮到大量節(jié)點(diǎn)的失效問(wèn)題，需要通過(guò)軟件將容錯(cuò)以及自動(dòng)恢復(fù)功能集成在系統(tǒng)中；2）構(gòu)造特殊的文件系統(tǒng)參數(shù)，文件通常大小以G字節(jié)計(jì)，并包含 大量小文件；3）充分考慮應(yīng)用的特性，增加文件追加操作，優(yōu)化順序讀寫(xiě)速度；4）文件系統(tǒng)的某些具體操作不再透明，需要應(yīng)用程序的協(xié)助完成。MapReduce分布式編程環(huán)境：Google構(gòu)造 MapReduce編程規(guī)范來(lái)簡(jiǎn)化分布式系統(tǒng)的編程。應(yīng)用程序編寫(xiě)人員只需將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問(wèn)題，包括可靠性和可擴(kuò)展性，則交由 平臺(tái)來(lái)處理。MapReduce通過(guò)“Map（映射）”和“Reduce（化簡(jiǎn)）”這樣兩個(gè)簡(jiǎn)單的概念來(lái)構(gòu)成運(yùn)算基本單元，

7、用戶只需提供自己的Map函數(shù) 以及Reduce函數(shù)即可并行處理海量數(shù)據(jù)。為了進(jìn)一步理解MapReduce的編程方式，下面給出一個(gè)基于MapReduce編程方式的程序偽代碼。程 序功能是統(tǒng)計(jì)文本中所有單詞出現(xiàn)的次數(shù)。分布式的大規(guī)模數(shù)據(jù)庫(kù)管理系統(tǒng)BigTable：由于一部分 Google應(yīng)用程序需要處理大量的格式化以及半格式化數(shù)據(jù)，Google構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng)BigTablet。BigTable的 應(yīng)用包括Search History，Maps，Orkut，RSS閱讀器等。BigTable是客戶端和服務(wù)器端的聯(lián)合設(shè)計(jì)，使得性能能夠最大程度地符合應(yīng)用的需求。BigTable系統(tǒng)依

8、賴于集群系統(tǒng)的底層結(jié)構(gòu)。一個(gè)是分布式的集群任務(wù)調(diào)度器，一個(gè)是前述的Google文件系統(tǒng)，還有一個(gè)分布式的鎖服務(wù)Chubby。Chubby是一個(gè)非常魯棒的粗粒度鎖，BigTable使用 Chubby來(lái)保存根數(shù)據(jù)表格的指針，即用戶可以首先從Chubby鎖服務(wù)器中獲得根表的位置，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)。BigTable使用一臺(tái)服務(wù)器作為 主服務(wù)器，用來(lái)保存和操作元數(shù)據(jù)。主服務(wù)器除了管理元數(shù)據(jù)之外，還負(fù)責(zé)對(duì)tablet服務(wù)器（即一般意義上的數(shù)據(jù)服務(wù)器）進(jìn)行遠(yuǎn)程管理與負(fù)載調(diào)配?？蛻舳?通過(guò)編程接口與主服務(wù)器進(jìn)行元數(shù)據(jù)通信，與tablet服務(wù)器進(jìn)行數(shù)據(jù)通信。以上是Google內(nèi)部云計(jì)算基礎(chǔ)平臺(tái)的4個(gè)主要部分。

9、Google還構(gòu)建其他云計(jì)算組件，包括一個(gè)領(lǐng)域描述語(yǔ)言以及分布式鎖服務(wù)機(jī)制等。2、IBM“藍(lán)云"計(jì)算平臺(tái)應(yīng)用實(shí)例IBM的“藍(lán)云”計(jì)算平臺(tái)是一套軟、硬件平臺(tái)，將Internet上使 用的技術(shù)擴(kuò)展到企業(yè)平臺(tái)上，使得數(shù)據(jù)中心使用類似于互聯(lián)網(wǎng)的計(jì)算環(huán)境?！八{(lán)云”大量使用了IBM先進(jìn)的大規(guī)模計(jì)算技術(shù)，結(jié)合了IBM自身的軟、硬件系統(tǒng)以 及服務(wù)技術(shù)，支持開(kāi)放標(biāo)準(zhǔn)與開(kāi)放源代碼軟件?！八{(lán)云”基于IBM Almaden研究中心的云基礎(chǔ)架構(gòu)，采用了Xen和PowerVM虛擬化軟件，Linux操作系統(tǒng)映像以及Hadoop軟件（Google File System以及MapReduce的開(kāi)源實(shí)現(xiàn)）。IBM已經(jīng)

10、正式推出了基于x86芯片服務(wù)器系統(tǒng)的“藍(lán)云”產(chǎn)品?！八{(lán)云”計(jì)算平臺(tái)由一個(gè)數(shù)據(jù)中心、IBM Tivoli部署管理軟件（Tivoli provisioning manager）、IBMTivoli監(jiān)控軟件（IBM Tivoli monitoring）、IBM WebSphere應(yīng)用服務(wù)器、IBM DB2數(shù)據(jù)庫(kù)以及一些開(kāi)源信息處理軟件和開(kāi)源虛擬化軟件共同組成?！八{(lán)云”的硬件平臺(tái)環(huán)境與一般的x86服務(wù)器集群類似，使用刀片的方式增加了計(jì)算密度。 “藍(lán)云”軟件平臺(tái)的特點(diǎn)主要體現(xiàn)在虛擬機(jī)以及對(duì)于大規(guī)模數(shù)據(jù)處理軟件Apache Hadoop的使用上。Hadoop是開(kāi)源版本的Google File System

11、軟件和MapReduce編程規(guī)范?！八{(lán)云”計(jì)算平臺(tái)中的虛擬化技術(shù)：“藍(lán)云”軟件的一個(gè)重要特點(diǎn)是虛擬化 技術(shù)的使用。虛擬化的方式在“藍(lán)云”中有兩個(gè)級(jí)別，一個(gè)是在硬件級(jí)別上實(shí)現(xiàn)虛擬化，另一個(gè)是通過(guò)開(kāi)源軟件實(shí)現(xiàn)虛擬化。硬件級(jí)別的虛擬化可以使用IBM P系列的服務(wù)器，獲得硬件的邏輯分區(qū)LPAR（logic partition）。邏輯分區(qū)的CPU資源能夠通過(guò)IBM Enterprise Workload Manager來(lái)管理。通過(guò)這樣的方式加上在實(shí)際使用過(guò)程中的資源分配策略，能夠使相應(yīng)的資源合理地分配到各個(gè)邏輯分區(qū)。P系列系統(tǒng)的邏輯分區(qū)最小粒度是 1/10顆中央處理器（CPU）。Xen則是軟件級(jí)別上的虛

12、擬化，能夠在Linux基礎(chǔ)上運(yùn)行另外一個(gè)操作系統(tǒng)。虛擬機(jī)是一類特殊的軟件，能夠完全模擬硬件的執(zhí)行，運(yùn)行不經(jīng)修改的完整 的操作系統(tǒng)，保留了一整套運(yùn)行環(huán)境語(yǔ)義。通過(guò)虛擬機(jī)的方式。在云計(jì)算平臺(tái)上獲得如下一些優(yōu)點(diǎn)：（1）云計(jì)算的管理平臺(tái)能夠動(dòng)態(tài)地將計(jì)算平臺(tái)定位到所需要的 物理節(jié)點(diǎn)上，而無(wú)須停止運(yùn)行在虛擬機(jī)平臺(tái)上的應(yīng)用程序，進(jìn)程遷移方法更加靈活；（2）降低集群電能消耗，將多個(gè)負(fù)載不是很重的虛擬機(jī)計(jì)算節(jié)點(diǎn)合并到同一個(gè)物理節(jié)點(diǎn)上，從而能夠關(guān)閉空閑的物理節(jié)點(diǎn)，達(dá)到節(jié)約電能的目的；（3）通過(guò)虛擬機(jī)在不同物理節(jié)點(diǎn)上的動(dòng)態(tài)遷移，遷移了整體的虛擬運(yùn)行環(huán)境，能夠獲得與應(yīng)用無(wú)關(guān)的負(fù)載平衡性能；（4）在部署上也更加靈活，即

13、可以將虛擬機(jī)直接部署到物理計(jì)算平臺(tái)上，而虛擬機(jī)本身就包括了相應(yīng)的操作系統(tǒng)以及相應(yīng)的應(yīng)用軟件，直接將大量的虛擬機(jī)映像復(fù)制到對(duì)應(yīng)的物理節(jié)點(diǎn)即可?！八{(lán)云”計(jì)算平臺(tái)中的存儲(chǔ)體系結(jié)構(gòu)：“藍(lán)云”計(jì)算平臺(tái)中的存儲(chǔ)體系結(jié)構(gòu) 對(duì)于云計(jì)算來(lái)說(shuō)也是非常重要的，無(wú)論是操作系統(tǒng)、服務(wù)程序還是用戶的應(yīng)用程序的數(shù)據(jù)都保存在存儲(chǔ)體系中。“藍(lán)云”存儲(chǔ)體系結(jié)構(gòu)包含類似于Google File System的集群文件系統(tǒng)以及基于塊設(shè)備方式的存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN。在設(shè)計(jì)云計(jì)算平臺(tái)的存儲(chǔ)體系結(jié)構(gòu)時(shí)，不僅僅是需要考慮存儲(chǔ)容最的問(wèn)題。 實(shí)際上，隨著硬盤(pán)容量的不斷擴(kuò)充以及硬盤(pán)價(jià)格的不斷下降?？梢酝ㄟ^(guò)組合多個(gè)磁盤(pán)獲得很大的磁盤(pán)容量。相對(duì)于磁盤(pán)的

14、容量，在云計(jì)算平臺(tái)的存儲(chǔ)中，磁盤(pán)數(shù)據(jù)的 讀寫(xiě)速度是一個(gè)更重要的問(wèn)題，因此需要對(duì)多個(gè)磁盤(pán)進(jìn)行同時(shí)讀寫(xiě)。這種方式要求將數(shù)據(jù)分配到多個(gè)節(jié)點(diǎn)的多個(gè)磁盤(pán)當(dāng)中。為達(dá)到這一目的，存儲(chǔ)技術(shù)有兩個(gè)選擇， 一個(gè)是使用類似于Google File System的集群文件系統(tǒng)。另一個(gè)是基于塊設(shè)備的存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN系統(tǒng)。在藍(lán)云計(jì)算平臺(tái)上，SAN系統(tǒng)與分布式文件系統(tǒng)（例如Google File System）并不是相互對(duì)立的系統(tǒng)，SAN提供的是塊設(shè)備接口。需要在此基礎(chǔ)上構(gòu)建文件系統(tǒng)，才能被上層應(yīng)用程序所使用。而Google File System正好是一個(gè)分布式的文件系統(tǒng)，能夠建立在SAN之上。兩者都能提供可靠性、可擴(kuò)

15、展性，至于如何使用還需要由建立在云計(jì)算平臺(tái)上的應(yīng)用程序來(lái)決 定，這也體現(xiàn)了計(jì)算平臺(tái)與上層應(yīng)用相互協(xié)作的關(guān)系。 3、Amazon的彈性計(jì)算云應(yīng)用實(shí)例 Amazon是互聯(lián)網(wǎng)上最大的在線零售商，每天負(fù)擔(dān)著大量的網(wǎng)絡(luò)交易，同時(shí)Amazon也為獨(dú)立軟件開(kāi)發(fā)人員以及開(kāi)發(fā)商提供云計(jì)算服務(wù)平臺(tái)。 Amazon將他們的云計(jì)算平臺(tái)稱為彈性計(jì)算云（elastic compute cloud，簡(jiǎn)稱EC2），是最早提供遠(yuǎn)程云計(jì)算平臺(tái)服務(wù)的公司。Amazon將自己的彈性計(jì)算云建立在公司內(nèi)部的大規(guī)模集群計(jì)算的平臺(tái)上，而用戶可以通 過(guò)彈性計(jì)算云的網(wǎng)絡(luò)界面去操作在云計(jì)算平臺(tái)上運(yùn)行的各個(gè)實(shí)例（instance）。用戶使用實(shí)例的付

16、費(fèi)方式由用戶的使用狀況決定，即用戶只需為自己所使用 的計(jì)算平臺(tái)實(shí)例付費(fèi)，運(yùn)行結(jié)束后計(jì)費(fèi)也隨之結(jié)束。這里所說(shuō)的實(shí)例即是由用戶控制的完整的虛擬機(jī)運(yùn)行實(shí)例。通過(guò)這種方式，用戶不必自己去建立云計(jì)算平臺(tái)。節(jié) 省了設(shè)備與維護(hù)費(fèi)用。Amazon的彈性計(jì)算云由名為Amazon網(wǎng)絡(luò)服務(wù)（Amazon Web services）的現(xiàn)有平臺(tái)發(fā)展而來(lái)。2006年3月，Amazon發(fā)布了簡(jiǎn)單存儲(chǔ)服務(wù)（simple storage service，簡(jiǎn)稱S3），用戶使用SOAP協(xié)議存放和獲取自己的數(shù)據(jù)對(duì)象。在2007年7月，Amazon公司推出了簡(jiǎn)單隊(duì)列服務(wù) （simplequeue service，簡(jiǎn)稱SQS），這項(xiàng)服務(wù)

17、能夠使得托管虛擬主機(jī)之間發(fā)送的消息。支持分布式程序之間的數(shù)據(jù)傳遞，無(wú)須考慮消息丟失的問(wèn)題。Amazon又繼 續(xù)提供了EBS（elastic block storage）服務(wù)，為用戶提供塊級(jí)別的存儲(chǔ)接口。在提供這些基礎(chǔ)設(shè)施的同時(shí)，Amazon公司開(kāi)發(fā)了彈性計(jì)算云EC2系統(tǒng)，開(kāi)放給外部開(kāi)發(fā)人員使用。彈性計(jì)算云用戶使用客戶端通過(guò)SOAP over HTTPS協(xié)議與Amazon彈性計(jì)算云內(nèi)部的實(shí)例進(jìn)行交互。這樣，彈性計(jì)算云平臺(tái)為用戶或者開(kāi)發(fā)人員提供了一個(gè)虛擬的集群環(huán)境，在用戶具有充分靈活性的 同時(shí)，也減輕了云計(jì)算平臺(tái)擁有者（Amazon公司）的管理負(fù)擔(dān)。彈性計(jì)算云中的每一個(gè)實(shí)例代表一個(gè)運(yùn)行中的虛擬機(jī)。

18、用戶對(duì)自己的虛擬機(jī)具有完整的訪問(wèn)權(quán) 限，包括針對(duì)此虛擬機(jī)操作系統(tǒng)的管理員權(quán)限虛擬機(jī)的收費(fèi)也是根據(jù)虛擬機(jī)的能力進(jìn)行費(fèi)用計(jì)算的，實(shí)際上，用戶租用的是虛擬的計(jì)算能力?？偠灾珹mazon通過(guò)提供彈性計(jì)算云，滿足了小規(guī)模軟件開(kāi)發(fā)人員對(duì)集群系統(tǒng)的需求，減小了維護(hù)負(fù)擔(dān)。其收費(fèi)方式相對(duì)簡(jiǎn)單明了：用戶使用多少資源，只需為這一部分資源付費(fèi)即可。為了彈性計(jì)算云的進(jìn)一步發(fā)展，Amazon規(guī)劃了如何在云計(jì)算平臺(tái)基礎(chǔ)上幫助用戶開(kāi)發(fā)網(wǎng)絡(luò)化的應(yīng)用程序。除了網(wǎng)絡(luò)零售業(yè)務(wù)以外，云計(jì)算也是Amazon公司的核心價(jià)值所在，必然會(huì)在彈性計(jì)算云的平臺(tái)上添加更多的網(wǎng)絡(luò)服務(wù)組件模塊，為用戶構(gòu)建云計(jì)算應(yīng)用提供方便。 三、云計(jì)算系統(tǒng)間的特性比較 從用戶的角度 來(lái)看，云計(jì)算系統(tǒng)將各種數(shù)據(jù)包括用戶數(shù)據(jù)都通過(guò)網(wǎng)絡(luò)保存到遠(yuǎn)端的云存儲(chǔ)平臺(tái)上，減小了用戶對(duì)于數(shù)據(jù)管理的負(fù)擔(dān)；同時(shí)，云計(jì)算系統(tǒng)也將處理數(shù)據(jù)的服務(wù)程序通 過(guò)遠(yuǎn)程的大規(guī)模云計(jì)算處理平臺(tái)進(jìn)行，能夠負(fù)擔(dān)大量數(shù)據(jù)的處理工作可以說(shuō)，云計(jì)算是數(shù)據(jù)共享計(jì)算模式與服務(wù)共享計(jì)算模式的結(jié)合體，是下一代計(jì)算模式的發(fā)展 方向。各個(gè)云計(jì)算平臺(tái)各自具有不同的特點(diǎn)特別是在平臺(tái)的使用上，透明計(jì)算平 臺(tái)為用戶同時(shí)提供了用戶實(shí)際接觸的客戶端節(jié)點(diǎn)以及無(wú)法接觸的遠(yuǎn)程虛擬存儲(chǔ)服務(wù)器。是一個(gè)半公開(kāi)的環(huán)境Google的云計(jì)算平臺(tái)環(huán)境是私有的環(huán)境，除了開(kāi)