1、云計算技術綜述摘要：云計算是“以互聯(lián)網為載體，利用虛擬化等手段整合大規(guī)模分布式可配置的計算資源。使其以服務的方式提供給用戶，滿足用戶按需使用的計算模式”，然后從計算模式、科學研究、社會發(fā)展等多個維度闡明了云計算作為現(xiàn)代計算技術發(fā)展的必然產物所具備的發(fā)展意義，總結了國內外產業(yè)界、學術界、政府機構等在云計算方面的最新研究進展，深入分析了云計算研究過程中的重點和難點，最后指出了云計算未來的發(fā)展趨勢。關鍵詞：云計算；虛擬化；海量數(shù)據(jù)處理引言所謂云計算，簡單地說就是以虛擬化技術為基礎，以網絡為載體，以用戶為主體為其提供基礎架構"平臺"軟件等服務為形式，整合大規(guī)?？蓴U展的計算"

2、;存儲"數(shù)據(jù)”應用等分布式計算資源進行協(xié)同工作的超級計算服務模式虛擬化為云計算實現(xiàn)提供了很好技術支撐，而云計算可以看作是虛擬化技術應用的成果。在過去的幾年里，已經出現(xiàn)了眾多云計算研究開發(fā)小組，如谷歌、微軟、亞馬遜、華為、百度、阿里巴巴、中國電信等知名IT企業(yè)紛紛推出云計算解決方案，同時，國內外學術界也紛紛就云計算及其關鍵技術相關理論進行了深層次的研究。本文力圖在對各種云計算定義綜合分析的基礎上，提出1個相對系統(tǒng)和綜合的參考性定義，挖掘云計算的技術本質和發(fā)展意義，總結國內外最新研究進展，剖析研究過程中的重點和難點，指出未來的發(fā)展趨勢。1、云計算的內涵和本質目前關于云計算的定義已有上百種

3、而維基百科對云計算的定義也在不斷更新，前后版本的差別非常大。據(jù)2011年給出的最新定義：云計算是一種能夠將動態(tài)易擴展的虛擬化資源軟件和數(shù)據(jù)通過互聯(lián)網提供給用戶的計算方式，如同電網用電一樣，用戶不需要知道云內部的細節(jié)，也不必具有管理那些支持云計算的基礎設施。伯克利云計算白皮書的定義：云計算包括互聯(lián)網上各種服務形式的應用以及數(shù)據(jù)中心中提供這些服務的軟硬件設施。應用服務即Saas而數(shù)據(jù)中心的軟硬件設施即所謂的云。通過量入為出的方式提供給公眾的云稱為公共云，而不對公眾開放的組織內部數(shù)據(jù)中心的云稱為私有云。美國標準化技術機構NIST定義云計算是一種資源利用模式，它能以方便、友好、按需訪問的方式通過網絡訪

4、問可配置的計算機資源池(例如網絡、服務器”存儲、應用程序和服務),在這種模式中，可以快速供應并以最小的管理代價提供服務。Sun公司認為，云的類型有很多，而且有很多不同的應用程序可以使用云來構建，由于云計算有助于提高應用程序部署速度，有助于加快創(chuàng)新步伐，因而云計算可能還會初心在我們現(xiàn)在無法想象到的形式。筆者認為：云計算是一種大規(guī)模資源共享模型，它是以虛擬技術為核心技術，以規(guī)模經濟為驅動，以Internet為載體，以用戶為主體，按照用戶需求動態(tài)地提供虛擬化的、可伸縮性的商業(yè)計算模型。云計算是一種服務模式而不單純是一種技術。在云計算模式下，不同種類的IT服務按照用戶的需求規(guī)模和要求動態(tài)的構建、運營和

5、維護，用戶一般以即用即付的方式支付其利用資源的費用。網絡中的應用服務通常被稱作SaaS二數(shù)據(jù)中心軟硬件設施即資源池也就是所謂的云?！霸啤笔且恍┛梢宰晕揖S護和管理的虛擬計算資源，通常是一些大型服務器集群，包括計算服務器、存儲服務和寬帶資源等?？傊朴嬎闶且环N方便的使用方式和服務模式，通過互聯(lián)網按需訪問資源池模型(例如網絡、服務器、存儲、應用程序和服務)，可以快速和最少的管理工作為用戶提供服務.云計算是并行計算(parallelcomputing)分布式計算(distributedcomputing)和網格計算(gridcomputing)等技術的發(fā)展.云計算又是虛擬化(virtualizati

6、on)、效用計算(utilitycomputing)的商業(yè)計算模型，它由基礎設施即服務、平臺即服務和軟件即服務3種服務模式，公共云、私有云、社區(qū)云、混合云4種部署模式。云計算的5個基本特點為：按需自助式服務、廣泛的網絡訪問、資源池、快速彈性使用、可度量的服務。2、云計算的關鍵技術云計算作為一種新的超級計算方式和服務模式，以數(shù)據(jù)為中心，是一種數(shù)據(jù)密集型的超級計算.它運用了多種計算機技術，其中以編程模型、數(shù)據(jù)管理、數(shù)據(jù)存儲、虛擬化和云計算平臺管理等技術最為關鍵.下面分別介紹云計算的一些關鍵技術。2.1 編程模型MapReduce作為Google開發(fā)的JavaPython、C+珊程模型，是一種簡化的

7、分布式編程和高效的任務調度模型，應用程序編寫人員只需將精力放在應用程序本身，使云計算環(huán)境下的編程十分簡單.而關于集群的處理問題，包括可靠性和可擴展性，則交由平臺來處理MMapReduce模式的思想是通過"Map(映射)"和"Reduce(化簡)”這樣2個簡單的概念來構成運算基本單元，先通過Map程序將數(shù)據(jù)切割成不相關的區(qū)塊，分配(調度)給大量計算機處理，達到分布式運算的效果，再通過Reduce程序將結果匯整輸出，即可并行處理海量數(shù)據(jù)。簡單地說，云計算是一種更加靈活、高效、低成本、節(jié)能的信息運作的全新方式，通過其編程模型可以發(fā)現(xiàn)云計算技術是通過網絡將龐大的計算處理程

8、序自動分拆成無數(shù)個較小的子程序，再由多部服務器所組成的龐大系統(tǒng)搜索、計算分析之后將處理結果回傳給用戶.通過這項技術遠程的服務供應商可以在數(shù)秒之內，達成處理數(shù)以千萬計甚至億計的信息，達到和“超級電腦”同樣強大性能的網絡服務。2.2 海量數(shù)據(jù)分布存儲技術云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù)，用冗余存儲的方式保證數(shù)據(jù)的可靠性.云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的GFS和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFSGFSGoogle文件系統(tǒng)（GoogleFileSystem）,是個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應用GFS的設計思想不同于傳統(tǒng)的文件系

9、統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和Google應用特性而設計的.它雖然運行于廉價的普通硬件上，但可以提供容錯功能.它可以給大量的用戶提供總體性能較高的服務.一個GFS集群由1個主服務器（master）和大量的塊服務器（chunks-erver）構成，并被許多客戶（client）訪問111.主服務器存儲文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置.它還控制系統(tǒng)活動范圍，如塊租約（lease）管理，孤立塊的垃圾收集，塊服務器間的塊遷移.主服務器定期通過心跳（HeartBeat）消息與每一個塊服務器通信，并收集它們的狀態(tài)信息。2.3 海量數(shù)據(jù)管理技術海量數(shù)據(jù)管理是指對大

10、規(guī)模數(shù)據(jù)的計算、分析和處理，如各種搜索引擎.以互聯(lián)網為計算平臺的云計算能夠對分布的、海量的數(shù)據(jù)進行有效可靠地處理和分析.因此，數(shù)據(jù)管理技術必需能夠高效地管理大量的數(shù)據(jù)，通常數(shù)據(jù)規(guī)模達TB甚至PB級.云計算系統(tǒng)中的數(shù)據(jù)管理技術主要是Google的BT（BigTable漱據(jù)管理技術，以及Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase和Hive,作為基于Ha-doop的開源數(shù)據(jù)工具（http:#）,主要用于存儲和處理海量結構化數(shù)據(jù).BT是建立在GFS,Scheduler,LockService和MapReduce的一個大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一

11、個巨大的表格，用來分布存儲大規(guī)模結構化數(shù)據(jù)。Google的很多項目使用BT來存儲數(shù)據(jù)，包括網頁查詢，GoogleEarth和Google金融.這些應用程序又BT的要求各不相同：數(shù)據(jù)大小（從URL到網頁到衛(wèi)星圖像）不同，反應速度不同（從后端的大批處理到實時數(shù)據(jù)服務）。對于不同的要求，BT都成功地提供了靈活高效的服務。2.4 4虛擬化技術虛擬化(virtualization)技術是云計算系統(tǒng)的核心組成部分之是將各種計算及存儲資源充分整合和高效利用的關鍵技術.云計算的特征主要體現(xiàn)在虛擬化、分布式和動態(tài)可擴展，而虛擬化作為云計算最主要的特點，為云計算環(huán)境搭建起著決定性作用.虛擬化技術是伴隨著計算機技術

12、的產生而出現(xiàn)的作為云計算的核心技術，扮演著十分重要的角色，提供了全新的數(shù)據(jù)中心部署和管理方式，為數(shù)據(jù)中心管理員帶來了高效和可靠的管理體驗，還可以提高數(shù)據(jù)中心的資源利用率，低功能綠色環(huán)保。通過虛擬化技術，云計算中每一個應用部署的環(huán)境和物理平臺是沒有關系的，通過虛擬平臺進行管理、擴展、遷移、備份，種種操作都通過虛擬化層次完成.虛擬化技術實質是實現(xiàn)軟件應用與底層硬件相隔離，把物理資源轉變?yōu)檫壿嬁晒芾碣Y源E344.目前云計算中虛擬化技術主要包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式.虛擬化技術根據(jù)對象可分成存儲虛擬化、計算虛擬化、網絡虛擬化等，計算虛擬化又

13、分為系統(tǒng)級虛擬化、應用級虛擬化和桌面虛擬化。2.5 云計算平臺管理技術云計算資源規(guī)模龐大，一個系統(tǒng)服務器數(shù)量眾多(可能高達10萬臺)、結構不同并且分布在不同物理地點的數(shù)據(jù)中心，同時還運行著成千上萬種應用。如何有效地管理云環(huán)境中的這些服務器，保證整個系統(tǒng)提供不間斷服務必然是一個巨大的挑戰(zhàn).云計算平臺管理系統(tǒng)可以看作是云計算的“指揮中心”通過云計算系統(tǒng)的平臺管理技術能夠使大量的服務器協(xié)同工作，方便地進行業(yè)務部署和開通，快速發(fā)現(xiàn)和恢復系統(tǒng)故障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營和管理。3云計算應用現(xiàn)狀云計算平臺是一個強大的“云”網絡，連接了大量并發(fā)的網絡計算和服務，可利用虛擬化技術擴展

14、每一個服務器的能力，將各自的資源通過云計算平臺結合起來，提供超級計算和存儲能力.下面就當前云計算相關主要研究團隊和組織的研究進展情況進行對比分析，為云計算相關研究提供參考.3.1 國際上相關研究組織目前，國外已經有多個云計算的科學研究項目，非常有名是ScientificCloud16和OpenNebula項目.產業(yè)界也在投入巨資部署各自的云計算系統(tǒng)，參與者主要有GoogleAma-zon、IBM、Microsoft等.國內關于云計算的研究也已起步，并在計算機系統(tǒng)虛擬化基礎理論與方法研究方面取得了階段性成果.國際上云計算主要研究組織及研發(fā)方向如表1所示.團隊組織商業(yè)項目技術特征核心技術適用范圍G

15、oogleAppEnginGoogl勰索GoogleGoogleMapsoogleEarffioogleAd-能力senseGmai#儲存及運算水平擴平行分散技術，MapReduce,BigTable,GFSGoogle種日常互聯(lián)網應用及開發(fā)者開發(fā)和發(fā)布各種應用程序魚總”IBM云環(huán)境管理解決方案（企IBM業(yè)私有云），IBMLotusLiv（e?議服務務、電子郵件服務），整合其所有軟件和網格技術，分布式存高性能計算（汽車和航天工業(yè)模辦公協(xié)作月艮硬件服務儲，動態(tài)負載擬計算、生命科學領域染色體組建模等）IBMRC2BM等研究機構共同創(chuàng)建的私有云）Amazon亞馬遜網絡服務（彈性計算云EC2簡單存、，

16、乙儲服務S3簡單數(shù)據(jù)庫服務sim-pleDB單彈性虛擬平臺隊歹IJ服務SQS單性MapRe-duce內容推送服務、電子商務服務DevPayFPS）虛擬技術Xen各類企業(yè)在其平臺上搭建應用環(huán)境提供云計算服務t如在線照片存儲共享網站SmugMug在線視頻制作網站Animoto）MicrosoftAzures臺提供Microsoft.NE¥MicrosoftSQL、Live服務整合其所有軟件及數(shù)據(jù)服務大型應用軟件開發(fā)技術應用程序開發(fā)者在云端開發(fā)程序，且運行在微軟云端的應用程序還是運行在本地的應用程序都可以使用云計算服務平臺EMC云存儲基礎架構EMCAtoms久的B信息管信息存儲系理解決方案

17、），'、Moz剪對Mad戶的在線存儲統(tǒng)和虛Vmwar圖虛擬化技向各種規(guī)模的企業(yè)和機構提供自術，一流的存儲技術動化網絡存儲解決方案客戶關系管理（CRM）括SalesCloudSlfServicCloudCustoiCloudCloudPlat-'rormforCRMCloudInfrastructure務forCRM應用平臺整合技術為企業(yè)提供客戶關系管理（CRM艮務cEC2±的Oracles據(jù)庫OracleOracleVM,SunxVM軟硬件彈用臺Oracle勺數(shù)據(jù)存技術，Suiff源技術提供統(tǒng)一整合的界面來部署在云中任何操作系統(tǒng)上運行的應用軟件，操作系統(tǒng)包括OpenS

18、olarisinuxWindows3.2 國內相關研究組織中國移動大云平臺包括數(shù)據(jù)挖掘、海量數(shù)據(jù)存儲和彈性計算等，主要用于中國移動的業(yè)務支撐、信息管理和互聯(lián)網應用；阿里云提供的計算、存儲和網絡服務主要用于提供各種電子商務服務；世紀互聯(lián)的彈性云計算已經對外提供服務，支持多個操作系統(tǒng)、數(shù)據(jù)庫和編程環(huán)境；友友云開發(fā)的數(shù)流平臺（Bitsflow）,分布式虛擬存儲系統(tǒng)（DataCell）,網絡計算平臺GAP和系統(tǒng)監(jiān)控管理平臺（NetVM）主要針對大型企業(yè)；華為的云帆計劃主要包括云數(shù)據(jù)中心和針對電信的IDC云。在平臺的文件系統(tǒng)方面，中國移動，阿里巴巴和世紀互聯(lián)都是基于Hadoop文件系統(tǒng)HDFS!據(jù)自身需

19、求進行一些改進，而友友提出的DataCellFS4云計算存在的挑戰(zhàn)與機遇目前，盡管云計算如火如荼的開展著，通過分析知道云計算具有許多優(yōu)點，讓人們看到了IT服務將成為公共服務的曙光，但是我們也要清醒地認識到云計算也不是萬能的靈丹妙藥，它仍存在著一些亟待解決的實際問題，如服務可用性、數(shù)據(jù)主權與數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網絡傳輸問題和可伸縮性存儲等.甚至還有些專家和學者對云計算持懷疑態(tài)度，認為是在炒作概念.為此，需要進一步加強宣傳和應用好云計算產品，為科研生產服務.本文給出了云計算發(fā)展過程中主要存在的一些挑戰(zhàn)問題與機遇。5總結與展望計算作為一項服務功能是人們長久以來的夢想.隨著微軟吸引

20、人眼球的句廣告語“Weareallincloud!”標志著云計算時代的到來，人們長久以來的夢想終將變?yōu)楝F(xiàn)實.從云供應商的觀點出發(fā)，整合服務器平臺技術能更好地推進云計算基礎設施架構的搭建以及大規(guī)模數(shù)據(jù)中心管理能力的提升，建立合作伙伴的生態(tài)鏈.利用商品化的計算、存儲和網絡低成本建立大型數(shù)據(jù)中心使得以低于許多中等規(guī)模的數(shù)據(jù)中心的價格“即用即付”的銷售資源成為可能，并且可以利用資源在大量用戶間的復用來獲取利潤.從云用戶的觀點出發(fā)，云計算可以令一個初創(chuàng)的軟件公司像初創(chuàng)的芯片廠商擁有為之服務的代工廠樣擁有自己的數(shù)據(jù)中心.總之，國內外對云計算及其虛擬化關鍵技術方面的研究非?；钴S，并開發(fā)了一些相關工具與產品，

21、云計算作為新一代產業(yè)浪潮的重要驅動力，將對經濟社會發(fā)展產生深遠的影響。參考文獻1MellP,GranceT.TheNISTdefinitionofcloudcomputingR.NationalInstituteofStadardandTechnology,USDepartmentofCommerce,20102SunCorporation.ThewhitepaperoncloudcomputingarchitectureR.20093劉鵬.云計算技術基礎M.2版.北京：電子工業(yè)出版社，011LIUPeng.IntroductiontocloudcomputingM.2ndEd.Beijng!

22、PublishingHouseofElectronicsIndustry,20114DeanJ,GhemawatS.MapReduce:SimplifieddataprocessingonlargeclustersJ.CommunicationsoftheACM,2008,51(1):1074135王慶波，金滓，何樂，等.虛擬化與云計算M.北京：電子工業(yè)出版社，010WANGQingbo,JINXing,HELe,etal.VirtualizationandcloudcomputingM.Beijng:PublishingHouseofElectronicsIndustry,20106VMwa

23、revirtualizationtechnologyEB/OL2011-0902.http:/www.vmware.cm/virtualization/what-s-vir-tualization.html10GoyalA,DadizadehS.AsurveyoncloudcomputingR.TechnicalReportforCS508,200911王鵬.云計算的關鍵技術與應用實例M.北京：人民郵電出版社，010WANGPeng.KeytechnologyandapplicationexamplesofcloudcomputingM.Beijing:Posts&TelecomPress,201012陳康，鄭緯民.云計算：系統(tǒng)實例與研究現(xiàn)狀J.軟件學報，009,0(5):13374348CHENKang,ZHENG