1、云計(jì)算與云安全班級(jí)：083111011. 引言學(xué)號(hào)：1120112103：隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)中聚合了數(shù)據(jù)資源、資源、計(jì)算資源以及如安全服務(wù)等各種資源，這些資源總量豐富但利用率較低。很多企業(yè)希望利用網(wǎng)絡(luò)享受到數(shù)據(jù)中心整合的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的集中控制管理以降低成本。另一方面，目前已經(jīng)具備高帶寬低成本的網(wǎng)絡(luò)，同時(shí)虛擬化技術(shù)不斷發(fā)展，用戶對(duì)計(jì)算模型的接受程度不斷加深。以上這些原因促使一種新型服務(wù)計(jì)算模式云計(jì)算的產(chǎn)生。云計(jì)算能夠?yàn)橛脩籼峁┑姆?wù)環(huán)境，有效滿足復(fù)雜應(yīng)用對(duì)于大規(guī)模計(jì)算能力、海量數(shù)據(jù)處理和信息服務(wù)的需求，將廣域分布的異構(gòu)、自治的資源進(jìn)行按需組織和管理，從而有效地整合分散的計(jì)

2、算資源。云計(jì)算的概念云計(jì)算的定義目前，對(duì)計(jì)算的定義有多種說法：與技術(shù)認(rèn)為：云計(jì)算是一種模型，它可以隨時(shí)隨地、方便地、按需自助地通過網(wǎng)絡(luò)從共享池中獲取可配置的計(jì)算資源（例如，網(wǎng)絡(luò)、服務(wù)器、空間、應(yīng)用及服務(wù)），這些資源可以快速分配并，同時(shí)盡可能地將管理成本和服務(wù)提供商的干擾降到最低。1加州大學(xué)伯克利分校發(fā)認(rèn)為：云計(jì)算是互聯(lián)網(wǎng)上的應(yīng)用服務(wù)及在數(shù)據(jù)中心提供這些服務(wù)的軟硬件設(shè)施，互聯(lián)網(wǎng)上的應(yīng)用服務(wù)一直被稱作“即服務(wù)”（SaaS），而數(shù)據(jù)中心的軟硬件設(shè)施就是所謂的“云”。在“智慧的地球”IBM 云計(jì)算 2.0中，IBM 闡述了對(duì)云計(jì)算的理解：云計(jì)算是一種計(jì)算模式，在這種模式中，應(yīng)用、數(shù)據(jù)和 IT資源以服務(wù)

3、的方式通過網(wǎng)絡(luò)提供給用戶使用；云計(jì)算也是一種基礎(chǔ)架構(gòu)管理的方法論，大量的計(jì)算資源組成 IT 資源池，用于動(dòng)態(tài)創(chuàng)建高度虛擬化的資源以供用戶使用。IBM 將云計(jì)算看作一個(gè)虛擬化的計(jì)算機(jī)資源池。阿貢國(guó)家認(rèn)為，云計(jì)算是一種大規(guī)模的分布式計(jì)算機(jī)制，由規(guī)模經(jīng)濟(jì)效應(yīng)驅(qū)動(dòng)，可根據(jù)用戶需求通過互聯(lián)網(wǎng)提供抽象的、虛擬的、可動(dòng)態(tài)伸縮的計(jì)算能力、容量、和服務(wù)。Luis M 等人在研究了眾多對(duì)云計(jì)算的不同見解后提出了一種定義，認(rèn)為：“云”是大規(guī)模的便于獲取和使用的虛擬化的資源池（如硬件、開發(fā)、服務(wù)等）；這些資源可根據(jù)需要重新動(dòng)態(tài)配置，以實(shí)現(xiàn)有效負(fù)載和最優(yōu)的資源利用；對(duì)云資源的利用通常按使用，這種模式由基礎(chǔ)設(shè)施服務(wù)商的服

4、務(wù)品質(zhì)協(xié)議提供保障。在舉行的“2008 IEEE Web 服務(wù)國(guó)際大會(huì)”認(rèn)為，應(yīng)該根據(jù)對(duì)象的來定義云計(jì)算：對(duì)于用戶，云計(jì)算是“IT 即服務(wù)”（IT as aService），即通過互聯(lián)網(wǎng)從式數(shù)據(jù)中心向用戶提供計(jì)算、和應(yīng)用服務(wù)；對(duì)于互聯(lián)網(wǎng)應(yīng)用程序開發(fā)者，云計(jì)算是互聯(lián)網(wǎng)級(jí)別的2開發(fā)和運(yùn)行時(shí)環(huán)境；對(duì)于基礎(chǔ)設(shè)施提供商和管理員，云計(jì)算是由IP 網(wǎng)絡(luò)連接起來的大規(guī)模、分布式數(shù)據(jù)中心基礎(chǔ)設(shè)施。以上云計(jì)算提供商、科研機(jī)構(gòu)、學(xué)術(shù)會(huì)議和對(duì)云計(jì)算的定義體現(xiàn)了認(rèn)識(shí)云計(jì)算的幾個(gè)角度：一是可以從模式的角度來認(rèn)識(shí)云計(jì)算，如 IBM 認(rèn)為是一種計(jì)算模式，與技術(shù)則認(rèn)為是一種資源利用模式；二是可以從服務(wù)的角度來認(rèn)識(shí)云計(jì)算，如加州

5、大學(xué)伯克利分校的研究者將云計(jì)算歸結(jié)為互聯(lián)網(wǎng)服務(wù)及相應(yīng)的軟硬件設(shè)施；三是可以從計(jì)算機(jī)制來認(rèn)識(shí)云計(jì)算，如阿貢國(guó)家實(shí)驗(yàn)室的研究認(rèn)為云計(jì)算是一種通過互聯(lián)網(wǎng)實(shí)現(xiàn)的大規(guī)模分布式計(jì)算機(jī)制；四是可以從資源形式來認(rèn)識(shí)云計(jì)算，如 IBM 和 Luis M 等把云計(jì)算看作虛擬化的資源池；五是 IEEE 會(huì)議提出根據(jù)對(duì)象的來定義云計(jì)算。2.2云計(jì)算的特點(diǎn)通過對(duì)這些定義的分析，不難得出云計(jì)算的一些顯著特征：按需服務(wù)。消費(fèi)者可以單方面地按照需求獲取計(jì)算能力，如服務(wù)器時(shí)間和網(wǎng)絡(luò)空間，從而免去與每個(gè)服務(wù)提供商進(jìn)行交互的過程，不需要管理員干預(yù)。泛在接入。用戶可以利用各種終端設(shè)備（如 PC、平板電腦、智能等）隨時(shí)隨地通過互聯(lián)網(wǎng)云

6、計(jì)算服務(wù)。資源池化。資源以共享資源池的方式管理。利用虛擬化技術(shù)，將資源給不同用戶，資源的放置、管理與分配策略對(duì)用戶透明。彈性服務(wù)。服務(wù)的規(guī)?？煽焖偕炜s，以自動(dòng)適應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)3變化。用戶使用的資源同業(yè)務(wù)的需求相一致，避免了因?yàn)榉?wù)器性能過載或冗余而導(dǎo)致的服務(wù)質(zhì)量下降或資源浪費(fèi)。計(jì)費(fèi)服務(wù)。監(jiān)測(cè)用戶的資源使用量，同時(shí)控制并資源使用情況，服務(wù)提供商和服務(wù)消費(fèi)者之間的，并根據(jù)資源的使用情況對(duì)服務(wù)計(jì)費(fèi)。正是因?yàn)樵朴?jì)算具有上述 5 個(gè)特性，使得用戶只需連上互聯(lián)網(wǎng)就可以源源不斷地使用計(jì)算機(jī)資源，實(shí)現(xiàn)了“互聯(lián)網(wǎng)即計(jì)算機(jī)”的構(gòu)想。綜上所述，云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行處理、互聯(lián)網(wǎng)技術(shù)、大規(guī)模資源管理等技

7、術(shù)的融合與發(fā)展，其研究和應(yīng)用是一個(gè)系統(tǒng)工程，涵蓋了數(shù)據(jù)中心管理、資源虛擬化、海量數(shù)據(jù)處理、計(jì)算機(jī)安全等重要問題。3. 云計(jì)算的服務(wù)模式3.1SaaS即服務(wù)SaaS 是一種基于互聯(lián)網(wǎng)提供服務(wù)的應(yīng)用模式。SaaS 服務(wù)提供商將應(yīng)用部署在自己的服務(wù)器上，用戶根據(jù)需求通過互聯(lián)網(wǎng)向廠商訂購(gòu)、租賃或免費(fèi)使用應(yīng)用服務(wù)，服務(wù)提供商根據(jù)客戶所定的數(shù)量、時(shí)間的長(zhǎng)短等或免費(fèi)服務(wù)，并且通過瀏覽器向客戶提供。這種服務(wù)模式的優(yōu)勢(shì)是，由服務(wù)提供商和管理、提供運(yùn)行的硬件設(shè)施，用戶只需擁有能夠接入互聯(lián)網(wǎng)的終端，即可隨時(shí)隨地使用。這樣客戶不再像傳統(tǒng)模式那樣花費(fèi)大量在硬件、，只需要支出一定的租賃服務(wù)費(fèi)用，通過互聯(lián)網(wǎng)即可享受到相應(yīng)的

8、硬件、服務(wù)，這是網(wǎng)絡(luò)應(yīng)用4最具效益的營(yíng)運(yùn)模式。對(duì)于小型企業(yè)來說，SaaS 是采用先進(jìn)技術(shù)的最好途徑。SaaS 涉及的有認(rèn)證和、服務(wù)計(jì)費(fèi)、Web2.0 及面向服務(wù)的架構(gòu)等。目前，公司的 Salesforce是最有名的 SaaS 產(chǎn)品，阿里、Apps 等也屬于這類服務(wù)。3.2PaaS即服務(wù)PaaS 是一種分布式服務(wù)，廠商把把服務(wù)器或開發(fā)環(huán)境作為一種服務(wù)提供給客戶，用戶在其基礎(chǔ)上定制開發(fā)自己的應(yīng)用程序并通過其服務(wù)器和互聯(lián)網(wǎng)傳遞給其他客戶。PaaS 能夠給企業(yè)或個(gè)人提供研發(fā)的中間件，提供應(yīng)用程序開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗(yàn)、托管及應(yīng)用服務(wù)。PaaS 涉及分布式、分布式大規(guī)模數(shù)據(jù)管理、分布式編程環(huán)境等

9、。典型的 PaaS 有App Engine，Salesforce 的，八百客的 800APP 以及微軟 2008 年 10 月推出的Windows Azure等。以App Engine 為例，它是一個(gè)由應(yīng)用服務(wù)器群、BigTable 數(shù)據(jù)庫及 GFS 組成的，為開發(fā)者提供主機(jī)服務(wù)器及可自動(dòng)升級(jí)的應(yīng)用服務(wù)。用戶編寫應(yīng)用程序并在的基礎(chǔ)架構(gòu)上運(yùn)行就可以為互聯(lián)網(wǎng)用戶提供服務(wù)提供應(yīng)用運(yùn)行及所需要的資源?；A(chǔ)設(shè)施即服務(wù)3.3是云計(jì)算中的基礎(chǔ)設(shè)施服務(wù)層。它創(chuàng)建虛擬的計(jì)算、和數(shù)據(jù)中心，把廠商的計(jì)算單元、器、I/O 設(shè)備、帶寬等計(jì)算機(jī)基5礎(chǔ)設(shè)施，集中起來整為一個(gè)虛擬的資源池對(duì)外提供服務(wù)。提供從計(jì)算到的資源基礎(chǔ)架

10、構(gòu)，能夠直接撥接資源堆棧，具有完整的系統(tǒng)級(jí)接入，并可按需布置安全域，還具有橫向路由撥接和負(fù)載均衡的特點(diǎn)。實(shí)現(xiàn)了計(jì)算資源和資源的虛擬化，能夠?qū)Y源進(jìn)行管理和調(diào)度。的技術(shù)是虛擬化技術(shù)，此外還涉及IT 自動(dòng)化、Web 門戶技術(shù)和工作流管理等。是一種托管型硬件方式，用戶使用廠商的硬件設(shè)施。典型的，如 Amazon 的彈性計(jì)算云 EC2、簡(jiǎn)單服務(wù) S3，IBM 的BlueCloud 等均是將基礎(chǔ)設(shè)施作為服務(wù)出租。的優(yōu)點(diǎn)是用戶只需低成本硬件，按需租用相應(yīng)計(jì)算能力和能力，大大降低了用戶在硬件上的開銷，同時(shí)提供安全可靠和的應(yīng)用環(huán)境。最后，比較一下三種服務(wù)模式的異同：6服務(wù)模式服務(wù)內(nèi)容服務(wù)對(duì)象使用方式系統(tǒng)實(shí)例S

11、aaS提供基于互聯(lián)網(wǎng)的應(yīng)用程序服務(wù)企業(yè)和需要應(yīng)用的用戶使用者上傳數(shù)據(jù)Web 服務(wù)技術(shù)、網(wǎng)絡(luò)應(yīng)用開發(fā)技術(shù)等Apps，Salesforce等PaaS提供應(yīng)用程序部署與管理服務(wù)程序開發(fā)者使用者上傳數(shù)據(jù)、程序代碼海量數(shù)據(jù)處 理 技術(shù)、資源管理與調(diào)度技術(shù)等App Engine ， WindowsAzure表 1 云計(jì)算服務(wù)模式比較4. 云計(jì)算的部署模式對(duì)計(jì)算的部署模式，微軟認(rèn)為可以分為 3 種，一是公共云：為外部客戶提供服務(wù)的云，它所有的服務(wù)是供別人使用，而不是自己用；二是私有云：企業(yè)自己使用的云，它所有的服務(wù)不是供別人使用，而是供自己或分支機(jī)構(gòu)使用；三是混合云：供自己和客戶共同使用的云，它所提供的服務(wù)

12、既可以供別人使用，也可以供自己使用。SUN、IBM、Oracle 等公司分別在其云計(jì)算白皮書中表達(dá)了與微軟一致的觀點(diǎn)與技術(shù)則認(rèn)為除以上 3 種模式外還有第 4 種模式社區(qū)云，在這種模式下，云計(jì)算基礎(chǔ)設(shè)施由數(shù)個(gè)組織共享，并為一個(gè)有共同關(guān)注點(diǎn)的團(tuán)體提供支持，可由團(tuán)體組織或第管理。云計(jì)算的虛擬化技術(shù)為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要研究虛擬化技術(shù)。虛擬化是層的重要組成部分，也是云計(jì)算的最重要特點(diǎn)。虛擬化技術(shù)可以提供以下特點(diǎn)：7提供基礎(chǔ)設(shè)施部署服務(wù)需要硬件資源的用戶使用者上傳數(shù)據(jù)、程 序 代碼、環(huán)境配置數(shù)據(jù)中心管 理 技術(shù)、虛擬化技術(shù)等Amazon EC2、S3， IBMBlueCloud1)資源。

13、通過虛擬機(jī)封裝用戶各自的運(yùn)行環(huán)境，有效實(shí)現(xiàn)多用戶數(shù)據(jù)中心資源。2)資源定制。用戶利用虛擬化技術(shù)，配置私有的服務(wù)器，指定所需的 CPU 數(shù)目、內(nèi)存容量、磁盤空間，實(shí)現(xiàn)資源的按需分配。3)細(xì)粒度資源管理。將物理服務(wù)器拆分成若干虛擬機(jī)，可以提高服務(wù)器的資源利用率，減少浪費(fèi)，而且有助于服務(wù)器的負(fù)載均衡和節(jié)能?；谝陨咸攸c(diǎn)，虛擬化技術(shù)成為實(shí)現(xiàn)云計(jì)算資源池化和按需服務(wù)的基礎(chǔ)。為了進(jìn)一步滿足云計(jì)算彈性服務(wù)和數(shù)據(jù)中心自治，需要研究虛擬機(jī)快速部署和遷移技術(shù)。1)虛擬機(jī)快速部署技術(shù)傳統(tǒng)的虛擬機(jī)部署分為 4 個(gè)階段：創(chuàng)建虛擬機(jī)；安裝操作系統(tǒng)與應(yīng)用程序；配置主機(jī)屬性（如網(wǎng)絡(luò)、主機(jī)名等）；啟動(dòng)虛擬機(jī)。該方法部署時(shí)間較長(zhǎng)

14、，達(dá)不到云計(jì)算彈性服務(wù)的要求。盡管可以通過修改虛擬機(jī)配置（如增減 CPU 數(shù)目、磁盤空間、內(nèi)存容量）改變單臺(tái)虛擬機(jī)性能，但是情況下云計(jì)算需要快速擴(kuò)張?zhí)摂M機(jī)集群的規(guī)模。為了簡(jiǎn)化虛擬機(jī)的部署過程，虛擬機(jī)模板技術(shù)被應(yīng)用于大多數(shù)云計(jì)算。虛擬機(jī)模板預(yù)裝了操作系統(tǒng)與應(yīng)用，并對(duì)虛擬設(shè)備進(jìn)行了預(yù)配置，可以有效減少虛擬機(jī)的部署時(shí)間。然而虛擬機(jī)模板技術(shù)仍不能滿足快速部署的需求：一方面，將模板轉(zhuǎn)換成虛擬機(jī)需要模板文件，當(dāng)模板文件較大時(shí)的時(shí)間開銷不可忽視；另一方面，因?yàn)閼?yīng)用程序沒有加載到內(nèi)存，所以通過虛擬機(jī)模板轉(zhuǎn)換的虛擬機(jī)需8要在啟動(dòng)或加載內(nèi)存鏡像后，方可提供服務(wù)。為此，有學(xué)者提出了基于fork的虛擬機(jī)部署方式。該方

15、式受操作系統(tǒng)的 fork 原語啟發(fā)，可以利用父虛擬機(jī)迅速克隆出大量子虛擬機(jī)。與進(jìn)程級(jí)的 fork 相似，基于虛擬機(jī)級(jí)的 fork，子虛擬機(jī)可以繼承父虛擬機(jī)的內(nèi)存狀態(tài)信息，并在創(chuàng)建后即時(shí)可用。當(dāng)部署大規(guī)模虛擬機(jī)時(shí)，子虛擬機(jī)可以并行創(chuàng)建，并其獨(dú)立的內(nèi)存空間，而不依賴于父虛擬機(jī)。為了減少文件的開銷，虛擬機(jī) fork 采用了“寫時(shí)”技術(shù)：子虛擬機(jī)在執(zhí)行“寫操作”時(shí)，將更新后的文件寫入本機(jī)磁盤；在執(zhí)行“讀操作”時(shí)，通過判斷該文件是否已被更新，確定本機(jī)磁盤或父虛擬機(jī)的磁盤文件。在虛擬機(jī) fork 技術(shù)的相關(guān)研究工作中，Potemkin 項(xiàng)目實(shí)現(xiàn)了虛擬機(jī) fork 技術(shù)，并可在 1s 內(nèi)完成虛擬機(jī)的部署或刪

16、除，但要求父虛擬機(jī)和子虛擬機(jī)在相同的物理機(jī)上。Lagar-Cavilla 等人研究了分布式環(huán)境下的并行虛擬機(jī) fork 技術(shù)，該技術(shù)可以在 1s 內(nèi)完成 32 臺(tái)虛擬機(jī)的部署。虛擬機(jī) fork 是一種即時(shí)部署技術(shù)，雖然提高了部署效率，但通過該技術(shù)部署的子虛擬機(jī)不能持久化保存。2)虛擬機(jī)遷移技術(shù)虛擬機(jī)遷移是指虛擬機(jī)在運(yùn)行狀態(tài)下從一臺(tái)物理機(jī)移動(dòng)到另一臺(tái)物理機(jī)。虛擬機(jī)遷移技術(shù)對(duì)云計(jì)算有效管理具有重要意義。提高系統(tǒng)可靠性。一方面，當(dāng)物理機(jī)需要時(shí)，可以將運(yùn)行于該物理機(jī)的虛擬機(jī)轉(zhuǎn)移到其他物理機(jī)。另一方面，可利用遷移技術(shù)完成虛擬機(jī)運(yùn)行時(shí)備份，當(dāng)主虛擬機(jī)發(fā)生異常時(shí)，可將服務(wù)無縫9切換至備份虛擬機(jī)。有利于負(fù)載均

17、衡。當(dāng)物理機(jī)負(fù)載過重時(shí)，可以通過虛擬機(jī)遷移達(dá)到負(fù)載均衡，優(yōu)化數(shù)據(jù)中心性能。有利于設(shè)計(jì)節(jié)能方案。通過集中零散的虛擬機(jī)，可使部分物理機(jī)完全空閑，以便關(guān)閉這些物理機(jī)（或使物理機(jī)休眠），達(dá)到節(jié)能目的。此外，虛擬機(jī)的遷移對(duì)用戶透明，云計(jì)算可以在不影響服務(wù)質(zhì)量的情況下優(yōu)化和管理數(shù)據(jù)中心。遷移技術(shù)于 2005 年由Clark 等人提出，通過迭代的預(yù)策略同步遷移前后的虛擬機(jī)的狀態(tài)。傳統(tǒng)的虛擬機(jī)遷移是在 LAN 中進(jìn)行的，為了在數(shù)據(jù)中心之間完成虛擬機(jī)遷移，Hirofuchi 等人介紹了一種在 WAN 環(huán)境下的遷移方法。這種方法在保證虛擬機(jī)數(shù)據(jù)一致性的前提下，盡可能少地犧牲虛擬機(jī) I/O 性能，加快遷移速度。利用

18、虛擬機(jī)遷移技術(shù)，Remus 系統(tǒng)設(shè)計(jì)了虛擬機(jī)備份方法。當(dāng)原始虛擬機(jī)發(fā)生錯(cuò)誤時(shí)，系統(tǒng)可以立即切換到備份虛擬機(jī)，而不會(huì)影響到關(guān)鍵任務(wù)的執(zhí)行，提高了系統(tǒng)可靠性。5.2數(shù)據(jù)技術(shù)為保證高可用、高可靠和經(jīng)濟(jì)性，云計(jì)算采用分布式的方式來數(shù)據(jù)，采用冗余的方式來保證數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)多個(gè)副本。另外，云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求，并行地為大量用戶提供服務(wù)。因此，云計(jì)算的數(shù)據(jù)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。10云計(jì)算的數(shù)據(jù)技術(shù)主要有谷歌的非開源的 GFS(FileSystem)和 Hadoop 開發(fā)團(tuán)隊(duì)開發(fā)的 GFS 的開源實(shí)現(xiàn) HDFS(HadoopDistributed File Sys

19、tem)。大部分 IT 廠商，包括雅虎、英特爾的/云 0 計(jì)劃采用的都是 HDFS 的數(shù)據(jù)技術(shù)。云計(jì)算的數(shù)據(jù)技術(shù)未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證以及繼續(xù)提高 I/O 速率等方面。以 GFS 為例。GFS 是一個(gè)管理大型分布式數(shù)據(jù)密集型計(jì)算的可擴(kuò)展的分布式文件系統(tǒng)。它使用廉價(jià)的硬件搭建系統(tǒng)并向大量用戶提供容錯(cuò)的高性能的服務(wù)。GFS 系統(tǒng)由一個(gè)Master 和大量塊服務(wù)器。Master 存放文件系統(tǒng)的所有元數(shù)據(jù)，包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。GFS 中的文件切分為 64MB 的塊進(jìn)行。11工程12工程13析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率

20、，云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此，云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列的數(shù)據(jù)管理模式。將表按列劃分后。云計(jì)算的數(shù)據(jù)管理技術(shù)中最著名的是谷歌在文獻(xiàn)BigTable數(shù)據(jù)管理技術(shù)。由于采用列的方式管理數(shù)據(jù)，如何提高數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)讀速率是未來的數(shù)據(jù)管理技術(shù)必須解決。以 BigTable 為例。BigTable 數(shù)據(jù)管理方式設(shè)計(jì)者給出了如下定義：BigTable 是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式系統(tǒng)，這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模，例如在數(shù)千臺(tái)服務(wù)器上的達(dá)到 PB 規(guī)模的數(shù)據(jù)。BigTable 對(duì)數(shù)據(jù)讀操作進(jìn)行優(yōu)化，采用列的方式，提高數(shù)據(jù)效率。BigTable 的基

21、本元素是：行，列，板和時(shí)間戳。其中，板是一段行的集合體。BigTable 中的數(shù)據(jù)項(xiàng)按照行關(guān)鍵字的字典序排列，每行動(dòng)態(tài)地劃分到板中。每個(gè)節(jié)點(diǎn)管理大約 100 個(gè)板。時(shí)間戳是一個(gè) 64 位的整數(shù)，表示數(shù)據(jù)的不同版本。列族是若干列的集合，BigTable 中的存取權(quán)限控制在列族的粒度進(jìn)行。BigTable 在執(zhí)行時(shí)需要三個(gè)主要的組件到每個(gè)客戶端的庫，一個(gè)主服務(wù)器，多個(gè)板服務(wù)器。主服務(wù)器用于分配板到板服務(wù)器以及負(fù)載平衡，回收等。板服務(wù)器用于直接管理一組板，處理讀寫請(qǐng)求等。為保證數(shù)據(jù)結(jié)構(gòu)的高可擴(kuò)展性，BigTable采用三級(jí)的層次化的方式來位置信息。其中第一級(jí)的 Chubby file14中包含 Ro

22、ot Tablet 的位置，Root Tablet 有且僅有一個(gè)，包含所有METADAablets 的位置信息，每個(gè) METADAab lets 包含許多UserTable 的位置信息。當(dāng)客戶端數(shù)據(jù)時(shí)，首先從 Chubby file 中獲取 Root Tablet 的位置，并從中相應(yīng) METADAablet 的位置信息。接著從該METADAablet 中包含目標(biāo)數(shù)據(jù)位置信息的 UserTable 的位置，然后從該 UserTable 中目標(biāo)數(shù)據(jù)的位置信息項(xiàng)。據(jù)此信息到服務(wù)器中特定位置數(shù)據(jù)。5.4資源調(diào)度技術(shù)海量數(shù)據(jù)處理的大規(guī)模性給資源管理與調(diào)度帶來。研究有效的資源管理與調(diào)度技術(shù)可以提高M(jìn)apR

23、educe、Dryad 等海量數(shù)據(jù)處理的性能。1)副本管理技術(shù)副本機(jī)制是 PaaS 層保證數(shù)據(jù)可靠性的基礎(chǔ)，有效的副本策略不但可以降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)，而且能優(yōu)化作業(yè)完成時(shí)間。目前，Hadoop 采用了機(jī)架敏感的副本放置策略。該策略默認(rèn)文件系統(tǒng)部署于傳統(tǒng)網(wǎng)絡(luò)拓?fù)涞臄?shù)據(jù)中心。以放置 3 個(gè)文件副本為例，由于同一機(jī)架的計(jì)算節(jié)點(diǎn)間網(wǎng)絡(luò)帶寬高，所以機(jī)架敏感的副本放置策略將 2 個(gè)文件副本置于同一機(jī)架，另一個(gè)置于不同機(jī)架。這樣的策略既考慮了計(jì)算節(jié)點(diǎn)和機(jī)架失效的情況，也減少了因?yàn)閿?shù)據(jù)一致性帶來的網(wǎng)絡(luò)傳輸開銷。除此之外，文件副本放置還與應(yīng)用有關(guān)，Eltabakh 等人提出了一種靈活的數(shù)據(jù)放置策略 CoHado

24、op，用戶可以根據(jù)應(yīng)用需求自15定義文件塊的存放位置，使需要協(xié)同處理的數(shù)據(jù)分布在相同的節(jié)點(diǎn)上，從而在一定程度上減少了節(jié)點(diǎn)之間的數(shù)據(jù)傳輸開銷。但是，目前 PaaS層的副本調(diào)度大多局限于單數(shù)據(jù)中心，從容災(zāi)備份和負(fù)載均衡角度，需要考慮面向多數(shù)據(jù)中心的副本管理策略等人提出了三階段數(shù)據(jù)布局策略，分別針對(duì)跨數(shù)據(jù)中心數(shù)據(jù)傳輸、數(shù)據(jù)依賴關(guān)系和全局負(fù)載均衡 3 個(gè)目標(biāo)對(duì)數(shù)據(jù)布局方案進(jìn)行求解和優(yōu)化。雖然該研究對(duì)多數(shù)據(jù)中心間的數(shù)據(jù)管理起到優(yōu)化作用，但是未深入副本管理策略。因此，需在多數(shù)據(jù)中心環(huán)境下研究副本放置、副本選擇及一致性和更新機(jī)制。2)任務(wù)調(diào)度算法PaaS 層的海量數(shù)據(jù)處理以數(shù)據(jù)密集型作業(yè)為主，其執(zhí)行性能受到

25、I/O 帶寬的影響。但是，網(wǎng)絡(luò)帶寬是計(jì)算集群（計(jì)算集群既包括數(shù)據(jù)中心中物理計(jì)算節(jié)點(diǎn)集群，也包括虛擬機(jī)構(gòu)建的集群）中的急缺的資源：云計(jì)算數(shù)據(jù)中心考慮成本，很少采用高帶寬的網(wǎng)絡(luò)設(shè)備；層部署的虛擬機(jī)集群共享有限的網(wǎng)絡(luò)帶寬；海量數(shù)據(jù)的讀寫操作占用了大量帶寬資源。因此 PaaS 層海量數(shù)據(jù)處理的任務(wù)調(diào)度需要考慮網(wǎng)絡(luò)帶寬。3)任務(wù)容錯(cuò)機(jī)制為了使 PaaS可以在任務(wù)發(fā)生異常時(shí)自動(dòng)從異常狀態(tài)恢復(fù)，需要研究任務(wù)容錯(cuò)機(jī)制。MapReduce 的容錯(cuò)機(jī)制在檢測(cè)到異常任務(wù)時(shí)，會(huì)啟動(dòng)該任務(wù)的備份任務(wù)。備份任務(wù)和原任務(wù)同時(shí)進(jìn)行，當(dāng)其中一個(gè)任務(wù)順利完成時(shí)，調(diào)度器立即結(jié)束另一個(gè)任務(wù)。Hadoop 的任務(wù)調(diào)度16器實(shí)現(xiàn)了備份任

26、務(wù)調(diào)度策略。但是現(xiàn)有的Hadoop 調(diào)度器檢測(cè)異常任務(wù)的算法存在較大缺陷：如果一個(gè)任務(wù)的進(jìn)度于同類型任務(wù)進(jìn)度的 20%，Hadoop 則把該任務(wù)當(dāng)做異常任務(wù)，然而，當(dāng)集群異構(gòu)時(shí)，任務(wù)之間的執(zhí)行進(jìn)度差異較大，因而在異構(gòu)集群中很容易產(chǎn)生大量的備份任務(wù)。為此，Zaharia 等人研究了異構(gòu)環(huán)境下異常任務(wù)的發(fā)現(xiàn)機(jī)制，并設(shè)計(jì)了 LAongest approximate time to end）調(diào)度器。通過估算 Map 任務(wù)的完成時(shí)間，LATE 為估計(jì)完成時(shí)間最晚的任務(wù)產(chǎn)生備份。雖然 LATE 可以有效避免產(chǎn)生過多的備份任務(wù)，但是該方法假設(shè)Map 任務(wù)處理速度是穩(wěn)定的，所以在 Map 任務(wù)執(zhí)行速度變化的情

27、況下（如先快后慢），LATE 便不能達(dá)到理想的性能。6. 云計(jì)算的優(yōu)勢(shì)6.1降低應(yīng)用計(jì)算的成本在經(jīng)濟(jì)高速發(fā)展的現(xiàn)代每天處理的數(shù)據(jù)正呈現(xiàn)幾何式增長(zhǎng)。在每個(gè)人擁有自己的硬件、，本地保存數(shù)據(jù)，互聯(lián)網(wǎng)只是讓人們能更方便地獲得信息的情況下，計(jì)算和處理數(shù)據(jù)主要還是基于本地的PC 進(jìn)行。這樣無論是還是個(gè)人都不得不面對(duì)海量數(shù)據(jù)背后對(duì)硬件配置不斷升級(jí)的需求。這種需求越來越大，而且越來越難以承受。能否以較低的成本投入而實(shí)現(xiàn)極高的計(jì)算能力，云計(jì)算的出現(xiàn)為提供了這種可能。云計(jì)算對(duì)用戶端設(shè)備要求很低，由計(jì)算使 95%的工作在瀏覽器中完成，所以用戶端設(shè)備只要能運(yùn)行簡(jiǎn)單的操作系統(tǒng)和瀏覽器就行。使用云計(jì)算可以避免本地建設(shè)、價(jià)

28、格不菲的計(jì)算機(jī)系統(tǒng)，通過支付低廉的服務(wù)費(fèi)用，即可完成同樣的計(jì)算或處理17過程。例如最先推出云計(jì)算的Amazon 將云計(jì)算建立在其公司的大規(guī)模集群計(jì)算的之上，并提供托管式的計(jì)算資源出租服務(wù)，用戶可通過遠(yuǎn)端的操作界面選擇和使用服務(wù)。目前云計(jì)算最大的實(shí)踐者也在運(yùn)營(yíng)云計(jì)算特征的應(yīng)用服務(wù)托管應(yīng)用引擎(GAE)開發(fā)者可以在此上編寫應(yīng)用程序，企業(yè)客戶可以使用定制化的網(wǎng)絡(luò)服務(wù)。使用云計(jì)算，成本可降低一半以上。6.2使用方便快捷在 PC 依然是日常工作中的工具時(shí)，需經(jīng)常不斷地進(jìn)行系統(tǒng)的修補(bǔ)、應(yīng)用的升級(jí)、數(shù)據(jù)的，并常常為的，的竊取，數(shù)據(jù)的丟失而煩惱。但在云計(jì)算中，用戶所處理的數(shù)據(jù)并不在本地，而是保存在云計(jì)算數(shù)據(jù)處

29、理中心，用戶所需的應(yīng)用程序并不運(yùn)行在用戶的個(gè)人電腦等終端設(shè)備上，而是運(yùn)行在云計(jì)算數(shù)據(jù)處理中心大規(guī)模的服務(wù)器集群中。提供云計(jì)算服務(wù)企業(yè)的專業(yè) IT負(fù)責(zé)云計(jì)算上資源的分配、負(fù)載的均衡的部署、安全的控制等，用戶數(shù)據(jù)的正常，為用戶提供足夠強(qiáng)大的空間和計(jì)算能力。用戶只需接入互聯(lián)網(wǎng)，就可以通過電腦、等終端設(shè)備，在任何地點(diǎn)方便快捷的處理數(shù)據(jù)和享受服務(wù)。云計(jì)算能使跨設(shè)備跨的數(shù)據(jù)同步，并解決了數(shù)據(jù)共享。例如目前微軟的 OneDrive 就是這種基于網(wǎng)絡(luò)數(shù)據(jù)中心的云計(jì)算服務(wù)，它為每個(gè)用戶免費(fèi)提供了 5GB 的空間，可以使用它數(shù)據(jù)，控制桌面，并可在不同地點(diǎn)、不同類型設(shè)備上18、查看、修改和更新這些數(shù)據(jù)，所有改動(dòng)都會(huì)

30、被同步到其他設(shè)備里。而每個(gè) OneDrive 中的數(shù)據(jù)，不僅可以被自己的不同設(shè)備查看，還可以給別人分配權(quán)限，做到某種程度上的文檔協(xié)作。7. 云計(jì)算所的云計(jì)算的發(fā)展將使互聯(lián)網(wǎng)的計(jì)算架構(gòu)由“服務(wù)器+客戶端”向“云+客戶端”演變。使互聯(lián)網(wǎng)成為每一個(gè)用戶的數(shù)據(jù)中心和計(jì)算中心，使用戶從以桌面為使用各項(xiàng)應(yīng)用轉(zhuǎn)移到以 Web 為進(jìn)行各種活動(dòng)，云計(jì)算使互聯(lián)網(wǎng)的功能更為強(qiáng)大。通過云計(jì)算，普通用戶將可以利用以往只能為少數(shù)人所擁有的龐大的數(shù)據(jù)和處理能力，獲得自己所需的信息。如果云計(jì)算讓擁有前所未有的數(shù)據(jù)和計(jì)算能力，那能創(chuàng)造什么呢？云計(jì)算的前景雖然很，但仍很多，還有一些前進(jìn)中的需要克服。目前最受關(guān)注的是云計(jì)算公共標(biāo)準(zhǔn)

31、和數(shù)據(jù)安全問題。首先云計(jì)算現(xiàn)在還沒有開放的公共標(biāo)準(zhǔn)。用戶使用某公司的云計(jì)算編程模型開發(fā)的應(yīng)用程序要遷移到另一家公司的云計(jì)算上很難，從而降低了云計(jì)算服務(wù)轉(zhuǎn)移的彈性。當(dāng)一個(gè)公司了用戶的云計(jì)算，該公司的或被其它公司吞并，都將對(duì)用戶產(chǎn)生嚴(yán)重。制定云計(jì)算的公共標(biāo)準(zhǔn)，涉及到各個(gè)公司的利益協(xié)調(diào)以及牽涉到各家技術(shù)的互通，所以并非易事。但要推動(dòng)云計(jì)算的健康發(fā)展必須要有開放的云計(jì)算公共標(biāo)準(zhǔn)，這樣才能真正使用戶能地進(jìn)行信息共享。此外，雖然云計(jì)算的數(shù)據(jù)對(duì)外具有較高的安全性，但用戶把自己加密的數(shù)據(jù)連同應(yīng)用程序都放在云計(jì)算運(yùn)營(yíng)公司仍感不安全。在使用19云計(jì)算服務(wù)時(shí)，用戶并不清楚自己的數(shù)據(jù)在哪里，用戶甚至都不知道數(shù)據(jù)位于哪

32、個(gè)國(guó)家。用戶應(yīng)當(dāng)詢問云計(jì)算運(yùn)營(yíng)公司數(shù)據(jù)是否在專門管轄的位置，以及他們是否遵循當(dāng)?shù)氐碾[私協(xié)議。就算用戶不知道數(shù)據(jù)的位置，云計(jì)算運(yùn)營(yíng)公司也應(yīng)當(dāng)告訴用戶在發(fā)生時(shí)，用戶數(shù)據(jù)和服務(wù)將會(huì)什么樣的情況。任何沒有經(jīng)過備份的數(shù)據(jù)和應(yīng)用程序都將出現(xiàn)問題。用戶需要了解云計(jì)算運(yùn)營(yíng)公司是否有能力恢復(fù)數(shù)據(jù)，以及需要多長(zhǎng)時(shí)間。顯然如何提供機(jī)制保證數(shù)據(jù)的安全性對(duì)計(jì)算。然而，如同人們?cè)缫褜㈠X存在一樣，未來的數(shù)據(jù)必然會(huì)出現(xiàn)。技術(shù)其實(shí)不是最主要的，制度、誠(chéng)信、觀念，這些非技術(shù)的也將決定云計(jì)算的發(fā)展速度。8. 云安全的概念“云安全”緊隨云計(jì)算之后出現(xiàn)。它是網(wǎng)絡(luò)時(shí)代的體現(xiàn)，它融合了并行處理、網(wǎng)格計(jì)算、未知行為判斷等新興技術(shù)和概念，通過

33、網(wǎng)狀的大量客戶端對(duì)網(wǎng)絡(luò)中行為的異常監(jiān)測(cè)，獲取互聯(lián)網(wǎng)中木馬、程序的信息，并發(fā)送到服務(wù)器端進(jìn)行自動(dòng)分析和處理，再把和木馬的解決方案分發(fā)到每一個(gè)客戶端。未來殺毒將無法有效地處理日益增多的程序。來自互聯(lián)網(wǎng)的主要威脅正在由電腦轉(zhuǎn)向程序及木馬，在這樣的情況下，原有的特征庫判別法顯然已經(jīng)過時(shí)。“云安全”技術(shù)應(yīng)用后，識(shí)別和查殺不再僅僅依靠本地硬盤中的庫，而是依靠龐大的網(wǎng)絡(luò)服務(wù)，實(shí)時(shí)進(jìn)行、分析以及處理。20“云安全”的策略構(gòu)想是：整個(gè)互聯(lián)網(wǎng)就是一個(gè)巨大的“殺毒軟件”，參與者越多，每個(gè)參與者就越安全，整個(gè)互聯(lián)網(wǎng)就會(huì)更安全。因?yàn)槿绱她嫶蟮挠脩羧?，足以覆蓋互聯(lián)網(wǎng)的每個(gè)角落，只要某個(gè)被掛馬或某個(gè)新木馬出現(xiàn)，就會(huì)立刻被截

34、獲?！霸瓢踩钡陌l(fā)展迅速，趨勢(shì)、瑞星、卡巴斯基、MCAFEE、SYMANTEC科技、PANDA、金山、360 等都推出了“云安全”解決方案。9. 云安全的技術(shù)“云安全”的總體思路與傳統(tǒng)的安全邏輯的差別并不大，但二者的服務(wù)模式卻截然不同。在“云”的另一端，擁有全世界最專業(yè)的團(tuán)隊(duì)來幫助用戶處理和分析安全，也有全世界最先進(jìn)的數(shù)據(jù)中心來幫你保存庫。而且，“云安全”對(duì)用戶端的設(shè)備要求降低了，使用起來也最方便?！霸瓢踩睘樘峁┝俗銐驈V闊的視野，這些看似簡(jiǎn)單的內(nèi)容，其中涵蓋三大要素：9.1Web 信譽(yù)服務(wù)借助全信譽(yù)數(shù)據(jù)庫，“云安全”可以按照行為分析所發(fā)現(xiàn)的頁面、歷史位置變化和可疑活動(dòng)跡象等來指定信譽(yù)分?jǐn)?shù)，從

35、而追蹤網(wǎng)頁的度。然后將通過該技術(shù)繼續(xù)掃描并防止用戶被的。為了提高準(zhǔn)確性、降低誤報(bào)率，安全廠商還為網(wǎng)站的特定網(wǎng)頁或指定了信譽(yù)分值，而不是對(duì)整個(gè)進(jìn)行分類或，因?yàn)橥ǔ：戏ㄖ挥幸徊糠质艿?，而信譽(yù)可以隨時(shí)間而不斷變化。通過信譽(yù)分值的比對(duì)，就可以知道某個(gè)潛在的風(fēng)險(xiǎn)級(jí)別。當(dāng)21用戶具有潛在風(fēng)險(xiǎn)的時(shí)，就可以及時(shí)獲得系統(tǒng)提醒或，從而幫助用戶快速地確認(rèn)目標(biāo)的安全性。通過 Web 信譽(yù)服務(wù)，可以防范程序。由于對(duì)零日的防范是基于的程度而不是真正的內(nèi)容，因此能有效預(yù)防的初始，用戶進(jìn)入網(wǎng)絡(luò)前就能夠獲得防護(hù)能力。9.2電子郵件信譽(yù)服務(wù)電子郵件信譽(yù)服務(wù)，按照已知郵件來源的信譽(yù)數(shù)據(jù)庫檢查IP地址，同時(shí)利用可以實(shí)時(shí)評(píng)估電子郵件發(fā)

36、送者信譽(yù)的動(dòng)態(tài)服務(wù)對(duì)IP 地址進(jìn)行驗(yàn)證。信譽(yù)評(píng)分通過對(duì) IP 地址的“行為”、“活動(dòng)范圍”以及以前的歷史進(jìn)行不斷地分析而加以細(xì)化。按照發(fā)送者的 IP 地址，電子郵件在云中即被，從而防止僵尸或僵尸網(wǎng)絡(luò)等 Web到達(dá)網(wǎng)絡(luò)或用戶的計(jì)算機(jī)。9.3文件信譽(yù)服務(wù)文件信譽(yù)服務(wù)技術(shù)，它可以檢查位于端點(diǎn)、服務(wù)器或網(wǎng)關(guān)處的每個(gè)文件的信譽(yù)。檢查的依據(jù)包括已知的良性文件和已知的惡性文件，即現(xiàn)在所謂的防特征碼。高性能的內(nèi)容分發(fā)網(wǎng)絡(luò)和本地緩沖服務(wù)器將確保在檢查過程中使延遲時(shí)間降到最低。由于信息被保存在云中，因此可以立即到達(dá)網(wǎng)絡(luò)中的所有用戶。而且，和占用端點(diǎn)空間的傳統(tǒng)防特征碼文件相比，這種方法降低了端點(diǎn)內(nèi)存和系統(tǒng)消耗。10.云安全的難點(diǎn)建立“云安全”系統(tǒng)并使之正常運(yùn)行，需要解決四點(diǎn)：221）需要海量的客戶端（“云安全”探針）。只有擁有海量的客戶端，才能對(duì)互聯(lián)網(wǎng)上出現(xiàn)的程序有最靈敏的感知能力。一般而言，安全廠商的產(chǎn)品使用率越高，反映應(yīng)當(dāng)越快，最終應(yīng)當(dāng)能夠?qū)崿F(xiàn)無論