云計算導論目錄第1章云計算概論第2章云計算基礎第3章云計算機制第4章虛擬化第5章分布式文件系統(tǒng)第6章分布式存儲系統(tǒng)第7章數(shù)據(jù)處理與并行編程第8章云安全第9章云計算的應用第10章綜合實踐：Docker與云計算第1章云計算概論第1節(jié)

什么是云計算？

云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關服務的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。

美國國家標準與技術研究院（NIST）的定義：

云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡訪問，進入可配置的計算資源共享池（資源包括網(wǎng)絡、服務器、存儲、應用軟件、服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。第2節(jié)

云計算的產(chǎn)生背景

云計算是繼1980年代大型計算機到客戶端-服務器的大轉(zhuǎn)變之后的又一種巨變。云計算是分布式計算（DistributedComputing）、并行計算（ParallelComputing）、效用計算（UtilityComputing）、網(wǎng)絡存儲（NetworkStorageTechnologies）、虛擬化（Virtualization）、負載均衡（LoadBalance）、熱備份冗余（HighAvailable）等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。第3節(jié)

云計算的發(fā)展歷史

年份云計算的發(fā)展1983網(wǎng)絡是電腦2006Amazon：彈性計算云服務（EC2）

Google：云計算的概念2007Google與IBM：高校推廣，提供技術支持2008IBM：第一個云計算中心

戴爾：申請云計算商標2010Novell與CSA：可信任云計算計劃2013中國IaaS：市場規(guī)模約為10.5億元

中國PaaS：市場規(guī)模增長近20%

全球SaaS：云計算領域最為成熟的細分市場2015云計算方面的相關政策不斷更新……第4節(jié)

如何學好云計算

云計算是一種基于互聯(lián)網(wǎng)的計算方式，要實現(xiàn)云計算則需要一整套的技術架構(gòu)去實施，包括網(wǎng)絡、服務器、存儲、虛擬化等。操作系統(tǒng)，懂得Windows操作系統(tǒng)的安裝和基本操作、懂得AD域角色的安裝和管理、懂得組策略的配置和管理；數(shù)據(jù)庫的安裝和使用（如SQLServer）；存儲的基礎知識（如磁盤性能、RAID等）、光纖交換機的使用等；網(wǎng)絡的基礎知識（如IP地址規(guī)劃、VLAN等）。第2章云計算基礎第1節(jié)分布式計算

分布式計算將應用分解成許多更小的部分，分配到多臺計算機進行處理，這樣可以節(jié)省整體計算時間，大大提高計算效率。

云計算是分布式計算技術的一種，也是分布式計算這種科學概念的商業(yè)實現(xiàn)。分布式計算的優(yōu)點就是發(fā)揮“集體的力量”。

分布式計算的一種應用是

WebService：第2節(jié)

云計算的基本概念

云計算的組成可以分為六個部分，它們由下至上分別是：

基礎設施（Infrastructure）

存儲（Storage）

平臺（Platform）

應用（Application）

服務（Services）

客戶端（Clients）第3節(jié)

云計算的關鍵技術

1、分布式海量數(shù)據(jù)存儲

以移動通信運營商為例，隨著移動業(yè)務和用戶規(guī)模的不斷擴大，每天都產(chǎn)生海量的業(yè)務、計費以及網(wǎng)管數(shù)據(jù)，然而龐大的數(shù)據(jù)量使得傳統(tǒng)的數(shù)據(jù)庫存儲已經(jīng)無法滿足存儲和分析需求。

數(shù)據(jù)庫容量有限

并行取數(shù)困難JDBC訪問效率太低

數(shù)據(jù)庫并發(fā)訪問數(shù)太多

理想的解決方案是把大數(shù)據(jù)存儲到分布式文件系統(tǒng)中。

云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是GFS和HDFS。2、虛擬化技術

虛擬化技術是云計算系統(tǒng)的核心組成部分之一，是將各種計算及存儲資源充分整合和高效利用的關鍵技術。

資源分享資源定制細粒度資源管理

基于以上特點，虛擬化技術成為實現(xiàn)云計算資源池化和按需服務的基礎。3、云平臺技術

云平臺技術能夠使大量的服務器協(xié)同工作，方便地進行業(yè)務部署，快速發(fā)現(xiàn)和恢復系統(tǒng)故障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營。

云計算平臺的主要特點是用戶不必關心云平臺底層的實現(xiàn)。4、并行編程技術

數(shù)據(jù)并行

消息傳遞5、數(shù)據(jù)管理技術

如何高效地管理大數(shù)據(jù)集？

如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)？Google的BigTable數(shù)據(jù)管理技術第4節(jié)

云交付模型

軟件即服務（SaaS）

平臺即服務（PaaS）

基礎設施即服務（IaaS）

容器即服務（CaaS）1、軟件即服務（SaaS）SaaS是SoftwareasaService（軟件即服務）的簡稱，它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件。

隨時隨地訪問

支持公開協(xié)議

安全保障

多用戶機制

SaaS應用包括Citrix公司的GoToMeeting、Cisco公司的WebEx等等。2、平臺即服務（PaaS）PaaS（PlatformasaService）：是將服務器平臺或者開發(fā)環(huán)境作為服務進行提供。開發(fā)簡單、部署簡單、維護簡單。

有好的開發(fā)環(huán)境

豐富的服務

自動的資源調(diào)度

精細的管理和監(jiān)控

PaaS應用包括GoogleAppEngine、MicrosoftAzure、F、Heroku、EngineYard等等。3、基礎設施即服務（IaaS）IaaS(InfrastructureasaService)：服務提供商將多臺服務器組成的“云端”服務（包括內(nèi)存、I/O設備、存儲和計算能力等等）作為計量服務提供給用戶。

資源抽象

負載管理

數(shù)據(jù)管理

資源管理安全管理計費管理4、基本云交付模型的比較云交付模型服務對象使用方式關鍵技術用戶的控制等級系統(tǒng)實例IaaS需要硬件資源的用戶使用者上傳數(shù)據(jù)、程序代碼、環(huán)境配置虛擬化技術、分布式海量數(shù)據(jù)存儲等使用和配置AmazonEC2、Eucalyptus等PaaS程序開發(fā)者使用者上傳數(shù)據(jù)、程序代碼云平臺技術、數(shù)據(jù)管理技術等有限的管理GoogleAppEngine、MicrosoftAzure、Hadoop等SaaS企業(yè)和需要軟件應用的用戶使用者上傳數(shù)據(jù)Web服務技術、互聯(lián)網(wǎng)應用開發(fā)技術等完全的管理GoogleApps、SalesforceCRM等5、容器即服務（CaaS）CaaS（ContainerasaService）也稱為容器云，是以容器為資源分割和調(diào)度的基本單位，封裝整個軟件運行時環(huán)境，為開發(fā)者和系統(tǒng)管理員提供用于構(gòu)建、發(fā)布和運行分布式應用的平臺。

CaaS與基本交付模型IaaS和PaaS的關系第5節(jié)

云部署模式

公有云

私有云

混合云

1、公有云公有云，是指為外部客戶提供服務的云，它所有的服務是供別人使用，而不是自己用。

在此種模式下，應用程序、資源、存儲和其他服務，都由云服務供應商來提供給用戶，這些服務多半都是免費的，也有部分按需按使用量來付費，這種模式只能使用互聯(lián)網(wǎng)來訪問和使用。問題：安全性可用性2、私有云

私有云，是指企業(yè)自己使用的云，它所有的服務不是供別人使用，而是供自己內(nèi)部人員或分支機構(gòu)使用。優(yōu)點是安全性、可用性相比公有云好一些；缺點是成本較大。3、混合云混合云，是指供自己和客戶共同使用的云，它所提供的服務既可以供別人使用，也可以供自己使用。

混合云是兩種或兩種以上的云計算模式的混合體，如公有云和私有云混合。

相比較而言，混合云的部署方式對提供者的要求較高。第6節(jié)

云計算的優(yōu)勢與挑戰(zhàn)

1、云計算的優(yōu)勢

超大規(guī)模

虛擬化

高可靠性

通用性

高擴展性

按需服務

極其廉價

2、

云計算所面臨的挑戰(zhàn)

服務的持續(xù)可用性

服務的安全性

服務的遷移

服務的性能第7節(jié)

典型云應用

云應用是直接面對客戶解決實際問題的產(chǎn)品，遍及各個方面。1、云存儲云存儲是是一種新興的網(wǎng)絡存儲技術，是指通過集群應用、網(wǎng)絡技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。百度網(wǎng)盤

2、云服務云服務主要以郵箱為賬號，實現(xiàn)用戶登陸賬號后，內(nèi)容在線同步的作用。

典型的云服務包括了微軟“Hotmail”、谷歌“gmail”、蘋果“iCloud”等。3、云物聯(lián)

物聯(lián)網(wǎng)就是物物相連的互聯(lián)網(wǎng)，物聯(lián)網(wǎng)有兩種業(yè)務模式：（1）MAI(M2MApplicationIntegration)和內(nèi)部MaaS;（2）MaaS(M2MasaService)、MMO和Multi-Tenants(多租戶模型)。

隨著物聯(lián)網(wǎng)業(yè)務量的增加，對數(shù)據(jù)存儲和計算量的需求將帶來對“云計算”能力的要求。第8節(jié)

云計算與大數(shù)據(jù)

“云計算和大數(shù)據(jù)是一個硬幣的兩面，云計算是大數(shù)據(jù)的IT基礎，而大數(shù)據(jù)是云計算的一個殺手級應用?！?/p>

云計算與大數(shù)據(jù)的關系？

云計算能為大數(shù)據(jù)帶來了哪些變化？第3章云計算機制第1節(jié)

云基礎設施機制

云基礎設施機制是云環(huán)境的基礎構(gòu)建塊，它是形成云技術架構(gòu)基礎的主要構(gòu)件。

虛擬網(wǎng)絡邊界虛擬服務器

云存儲設備

云使用監(jiān)控

資源備份

就緒環(huán)境1、虛擬網(wǎng)絡邊界

虛擬網(wǎng)絡邊界（virtualnetworkperimeter）通常是由提供和控制數(shù)據(jù)中心連接的網(wǎng)絡設備建立，一般是作為虛擬化環(huán)境部署的。例如虛擬防火墻、虛擬網(wǎng)絡（VLAN、VPN）。

該機制被定義為將一個網(wǎng)絡環(huán)境與通信網(wǎng)絡的其它部分隔開，形成一個虛擬網(wǎng)絡邊界，包含并隔離了一組相關的基于云的IT資源，這些資源在物理上可能是分布式的。虛擬防火墻

每個虛擬防火墻能夠?qū)崿F(xiàn)防火墻的大部分特性，并且虛擬防火墻之間相互獨立，一般情況下不允許相互通信。虛擬專用網(wǎng)絡（VPN）

虛擬專用網(wǎng)絡(VPN)是一種通過公用網(wǎng)絡（如Internet）連接專用網(wǎng)絡（如辦公室網(wǎng)絡）的方法。2、虛擬服務器

虛擬服務器（virtualserver）是一種模擬物理服務器的虛擬化軟件。

通過向云用戶提供獨立的虛擬服務實例，云提供者使多個云用戶共享同一個物理服務器。優(yōu)點：實時遷移快速部署高兼容性提高資源利用率動態(tài)調(diào)度資源3、云存儲設備

云存儲設備（cloudstoragedevice）機制是指專門為基于云配置所設計的的存儲設備。這些設備的實例可以被虛擬化。其單位如下：

文件（file）

塊（block）

數(shù)據(jù)集（dataset）

對象（object）4、資源備份

傳統(tǒng)架構(gòu)視角

云計算架構(gòu)視角資源備份（resourcebackup）可對同一個IT資源創(chuàng)建多個實例。5、就緒環(huán)境

就緒環(huán)境機制是PaaS云交付模型的定義組件，基于云平臺，已有一組安裝好的IT資源，可以被云用戶使用和定制。

第2節(jié)

云管理機制

傳統(tǒng)管理云管理管理對象網(wǎng)絡、存儲、服務器、OS、數(shù)據(jù)庫、中間件、應用IaaS、PaaS、SaaS等各種云服務管理目標實現(xiàn)IT系統(tǒng)的正常運作實現(xiàn)云服務的端對端交付管理特色需要專業(yè)的管理技能手動管理豎井式管理通過封裝屏蔽底層細節(jié)自服務多租戶，共享管理平臺管理平臺易用性安裝配置復雜自配置、自修復、自優(yōu)化管理規(guī)模100節(jié)點10000節(jié)點+用戶管理員分層管理，多租戶整合基于事件、數(shù)據(jù)庫、私有接口的整合面向服務的整合管理手段離散的工具充分自動化云管理機制

基于云的IT資源需要被建立、配置、維護和監(jiān)控。遠程管理系統(tǒng)是必不可少的，它們促進了形成云平臺與解決方案的IT資源的控制和演化，從而形成了云技術架構(gòu)的關鍵部分，與管理相關的機制如下。遠程管理系統(tǒng)資源管理系統(tǒng)SLA管理系統(tǒng)計費管理系統(tǒng)1、遠程管理機制

遠程管理系統(tǒng)（remoteadministrationsystem）機制向外部的云資源管理者提供工具和用戶界面來配置并管理基于云的IT資源。主要創(chuàng)建兩種類型的入口：使用與管理入口自助服務入口云用戶遠程管理系統(tǒng)資源管理系統(tǒng)SLA管理系統(tǒng)計費管理系統(tǒng)2、資源管理系統(tǒng)

資源管理系統(tǒng)（resourcemanagementsystem）機制可幫助協(xié)調(diào)IT資源，以便響應云用戶和云提供者執(zhí)行的管理操作。

資源管理系統(tǒng)包含一個VIM平臺和一個虛擬機映像庫，通常通過資源管理系統(tǒng)自動化并實現(xiàn)的任務包括如下：

管理虛擬IT資源模板；

在可用的物理基礎設施中分配和釋放虛擬IT資源模板；

在有其他機制參與的條件下，協(xié)調(diào)IT資源；

在云服務實例的生命周期中，強制執(zhí)行使用策略與安全規(guī)格；

監(jiān)控IT資源的操作條件。3、SLA管理系統(tǒng)

SLA管理系統(tǒng)（ServiceLevelAgreementManagement，服務等級協(xié)議）機制代表的是一系列商品化的可用云管理產(chǎn)品。

這些產(chǎn)品提供的功能包括：SLA數(shù)據(jù)的管理、收集、存儲、報告以及運行時通知，對相關數(shù)據(jù)的管理、收集、存儲、報告以及運行時通知，通常會有一個服務資料測量庫。4、計費管理系統(tǒng)

計費管理系統(tǒng)（billingmanagementsystem）機制專門用于收集和處理使用數(shù)據(jù)，它涉及云提供者的結(jié)算和云用戶的計費。

第3節(jié)

云監(jiān)控機制

云監(jiān)控機制是一種輕量級的自治軟件程序，用于收集和處理IT資源的使用數(shù)據(jù)。1、資源監(jiān)控

資源監(jiān)控是為了保證應用和服務的性能，開發(fā)者必須依據(jù)應用程序、服務的設計和實現(xiàn)機制估算工作負載，確定所需資源和容量的數(shù)量，避免資源供應不足或供應過量。2、

能量監(jiān)控

云計算是一種按使用量付費的模式，使用付費監(jiān)控器（pay-per-usemonitor）機制按照預先定義好的定價參數(shù)測量基于云的IT資源使用，使用期間生成的使用日志可以用于計算費用，日志主要包括：

請求/響應消息數(shù)量

傳送的數(shù)據(jù)量

帶寬消耗量3、

SLA監(jiān)控

SLA監(jiān)控器（SLAmonitor）機制被用來專門觀察云服務運行時性能，確保它們履行了SLA公布的約定QoS需求。例如輪詢檢測是否在線，檢測QoS是否達到SLA的要求。使用SLA監(jiān)控器機制需要注意這些問題：第三方監(jiān)控、告警裝置、轉(zhuǎn)換SLA以及有效的后備設施。第4節(jié)

特殊云機制

典型的云技術架構(gòu)包括大量靈活的部分，這些部分應對IT資源和解決方案有不同的使用要求，1、自動伸縮監(jiān)聽器

自動伸縮監(jiān)聽器（AutomatedScalingListener）機制是一個服務代理，它監(jiān)聽和追蹤用戶和云服務之間的通信或IT資源的使用情況。2、

負載均衡器

負載均衡器（loadbalancer）機制是一個運行時代理，該機制可以通過交換機，專門的硬件/軟件設備，以及服務代理來實現(xiàn)。非對稱分配（asymmetricdistribution）：較大的工作負載被送到具有較強處理能的IT資源；負載優(yōu)先級（workloadprioritization）：負載根據(jù)其優(yōu)先級別進行調(diào)度、排隊、丟棄和分配；上下文感知的分配（content-awaredistribution）：根據(jù)請求內(nèi)容分配到不同的IT資源；負載均衡器

負載均衡實現(xiàn)方式有以下幾類：軟件負載均衡技術硬件負載均衡技術本地負載均衡技術全局負載均衡技術（也稱為廣域網(wǎng)負載均衡）鏈路集合負載均衡技術3、故障轉(zhuǎn)移系統(tǒng)

故障轉(zhuǎn)移系統(tǒng)（failoversystem）通過集群技術提供冗余實現(xiàn)IT資源的可靠性和可用性。

一臺服務器接管發(fā)生故障的服務器的過程通常稱為“故障轉(zhuǎn)移”。如果一臺服務器變?yōu)椴豢捎?，則另一臺服務器自動接管發(fā)生故障的服務器并繼續(xù)處理任務。

集群中的每臺服務器在集群中至少有一臺其它服務器確定為其備用服務器。故障轉(zhuǎn)移系統(tǒng)有兩種基本配置：主動-主動主動-被動故障轉(zhuǎn)移工作原理

4、虛擬機監(jiān)控器

虛擬機監(jiān)控器（Hypervisor）機制是虛擬化基礎設施的最基礎部分，Hypervisor是一種運行在物理服務器和操作系統(tǒng)之間的中間軟件層，可允許多個操作系統(tǒng)和應用共享一套基礎物理硬件。Hypervisor是所有虛擬化技術的核心。非中斷地支持多工作負載遷移的能力是Hypervisor的基本功能。常見的Hypervisor分兩類：裸金屬型和宿主型。5、資源集群

資源集群（resourcecluster）將多個IT資源實例合并成組，使之能像一個IT資源那樣進行操作。服務器集群數(shù)據(jù)庫集群大數(shù)據(jù)集集群HA集群是資源集群的一種，Heartbeat就是Linux-HA項目中的一個組件，其中包括節(jié)點、資源、時間和動作四個相關術語。Heartbeat集群6、多設備代理

多設備代理（multi-devicebroker）機制用來幫助運行時的數(shù)據(jù)轉(zhuǎn)換，使得云服務被更廣泛的用戶程序和設備所用。

多設備代理通常是作為網(wǎng)關存在的，或者包含有網(wǎng)關的組件，例如：XML網(wǎng)關、云存儲網(wǎng)關以及移動設備網(wǎng)關。多設備代理機制可以創(chuàng)建的轉(zhuǎn)換邏輯層次包括：傳輸協(xié)議消息協(xié)議存儲設備協(xié)議數(shù)據(jù)模型/數(shù)據(jù)模式7、狀態(tài)管理數(shù)據(jù)庫

狀態(tài)管理數(shù)據(jù)庫（statemanagementdatabase）是一種存儲設備，用來暫時地存儲軟件的狀態(tài)數(shù)據(jù)，可以使軟件程序和周邊的基礎設施都具有更大的可擴展性。第4章虛擬化第1節(jié)

虛擬化簡介

1、什么是虛擬化

虛擬化是指計算機元件在虛擬的基礎上而不是在真實的、獨立的物理硬件基礎上運行。

虛擬化架構(gòu)就是在一個物理硬件機器上同時運行多個不同應用的獨立的虛擬系統(tǒng)。

研發(fā)與測試

服務器合并

高級虛擬主機2、虛擬化的發(fā)展歷史

虛擬化技術的萌芽

虛擬化技術的雛形

虛擬化標準的提出虛擬化的進一步發(fā)展3、虛擬化帶來的好處

與傳統(tǒng)IT資源分配的應用方式相比，使用虛擬化的優(yōu)勢有以下幾個方面：提高資源利用率降低成本，節(jié)能減排統(tǒng)一管理提高安全性第2節(jié)虛擬化的分類

實際上，我們通常所說的虛擬化技術是指服務器虛擬化技術。而除此之外，還有網(wǎng)絡虛擬化、存儲虛擬化以及應用虛擬化等。1、服務器虛擬化

服務器虛擬化通過區(qū)分資源的優(yōu)先次序，并隨時隨地地將服務器資源分配給最需要它們的工作負載來簡化管理和提高效率，從而減少為單個工作負載峰值而儲備的資源。通過服務器虛擬化技術，用戶可以動態(tài)地啟用虛擬服務器（虛擬機）。x86服務器的虛擬化技術

完全虛擬化準虛擬化操作系統(tǒng)層虛擬化2、網(wǎng)絡虛擬化

網(wǎng)絡虛擬化將不同網(wǎng)絡的硬件和軟件資源結(jié)合成一個虛擬的整體，通常包括虛擬局域網(wǎng)和虛擬專用網(wǎng)。3、存儲虛擬化

存儲虛擬化就是把各種不同的存儲設備有機的結(jié)合起來進行使用，從而得到一個容量很大的“存儲池”，可以給各種服務器進行靈活的使用，并且數(shù)據(jù)可以在各存儲設備間靈活轉(zhuǎn)移。存儲虛擬化的基本概念是將實際的物理存儲實體與存儲的邏輯表示分離開來，應用服務器只與分配給它們的邏輯卷（或稱虛卷）打交道，而不用關心其數(shù)據(jù)是在哪個物理存儲實體上。

存儲虛擬化技術主要分為硬件和軟件兩種方式來實現(xiàn)。4、應用虛擬化

應用虛擬化通常包括兩層含義，一是應用軟件的虛擬化，二是桌面的虛擬化。

應用軟件虛擬化，就是將應用軟件從操作系統(tǒng)中分離出來，通過壓縮后的可執(zhí)行文件夾來運行，而不必需要任何設備驅(qū)動程序或者與用戶的文件系統(tǒng)相連；

桌面虛擬化技術是把應用程序的人機交互邏輯（應用程序界面、鍵盤及鼠標的操作、音頻輸入輸出、讀卡器、打印輸出等）與計算邏輯隔離開來，客戶端無需安裝軟件，通過網(wǎng)絡連接到應用服務器上，計算邏輯從本地遷移到后臺的服務器完成，實現(xiàn)應用的快速交付和統(tǒng)一管理。5、技術比較

第3節(jié)系統(tǒng)虛擬化

系統(tǒng)虛擬化的核心思想是使用虛擬化軟件在一臺物理機上，虛擬出一臺或多臺虛擬機。步驟如下。利用虛擬化評估工具進行容量規(guī)劃，實現(xiàn)同平臺應用的資源整合；在服務器虛擬化的基礎上，虛擬化I/O和存儲；實現(xiàn)虛擬資源池的統(tǒng)一管理；從虛擬化邁向云計算，通過云計算實現(xiàn)跨系統(tǒng)的資源動態(tài)調(diào)整。第4節(jié)虛擬化與云計算云計算是業(yè)務模式，是產(chǎn)業(yè)形態(tài)，它不是一種具體的技術。比如IaaS，PaaS和SaaS都是云計算的表現(xiàn)形式。而虛擬化技術是一種具體的技術，虛擬化和分布式系統(tǒng)都是用來實現(xiàn)云計算的關鍵技術之一。虛擬化

通過虛擬化技術，可以屏蔽不同硬件平臺的差異性，屏蔽不同硬件的差異所帶來的軟件兼容問題；通過虛擬化技術，可以將硬件的資源通過虛擬化軟件重新整合后分配給軟件使用。虛擬化技術實現(xiàn)了硬件無差別的封裝，這種方式很適合于部署在云計算的大規(guī)模應用中。第5節(jié)開源技術

1、Xen2、KVM

KVM使用Linux自身的調(diào)度器進行管理，所以相對于Xen，其核心源碼很少，KVM的虛擬化需要硬件支持。它是基于硬件的完全虛擬化，目前已成為主流的VMM之一。3、OpenVZ

OpenVZ是基于Linux內(nèi)核和作業(yè)系統(tǒng)的操作系統(tǒng)級虛擬化技術。OpenVZ允許物理服務器運行多個操作系統(tǒng)，被稱為虛擬專用服務器（VPS，VirtualPrivateServer）或虛擬環(huán)境（VE,VirtualEnvironment）。第6節(jié)虛擬化未來發(fā)展趨勢

云計算時代是開放、共贏的時代，作為云計算基礎架構(gòu)的虛擬化技術，將會不斷地有新的技術變革，逐步地增強開放性、安全性、兼容性以及用戶體驗。

連接協(xié)議標準化

平臺開放化

公有云私有化

虛擬化客戶端硬件化第5章分布式文件系統(tǒng)第1節(jié)

概述

1、本地文件系統(tǒng)文件系統(tǒng)是操作系統(tǒng)用來組織磁盤文件的方法和數(shù)據(jù)結(jié)構(gòu)。

傳統(tǒng)的文件系統(tǒng)指各種UNIX平臺的文件系統(tǒng)，包括UFS等，它們管理本地的磁盤存儲資源，提供文件到存儲位置的映射，并抽象出一套文件訪問接口供用戶使用。通常包含的四類信息如下。

超級塊Inode

文件內(nèi)容

目錄內(nèi)容2、分布式文件系統(tǒng)

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡與節(jié)點相連。分布式文件系統(tǒng)發(fā)展歷程

分布式文件系統(tǒng)的發(fā)展主要經(jīng)歷如下四個階段：1980~1990年，早期的分布式文件系統(tǒng)一般以提供標準接口的遠程文件訪問為目的，更多地關注訪問的性能和數(shù)據(jù)的可靠性；1990～1995年，面對廣域網(wǎng)和大容量存儲需求，出現(xiàn)了xFS、TigerShark并行文件系統(tǒng)及Frangipani等分布式文件系統(tǒng)；1995～2000年，網(wǎng)絡技術的發(fā)展和普及極大地推動了網(wǎng)絡存儲技術的發(fā)展，基于光纖通道的SAN（存儲區(qū)域網(wǎng)絡）、NAS（網(wǎng)絡附屬存儲）得到了廣泛應用；2000年以后，隨著SAN和NAS兩種體系結(jié)構(gòu)逐漸成熟，研究人員開始考慮如何將這兩種體系結(jié)構(gòu)結(jié)合起來，以充分利用兩者的優(yōu)勢。分布式文件系統(tǒng)實現(xiàn)方法

實現(xiàn)分布式文件系統(tǒng)一般有兩種方法：共享文件系統(tǒng)（sharedfilesystemapproach）和共享磁盤（shareddiskapproach）。

共享文件系統(tǒng)是實現(xiàn)分布式文件系統(tǒng)單一映象功能的傳統(tǒng)方法，它把文件系統(tǒng)的功能分布到客戶主機和服務器上來完成這一任務。

在共享磁盤模型中，系統(tǒng)中沒有文件服務器，而代之以共享磁盤。共享磁盤往往是一種專用的高端存儲設備，如IBMSSA磁盤。

常見的分布式文件系統(tǒng)有：GFS、HDFS、Hadoop、Lustre、Ceph、GridFS等等，當前比較流行的包括GFS、HDFS。本章重點介紹這兩種分布式文件系統(tǒng)。第2節(jié)

基本架構(gòu)1、服務器介紹

分布式文件系統(tǒng)的典型架構(gòu)，其中重要的服務器包括：主控服務器（Master/Namenode）、數(shù)據(jù)服務器（ChunkServer/Datanode）和客戶服務器。主控服務器存儲目錄結(jié)構(gòu)的主控服務器，在GFS中稱為master，在HDFS中稱為namenode。

主控服務器在整個集群中，同時提供服務的只存在一個，這種設計策略，避免了多臺服務器間即時同步數(shù)據(jù)的代價；而同時，它也使得主控服務器很可能成為整個架構(gòu)的瓶頸所在。主要功能如下：命名空間的維護數(shù)據(jù)服務器管理服務調(diào)度主備容災數(shù)據(jù)服務器

每一個文件的具體數(shù)據(jù)，被切分成若干個數(shù)據(jù)塊，冗余地存放在數(shù)據(jù)服務器。

數(shù)據(jù)服務器的主要工作模式就是定期向主控服務器匯報其狀況，然后等待并處理命令，更快更安全的存放好數(shù)據(jù)。主要功能如下：數(shù)據(jù)本地存儲狀態(tài)維護副本管理客戶端客戶端是以一個類庫（包）的模式存在，為用戶提供文件讀寫、目錄操作等APIs。當用戶需要使用分布式文件系統(tǒng)進行文件讀寫的時候，可以配置客戶端的相關包?？蛻舳酥饕膬蓚€功能如下：接口緩存（考慮維護緩存）2、數(shù)據(jù)分布在一個文件系統(tǒng)中，最重要的數(shù)據(jù)就是整個文件系統(tǒng)的目錄結(jié)構(gòu)和具體每個文件上的數(shù)據(jù)。

具體的文件數(shù)據(jù)被切分成數(shù)據(jù)塊，存放在數(shù)據(jù)服務器上。每一個文件數(shù)據(jù)塊，在數(shù)據(jù)服務器上都表示為一對文件（這是普通的Linux文件），一個是數(shù)據(jù)文件，另一個是附加信息的元文件，簡稱為數(shù)據(jù)塊文件。

數(shù)據(jù)塊文件存放在數(shù)據(jù)目錄下，它有一個名為current的根目錄，Block類用于表示數(shù)據(jù)塊，而FSDataset類是數(shù)據(jù)服務器管理文件塊的數(shù)據(jù)結(jié)構(gòu)。3、服務期間協(xié)議

在Hadoop的實現(xiàn)中，部署了一套RPC（RemoteProcedureCallProtocol，遠程過程調(diào)用協(xié)議）機制，用來實現(xiàn)各服務間的通信協(xié)議。第3節(jié)

GFS

GFS（GoogleFileSystem）是由Google開發(fā)并設計的一個面向大規(guī)模數(shù)據(jù)處理的分布式文件系統(tǒng)。集成了持續(xù)的監(jiān)控、錯誤偵測、災難冗余以及自動恢復的機制；一個文件塊的大小是64M；絕大部分的大數(shù)據(jù)都是采用在文件尾部追加數(shù)據(jù)的方式。1