西北農(nóng)林科技大學(xué)云計(jì)算

信息工程學(xué)院推薦資源教材云計(jì)算第三版電子工業(yè)出版社2015年參考教材虛擬化與云計(jì)算小組著.虛擬化與云計(jì)算，電子工業(yè)出版社，2009年.陸嘉恒，文繼榮著.分布式系統(tǒng)及云計(jì)算概論.清華大學(xué)出版社，2013.TomWhite著曾大聃譯.《Hadoop權(quán)威指南》，清華大學(xué)出版社，2015年.西北農(nóng)林科技大學(xué)大數(shù)據(jù)與云計(jì)算第1章目錄

大數(shù)據(jù)時代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢1.1大數(shù)據(jù)時代第一章大數(shù)據(jù)與云計(jì)算“大數(shù)據(jù)”(BigData)的搜索指數(shù)數(shù)據(jù)來源：百度指數(shù)

“大數(shù)據(jù)”這個詞從2012年才引起關(guān)注，之后搜索量便迅猛增長。為什么大數(shù)據(jù)這么受關(guān)注？(EB)(年份)全球數(shù)據(jù)總量變化圖1.1大數(shù)據(jù)時代第一章大數(shù)據(jù)與云計(jì)算為什么全球數(shù)據(jù)量增長如此之快？一：數(shù)據(jù)產(chǎn)生方式的改變二：人類的活動越來越依賴數(shù)據(jù)1.人類的日常生活已經(jīng)與數(shù)據(jù)密不可分2.科學(xué)研究進(jìn)入了“數(shù)據(jù)科學(xué)”時代3.各行各業(yè)也越來越依賴大數(shù)據(jù)手段來開展工作1.1大數(shù)據(jù)時代第一章大數(shù)據(jù)與云計(jì)算何謂大數(shù)據(jù)？海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無法通過目前主流的計(jì)算機(jī)系統(tǒng)在合理時間內(nèi)獲取、存儲、管理、處理并提煉以幫助使用者決策。定義101C4V多樣（Variety）數(shù)據(jù)增長速度快，而且越新的數(shù)據(jù)價值越大，這就要求對數(shù)據(jù)的處理速度也要快?？焖伲╒elocity）在成本可接受的條件下，通過快速采集、發(fā)現(xiàn)和分析，從大量、多種類別的數(shù)據(jù)中提取價值的體系架構(gòu)。價值密度低（Value）復(fù)雜度（Complexity）數(shù)據(jù)量大（Volume）存儲的數(shù)據(jù)量巨大，PB級別是常態(tài)，因而對其分析的計(jì)算量也大。數(shù)據(jù)的來源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。對數(shù)據(jù)的處理和分析的難度大。1.1大數(shù)據(jù)時代第一章大數(shù)據(jù)與云計(jì)算目錄

大數(shù)據(jù)時代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢G=f(x)大數(shù)據(jù)與云計(jì)算的關(guān)系我們的目標(biāo)云計(jì)算大數(shù)據(jù)1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算云計(jì)算是什么？“它起源于我們將互聯(lián)網(wǎng)視為云的時候…我們不關(guān)心消息去往何處…云為我們屏蔽了復(fù)雜性”KevinMarks,Google“融合的云是對服務(wù)器，應(yīng)用，數(shù)據(jù)，基礎(chǔ)設(shè)施的復(fù)雜性和異構(gòu)平臺的簡化抽象”Amazon’sCEOJeffBezos1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算云計(jì)算的發(fā)展路線并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算并行計(jì)算并行計(jì)算或稱平行計(jì)算是相對于串行計(jì)算來說的。并行計(jì)算（ParallelComputing）是指同時使用多種計(jì)算資源解決計(jì)算問題的過程。為執(zhí)行并行計(jì)算，計(jì)算資源應(yīng)包括一臺配有多處理機(jī)（并行處理）的計(jì)算機(jī)、一個與網(wǎng)絡(luò)相連的計(jì)算機(jī)專有編號（？），或兩者結(jié)合使用。并行計(jì)算的主要目的是快速解決大型且復(fù)雜的計(jì)算問題。并行計(jì)算可以劃分成時間并行和空間并行。時間并行即流水線技術(shù)，空間并行使用多個處理器執(zhí)行并發(fā)計(jì)算，當(dāng)前研究的主要是空間的并行問題。以程序和算法設(shè)計(jì)人員的角度看，并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行。數(shù)據(jù)并行把大的任務(wù)化解成若干個相同的子任務(wù)，處理起來比任務(wù)并行簡單。/wiki/Parallel_computing1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算集群計(jì)算計(jì)算機(jī)集群將一組松散集成的計(jì)算機(jī)軟件或硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。在某種意義上，他們可以被看作是一臺計(jì)算機(jī)。集群系統(tǒng)中的單個計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計(jì)算機(jī)通常用來改進(jìn)單個計(jì)算機(jī)的計(jì)算速度和/或可靠性。一般情況下集群計(jì)算機(jī)比單個計(jì)算機(jī)，比如工作站或超級計(jì)算機(jī)性價比要高得多。根據(jù)組成集群系統(tǒng)的計(jì)算機(jī)之間體系結(jié)構(gòu)是否相同，集群可分為同構(gòu)與異構(gòu)兩種。集群計(jì)算機(jī)按功能和結(jié)構(gòu)可以分為，高可用性集群（High-availability(HA)clusters）、負(fù)載均衡集群（Loadbalancingclusters）、高性能計(jì)算集群（High-performance(HPC)clusters）、網(wǎng)格計(jì)算（Gridcomputing）。/wiki/Cluster_(computing)1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算分布式計(jì)算分布式計(jì)算這個研究領(lǐng)域，主要研究分散系統(tǒng)（Distributedsystem）如何進(jìn)行計(jì)算。分散系統(tǒng)是一組計(jì)算機(jī)，通過計(jì)算機(jī)網(wǎng)絡(luò)相互鏈接與通信后形成的系統(tǒng)。把需要進(jìn)行大量計(jì)算的工程數(shù)據(jù)分區(qū)成小塊，由多臺計(jì)算機(jī)分別計(jì)算，在上傳運(yùn)算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)。/wiki/Distributed_computing1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算并行計(jì)算與分布式計(jì)算的區(qū)別并行計(jì)算與分布式計(jì)算都是運(yùn)用并行來獲得更高性能，化大任務(wù)為小任務(wù)。簡單說來，如果處理單元共享內(nèi)存，就稱為并行計(jì)算，反之就是分布式計(jì)算。也有人認(rèn)為分布式計(jì)算是并行計(jì)算的一種特例。1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算并行計(jì)算與分布式計(jì)算的區(qū)別并行計(jì)算與分布式計(jì)算都是運(yùn)用并行來獲得更高性能，化大任務(wù)為小任務(wù)。簡單說來，如果處理單元共享內(nèi)存，就稱為并行計(jì)算，反之就是分布式計(jì)算。也有人認(rèn)為分布式計(jì)算是并行計(jì)算的一種特例。分布式的任務(wù)包互相之間有獨(dú)立性，上一個任務(wù)包的結(jié)果未返回或者是結(jié)果處理錯誤，對下一個任務(wù)包的處理幾乎沒有什么影響。因此，分布式的實(shí)時性要求不高，而且允許存在計(jì)算錯誤（因?yàn)槊總€計(jì)算任務(wù)給好幾個參與者計(jì)算，上傳結(jié)果到服務(wù)器后要比較結(jié)果，然后對結(jié)果差異大的進(jìn)行驗(yàn)證。1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算并行計(jì)算與分布式計(jì)算的區(qū)別并行計(jì)算與分布式計(jì)算都是運(yùn)用并行來獲得更高性能，化大任務(wù)為小任務(wù)。簡單說來，如果處理單元共享內(nèi)存，就稱為并行計(jì)算，反之就是分布式計(jì)算。也有人認(rèn)為分布式計(jì)算是并行計(jì)算的一種特例。并行程序并行處理的任務(wù)包之間有很大的聯(lián)系，而且并行計(jì)算的每一個任務(wù)塊都是必要的，沒有浪費(fèi)的分割的，就是每個任務(wù)包都要處理，而且計(jì)算結(jié)果相互影響，就要求每個的計(jì)算結(jié)果要絕對正確，而且在時間上要盡量做到同步，而分布式的很多任務(wù)塊可以根本就不處理，有大量的無用數(shù)據(jù)塊，所以說分布式計(jì)算的速度盡管很快，但是真正的“效率”是低之再低的，可能一直在尋找，但是永遠(yuǎn)都找不到，也可能一開始就找到了；而并行處理不同，它的任務(wù)包個數(shù)相對有限，在一個有限的時間應(yīng)該是可能完成的。1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算網(wǎng)格計(jì)算網(wǎng)格計(jì)算是分布式計(jì)算的一種，也是一種與集群計(jì)算非常相關(guān)的技術(shù)。如果我們說某項(xiàng)工作是分布式的，那么，參與這項(xiàng)工作的一定不只是一臺計(jì)算機(jī)，而是一個計(jì)算機(jī)網(wǎng)絡(luò)，顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力。網(wǎng)格計(jì)算的實(shí)質(zhì)就是組合與共享資源并確保系統(tǒng)安全。網(wǎng)格計(jì)算通過利用大量異構(gòu)計(jì)算機(jī)的未用資源（CPU周期和磁盤存儲），將其作為嵌入在分布式電信基礎(chǔ)設(shè)施中的一個虛擬的計(jì)算機(jī)集群，為解決大規(guī)模的計(jì)算問題提供一個模型。網(wǎng)格計(jì)算的焦點(diǎn)放在支持跨管理域計(jì)算的能力，這使它與傳統(tǒng)的計(jì)算機(jī)集群或傳統(tǒng)的分布式計(jì)算相區(qū)別。網(wǎng)格計(jì)算的目標(biāo)是解決對于任何單一的超級計(jì)算機(jī)來說仍然大得難以解決的問題，并同時保持解決多個較小的問題的靈活性。這樣，網(wǎng)格計(jì)算就提供了一個多用戶環(huán)境。/wiki/Grid_computing1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算云計(jì)算云計(jì)算，不只是計(jì)算等計(jì)算機(jī)概念，還有運(yùn)營服務(wù)等概念了。它是分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展，或者說是這些概念的商業(yè)實(shí)現(xiàn)。云計(jì)算不但包括分布式計(jì)算還包括分布式存儲和分布式緩存。分布式存儲又包括分布式文件存儲和分布式數(shù)據(jù)存儲。彈性能力虛擬化服務(wù)互聯(lián)網(wǎng)多租戶動態(tài)配置按需付費(fèi)IaaSPaaSSaaS云計(jì)算的定義—wiki第一章大數(shù)據(jù)與云計(jì)算云計(jì)算的定義——NIST美國國家標(biāo)準(zhǔn)技術(shù)研究院云計(jì)算是一種模型，它可以實(shí)現(xiàn)隨時隨地，便捷地，隨需應(yīng)變地從可配置計(jì)算資源共享池中獲取所需的資源(例如，網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用、及服務(wù))，資源能夠快速供應(yīng)并釋放，使管理資源的工作量和與服務(wù)提供商的交互減小到最低限度。云計(jì)算的基本特點(diǎn)是：隨需應(yīng)變的自助服務(wù)、無處不在的網(wǎng)絡(luò)訪問、資源共享池、快速而靈活、計(jì)量付費(fèi)服務(wù)。廣大用戶依托互聯(lián)網(wǎng)某些節(jié)點(diǎn)強(qiáng)大的信息資源、包括存儲資源、計(jì)算資源、軟件資源、數(shù)據(jù)資源，管理資源為己所用，強(qiáng)調(diào)需求驅(qū)動，用戶主導(dǎo)，按需服務(wù)，即用即付，用完即散，不對用戶集中控制，用戶不關(guān)心服務(wù)者在什么地方。云計(jì)算的定義第一章大數(shù)據(jù)與云計(jì)算云計(jì)算長定義云計(jì)算短定義云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲空間和信息服務(wù)。云計(jì)算是通過網(wǎng)絡(luò)按需提供可動態(tài)伸縮的廉價計(jì)算服務(wù)。將軟件作為服務(wù)SaaS（SoftwareasaService）將平臺作為服務(wù)PaaS（PlatformasaService）將基礎(chǔ)設(shè)施作為服務(wù)IaaS（InfrastructureasaService）針對性更強(qiáng)，它將某些特定應(yīng)用軟件功能封裝成服務(wù)如：SalesforceonlineCRM對資源的抽象層次更進(jìn)一步，提供用戶應(yīng)用程序運(yùn)行環(huán)境如：GoogleAppEngineMicrosoftWindowsAzure將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用如：AmazonEC2/S3云計(jì)算按服務(wù)類型大致分為三類：專用通用1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算服務(wù)模型與系統(tǒng)架構(gòu)：SaaSPaaSIaaSNetworkH/WVirtualizationOSDatabaseMiddlewareApplicationManagement1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算部署模型：公有云社區(qū)云私有云混合云企業(yè)獨(dú)立擁有或獨(dú)立承租的云系統(tǒng)在特定社區(qū)內(nèi)共享的云系統(tǒng)，如：由某公司及其合作伙伴共同承建并分享使用的云系統(tǒng)面向公眾開放租售的大規(guī)模云系統(tǒng)由以上三種云系統(tǒng)中的兩種以上的云系統(tǒng)共同配合而提供IT能力的混合型云系統(tǒng)1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算云計(jì)算的7個特點(diǎn)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價1.2云計(jì)算——大數(shù)據(jù)的計(jì)算第一章大數(shù)據(jù)與云計(jì)算基本特征：目錄

大數(shù)據(jù)時代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢微軟緊跟云計(jì)算步伐，推出了WindowsAzure操作系統(tǒng)國外云計(jì)算的先行者亞馬遜的云計(jì)算稱為AmazonWebServices（AWS）谷歌是最大的云計(jì)算技術(shù)的使用者率先在全球提供了彈性計(jì)算云EC2（ElasticComputingCloud）和簡單存儲服務(wù)S3（SimpleStorageService），為企業(yè)提供計(jì)算和存儲服務(wù)。收費(fèi)的服務(wù)項(xiàng)目包括存儲空間、帶寬、CPU資源以及月租費(fèi)。AWS服務(wù)的種類非常齊全全球用戶數(shù)量已經(jīng)超過100萬最大的云計(jì)算技術(shù)的使用者谷歌搜索引擎就建立在分布在200多個站點(diǎn)、超過100萬臺的服務(wù)器的支撐之上，而且這些設(shè)施的數(shù)量正在迅猛增長發(fā)表學(xué)術(shù)論文的形式公開其云計(jì)算三大法寶：GFS、MapReduce和Bigtable，并在美國、中國等高校開設(shè)如何進(jìn)行云計(jì)算編程的課程采用GoogleDocs之類的應(yīng)用，用戶數(shù)據(jù)會保存在互聯(lián)網(wǎng)上的某個位置，可以通過任何一個與互聯(lián)網(wǎng)相連的終端十分便利地訪問和共享這些數(shù)據(jù)谷歌已經(jīng)允許第三方在谷歌的云計(jì)算中通過GoogleAppEngine運(yùn)行大型并行應(yīng)用程序微軟于2008年10月推出了WindowsAzure操作系統(tǒng)。Azure(譯為“藍(lán)天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉(zhuǎn)型。微軟的云平臺包括幾十萬臺服務(wù)器.在中國，微軟2014年3月27日宣布由世紀(jì)互聯(lián)負(fù)責(zé)運(yùn)營的MicrosoftAzure公有云服務(wù)正式商用，這是國內(nèi)首個正式商用的國際公有云服務(wù)平臺。Azure的底層是微軟全球基礎(chǔ)服務(wù)系統(tǒng)，由遍布全球的第四代數(shù)據(jù)中心構(gòu)成。微軟將為WindowsAzure用戶推出許多新的功能，不但能更簡單地將現(xiàn)有的應(yīng)用程序轉(zhuǎn)移到云中，而且可以加強(qiáng)云托管應(yīng)用程序的可用服務(wù)，充分體現(xiàn)出微軟的“云”+“端”戰(zhàn)略。國內(nèi)云計(jì)算崛起代表企業(yè)存儲服務(wù)為特色多處擁有云計(jì)算數(shù)據(jù)中心游戲托管為特色國際上云計(jì)算產(chǎn)品最全提供類似AWS服務(wù)專門支撐智能硬件大數(shù)據(jù)免費(fèi)托管目錄

大數(shù)據(jù)時代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢41服務(wù)接口服務(wù)注冊服務(wù)查找服務(wù)訪問服務(wù)工作流SOA構(gòu)建層管理中間件層環(huán)境配置計(jì)算資源池存儲資源池網(wǎng)絡(luò)資源池?cái)?shù)據(jù)資源池軟件資源池計(jì)算機(jī)存儲器網(wǎng)絡(luò)設(shè)施數(shù)據(jù)庫軟件資源池層物理資源層賬號管理用戶管理任務(wù)管理資源管理交互管理使用計(jì)費(fèi)身份認(rèn)證訪問授權(quán)綜合防護(hù)安全審計(jì)安全管理任務(wù)調(diào)度映像部署和管理任務(wù)執(zhí)行生命期管理故障檢測負(fù)載均衡故障恢復(fù)監(jiān)視統(tǒng)計(jì)1.4云計(jì)算實(shí)現(xiàn)機(jī)制第一章大數(shù)據(jù)與云計(jì)算計(jì)算機(jī)、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等封裝云計(jì)算能力成標(biāo)準(zhǔn)的WebServices服務(wù)，并納入到SOA體系云計(jì)算的資源管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池云計(jì)算體系結(jié)構(gòu)SOA構(gòu)建層管理中間件層物理資源層資源池層管理中間件層和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。1.4云計(jì)算實(shí)現(xiàn)機(jī)制第一章大數(shù)據(jù)與云計(jì)算均衡使用云資源節(jié)點(diǎn)，檢測節(jié)點(diǎn)故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)

資源管理

任務(wù)管理安全管理

用戶管理

云計(jì)算的管理中間件層

執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象（Image）的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進(jìn)行計(jì)費(fèi)等保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等

1.4云計(jì)算實(shí)現(xiàn)機(jī)制44第一章大數(shù)據(jù)與云計(jì)算簡化的IaaS實(shí)現(xiàn)機(jī)制圖服務(wù)目錄是用戶可以訪問的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)視統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)。用戶交互接口向應(yīng)用以WebServices方式提供訪問接口，獲取用戶需求。1.4云計(jì)算實(shí)現(xiàn)機(jī)制第一章大數(shù)據(jù)與云計(jì)算目錄

大數(shù)據(jù)時代云計(jì)算——大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢47全球企業(yè)IT開銷發(fā)展趨勢1.5