云計算與大數(shù)據(jù)技術(shù)

人民郵電出版社王鵬黃焱安俊秀張逸琴編著

目錄CONTENTS第1章云計算與大數(shù)據(jù)基礎(chǔ)第2章云計算與大數(shù)據(jù)的相關(guān)技術(shù)第3章虛擬化技術(shù)第4章集群系統(tǒng)基礎(chǔ)第5章MPI—面向計算第6章Hadoop—分布式大數(shù)據(jù)系統(tǒng)第7章HPCC—面向數(shù)據(jù)的高性能計算集群系統(tǒng)第8章Storm—基于拓?fù)涞牧鲾?shù)據(jù)實時計算系統(tǒng)第9章服務(wù)器與數(shù)據(jù)中心第10章云計算大數(shù)據(jù)仿真技術(shù)第1章云計算與大數(shù)據(jù)基礎(chǔ)《云計算與大數(shù)據(jù)技術(shù)》

第1章云計算與大數(shù)據(jù)基礎(chǔ)1.1云計算技術(shù)概述 1.1.1云計算簡介

1.1.2云計算的特點 1.1.3云計算技術(shù)分類

1.2大數(shù)據(jù)技術(shù)概述1.2.1大數(shù)據(jù)簡介

1.2.2主要的大數(shù)據(jù)處理系統(tǒng)

1.2.3大數(shù)據(jù)處理的基本流程

1.3云計算與大數(shù)據(jù)的發(fā)展

1.1.1云計算簡介云計算技術(shù)是硬件技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展到一定階段而出現(xiàn)的一種新的技術(shù)模型云計算并不是對某一項獨立技術(shù)的稱呼，而是對實現(xiàn)云計算模式所需要的所有技術(shù)的總稱。云計算技術(shù)的內(nèi)容很多包括分布式計算技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)技術(shù)、服務(wù)器技術(shù)、數(shù)據(jù)中心技術(shù)、云計算平臺技術(shù)、存儲技術(shù)等。從廣義上說，云計算技術(shù)幾乎包括了當(dāng)前信息技術(shù)中的絕大部分。

1.1.1云計算簡介維基百科中對云計算的定義為：云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機(jī)和其他設(shè)備。2012年的國務(wù)院政府工作報告將云計算作為國家戰(zhàn)略性新興產(chǎn)業(yè)給出了定義：云計算是基于互聯(lián)網(wǎng)的服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源。云計算是傳統(tǒng)計算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。

1.1.1云計算簡介云計算技術(shù)的出現(xiàn)改變了信息產(chǎn)業(yè)傳統(tǒng)的格局。傳統(tǒng)的信息產(chǎn)業(yè)企業(yè)既是資源的整合者又是資源的使用者；這這種格局并不符合現(xiàn)代產(chǎn)業(yè)分工高度專業(yè)化的需求，同時也不符合企業(yè)需要靈敏地適應(yīng)客戶的需要。1.1.1云計算簡介傳統(tǒng)的計算資源和存儲資源大小通常是相對固定的，面對客戶高波動性的需求時會非常的不敏捷，企業(yè)的計算和存儲資源要么是被浪費，要么是面對客戶峰值需求時力不從心。云計算技術(shù)使資源與用戶需求之間是一種彈性化的關(guān)系，資源的使用者和資源的整合者并不是一個企業(yè)，資源的使用者只需要對資源按需付費，從而敏捷地響應(yīng)客戶不斷變化的資源需求，這一方法降低了資源使用者的成本，提高了資源的利用效率。

1.1.1云計算簡介云計算時代基本的3種角色：

資源的整合運營者、資源的使用者、終端客戶。資源的整合運營者就像是發(fā)電廠負(fù)責(zé)資源的整合輸出；資源的使用者負(fù)責(zé)將資源轉(zhuǎn)變?yōu)闈M足客戶需求的各種應(yīng)用；終端客戶為資源的最終消費者。1.1.1云計算簡介云計算這種種新的模式式的出現(xiàn)被被認(rèn)為是信信息產(chǎn)業(yè)的的一大變革革，吸引了了大量企業(yè)業(yè)重新布局局：IBM、微微軟、谷歌歌、DELL等企業(yè)業(yè)國內(nèi)企業(yè)：：華為、中中興、騰訊訊、阿里、、聯(lián)想、浪浪潮、五舟舟等企業(yè)1.1.1云計算算簡介云計算技術(shù)術(shù)作為一項項涵蓋面廣廣且對產(chǎn)業(yè)業(yè)影響深遠(yuǎn)遠(yuǎn)的技術(shù)，，未來將逐逐步滲透到到信息產(chǎn)業(yè)業(yè)和其他產(chǎn)產(chǎn)業(yè)的方方方面面，并并將深刻改改變產(chǎn)業(yè)的的結(jié)構(gòu)模式式、技術(shù)模模式和產(chǎn)品品銷售模式式，進(jìn)而深深刻影響人人們的生活活；云計算會逐逐步成為人人們生活中中必不可少少的技術(shù)；；1.1.1云計算算簡介移動互聯(lián)網(wǎng)網(wǎng)的出現(xiàn)使使云計算應(yīng)應(yīng)用走向了了人們的指指間，推動動了云計算算技術(shù)的應(yīng)應(yīng)用發(fā)展，，今后云計計算將是一一項隨時、、隨地、隨隨身為我們們提供服務(wù)務(wù)的技術(shù)；；云計算的出出現(xiàn)也將如如電的出現(xiàn)現(xiàn)一般，為為信息產(chǎn)業(yè)業(yè)的發(fā)展提提供無限的的想象空間間，使應(yīng)用用的創(chuàng)新能能力得到完完全釋放。。1.1.1云計算算簡介1.1.2云計算算的特點1．資源池彈性性可擴(kuò)張2．按需提供資資源服務(wù)3．虛擬化4．網(wǎng)絡(luò)化的資資源接入5．高可靠性和和安全性1.1.2云計算算的特點與傳統(tǒng)的資資源提供方方向相比，，云計算具具有以下特特點：（1）資源源池彈性可可擴(kuò)張云計算系統(tǒng)統(tǒng)的一個重重要特征就就是資源的集中中管理和輸輸出，這就是所所謂的資源源池。從資資源低效率率的分散使使用到資源源高效的集集約化使用用正是云計計算的基本本特征之一一。分散的資源源使用方法法造成了資資源的極大大浪費，現(xiàn)現(xiàn)在每個人人都可能有有一到兩臺臺自己的計計算機(jī)，但但對這種資資源的利用用率卻非常常的低，計計算機(jī)在大大量時間都都是在等待待狀態(tài)或是是在處理文文字?jǐn)?shù)據(jù)等等低負(fù)荷的的任務(wù)。資源集中起起來后資源源的利用效效率會大大大地提高，，隨著資源源需求的不不斷提高，，資源池的的彈性化擴(kuò)擴(kuò)張能力成成為云計算算系統(tǒng)的一一個基本要要求，云計計算系統(tǒng)只只有具備了了資源的彈彈性化擴(kuò)張張能力才能能有效地應(yīng)應(yīng)對不斷增增長的資源源需求。大多數(shù)云計計算系統(tǒng)都都能較為方方便地實現(xiàn)現(xiàn)新資源的的加入。1.1.2云計算算的特點（2）按需需提供資源源服務(wù)云計算系統(tǒng)統(tǒng)帶給客戶戶最重要的的好處就是是敏捷地適應(yīng)用戶對對資源不斷斷變化的需需求；云計算系統(tǒng)統(tǒng)實現(xiàn)按需向用戶戶提供資源源能大大節(jié)省省用戶的硬硬件資源開開支，用戶戶不用自己己購買并維維護(hù)大量固固定的硬件件資源，只只需向自己己實際消費費的資源量量來付費；；按需提供資資源服務(wù)使使應(yīng)用開發(fā)發(fā)者在邏輯輯上可以認(rèn)認(rèn)為資源池池的大小是是不受限制制的，應(yīng)用用開發(fā)者的的主要精力力只需要集集中在自己己的應(yīng)用上上。1.1.2云計算算的特點（3）虛擬擬化現(xiàn)有的云計計算平臺的的重要特點點是利用軟軟件來實現(xiàn)現(xiàn)硬件資源源的虛擬化化管理、調(diào)調(diào)度及應(yīng)用用。在云計算中中利用虛擬擬化技術(shù)可可大大降低低維護(hù)成本本和提高資資源的利用用率。1.1.2云計算算的特點（4）網(wǎng)絡(luò)絡(luò)化的資源源接入。從最終用戶戶的角度看看，基于云計計算系統(tǒng)的的應(yīng)用服務(wù)務(wù)通常都是是通過網(wǎng)絡(luò)絡(luò)來提供的的，應(yīng)用開開發(fā)者將云云計算中心心的計算、、存儲等資資源封裝為為不同的應(yīng)應(yīng)用后往往往會通過網(wǎng)網(wǎng)絡(luò)提供給給最終的用用戶。云計算技術(shù)術(shù)必須實現(xiàn)現(xiàn)資源的網(wǎng)網(wǎng)絡(luò)化接入入才能有效效地向應(yīng)用用開發(fā)者和和最終用戶戶提供資源源服務(wù)。以網(wǎng)絡(luò)技術(shù)術(shù)的發(fā)展是是推動云計計算技術(shù)出出現(xiàn)的首要要動力。1.1.2云計算算的特點（5）高可可靠性和安安全性。用戶數(shù)據(jù)存存儲在服務(wù)務(wù)器端，而而應(yīng)用程序序在服務(wù)器器端運行，，計算由服服務(wù)器端來來處理。所所有的服務(wù)務(wù)分布在不不同的服務(wù)務(wù)器上，如如果什么地地方（節(jié)點點）出問題題就在什么么地方終止止它，另外外再啟動一一個程序或或節(jié)點，即即自動處理失失敗節(jié)點，從而保證證了應(yīng)用和和計算的正正常進(jìn)行。。數(shù)據(jù)被復(fù)制制到多個服服務(wù)器節(jié)點點上有多個個副本（備備份），存存儲在云里里的數(shù)據(jù)即即使遇到意意外刪除或或硬件崩潰潰也不會受受到影響。。1.1.2云計算算的特點1.1.3云計算算技術(shù)分類類1.1.3云計算算技術(shù)分類類1．按技術(shù)術(shù)路線分類類2．按服務(wù)務(wù)對象分類類3．按資源源封裝的層層次分類目前已出現(xiàn)現(xiàn)的云計算算技術(shù)種類類非常多，，對于云計計算的分類類可以有多多種角度：：從技術(shù)路路線角度度可以分分為資源源整合型型云計算算和資源源切分型型云計算算；從服務(wù)對對像角度度可以被被分為公公有云和和私有云云；按資源封封裝的層層次來分分可以分分為：基礎(chǔ)設(shè)施施即服務(wù)務(wù)（InfrastructureasaService，IaaS）平臺即服服務(wù)（PlatformasaService，，PaaS）軟件即服服務(wù)（SoftwareasaService，，SaaS）。。云云計算技技術(shù)分類類1．按技技術(shù)路線線分類資源整合合型云計計算：這種類型型的云計計算系統(tǒng)統(tǒng)在技術(shù)術(shù)實現(xiàn)方方面大多多體現(xiàn)為為集群架架構(gòu)，通通過將大大量節(jié)點點的計算算資源和和存儲資資源整合合后輸出出。這類系統(tǒng)統(tǒng)通常能能實現(xiàn)跨跨節(jié)點彈彈性化的的資源池池構(gòu)建，，核心技技術(shù)為分分布式計計算和存存儲技術(shù)術(shù)。MPI、、Hadoop、HPCC、、Storm等等都可以以被分類類為資源源整合型型云計算算系統(tǒng)。。云云計算技技術(shù)分類類資源切分分型云計計算：這種類型型最為典典型的就就是虛擬擬化系統(tǒng)統(tǒng)，這類類云計算算系統(tǒng)通通過系統(tǒng)統(tǒng)虛擬化化實現(xiàn)對對單個服服務(wù)器資資源的彈彈性化切切分，從從而有效效地利用用服務(wù)器器資源，，其核心心技術(shù)為為虛擬化化技術(shù)。。這種技術(shù)術(shù)的優(yōu)點點是用戶戶的系統(tǒng)統(tǒng)可以不不做任何何改變接接入采用用虛擬化化技術(shù)的的云系統(tǒng)統(tǒng)，是目目前應(yīng)用用較為廣廣泛的技技術(shù)，特特別是在在桌面云云計算技技術(shù)上應(yīng)應(yīng)用得較較為成功功；缺點是跨跨節(jié)點的的資源整整合代價價較大；；KVM、、VMware都是這這類技術(shù)術(shù)的代表表。云云計算技技術(shù)分類類2．按服服務(wù)對象象分類公有云：：指服務(wù)對對象是面面向公眾眾的云計計算服務(wù)務(wù)，公有有云對云云計算系系統(tǒng)的穩(wěn)穩(wěn)定性、、安全性性和并發(fā)發(fā)服務(wù)能能力有更更高的要要求。私有云：：指主要服服務(wù)于某某一組織織內(nèi)部的的云計算算服務(wù)，，其服務(wù)務(wù)并不向向公眾開開放，如如企業(yè)、、政府內(nèi)內(nèi)部的云云服務(wù)。。公有云與與私有云云的界限限并不是是特別清清晰，有有時服務(wù)務(wù)于一個個地區(qū)和和團(tuán)體的的云也被被稱為公公有云。。所以這這種云計計算分類類方法并并不是一一種準(zhǔn)確確的分類類方法，，主要是是在商業(yè)業(yè)領(lǐng)域的的一種稱稱呼。云云計算技技術(shù)分類類3．按資資源封裝裝的層次次分類基礎(chǔ)設(shè)施施即服務(wù)務(wù)（InfrastructureasaService，IaaS）：把單純的的計算和和存儲資資源不經(jīng)封裝裝地直接通通過網(wǎng)絡(luò)絡(luò)以服務(wù)的的形式提供的用用戶使用用。這類云計計算服務(wù)務(wù)用戶的的自主性性較大，，就像是是發(fā)電廠廠將發(fā)的的電直接接送出去去一樣。。這類云服服務(wù)的對對象往往往是具有專業(yè)業(yè)知識能能力的資源使使用者，，傳統(tǒng)數(shù)數(shù)據(jù)中心心的主機(jī)機(jī)租用等等可能作作為IaaS的的典型代代表。云云計算技技術(shù)分類類平臺即服服務(wù)（PlatformasaService，，PaaS）：計算和存存儲資源源經(jīng)封裝后，以某種接接口和協(xié)協(xié)議的形形式提供給用用戶調(diào)用用，資源源的使用用者不再再直接面面對底層層資源。。平臺即服服務(wù)需要要平臺軟軟件的支支撐，可可以認(rèn)為為是從資資源到應(yīng)應(yīng)用軟件件的一個個中間件，通過這這類中間間件可以以大大減減小應(yīng)用用軟件開開發(fā)時的的技術(shù)難難度。這類云服服務(wù)的對對象往往往是云計計算應(yīng)用用軟件的的開發(fā)者，平臺軟軟件的開開發(fā)需要要使用者者具有一定定的技術(shù)術(shù)能力。云云計算技技術(shù)分類類軟件即服服務(wù)（SoftwareasaService，，SaaS）：將計算和和存儲資資源封裝為用戶可以以直接使使用的應(yīng)用并并通過網(wǎng)網(wǎng)絡(luò)提供供給用戶戶；SaaS面向的的服務(wù)對對象為最終用戶戶，用戶只只是對軟件功功能進(jìn)行行使用，無需了了解任何何云計算算系統(tǒng)的的內(nèi)部結(jié)結(jié)構(gòu)，也也不需要要用戶具具有專業(yè)業(yè)的技術(shù)術(shù)開發(fā)能能力。云云計算技技術(shù)分類類圖1.1云計計算服務(wù)務(wù)體系結(jié)結(jié)構(gòu)如圖所示示，云計計算系統(tǒng)統(tǒng)按資源源封裝的的層次分分為IaaS、、PaaS、SaaS，分為為對底層層硬件資資源不同同級別的的封裝，，從而實實現(xiàn)將資資源轉(zhuǎn)變變?yōu)榉?wù)務(wù)的目的的。傳統(tǒng)的信信息系統(tǒng)統(tǒng)資源的的使用者者通常是是以直接接占有物物理硬件件資源的的形式來來使用資資源的，，而云計計算系統(tǒng)統(tǒng)通過IaaS、PaaS、、SaaS等不不同層次次的封裝裝將物理理硬件資資源封裝裝后，以以服務(wù)的的形式利利用網(wǎng)絡(luò)絡(luò)提供給給資源的的使用者者。在這里資資源的使使用者可可能是資資源的二二次加工工者，也也可能是是最終應(yīng)應(yīng)用軟件件的使用用者，通通常IaaS、、PaaS層面面向的資資源使用用者往往往是資源源的二次次加工者者，這類類資源的的使用者者并不是是資源的的最終消消費者，，他們將將資源轉(zhuǎn)轉(zhuǎn)變?yōu)閼?yīng)應(yīng)用服務(wù)務(wù)程序后后以SaaS的的形式提提供給資資源的最最終消費費者。實現(xiàn)對物物理資源源封裝的的技術(shù)并并不是惟惟一的，，目前不不少的軟軟件都能能實現(xiàn)，，甚至有有的系統(tǒng)統(tǒng)只有SaaS層，并并沒有進(jìn)進(jìn)行逐層層的封裝裝。云云計算技技術(shù)分類類云計算的的服務(wù)層層次是根根據(jù)服務(wù)務(wù)類型即即服務(wù)集集合來劃劃分，與與大家熟熟悉的計計算機(jī)網(wǎng)網(wǎng)絡(luò)體系系結(jié)構(gòu)中中層次的的劃分不不同。在計算機(jī)機(jī)網(wǎng)絡(luò)中中每個層層次都實實現(xiàn)一定定的功能能，層與與層之間間有一定定關(guān)聯(lián)。。而云計計算體系系結(jié)構(gòu)中中的層次次是可以以分割的的，即某某一層次次可以單單獨完成成一項用用戶的請請求而不不需要其其他層次次為其提提供必要要的服務(wù)務(wù)和支持持。云云計算技技術(shù)分類類在云計算算服務(wù)體體系結(jié)構(gòu)構(gòu)中各層層次與相相關(guān)云產(chǎn)產(chǎn)品對應(yīng)應(yīng)。應(yīng)用層對對應(yīng)SaaS軟軟件即服服務(wù)，如：GoogleAPPS、SoftWare+Services。平臺層對對應(yīng)PaaS平平臺即服服務(wù)，如：IBMITFactory、GoogleAPPEngine、、F。基礎(chǔ)設(shè)施施層對應(yīng)應(yīng)IaaS基礎(chǔ)礎(chǔ)設(shè)施即即服務(wù)，，如：AmazoEC2、IBMBlueCloud、SunGrid。虛擬化層層對應(yīng)硬硬件即服服務(wù)，結(jié)結(jié)合PaaS提提供硬件件服務(wù)，，包括服務(wù)務(wù)器集群群及硬件件檢測等等服務(wù)。。云云計算技技術(shù)分類類1.2大大數(shù)據(jù)據(jù)技術(shù)概概述1.2大大數(shù)據(jù)據(jù)技術(shù)概概述大大數(shù)據(jù)簡簡介1．什么么是大數(shù)數(shù)據(jù)2．?dāng)?shù)據(jù)據(jù)的來源源3．生產(chǎn)產(chǎn)數(shù)據(jù)的的三個階階段4．大數(shù)數(shù)據(jù)的特特點5．大數(shù)數(shù)據(jù)的應(yīng)應(yīng)用領(lǐng)域域1.2大大數(shù)據(jù)據(jù)技術(shù)概概述大大數(shù)據(jù)簡簡介計算和數(shù)數(shù)據(jù)是信信息產(chǎn)業(yè)業(yè)不變的的主題，，在信息息和網(wǎng)絡(luò)絡(luò)技術(shù)迅迅速發(fā)展展的推動動下，人人們的感感知、計計算、仿仿真、模模擬、傳傳播等活活動產(chǎn)生生了大量量的數(shù)據(jù)據(jù)，數(shù)據(jù)據(jù)的產(chǎn)生生不受時時間、地地點的限限制，大大數(shù)據(jù)的的概念逐逐漸形成成，大數(shù)數(shù)據(jù)涵蓋蓋了計算算和數(shù)據(jù)據(jù)兩大主主題，是是產(chǎn)業(yè)界界和學(xué)術(shù)術(shù)界的研研究熱點點，被譽譽為未來來十年的的革命性性技術(shù)。。大大數(shù)據(jù)簡簡介2008年，《《Nature》雜志志推出了了“大數(shù)數(shù)據(jù)”專專輯，引引發(fā)了學(xué)學(xué)術(shù)界和和產(chǎn)業(yè)界界的關(guān)注注；2011年，大大數(shù)據(jù)應(yīng)應(yīng)用進(jìn)入入我國并并快速發(fā)發(fā)展，目目前大數(shù)數(shù)據(jù)的應(yīng)應(yīng)用和研研究已經(jīng)經(jīng)是學(xué)術(shù)術(shù)界和產(chǎn)產(chǎn)業(yè)界的的熱點；；2012年3月月，美國國政府發(fā)發(fā)布《大大數(shù)據(jù)研研究和發(fā)發(fā)展倡議議》，投投資2億億美元發(fā)發(fā)展大數(shù)數(shù)據(jù),用用以強(qiáng)強(qiáng)化國土土安全、、轉(zhuǎn)變教教育學(xué)習(xí)習(xí)模式、、加速科科學(xué)和工工程領(lǐng)域域的創(chuàng)新新速度和和水平；；2012年7月月，日本本提出以以電子政政府、電電子醫(yī)療療、防災(zāi)災(zāi)等為中中心制定定新ICT（信信息通信信技術(shù)））戰(zhàn)略，，發(fā)布““新ICT計劃劃”，重重點關(guān)注注大數(shù)據(jù)據(jù)研究和和應(yīng)用；；2013年1月月，英國國政府宣宣布將在在對地觀觀測、醫(yī)醫(yī)療衛(wèi)生生等大數(shù)數(shù)據(jù)和節(jié)節(jié)能計算算技術(shù)方方面投資資1.89億英英鎊；2013年我國國上海、、重慶等等地相繼繼發(fā)布大大數(shù)據(jù)行行動計劃劃。1．什么么是大數(shù)數(shù)據(jù)維基百科科將大數(shù)據(jù)描述為：：大數(shù)據(jù)是是現(xiàn)有數(shù)數(shù)據(jù)庫管管理工具具和傳統(tǒng)統(tǒng)數(shù)據(jù)處處理應(yīng)用用很難處處理的大大型、復(fù)復(fù)雜的數(shù)數(shù)據(jù)集，，大數(shù)據(jù)據(jù)的挑戰(zhàn)戰(zhàn)包括采采集、存存儲、搜搜索、共共享、傳傳輸、分分析和可可視化等等。大數(shù)據(jù)的的“大”是一個動態(tài)的概念以前10GB的的數(shù)據(jù)是是個天文文數(shù)字；；而現(xiàn)在在，在地地球、物物理、基基因、空空間科學(xué)學(xué)等領(lǐng)域域，TB級的數(shù)數(shù)據(jù)集已已經(jīng)很普普遍。大大數(shù)據(jù)系系統(tǒng)需要要滿足以以下三個個特性。

（1）規(guī)模模性（Volume））：需要要采集、、處理、、傳輸?shù)牡臄?shù)據(jù)容容量大；；（2））多樣性性（Variety））：數(shù)據(jù)據(jù)的種類類多、復(fù)復(fù)雜性高高；（（3）高高速性（（Velocity））：數(shù)據(jù)據(jù)需要頻頻繁地采采集、處處理并輸輸出。大大數(shù)據(jù)簡簡介2．?dāng)?shù)據(jù)據(jù)的來源源大數(shù)據(jù)的的數(shù)據(jù)來源源很多，主主要有信息管理理系統(tǒng)、、網(wǎng)絡(luò)信信息系統(tǒng)統(tǒng)、物聯(lián)聯(lián)網(wǎng)系統(tǒng)統(tǒng)、科學(xué)學(xué)實驗系系統(tǒng)等；其數(shù)據(jù)類型型包括結(jié)構(gòu)化數(shù)數(shù)據(jù)、半結(jié)構(gòu)化化數(shù)據(jù)和非結(jié)構(gòu)化化數(shù)據(jù)。（1）管管理信息息系統(tǒng)：：企業(yè)內(nèi)內(nèi)部使用用的信息息系統(tǒng)，，包括辦辦公自動動化系統(tǒng)統(tǒng)、業(yè)務(wù)務(wù)管理系系統(tǒng)等，，是常見見的數(shù)據(jù)據(jù)產(chǎn)生方方式。管管理信息息系統(tǒng)主主要通過過用戶輸輸入和系系統(tǒng)的二二次加工工的方式式生成數(shù)數(shù)據(jù)，其其產(chǎn)生的的數(shù)據(jù)大大多為結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)，存存儲在數(shù)數(shù)據(jù)庫中中。大大數(shù)據(jù)簡簡介（2）網(wǎng)網(wǎng)絡(luò)信息息系統(tǒng)：：基于網(wǎng)網(wǎng)絡(luò)運行行的信息息系統(tǒng)是是大數(shù)據(jù)據(jù)產(chǎn)生的的重要方方式，電電子商務(wù)務(wù)系統(tǒng)、、社交網(wǎng)網(wǎng)絡(luò)、社社會媒體體、搜索索引擎等等都是常常見的網(wǎng)網(wǎng)絡(luò)信息息系統(tǒng)，，網(wǎng)絡(luò)信信息系統(tǒng)統(tǒng)產(chǎn)生的的大數(shù)據(jù)據(jù)多為半半結(jié)構(gòu)化化或無結(jié)結(jié)構(gòu)化的的數(shù)據(jù)，，網(wǎng)絡(luò)信信息系統(tǒng)統(tǒng)與管理理信息系系統(tǒng)的區(qū)區(qū)別在于于管理信信息系統(tǒng)統(tǒng)是內(nèi)部部使用的的，不接接入外部部的公共共網(wǎng)絡(luò)。。（3）物物聯(lián)網(wǎng)系系統(tǒng)：通通過傳感感器獲取取外界的的物理、、化學(xué)、、生物等等數(shù)據(jù)信信息。（4）科科學(xué)實驗驗系統(tǒng)：：主要用用于學(xué)術(shù)術(shù)科學(xué)研研究，其其環(huán)境是是預(yù)先設(shè)設(shè)定的，，數(shù)據(jù)既既可以是是由真實實實驗產(chǎn)產(chǎn)生也可可以是通通過模擬擬方式獲獲取仿真真的。大大數(shù)據(jù)簡簡介3．生產(chǎn)產(chǎn)數(shù)據(jù)的的三個階階段（1）被被動式生生成數(shù)據(jù)據(jù)：數(shù)據(jù)庫技技術(shù)使得得數(shù)據(jù)的的保存和和管理變變得簡單單，業(yè)務(wù)務(wù)系統(tǒng)在在運行時時產(chǎn)生的的數(shù)據(jù)直直接保存存數(shù)據(jù)庫庫中，這這個時候候數(shù)據(jù)的的產(chǎn)生是是被動的的，數(shù)據(jù)據(jù)是隨著著業(yè)務(wù)系系統(tǒng)的運運行產(chǎn)生生的。大大數(shù)據(jù)簡簡介（2）主主動式生生成數(shù)據(jù)據(jù)：互聯(lián)網(wǎng)的的誕生尤尤其是Web2.0、移動動互聯(lián)網(wǎng)網(wǎng)的發(fā)展展大大加加速了數(shù)數(shù)據(jù)的產(chǎn)產(chǎn)生，人人們可以以隨時隨隨地通過過手機(jī)等等移動終終端隨時時隨地地地生成數(shù)數(shù)據(jù)，人人們開始始主動地地生成數(shù)數(shù)據(jù)。（3）感感知式生生成數(shù)據(jù)據(jù)：感知技術(shù)術(shù)尤其是是物聯(lián)網(wǎng)網(wǎng)的發(fā)展展促進(jìn)了了數(shù)據(jù)生生成方式式發(fā)生了了根本性性的變化化，遍布布在城市市各個角角落的攝攝像頭等等數(shù)據(jù)采采集設(shè)備備源源不不斷地自自動采集集、生成成數(shù)據(jù)。。大大數(shù)據(jù)簡簡介4．大數(shù)數(shù)據(jù)的特特點（1）數(shù)數(shù)據(jù)產(chǎn)生生方式：：在大數(shù)據(jù)據(jù)時代，，數(shù)據(jù)的的產(chǎn)生方方式發(fā)生生了巨大大的變化化，數(shù)據(jù)據(jù)的采集集方式由由以往的的被動采集集數(shù)據(jù)轉(zhuǎn)變?yōu)橹鲃由沙蓴?shù)據(jù)。（2）數(shù)數(shù)據(jù)采集集密度：以往我們們進(jìn)行數(shù)數(shù)據(jù)采集集時的采樣密度度較低，獲得的的采樣數(shù)據(jù)據(jù)有限；在大數(shù)據(jù)據(jù)時代，，有了大大數(shù)據(jù)處處理平臺臺的支撐撐，我們們可以對對需要分分析的事事件的數(shù)數(shù)據(jù)進(jìn)行行更加密集集地采樣樣，從而精確地獲取取事件件的的全局局?jǐn)?shù)數(shù)據(jù)據(jù)。（3））數(shù)數(shù)據(jù)據(jù)源源：以往往我我們們多多從從各各個個單一一的的數(shù)數(shù)據(jù)據(jù)源源獲取取數(shù)數(shù)據(jù)據(jù)，，獲獲取取的的數(shù)數(shù)據(jù)據(jù)較較為為孤孤立立，，不不同同數(shù)數(shù)據(jù)據(jù)源源之之間間的的數(shù)數(shù)據(jù)據(jù)整整合合難難度度較較大大；；在大大數(shù)數(shù)據(jù)據(jù)時時代代，，我我們們可可以以通通過過分分布布式式計計算算、、分分布布式式文文件件系系統(tǒng)統(tǒng)、、分分布布式式數(shù)數(shù)據(jù)據(jù)庫庫等等技技術(shù)術(shù)對對多個個數(shù)數(shù)據(jù)據(jù)源源獲取取的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行整合合處處理理。大大數(shù)數(shù)據(jù)據(jù)簡簡介介（4））數(shù)數(shù)據(jù)據(jù)處處理理方方式式：：以往往我我們們對對數(shù)數(shù)據(jù)據(jù)的的處處理理大大多多采采用用離線線處處理理的方方式式，，對對已已經(jīng)經(jīng)生生成成的的數(shù)數(shù)據(jù)據(jù)集集中中進(jìn)進(jìn)行行分分析析處處理理，，不不對對實實時時產(chǎn)產(chǎn)生生的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行分分析析；；在大大數(shù)數(shù)據(jù)據(jù)時時代代，，我我們們可可以以根根據(jù)據(jù)應(yīng)應(yīng)用用的的實實際際需需求求對對數(shù)數(shù)據(jù)據(jù)采采取取靈靈活活的的處處理理方方式式，，對對于于較較大大的的數(shù)數(shù)據(jù)據(jù)源源、、響應(yīng)應(yīng)時時間間要要求求低低的應(yīng)應(yīng)用用可可以以采取取批批處處理理的方方式式進(jìn)進(jìn)行行集集中中計計算算，，而而對對于于響應(yīng)應(yīng)時時間間要要求求高高的實時時數(shù)數(shù)據(jù)據(jù)處理理則則采用用流流處處理理的方方式式進(jìn)進(jìn)行行實時時計計算算，并并且且可可以以通通過過對對歷史史數(shù)數(shù)據(jù)據(jù)的分分析析進(jìn)進(jìn)行行預(yù)測測分分析析;大大數(shù)數(shù)據(jù)據(jù)簡簡介介大數(shù)數(shù)據(jù)據(jù)需需要要處處理理的的數(shù)數(shù)據(jù)據(jù)大小小通通常常達(dá)達(dá)到到PB（（1024TB））或EB（（1024PB））級級;數(shù)數(shù)據(jù)據(jù)的的類類型型多多種種多多樣樣，，包包括括結(jié)構(gòu)構(gòu)化化數(shù)據(jù)據(jù)、、半結(jié)結(jié)構(gòu)構(gòu)化化數(shù)據(jù)據(jù)和和非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)據(jù)據(jù);巨大大的的數(shù)數(shù)據(jù)據(jù)量量和和種種類類繁繁多多的的數(shù)數(shù)據(jù)據(jù)類類型型給給大大數(shù)數(shù)據(jù)據(jù)系系統(tǒng)統(tǒng)的的存存儲儲和和計計算算帶帶來來很很大大挑挑戰(zhàn)戰(zhàn)，，單單節(jié)節(jié)點點的的存存儲儲容容量量和和計計算算能能力力成成為為瓶瓶頸頸;分布布式式系系統(tǒng)統(tǒng)是對對大大數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行處處理理的的基基本本方方法法，，分分布布式式系系統(tǒng)統(tǒng)將將數(shù)數(shù)據(jù)據(jù)切分分后后存存儲儲到到多多個個節(jié)節(jié)點點上，，并并在多多個個節(jié)節(jié)點點上上發(fā)發(fā)起起計計算算，解解決決單單節(jié)節(jié)點點的的存存儲儲和和計計算算瓶瓶頸頸。。常常見見的的數(shù)據(jù)據(jù)切切分分的的方方法法有隨隨機(jī)機(jī)方方法法、、哈哈希希方方法法和和區(qū)區(qū)間間方方法法:隨機(jī)機(jī)方方法法將數(shù)數(shù)據(jù)據(jù)隨隨機(jī)機(jī)分分布布到到不不同同的的節(jié)節(jié)點點;哈希希方方法法根據(jù)據(jù)數(shù)數(shù)據(jù)據(jù)的的某某一一行行或或者者某某一一列列的的哈哈希希值值將將數(shù)數(shù)據(jù)據(jù)分分布布到到不不同同的的節(jié)節(jié)點點;區(qū)間間方方法法將不不同同的的數(shù)數(shù)據(jù)據(jù)按按照照不不同同區(qū)區(qū)間間分分布布到到不不同同節(jié)節(jié)點點。。大大數(shù)數(shù)據(jù)據(jù)簡簡介介5．．大大數(shù)數(shù)據(jù)據(jù)的的應(yīng)應(yīng)用用領(lǐng)領(lǐng)域域大數(shù)數(shù)據(jù)據(jù)在在社社會會生生活活的的各各個個領(lǐng)領(lǐng)域域得得到到廣廣泛泛的的應(yīng)應(yīng)用用，，不不同同領(lǐng)領(lǐng)域域的的大大數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用具具有有不不同同的的特特點點，，其其對對響響應(yīng)應(yīng)時時間間、、系系統(tǒng)統(tǒng)穩(wěn)穩(wěn)定定性性、、計計算算精精確確性性的的要要求求各各不不相相同同，，其其對對比比如如表表1.1所所示示。。表1.1典典型型的的大大數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用特特征征對對比比應(yīng)用領(lǐng)域示例用戶數(shù)量響應(yīng)時延數(shù)據(jù)量級穩(wěn)定性精確度科學(xué)計算基因計算小長TB一般非常高金融股票交易大實時GB非常高非常高社交網(wǎng)絡(luò)Facebook非常大快速PB高高移動數(shù)據(jù)移動終端非常大快速TB高高物聯(lián)網(wǎng)傳感網(wǎng)大快速TB高高網(wǎng)頁數(shù)據(jù)新聞網(wǎng)站非常大快速GB高高多媒體視頻網(wǎng)站非常大快速GB高一般大大數(shù)數(shù)據(jù)據(jù)簡簡介介主主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)大數(shù)數(shù)據(jù)據(jù)處處理理的的數(shù)數(shù)據(jù)據(jù)源源類類型型多多種種多多樣樣，，如如結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)、、半半結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)、、非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)，，數(shù)數(shù)據(jù)據(jù)處處理理的的需需求求各各不不相相同同:對海海量量已已有有數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行批批量量處處理理，，對大大量量的的實實時時生生成成的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行實實時時處處理理，，在進(jìn)進(jìn)行行數(shù)數(shù)據(jù)據(jù)分分析析時時進(jìn)進(jìn)行行反反復(fù)復(fù)迭迭代代計計算算，，對圖圖數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行分分析析計計算算。。主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)目前前主主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)有有:數(shù)據(jù)據(jù)查查詢詢分分析析計計算算系系統(tǒng)統(tǒng)、、批批處處理理系系統(tǒng)統(tǒng)、、流流式式計計算算系系統(tǒng)統(tǒng)、、迭迭代代計計算算系系統(tǒng)統(tǒng)、、圖圖計計算算系系統(tǒng)統(tǒng)和和內(nèi)內(nèi)存存計計算算系系統(tǒng)統(tǒng)。。1．．?dāng)?shù)數(shù)據(jù)據(jù)查查詢詢分分析析計計算算系系統(tǒng)統(tǒng)大數(shù)數(shù)據(jù)據(jù)時時代代，，數(shù)數(shù)據(jù)據(jù)查查詢詢分分析析計計算算系系統(tǒng)統(tǒng)需需要要具具備備對對大大規(guī)規(guī)模模數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行實實時時或或準(zhǔn)準(zhǔn)實實時時查查詢詢的的能能力力，，數(shù)數(shù)據(jù)據(jù)規(guī)規(guī)模模的的增增長長已已經(jīng)經(jīng)超超出出了了傳傳統(tǒng)統(tǒng)關(guān)關(guān)系系型型數(shù)數(shù)據(jù)據(jù)庫庫的的承承載載和和處處理理能能力力。。目前前主主要要的的數(shù)數(shù)據(jù)據(jù)查查詢詢分分析析計計算算系系統(tǒng)統(tǒng)包包括括HBase、、Hive、、Cassandra、、Dremel、、Shark、、Hana等等。。主主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)HBase：：開源源、、分分布布式式、、面面向向列列的的非非關(guān)關(guān)系系型型數(shù)數(shù)據(jù)據(jù)庫庫模模型型，，是是Apache的的Hadoop項項目目的的子子項項目目；；源于于Google論論文文《《Bigtable：：一一個個結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)的的分分布布式式存存儲儲系系統(tǒng)統(tǒng)》》，，實實現(xiàn)現(xiàn)了了其其中中的的壓壓縮縮算算法法、、內(nèi)內(nèi)存存操操作作和和布布隆隆過過濾濾器器HBase的的編編程程語語言言為為Java。。HBase的的表表能能夠夠作作為為MapReduce任任務(wù)務(wù)的的輸輸入入和和輸輸出出，，可可以以通通過過JavaAPI來來存存取取數(shù)數(shù)據(jù)據(jù)。。主主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)Hive：：基于于Hadoop的的數(shù)數(shù)據(jù)據(jù)倉倉庫庫工工具具，，用用于于查查詢詢、、管管理理分分布布式式存存儲儲中中的的大大數(shù)數(shù)據(jù)據(jù)集集，，提提供供完完整整的的SQL查查詢詢功功能能，，可可以以將將結(jié)結(jié)構(gòu)構(gòu)化化的的數(shù)數(shù)據(jù)據(jù)文文件件映映射射為為一一張張數(shù)數(shù)據(jù)據(jù)表表。。Hive提提供供了了一一種種類類SQL語語言言（（HiveQL））可可以以將將SQL語語句句轉(zhuǎn)轉(zhuǎn)換換為為MapReduce任任務(wù)務(wù)運運行行。。主主要要的的大大數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)Cassandra：：開源源NoSQL數(shù)數(shù)據(jù)據(jù)庫庫系系統(tǒng)統(tǒng)，，最最早早由由Facebook開開發(fā)發(fā)，，并并于于2008年年開開源源；；由于于其其良良好好的的可可擴(kuò)擴(kuò)展展性性，，Cassandra被被Facebook、、Twitter、、Backspace、、Cisco等等公公司司使使用用；；其數(shù)據(jù)模型借借鑒了Amazon的的Dynamo和GoogleBigTable，是一種種流行的分布布式結(jié)構(gòu)化數(shù)數(shù)據(jù)存儲方案案。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Impala：由Cloudera公司司主導(dǎo)開發(fā)，，是運行在Hadoop平臺上的開開源的大規(guī)模模并行SQL查詢引擎。。用戶可以使用用標(biāo)準(zhǔn)的SQL接口的工工具查詢存儲儲在Hadoop的HDFS和HBase中的的PB級大數(shù)數(shù)據(jù)。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Shark：：Spark上上的數(shù)據(jù)倉庫庫實現(xiàn)，即SQLonSpark；與Hive相相兼容，但處處理HiveQL的的性能比Hive快100倍。。Hana：由SAP公司司開發(fā)的與數(shù)數(shù)據(jù)源無關(guān)、、軟硬件結(jié)合合、基于內(nèi)存存計算的平臺臺。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)2．批處理系系統(tǒng)MapReduce是被被廣泛使用的的批處理計算算模式。MapReduce對具具有簡單數(shù)據(jù)據(jù)關(guān)系、易于于劃分的大數(shù)數(shù)據(jù)采用“分分而治之”的的并行處理思思想，將數(shù)據(jù)據(jù)記錄的處理理分為Map和Reduce兩個簡簡單的抽象操操作，提供了了一個統(tǒng)一的的并行計算框框架。批處理系統(tǒng)將將復(fù)雜的并行行計算的實現(xiàn)現(xiàn)進(jìn)行封裝，，大大降低開開發(fā)人員的并并行程序設(shè)計計難度。Hadoop和Spark是典型的的批處理系統(tǒng)統(tǒng)。MapReduce的批處理模模式不支持迭迭代計算。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Hadoop：目前大數(shù)據(jù)處處理最主流的的平臺，是Apache基金會的開開源軟件項目目，使用Java語言開開發(fā)實現(xiàn)。Hadoop平臺使開發(fā)發(fā)人員無需了了解底層的分分布式細(xì)節(jié)，，即可開發(fā)出出分布式程序序，在集群中中對大數(shù)據(jù)進(jìn)進(jìn)行存儲、分分析。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Spark：：由加州伯克利利大學(xué)AMP實驗室開發(fā)發(fā)，適合用于于機(jī)器學(xué)習(xí)、、數(shù)據(jù)挖掘等等迭代運算較較多的計算任任務(wù)。Spark引引入了內(nèi)存計計算的概念，，運行Spark時服務(wù)務(wù)器可以將中中間數(shù)據(jù)存儲儲在RAM內(nèi)內(nèi)存中，大大大加速數(shù)據(jù)分分析結(jié)果的返返回速度，可可用于需要互互動分析的場場景。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)3．流式計算算系統(tǒng)流式計算具有有很強(qiáng)的實時時性，需要對對應(yīng)用源源不不斷產(chǎn)生的數(shù)數(shù)據(jù)實時進(jìn)行行處理，使數(shù)數(shù)據(jù)不積壓、、不丟失，常常用于處理電電信、電力等等行業(yè)應(yīng)用以以及互聯(lián)網(wǎng)行行業(yè)的訪問日日志等。Facebook的Scribe、Apache的的Flume、Twitter的Storm、Yahoo的的S4、UCBerkeley的SparkStreaming是是常用的流式式計算系統(tǒng)。。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Scribe：Scribe由Facebook開開發(fā)開源系統(tǒng)統(tǒng)，用于從海海量服務(wù)器實實時收集日志志信息，對對日志信息進(jìn)進(jìn)行實時的統(tǒng)統(tǒng)計分析處理理，應(yīng)用在Facebook內(nèi)部。。Flume：：Flume由由Cloudera公司開發(fā)發(fā)，其功能與與Scribe相似，主主要用于實時時收集在海量量節(jié)點上產(chǎn)生生的日志信息息，存儲到類類似于HDFS的網(wǎng)絡(luò)文文件系統(tǒng)中，，并根據(jù)用戶戶的需求進(jìn)行行相應(yīng)的數(shù)據(jù)據(jù)分析。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Storm：：基于拓?fù)涞姆植际搅鲾?shù)據(jù)據(jù)實時計算系系統(tǒng)，由BackType公公司（后被Twitter收購）開開發(fā)，現(xiàn)已經(jīng)經(jīng)開放源代碼碼，并應(yīng)用于于淘寶、百度度、支付寶、、Groupon、Facebook等平臺，，是主要的流流數(shù)據(jù)計算平平臺之一。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)S4：S4的全稱是是SimpleScalableStreamingSystem，是由由Yahoo開發(fā)的通用用、分布式、、可擴(kuò)展、部部分容錯、具具備可插拔功功能的平臺；；其設(shè)計目的是是根據(jù)用戶的的搜索內(nèi)容計計算得到相應(yīng)應(yīng)的推薦廣告告，現(xiàn)已經(jīng)開開源，是重要要的大數(shù)據(jù)計計算平臺。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)SparkStreaming：：構(gòu)建在Spark上的流流數(shù)據(jù)處理框框架，將流式式計算分解成成一系列短小小的批處理任任務(wù)進(jìn)行處理理。網(wǎng)站流量統(tǒng)計計是SparkStreaming的一種典典型的使用場場景，這種應(yīng)應(yīng)用既需要具具有實時性，，還需要進(jìn)行行聚合、去重重、連接等統(tǒng)統(tǒng)計計算操作作；如果使用HadoopMapReduce框框架，則可以以很容易地實實現(xiàn)統(tǒng)計需求求，但無法保保證實時性；；如果使用Storm這這種流式框架架則可以保證證實時性，但但實現(xiàn)難度較較大；SparkStreaming可以以以準(zhǔn)實時的方方式方便地實實現(xiàn)復(fù)雜的統(tǒng)統(tǒng)計需求。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)4．迭代計算算系統(tǒng)針對MapReduce不支持迭代代計算的缺陷陷，人們對Hadoop的MapReduce進(jìn)行了大量量改進(jìn)，Haloop、、iMapReduce、Twister、Spark是是典型的迭代代計算系統(tǒng)。。HaLoop：Haloop是HadoopMapReduce框架的的修改版本，，用于支持迭迭代、遞歸類類型的數(shù)據(jù)分分析任務(wù)，如如PageRank、K-means等。iMapReduce：：一種基于MapReduce的迭迭代模型，實實現(xiàn)了MapReduce的異步步迭代。Twister：基于Java的迭代MapReduce模型，，上一輪Reduce的的結(jié)果會直接接傳送到下一一輪的Map。Spark：：基于內(nèi)存計算算的開源集群群計算框架。。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)5．圖計算系系統(tǒng)社交網(wǎng)絡(luò)、網(wǎng)網(wǎng)頁鏈接等包包含具有復(fù)雜雜關(guān)系的圖數(shù)數(shù)據(jù)，這些圖圖數(shù)據(jù)的規(guī)模模巨大，可包包含數(shù)十億頂頂點和上百億億條邊，圖數(shù)數(shù)據(jù)需要由專專門的系統(tǒng)進(jìn)進(jìn)行存儲和計計算。常用的圖計算算系統(tǒng)有Google公公司的Pregel、Pregel的開源版本本Giraph、微軟的的Trinity、BerkeleyAMPLab的GraphX以及高速圖圖數(shù)據(jù)處理系系統(tǒng)PowerGraph。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Pregel：Google公司開發(fā)的的一種面向圖圖數(shù)據(jù)計算的的分布式編程程框架，采用用迭代的計算算模型。Google的的數(shù)據(jù)計算任任務(wù)中，大約約80%的任任務(wù)處理采用用MapReduce模模式，如網(wǎng)頁頁內(nèi)容索引；；圖數(shù)據(jù)的計計算任務(wù)約占占20%，采采用Pregel進(jìn)行處處理。Giraph：一個迭代的圖圖計算系統(tǒng)，，最早由雅虎虎公司借鑒Pregel系統(tǒng)開發(fā)，，后捐贈給Apache軟件基金會會，成為開源源的圖計算系系統(tǒng)。Giraph是基基于Hadoop建立的的，F(xiàn)acebook在在其臉譜搜索索服務(wù)中大量量使用了Giraph。。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Trinity：微軟公司開發(fā)發(fā)的圖數(shù)據(jù)庫庫系統(tǒng)，該系系統(tǒng)是基于內(nèi)內(nèi)存的數(shù)據(jù)存存儲與運算系系統(tǒng)，源代碼碼不公開。GraphX：由AMPLab開發(fā)的運運行在數(shù)據(jù)并并行的Spark平臺上上的圖數(shù)據(jù)計計算系統(tǒng)。PowerGraph：：高速圖處理系系統(tǒng)，常用于于廣告推薦計計算和自然語語言處理。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)6．內(nèi)存計算算系統(tǒng)隨著內(nèi)存價格格的不斷下降降、服務(wù)器可可配置內(nèi)存容容量的不斷增增長，使用內(nèi)內(nèi)存計算完成成高速的大數(shù)數(shù)據(jù)處理已成成為大數(shù)據(jù)處處理的重要發(fā)發(fā)展方向。目前常用的內(nèi)內(nèi)存計算系統(tǒng)統(tǒng)有分布式內(nèi)內(nèi)存計算系統(tǒng)統(tǒng)Spark、全內(nèi)存式式分布式數(shù)據(jù)據(jù)庫系統(tǒng)HANA、Google的可擴(kuò)展展交互式查詢詢系統(tǒng)Dremel。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)Dremel：Google的交互式數(shù)數(shù)據(jù)分析系統(tǒng)統(tǒng)，可以在數(shù)數(shù)以千計的服服務(wù)器組成的的集群上發(fā)起起計算，處理理PB級的數(shù)數(shù)據(jù)。Dremel是GoogleMapReduce的補(bǔ)充，大大大縮短了數(shù)數(shù)據(jù)的處理時時間，成功地地應(yīng)用在Google的的bigquery中。。HANA：SAP公司開開發(fā)的基于內(nèi)內(nèi)存技術(shù)、面面向企業(yè)分析析性的產(chǎn)品。。Spark：：基于內(nèi)存計算算的開源集群群計算系統(tǒng)。。主主要的大數(shù)數(shù)據(jù)處理系統(tǒng)統(tǒng)大大數(shù)據(jù)處理理的基本流程程大大數(shù)據(jù)處理理的基本流程程大數(shù)據(jù)的處理理流程可以定義為在適合工具具的輔助下，，對廣泛異構(gòu)構(gòu)的數(shù)據(jù)源進(jìn)進(jìn)行抽取和集成，結(jié)果按照一一定的標(biāo)準(zhǔn)統(tǒng)統(tǒng)一存儲，利用合適的的數(shù)據(jù)分析技技術(shù)對存儲的的數(shù)據(jù)進(jìn)行分析，從中提取有益的知識并利用恰當(dāng)?shù)牡姆绞綄⒔Y(jié)果果展示給終端用戶。。大數(shù)據(jù)處理理的基本流程程如圖1.2所示。圖1.2大大數(shù)據(jù)處理的的基本流程1．?dāng)?shù)據(jù)抽取取與集成由于大數(shù)據(jù)處處理的數(shù)據(jù)來來源類型豐富富，大數(shù)據(jù)處處理的第一步步是對數(shù)據(jù)進(jìn)進(jìn)行抽取和集集成，從中提提取出關(guān)系和和實體，經(jīng)過過關(guān)聯(lián)和聚合合等操作，按按照統(tǒng)一定義義的格式對數(shù)數(shù)據(jù)進(jìn)行存儲儲?，F(xiàn)有的的數(shù)據(jù)據(jù)抽取取和集集成方方法有有三種種：基于物物化或或ETL方方法的的引擎擎（MaterializationorETLEngine）、、基于聯(lián)聯(lián)邦數(shù)數(shù)據(jù)庫庫或中中間件件方法法的引引擎（（FederationEngineorMediator））、基于數(shù)數(shù)據(jù)流流方法法的引引擎（（StreamEngine））。大大數(shù)據(jù)據(jù)處理理的基基本流流程2．?dāng)?shù)數(shù)據(jù)分分析數(shù)據(jù)分分析是是大數(shù)數(shù)據(jù)處處理流流程的的核心心步驟驟，通通過數(shù)數(shù)據(jù)抽抽取和和集成成環(huán)節(jié)節(jié)，我我們已已經(jīng)從從異構(gòu)構(gòu)的數(shù)數(shù)據(jù)源源中獲獲得了了用于于大數(shù)數(shù)據(jù)處處理的的原始始數(shù)據(jù)據(jù)，用用戶可可以根根據(jù)自自己的的需求求對這這些數(shù)數(shù)據(jù)進(jìn)進(jìn)行分分析處處理，，比如如數(shù)據(jù)據(jù)挖掘掘、機(jī)機(jī)器學(xué)學(xué)習(xí)、、數(shù)據(jù)據(jù)統(tǒng)計計等，，數(shù)據(jù)據(jù)分析析可以以用于于決策策支持持、商商業(yè)智智能、、推薦薦系統(tǒng)統(tǒng)、預(yù)預(yù)測系系統(tǒng)等等。大大數(shù)據(jù)據(jù)處理理的基基本流流程3．?dāng)?shù)數(shù)據(jù)解解釋大數(shù)據(jù)據(jù)處理理流程程中用用戶最最關(guān)心心的是是數(shù)據(jù)據(jù)處理理的結(jié)結(jié)果，，正確確的數(shù)數(shù)據(jù)處處理結(jié)結(jié)果只只有通通過合合適的的展示示方式式才能能被終終端用用戶正正確理理解，，因此此數(shù)據(jù)據(jù)處理理結(jié)果果的展展示非非常重重要，，可視化和人機(jī)交互是數(shù)據(jù)解釋釋的主要技技術(shù)。1.2.3大數(shù)據(jù)據(jù)處理的基基本流程我們在開發(fā)發(fā)調(diào)試程序序的時候經(jīng)經(jīng)常通過打打印語句的的方式來呈呈現(xiàn)結(jié)果，，這種方式式非常靈活活、方便，，但只有熟熟悉程序的的人才能很很好地理解解打印結(jié)果果。使用可視化化技術(shù)，可可以將處理理的結(jié)果通通過圖形的的方式直觀觀地呈現(xiàn)給給用戶，標(biāo)標(biāo)簽云（TagCloud）、歷史史流（HistoryFlow）、、空間信息息流（SpatialInformationFlow）等等是常用的的可視化技技術(shù)，用戶戶可以根據(jù)據(jù)自己的需需求靈活地地使用這些些可視化技技術(shù)；人機(jī)交互技技術(shù)可以引引導(dǎo)用戶對對數(shù)據(jù)進(jìn)行行逐步的分分析，使用用戶參與到到數(shù)據(jù)分析析的過程中中，使用戶戶可以深刻刻地理解數(shù)數(shù)據(jù)分析結(jié)結(jié)果。1.2.3大數(shù)據(jù)據(jù)處理的基基本流程1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展1．云計算算與大數(shù)據(jù)據(jù)發(fā)展歷程程早在1958年，人人工智能之之父JohnMcCarthy發(fā)明了了函數(shù)式語語言LISP，LISP語語言后來來成為MapReduce的的思想來源源。1960年年JohnMcCarthy預(yù)言言了：“今今后計算機(jī)機(jī)將會作為為公共設(shè)施施提供給公公眾”，這這一概念與與我們現(xiàn)在在所定義的的云計算已已非常相似似，但當(dāng)時時的技術(shù)條條件決定了了這一設(shè)想想只是一種種對未來技技術(shù)發(fā)展的的預(yù)言。云計算是網(wǎng)網(wǎng)絡(luò)技術(shù)發(fā)發(fā)展到一定定階段后必必然出現(xiàn)的的新的技術(shù)術(shù)體系和產(chǎn)產(chǎn)業(yè)模式。。1984年年SUN公公司提出““網(wǎng)絡(luò)就是是計算機(jī)””這一具有有云計算特特征的論點點，2006年年Google公司司CEOEricSchmidt提出云計計算概念，，2008年年云計算概概念全面進(jìn)進(jìn)入中國，，2009年年中國首屆屆云計算大大會召開，，此后云計計算技術(shù)和和產(chǎn)品迅速速地發(fā)展起起來。隨著社交網(wǎng)網(wǎng)絡(luò)、物聯(lián)聯(lián)網(wǎng)等技術(shù)術(shù)的發(fā)展，，數(shù)據(jù)正在在以前所未未有的速度度增長和積積累，IDC的研究究數(shù)據(jù)表明明，全球的的數(shù)據(jù)量每每年增長50%，兩兩年翻一番番，這意味味著全球近近兩年產(chǎn)生生的數(shù)據(jù)量量將超過之之前全部數(shù)數(shù)據(jù)的總和和。2011年年全球數(shù)據(jù)據(jù)總量已達(dá)達(dá)1.8ZB，到2020年年，全球數(shù)數(shù)據(jù)總量將將達(dá)到35ZB。。2008年年《Nature》》雜志推出出了大數(shù)據(jù)據(jù)?？?，2011年年《Science》雜志推推出大數(shù)據(jù)據(jù)專刊，討討論科學(xué)研研究的中大大數(shù)據(jù)問題題。2012年年大數(shù)據(jù)的的關(guān)注度和和影響力快快速增長，，成為當(dāng)年年達(dá)沃斯世世界經(jīng)濟(jì)論論壇的主題題，美國政政府啟動大大數(shù)據(jù)發(fā)展展計劃。中國計算機(jī)機(jī)學(xué)會于2012年年成立了大大數(shù)據(jù)專家家委員會，，并發(fā)布了了大數(shù)據(jù)技技術(shù)白皮書書。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展圖1.3近近年來云云計算、、大數(shù)據(jù)的的關(guān)注度如圖1.3所示為云云計算、大大數(shù)據(jù)兩個個關(guān)鍵詞近近年來的網(wǎng)網(wǎng)絡(luò)關(guān)注度度，可以看看出2012年至今今大數(shù)據(jù)的的關(guān)注度越越來越高，，云計算和和大數(shù)據(jù)是是信息技術(shù)術(shù)未來的發(fā)發(fā)展方向。。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展網(wǎng)絡(luò)技術(shù)在在云計算和和大數(shù)據(jù)的的發(fā)展歷程程中發(fā)揮了了重要的推推動作用。?？梢哉J(rèn)為信信息技術(shù)的的發(fā)展經(jīng)歷歷了硬件發(fā)發(fā)展推動和和網(wǎng)絡(luò)技術(shù)術(shù)推動兩個個階段。早期主要以以硬件發(fā)展展為主要動動力，在這這個階段硬硬件的技術(shù)術(shù)水平?jīng)Q定定著整個信信息技術(shù)的的發(fā)展水平平，硬件的的每一次進(jìn)進(jìn)步都有力力地推動著著信息技術(shù)術(shù)的發(fā)展，，從電子管管技術(shù)到晶晶體管技術(shù)術(shù)再到大規(guī)規(guī)模集成電電路，這種種技術(shù)變革革成為產(chǎn)業(yè)業(yè)發(fā)展的核核心動力。。但網(wǎng)絡(luò)技術(shù)術(shù)的出現(xiàn)逐逐步地打破破了單純的的硬件能力力決定技術(shù)術(shù)發(fā)展的格格局，通信信帶寬的發(fā)發(fā)展為信息息技術(shù)的發(fā)發(fā)展提供了了新的動力力，在這一一階段通信信帶寬成為為了信息技技術(shù)發(fā)展的的決定性力力量之一，，云計算、、大數(shù)據(jù)技技術(shù)的出現(xiàn)現(xiàn)正是這一一階段的產(chǎn)產(chǎn)物，其廣廣泛應(yīng)用并并不是單純純靠某一個個人發(fā)明而而是由于技技術(shù)發(fā)展到到現(xiàn)在的必必然產(chǎn)物，，生產(chǎn)力決決定生產(chǎn)關(guān)關(guān)系的規(guī)律律在這里依依然是成立立的。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展當(dāng)前移動互互聯(lián)網(wǎng)的出出現(xiàn)并迅速速普及更是是對云計算算、大數(shù)據(jù)據(jù)的發(fā)展起起到了推動動作用。移動瘦客戶戶終端與云云計算資源源池的結(jié)合合大大拓展展了移動應(yīng)應(yīng)用的思路路，云計算算資源得以以在移動終終端上實現(xiàn)現(xiàn)隨時、隨隨地、隨身身資源服務(wù)務(wù)。移動互聯(lián)網(wǎng)網(wǎng)再次拓展展了以網(wǎng)絡(luò)絡(luò)化資源交交付為特點點的云計算算技術(shù)的應(yīng)應(yīng)用能力，，同時也改改變了數(shù)據(jù)據(jù)的產(chǎn)生方方式，推動動了全球數(shù)數(shù)據(jù)的快速速增長，推推動了大數(shù)數(shù)據(jù)的技術(shù)術(shù)和應(yīng)用的的發(fā)展。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展云計算是一一種全新的的領(lǐng)先信息息技術(shù)，結(jié)結(jié)合IT技技術(shù)和互聯(lián)聯(lián)網(wǎng)實現(xiàn)超超級計算和和存儲的能能力，而推推動云計算算興起的動動力是高速速互聯(lián)網(wǎng)和和虛擬化技技術(shù)的發(fā)展展、更加廉廉價且功能能強(qiáng)勁的芯芯片及硬盤盤、數(shù)據(jù)中中心的發(fā)展展。云計算作為為下一代企企業(yè)數(shù)據(jù)中中心，其基基本形式為為大量鏈接接在一起的的共享IT基礎(chǔ)設(shè)施施，不受本本地和遠(yuǎn)程程計算機(jī)資資源的限制制，可以很很方便地訪訪問云中的的“虛擬””資源，使使用戶和云云服務(wù)提供供商之間可可以像訪問問網(wǎng)絡(luò)一樣樣進(jìn)行交互互操作。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展云計算的興興起有以下下因素：（1）高速速互聯(lián)網(wǎng)技技術(shù)發(fā)展。。云計算能夠夠利用現(xiàn)有有的IT基基礎(chǔ)設(shè)施在在極短的時時間內(nèi)處理理大量的信信息以滿足足動態(tài)網(wǎng)絡(luò)絡(luò)的高性能能的需求。。（2）資源源利用率需需求。引入云計算算模式后可可以通過整整合資源或或采用租用用存儲空間間、租用計計算能力等等服務(wù)來降降低企業(yè)運運行成本和和節(jié)省能源源。同同時，利用用云計算將將資源集中中，統(tǒng)一提提供可靠服服務(wù)，能減減少企業(yè)成成本，提升升企業(yè)靈活活性，企業(yè)業(yè)可以把更更多的時間間用于服務(wù)務(wù)客戶和進(jìn)進(jìn)一步研發(fā)發(fā)新的產(chǎn)品品上。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展（3）簡單單與創(chuàng)新需需求。在實際的業(yè)業(yè)務(wù)需求中中，越來越越多的個人人用戶和企企業(yè)用戶都都在期待著著使用計算算機(jī)操作能能簡單化，，能夠直接接通過購買買軟件或硬硬件服務(wù)而而不是軟件件或硬件實實體，為自自己的學(xué)習(xí)習(xí)、生活和和工作帶來來更多的便便利，能在在學(xué)習(xí)場所所、工作場場所、住所所之間建立立便利的文文件或資料料共享的紐紐帶。而對資源的的利用可以以簡化到通通過接入網(wǎng)網(wǎng)絡(luò)就可以以實現(xiàn)自己己想要實現(xiàn)現(xiàn)的一切，，就需要在在技術(shù)上有有所創(chuàng)新，，利用云計計算來提供供這一切，，將我們需需要的資料料、數(shù)據(jù)、、文檔、程程序等全部部放在云端端實現(xiàn)同步步。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展（4）其他他需求連接設(shè)備、、實時數(shù)據(jù)據(jù)流、SOA的采用用以及搜索索、開放協(xié)協(xié)作、社會會網(wǎng)絡(luò)和移移動商務(wù)等等的移動互互聯(lián)網(wǎng)應(yīng)用用急劇增長長，數(shù)字元元器件性能能的提升也也使IT環(huán)環(huán)境的規(guī)模模大幅度提提高，從而而進(jìn)一步加加強(qiáng)了對一一個由統(tǒng)一一的云進(jìn)行行管理的需需求。個人或企業(yè)業(yè)希望按需需計算或服服務(wù)，能在在不同的地地方實時實實現(xiàn)項目、、文檔的協(xié)協(xié)作處理，，能在繁雜雜的信息中中方便地找找到自己需需要的信息息等需求也也是云計算算興起的原原因之一。。人類歷史不不斷地證明明生產(chǎn)力決決定生產(chǎn)關(guān)關(guān)系，技術(shù)術(shù)的發(fā)展歷歷史也證明明了技術(shù)能能力決定技技術(shù)的形態(tài)態(tài)，1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展縱觀整個信信息技術(shù)的的發(fā)展歷史史圖1.4信信息產(chǎn)業(yè)業(yè)發(fā)展演進(jìn)進(jìn)路線圖1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展硬件驅(qū)動的的時代誕生生了IBM、微軟、、Intel等企業(yè)業(yè)。20世世紀(jì)50年年代最早的的網(wǎng)絡(luò)開始始出現(xiàn)，信信息產(chǎn)業(yè)的的發(fā)展驅(qū)動動力中開始始出現(xiàn)網(wǎng)絡(luò)絡(luò)的力量，，但當(dāng)時網(wǎng)網(wǎng)絡(luò)性能很很弱，網(wǎng)絡(luò)絡(luò)并不是推推動信息產(chǎn)產(chǎn)業(yè)發(fā)展的的主要動力力，處理器器等硬件的的影響還占占絕對主導(dǎo)導(dǎo)因素。隨著網(wǎng)絡(luò)的的發(fā)展，網(wǎng)網(wǎng)絡(luò)通信帶帶寬逐步加加大，從20世紀(jì)80年代的的局域網(wǎng)到到20世紀(jì)紀(jì)90年代代的互聯(lián)網(wǎng)網(wǎng)，網(wǎng)絡(luò)逐逐漸成為了了推動信息息產(chǎn)業(yè)發(fā)展展的主導(dǎo)力力量，這個個時期誕生生了百度、、谷歌、亞亞馬遜等企企業(yè)。直到云計算算的出現(xiàn)才才標(biāo)志著網(wǎng)網(wǎng)絡(luò)已成為為信息產(chǎn)業(yè)業(yè)發(fā)展的主主要驅(qū)動力力，此時技技術(shù)的變革革即將出現(xiàn)現(xiàn)。1.3云云計算與大大數(shù)據(jù)的發(fā)發(fā)展2．為云計計算與大數(shù)數(shù)據(jù)發(fā)展做做出貢獻(xiàn)的的科學(xué)家超級計算機(jī)機(jī)之父—西西摩·克雷雷（SeymourCray）在人類解決決計算和存存儲問題的的歷程中，，西摩·克克雷成為了了一座豐碑碑，被稱為為超級計算算機(jī)之父。。西摩·克雷雷，生于1925年年9月28日，美國國人，1958年設(shè)設(shè)計建造了了世界上第第一臺基于于晶體管的超級計算機(jī)機(jī)，成為計算算機(jī)發(fā)展史史上的重要要里程碑。。同時也對對精簡指令令（RISC）高端端微處理器器的產(chǎn)生有有重大的的貢獻(xiàn)。1972年年，他創(chuàng)辦辦了克雷研研究公司，，公司的宗宗旨是只生生產(chǎn)超級計計算機(jī)。此此后的十余余年中，克克雷先后創(chuàng)創(chuàng)造了Cray-1、Cray-2等等機(jī)型。作為高性能能計算機(jī)領(lǐng)領(lǐng)域中最重重要的人物物之一，他他親手設(shè)計計了Cray全部的的硬件與操操作系統(tǒng)。。Cray機(jī)成為了了從事高性性能計算學(xué)學(xué)者中永遠(yuǎn)遠(yuǎn)的記憶，，到1986年1月月為止，世世界上有130臺超超級計算機(jī)機(jī)投入使用用，其中大大約90臺臺是由克雷雷的上市公公司—克雷雷研究所研研制的。美國的《商商業(yè)周刊》》在1990年的一一篇文章中中曾這樣