1、未來，已發(fā)生改變大數(shù)據(jù)的關(guān)鍵技術(shù),1,大數(shù)據(jù)關(guān)鍵技術(shù),1、數(shù)據(jù)采集 2、數(shù)據(jù)存儲與管理 3、數(shù)據(jù)處理與分析 4、數(shù)據(jù)隱私與安全,2,1.5大數(shù)據(jù)關(guān)鍵技術(shù),分布式存儲,分布式處理,大數(shù)據(jù),兩大核心技術(shù),3,1.5大數(shù)據(jù)關(guān)鍵技術(shù),分布式存儲：解決海量數(shù)據(jù)的存儲問題,單機無法存儲,集群分布式存儲,海量數(shù)據(jù)的存儲,4,1.5大數(shù)據(jù)關(guān)鍵技術(shù),大數(shù)據(jù)技術(shù)都是以Google公司技術(shù)為代表,5,1.5大數(shù)據(jù)關(guān)鍵技術(shù),6,正如“不同的鎖需要不同的鑰匙”企業(yè)中不同的應(yīng)用場景數(shù)據(jù)不同的計算模式，需要使用不同的大數(shù)據(jù)技術(shù),不同的計算模式需要使用不同的產(chǎn)品,7,大數(shù)據(jù)關(guān)鍵技術(shù),批處理,流數(shù)據(jù)需要實時處理 圖計算需要實時

2、處理,實時計算,交互式查詢分析,交互式計算,不同的計算模式需要使用不同的產(chǎn)品,MapReduce批處理計算模式的典型代表,8,批處理計算,MapReduce是批處理計算模式的典型代表,可做迭代計算的Spark，實時性更好,9,10,流計算,代表技術(shù)：Storm、S4、Flume、Streams,流數(shù)據(jù)（網(wǎng)購數(shù)據(jù)、游戲內(nèi)玩家活動、社交網(wǎng)站信息、金融交易大廳或地理空間服務(wù)，以及來自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測數(shù)據(jù)）需要實時處理，給出實時響應(yīng)，否則分析結(jié)果會失去商業(yè)價值。,10,圖計算代表技術(shù)：Pregel、GraphX、,社交網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換成圖結(jié)構(gòu),11,查詢分析計算代表技術(shù)：Dremel、Hi

3、ve、Cassandra、Impala等,12,大數(shù)據(jù)計算模式,表1-3 大數(shù)據(jù)計算模式及其代表產(chǎn)品,13,分布式存儲,分布式處理,大數(shù)據(jù),兩大核心問題,14,1. 云計算概念,云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種IT資源。,15,云計算的優(yōu)勢,企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源,16,云計算的優(yōu)勢,企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源,17,圖1-7 云計算的服務(wù)模式和類型,云計算的服務(wù)模式和類型,18,公有云,面向所有公眾,19,私有云,面向企業(yè)內(nèi)部,20,混合云,混合云,部分給自己，部分

4、給外部,21,Infrastructure as a Service,Platform as a Service,Software as a Service,SaaS,PaaS,IaaS,Google Apps, Microsoft “Software+Services”面向用戶（云軟件）,Sina APP Engine, Google App Engine面向應(yīng)用開發(fā)者（搭建開發(fā)平臺作為服務(wù)出租）,Amazon EC2, IBM Blue Cloud, Sun Grid面向網(wǎng)絡(luò)架構(gòu)師（基礎(chǔ)設(shè)施作為服務(wù)出租）,Server,Storage,Server,Storage,Visualization,Infrastructure,Platform,Application,從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務(wù)，SaaS 允許出租一個應(yīng)用程序，并計時收費,IaaS,將基礎(chǔ)設(shè)施(計算資源和存儲)作為服務(wù)出租,PaaS,類似于 IaaS，但是它包括操作系統(tǒng)和圍繞特定應(yīng)用的必需的服務(wù),SaaS,22,云計算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲、分布式計算、多租戶等,云計算關(guān)鍵技術(shù),23,云計算