大數(shù)據(jù)時(shí)代，澤佳助力企業(yè)發(fā)展大數(shù)據(jù)時(shí)代，澤佳助力企業(yè)發(fā)展1@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第2頁(yè)什么是大數(shù)據(jù)@2013北京澤佳公司版權(quán)所有Copyright?2012@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第3頁(yè)數(shù)據(jù)無(wú)處不在任何時(shí)間，任何地點(diǎn)，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，隨意刷微博爬山時(shí)，記錄每一瞬間旅途中，處理公司事件工作時(shí)，實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)@2013北京澤佳公司版權(quán)所有Copyright?2013@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第4頁(yè)大數(shù)據(jù)時(shí)代已經(jīng)來(lái)到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬(wàn)筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬(wàn)條微博發(fā)送14萬(wàn)張照片上傳70TB處理數(shù)據(jù)@2013北京澤佳公司版權(quán)所有Copyright?20134@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第5頁(yè)互聯(lián)網(wǎng)中的大數(shù)據(jù)Web3.0時(shí)代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊(cè)用戶數(shù)增長(zhǎng)到5.36億，日均活躍用戶數(shù)達(dá)到4980萬(wàn)，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時(shí)代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時(shí)也迎來(lái)重大的轉(zhuǎn)型機(jī)遇和飛躍契機(jī)。@2013北京澤佳公司版權(quán)所有Copyright?2015@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第6頁(yè)互聯(lián)網(wǎng)中的大數(shù)據(jù)

大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛(ài)好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無(wú)余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購(gòu)房、購(gòu)車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛(ài)好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無(wú)余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購(gòu)房、購(gòu)車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。@2013北京澤佳公司版權(quán)所有Copyright?2016@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第7頁(yè)企業(yè)IT進(jìn)入2.0時(shí)代隨著公司業(yè)務(wù)的增長(zhǎng)，大量和流程、規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也爆發(fā)式增長(zhǎng)。比如：1、業(yè)務(wù)系統(tǒng)現(xiàn)在平均每天存儲(chǔ)20萬(wàn)張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個(gè)，每個(gè)平均250M，磁盤空間每天消耗1T;@2013北京澤佳公司版權(quán)所有Copyright?2017@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第8頁(yè)大數(shù)據(jù)的特性

V

V

V

V價(jià)值Veracity體量Volume多樣性Variety速度Velocity68%31%來(lái)源多；格式多：大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報(bào)告，到2020年，全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍，達(dá)到35.2ZB。價(jià)值密度低，猶如沙里淘金，海量業(yè)務(wù)中尋找價(jià)值。1秒定律，實(shí)時(shí)獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。@2013北京澤佳公司版權(quán)所有Copyright?20138@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第9頁(yè)企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務(wù)數(shù)據(jù)的映射提取大數(shù)據(jù)價(jià)值大數(shù)據(jù)隱私大數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?20139@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第10頁(yè)澤佳建議企業(yè)大數(shù)據(jù)解決方案@2013北京澤佳公司版權(quán)所有Copyright?20110@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第11頁(yè)大數(shù)據(jù)基礎(chǔ)架構(gòu)要求可預(yù)測(cè)的低延遲高事務(wù)參數(shù)靈活的數(shù)據(jù)結(jié)構(gòu)獲取組織分析決策高吞吐量就地準(zhǔn)備所有數(shù)據(jù)源和結(jié)構(gòu)深度分析敏捷開發(fā)高度可伸縮性實(shí)時(shí)流數(shù)據(jù)運(yùn)營(yíng)影響@2013北京澤佳公司版權(quán)所有Copyright?201311@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第12頁(yè)澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應(yīng)鏈消費(fèi)者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動(dòng)終端OLTP實(shí)時(shí)交易處理OLAP實(shí)時(shí)分析處理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，F(xiàn)ICO。。。@2013北京澤佳公司版權(quán)所有Copyright?201312@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第13頁(yè)澤佳大數(shù)據(jù)解決方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)同（供應(yīng)商+企業(yè)內(nèi)部+客戶+銀行+稅務(wù)+政府+社區(qū)+…)外部信息（社交+電商+移動(dòng)+視音頻+…)開放式API和協(xié)議通用的設(shè)計(jì)和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動(dòng)數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉(cāng)庫(kù)管理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無(wú)線數(shù)據(jù)管理信息管理和實(shí)時(shí)數(shù)據(jù)遷移聯(lián)合訪問(wèn)實(shí)時(shí)大數(shù)據(jù)平臺(tái)門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動(dòng)終端企業(yè)級(jí)報(bào)告工具Adhoc即時(shí)查詢例外分析非結(jié)構(gòu)化數(shù)據(jù)探索預(yù)測(cè)與挖掘@2013北京澤佳公司版權(quán)所有Copyright?201313@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第14頁(yè)澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動(dòng)態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲(chǔ)系統(tǒng)SybaseESP事件流處理器HdoopMapReduceBigDataConnectorsYounghongBI獲取組織分析決策復(fù)雜場(chǎng)景處理實(shí)時(shí)決策ETLEDW@2013北京澤佳公司版權(quán)所有Copyright?201314@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第15頁(yè)一般企業(yè)數(shù)據(jù)處理平臺(tái)的基礎(chǔ)架構(gòu)@2013北京澤佳公司版權(quán)所有Copyright?201315@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第16頁(yè)澤佳大數(shù)據(jù)解決方案基礎(chǔ)架構(gòu)門戶澤佳大數(shù)據(jù)平臺(tái)快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員辦公軟件移動(dòng)終端安全，部署，管理靈活體系MESPDM@2013北京澤佳公司版權(quán)所有Copyright?201316@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第17頁(yè)澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎(chǔ)架構(gòu)圖@2013北京澤佳公司版權(quán)所有Copyright?201317@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第18頁(yè)應(yīng)用層數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?201318@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第19頁(yè)視頻存儲(chǔ)@2013北京澤佳公司版權(quán)所有Copyright?201319@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第20頁(yè)離線日志分析@2013北京澤佳公司版權(quán)所有Copyright?201320@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第21頁(yè)在線數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?201321@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第22頁(yè)大數(shù)據(jù)解決方案特點(diǎn)澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點(diǎn)間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點(diǎn)間通信的瓶頸。高性能高可擴(kuò)展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫(kù)集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴(kuò)展性，隨著數(shù)據(jù)節(jié)點(diǎn)的增加，系統(tǒng)整體性能接近線性增加。同時(shí)數(shù)據(jù)節(jié)點(diǎn)可以在系統(tǒng)運(yùn)行中動(dòng)態(tài)添加，對(duì)系統(tǒng)不會(huì)造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務(wù)需要，動(dòng)態(tài)添加數(shù)據(jù)節(jié)點(diǎn)，當(dāng)業(yè)務(wù)量較小時(shí)，配置較少的數(shù)據(jù)節(jié)點(diǎn)，隨著業(yè)務(wù)量的逐漸增多，添加相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，從而滿足自身業(yè)務(wù)量增長(zhǎng)的需求。澤佳大數(shù)據(jù)解決方案能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署（redeploy）計(jì)算任務(wù)。同時(shí)消除系統(tǒng)單點(diǎn)故障，系統(tǒng)中任意一個(gè)部分出現(xiàn)故障，系統(tǒng)將自動(dòng)進(jìn)行切換，保證用戶應(yīng)用的無(wú)縫連接，具有較高的穩(wěn)定性和可靠性。@2013北京澤佳公司版權(quán)所有Copyright?201322@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第23頁(yè)大數(shù)據(jù)應(yīng)用技術(shù)@2013北京澤佳公司版權(quán)所有Copyright?20123@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第24頁(yè)大數(shù)據(jù)的技術(shù)領(lǐng)域占位圖@2013北京澤佳公司版權(quán)所有Copyright?201324@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第25頁(yè)澤佳大數(shù)據(jù)應(yīng)用主要技術(shù)—Hadoop據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2015年將達(dá)170億美元規(guī)模，市場(chǎng)發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚怼按髷?shù)據(jù)”而備受重視。

ApacheHadoop是一個(gè)用java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成。

@2013北京澤佳公司版權(quán)所有Copyright?201325@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第26頁(yè)Hadoop體系架構(gòu)MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。Hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)。HBase是一個(gè)開源的，基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫(kù)。HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算@2013北京澤佳公司版權(quán)所有Copyright?201326@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第27頁(yè)Hadoop核心設(shè)計(jì)@2013北京澤佳公司版權(quán)所有Copyright?201327@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第28頁(yè)HDFS—文件讀流程HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。Client向NameNode發(fā)起文件讀取的請(qǐng)求。NameNode返回文件存儲(chǔ)的DataNode的信息。Client讀取文件信息。@2013北京澤佳公司版權(quán)所有Copyright?201328@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第29頁(yè)HDFS—文件寫流程Client向NameNode發(fā)起文件寫入的請(qǐng)求。NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。@2013北京澤佳公司版權(quán)所有Copyright?201329@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第30頁(yè)MapReduce——映射、化簡(jiǎn)編程模型

輸入數(shù)據(jù)->Map分解任務(wù)->執(zhí)行并返回結(jié)果->Reduce匯總結(jié)果->輸出結(jié)果@2013北京澤佳公司版權(quán)所有Copyright?201330@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第31頁(yè)Hbase——分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)Client：使用HBaseRPC機(jī)制與HMaster和HRegionServer進(jìn)行通信Zookeeper：協(xié)同服務(wù)管理，HMaster通過(guò)Zookeepe可以隨時(shí)感知各個(gè)HRegionServer的健康狀況HMaster:管理用戶對(duì)表的增刪改查操作HRegionServer：HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)TableHStore：HBase存儲(chǔ)的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件@2013北京澤佳公司版權(quán)所有Copyright?201331@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第32頁(yè)大數(shù)據(jù)未來(lái)發(fā)展瓶頸通過(guò)對(duì)大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計(jì)算機(jī)、海量數(shù)據(jù)的存儲(chǔ)和管理的流程的不斷優(yōu)化，技術(shù)能夠解決的問(wèn)題終將不會(huì)成為問(wèn)題。我們認(rèn)為，真正會(huì)制約或者成為大數(shù)據(jù)發(fā)展和應(yīng)用瓶頸的有三個(gè)環(huán)節(jié)：數(shù)據(jù)收集和提取的合法性，數(shù)據(jù)隱私的保護(hù)和數(shù)據(jù)隱私應(yīng)用之間的權(quán)衡。大數(shù)據(jù)發(fā)揮協(xié)同效應(yīng)需要產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)的企業(yè)達(dá)成競(jìng)爭(zhēng)與合作的平衡。大數(shù)據(jù)結(jié)論的解讀和應(yīng)用。@2013北京澤佳公司版權(quán)所有Copyright?201332@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第33頁(yè)NoSQL產(chǎn)品@2013北京澤佳公司版權(quán)所有Copyright?201333@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第34頁(yè)大數(shù)據(jù)應(yīng)用案例@2013北京澤佳公司版權(quán)所有Copyright?20134@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第35頁(yè)大數(shù)據(jù)行業(yè)應(yīng)用分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應(yīng)用特點(diǎn)與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)用戶應(yīng)用特點(diǎn)與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應(yīng)用可能性。值得關(guān)注行業(yè)用戶應(yīng)有特點(diǎn)與大數(shù)據(jù)的契合度及應(yīng)用可能性綜合較高適當(dāng)關(guān)注行業(yè)用戶兩個(gè)維度暫時(shí)都不具備優(yōu)勢(shì)，可適當(dāng)給予關(guān)注互聯(lián)網(wǎng)（電子商務(wù)）契合度流通零售制造@2013北京澤佳公司版權(quán)所有Copyright?201335@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第36頁(yè)互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析網(wǎng)絡(luò)終端設(shè)備網(wǎng)絡(luò)技術(shù)的升級(jí)和終端設(shè)備的爆發(fā)，使今天的用戶能夠使用多種設(shè)備、從不同位置、通過(guò)多種手段來(lái)接入互聯(lián)網(wǎng)，并在這一過(guò)程中不斷創(chuàng)造新內(nèi)容在線應(yīng)用和服務(wù)越來(lái)越豐富的在線應(yīng)用和服務(wù)，不斷激勵(lì)用戶創(chuàng)造和分享信息，尤其是社會(huì)化媒體業(yè)務(wù)，帶動(dòng)圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)飛速增長(zhǎng)與各垂直行業(yè)的融合互聯(lián)網(wǎng)作為一個(gè)高滲透力的行業(yè)，正在與各垂直行業(yè)發(fā)生深度的融合，原本隱藏于先下的孤島信息，源源不斷的輸入到線上。互聯(lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)的關(guān)鍵因素互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的應(yīng)用，會(huì)首先帶動(dòng)社會(huì)化媒體、電子商務(wù)的快速發(fā)展，其他的互聯(lián)網(wǎng)分支也會(huì)緊追其后，整個(gè)行業(yè)在大數(shù)據(jù)的推動(dòng)下將會(huì)蓬勃發(fā)展?；ヂ?lián)網(wǎng)行業(yè)對(duì)數(shù)據(jù)實(shí)時(shí)分析要求較高，例如廣告監(jiān)測(cè)、B2C業(yè)務(wù)，往往要求在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析，從而達(dá)到不影響用戶體驗(yàn)和快速準(zhǔn)確營(yíng)銷的目的。目前互聯(lián)網(wǎng)企業(yè)面對(duì)大數(shù)據(jù)，會(huì)普遍感覺(jué)到實(shí)時(shí)分析能力差、海量數(shù)據(jù)處理效率低、缺少分析方法、分析軟件能力差等問(wèn)題?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面臨的主要問(wèn)題@2013北京澤佳公司版權(quán)所有Copyright?201336@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第37頁(yè)騰訊基于Hadoop的大數(shù)據(jù)架構(gòu)圖

@2013北京澤佳公司版權(quán)所有Copyright?201337@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第38頁(yè)騰訊大數(shù)據(jù)現(xiàn)狀

從業(yè)務(wù)角度看：騰訊數(shù)據(jù)平臺(tái)自研的TDW替換了商業(yè)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)公司級(jí)數(shù)據(jù)集中存儲(chǔ)，總記錄達(dá)到375萬(wàn)億跳，日接入5千億條，覆蓋移動(dòng)設(shè)備數(shù)7.7億。從平臺(tái)角度看：騰訊數(shù)據(jù)平臺(tái)從設(shè)備8400臺(tái)，單集群5600臺(tái)，總存儲(chǔ)100PB+;日新增數(shù)據(jù)200TB+，月數(shù)據(jù)增長(zhǎng)率10%，日均JOB數(shù)100萬(wàn)，日均計(jì)算量5PB，量夠大，速度也夠快。

從用戶角度看：這里的用戶，指的是騰訊內(nèi)部員工。騰訊員工2萬(wàn)多人，騰訊數(shù)據(jù)門戶的月活躍是2500左右，也就是說(shuō)訪問(wèn)騰訊數(shù)據(jù)門戶的人占比公司10%+;每月處理數(shù)據(jù)提取分析的任務(wù)數(shù)是1萬(wàn)個(gè)，如果訪問(wèn)者每人都會(huì)提數(shù)據(jù)任務(wù)，平均就是一個(gè)人提4個(gè)左右的分析提取任務(wù);用戶畫像分析任務(wù)為1.2萬(wàn)，可以看出騰訊對(duì)用戶畫像的重視程度。@2013北京澤佳公司版權(quán)所有Copyright?201338@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第39頁(yè)騰訊大數(shù)據(jù)的多樣性

騰訊數(shù)據(jù)平臺(tái)已經(jīng)接入100多個(gè)產(chǎn)品的各類數(shù)據(jù)，例如：用戶行為、賬號(hào)屬性、收入數(shù)據(jù)等等。@2013北京澤佳公司版權(quán)所有Copyright?201339@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第40頁(yè)騰訊基于大數(shù)據(jù)平臺(tái)的產(chǎn)品應(yīng)用

@2013北京澤佳公司版權(quán)所有Copyright?201340@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第41頁(yè)騰訊大數(shù)據(jù)應(yīng)用-廣點(diǎn)通，精準(zhǔn)廣告投放

@2013北京澤佳公司版權(quán)所有Copyright?201341@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第42頁(yè)大數(shù)據(jù)發(fā)展企業(yè)占位圖大數(shù)據(jù)按照信息處理環(huán)節(jié)可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲(chǔ)及管理、數(shù)據(jù)分析、數(shù)據(jù)顯化，以及產(chǎn)業(yè)應(yīng)用等六個(gè)環(huán)節(jié)。@2013北京澤佳公司版權(quán)所有Copyright?201342Thankyou!Thankyou!43大數(shù)據(jù)時(shí)代，澤佳助力企業(yè)發(fā)展大數(shù)據(jù)時(shí)代，澤佳助力企業(yè)發(fā)展44@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第45頁(yè)什么是大數(shù)據(jù)@2013北京澤佳公司版權(quán)所有Copyright?20145@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第46頁(yè)數(shù)據(jù)無(wú)處不在任何時(shí)間，任何地點(diǎn)，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，隨意刷微博爬山時(shí)，記錄每一瞬間旅途中，處理公司事件工作時(shí)，實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)@2013北京澤佳公司版權(quán)所有Copyright?20146@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第47頁(yè)大數(shù)據(jù)時(shí)代已經(jīng)來(lái)到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬(wàn)筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬(wàn)條微博發(fā)送14萬(wàn)張照片上傳70TB處理數(shù)據(jù)@2013北京澤佳公司版權(quán)所有Copyright?201347@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第48頁(yè)互聯(lián)網(wǎng)中的大數(shù)據(jù)Web3.0時(shí)代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊(cè)用戶數(shù)增長(zhǎng)到5.36億，日均活躍用戶數(shù)達(dá)到4980萬(wàn)，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時(shí)代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時(shí)也迎來(lái)重大的轉(zhuǎn)型機(jī)遇和飛躍契機(jī)。@2013北京澤佳公司版權(quán)所有Copyright?20148@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第49頁(yè)互聯(lián)網(wǎng)中的大數(shù)據(jù)

大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛(ài)好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無(wú)余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購(gòu)房、購(gòu)車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛(ài)好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無(wú)余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購(gòu)房、購(gòu)車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。@2013北京澤佳公司版權(quán)所有Copyright?20149@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第50頁(yè)企業(yè)IT進(jìn)入2.0時(shí)代隨著公司業(yè)務(wù)的增長(zhǎng)，大量和流程、規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也爆發(fā)式增長(zhǎng)。比如：1、業(yè)務(wù)系統(tǒng)現(xiàn)在平均每天存儲(chǔ)20萬(wàn)張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個(gè)，每個(gè)平均250M，磁盤空間每天消耗1T;@2013北京澤佳公司版權(quán)所有Copyright?20150@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第51頁(yè)大數(shù)據(jù)的特性

V

V

V

V價(jià)值Veracity體量Volume多樣性Variety速度Velocity68%31%來(lái)源多；格式多：大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報(bào)告，到2020年，全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍，達(dá)到35.2ZB。價(jià)值密度低，猶如沙里淘金，海量業(yè)務(wù)中尋找價(jià)值。1秒定律，實(shí)時(shí)獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。@2013北京澤佳公司版權(quán)所有Copyright?201351@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第52頁(yè)企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務(wù)數(shù)據(jù)的映射提取大數(shù)據(jù)價(jià)值大數(shù)據(jù)隱私大數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?201352@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第53頁(yè)澤佳建議企業(yè)大數(shù)據(jù)解決方案@2013北京澤佳公司版權(quán)所有Copyright?20153@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第54頁(yè)大數(shù)據(jù)基礎(chǔ)架構(gòu)要求可預(yù)測(cè)的低延遲高事務(wù)參數(shù)靈活的數(shù)據(jù)結(jié)構(gòu)獲取組織分析決策高吞吐量就地準(zhǔn)備所有數(shù)據(jù)源和結(jié)構(gòu)深度分析敏捷開發(fā)高度可伸縮性實(shí)時(shí)流數(shù)據(jù)運(yùn)營(yíng)影響@2013北京澤佳公司版權(quán)所有Copyright?201354@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第55頁(yè)澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應(yīng)鏈消費(fèi)者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動(dòng)終端OLTP實(shí)時(shí)交易處理OLAP實(shí)時(shí)分析處理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，F(xiàn)ICO。。。@2013北京澤佳公司版權(quán)所有Copyright?201355@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第56頁(yè)澤佳大數(shù)據(jù)解決方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)同（供應(yīng)商+企業(yè)內(nèi)部+客戶+銀行+稅務(wù)+政府+社區(qū)+…)外部信息（社交+電商+移動(dòng)+視音頻+…)開放式API和協(xié)議通用的設(shè)計(jì)和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動(dòng)數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉(cāng)庫(kù)管理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無(wú)線數(shù)據(jù)管理信息管理和實(shí)時(shí)數(shù)據(jù)遷移聯(lián)合訪問(wèn)實(shí)時(shí)大數(shù)據(jù)平臺(tái)門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動(dòng)終端企業(yè)級(jí)報(bào)告工具Adhoc即時(shí)查詢例外分析非結(jié)構(gòu)化數(shù)據(jù)探索預(yù)測(cè)與挖掘@2013北京澤佳公司版權(quán)所有Copyright?201356@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第57頁(yè)澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動(dòng)態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲(chǔ)系統(tǒng)SybaseESP事件流處理器HdoopMapReduceBigDataConnectorsYounghongBI獲取組織分析決策復(fù)雜場(chǎng)景處理實(shí)時(shí)決策ETLEDW@2013北京澤佳公司版權(quán)所有Copyright?201357@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第58頁(yè)一般企業(yè)數(shù)據(jù)處理平臺(tái)的基礎(chǔ)架構(gòu)@2013北京澤佳公司版權(quán)所有Copyright?201358@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第59頁(yè)澤佳大數(shù)據(jù)解決方案基礎(chǔ)架構(gòu)門戶澤佳大數(shù)據(jù)平臺(tái)快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員辦公軟件移動(dòng)終端安全，部署，管理靈活體系MESPDM@2013北京澤佳公司版權(quán)所有Copyright?201359@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第60頁(yè)澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎(chǔ)架構(gòu)圖@2013北京澤佳公司版權(quán)所有Copyright?201360@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第61頁(yè)應(yīng)用層數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?201361@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第62頁(yè)視頻存儲(chǔ)@2013北京澤佳公司版權(quán)所有Copyright?201362@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第63頁(yè)離線日志分析@2013北京澤佳公司版權(quán)所有Copyright?201363@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第64頁(yè)在線數(shù)據(jù)分析@2013北京澤佳公司版權(quán)所有Copyright?201364@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第65頁(yè)大數(shù)據(jù)解決方案特點(diǎn)澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點(diǎn)間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點(diǎn)間通信的瓶頸。高性能高可擴(kuò)展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫(kù)集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴(kuò)展性，隨著數(shù)據(jù)節(jié)點(diǎn)的增加，系統(tǒng)整體性能接近線性增加。同時(shí)數(shù)據(jù)節(jié)點(diǎn)可以在系統(tǒng)運(yùn)行中動(dòng)態(tài)添加，對(duì)系統(tǒng)不會(huì)造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務(wù)需要，動(dòng)態(tài)添加數(shù)據(jù)節(jié)點(diǎn)，當(dāng)業(yè)務(wù)量較小時(shí)，配置較少的數(shù)據(jù)節(jié)點(diǎn)，隨著業(yè)務(wù)量的逐漸增多，添加相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，從而滿足自身業(yè)務(wù)量增長(zhǎng)的需求。澤佳大數(shù)據(jù)解決方案能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署（redeploy）計(jì)算任務(wù)。同時(shí)消除系統(tǒng)單點(diǎn)故障，系統(tǒng)中任意一個(gè)部分出現(xiàn)故障，系統(tǒng)將自動(dòng)進(jìn)行切換，保證用戶應(yīng)用的無(wú)縫連接，具有較高的穩(wěn)定性和可靠性。@2013北京澤佳公司版權(quán)所有Copyright?201365@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第66頁(yè)大數(shù)據(jù)應(yīng)用技術(shù)@2013北京澤佳公司版權(quán)所有Copyright?20166@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第67頁(yè)大數(shù)據(jù)的技術(shù)領(lǐng)域占位圖@2013北京澤佳公司版權(quán)所有Copyright?201367@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第68頁(yè)澤佳大數(shù)據(jù)應(yīng)用主要技術(shù)—Hadoop據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2015年將達(dá)170億美元規(guī)模，市場(chǎng)發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚怼按髷?shù)據(jù)”而備受重視。

ApacheHadoop是一個(gè)用java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成。

@2013北京澤佳公司版權(quán)所有Copyright?201368@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第69頁(yè)Hadoop體系架構(gòu)MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。Hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)。HBase是一個(gè)開源的，基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫(kù)。HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算@2013北京澤佳公司版權(quán)所有Copyright?201369@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第70頁(yè)Hadoop核心設(shè)計(jì)@2013北京澤佳公司版權(quán)所有Copyright?201370@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第71頁(yè)HDFS—文件讀流程HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。Client向NameNode發(fā)起文件讀取的請(qǐng)求。NameNode返回文件存儲(chǔ)的DataNode的信息。Client讀取文件信息。@2013北京澤佳公司版權(quán)所有Copyright?201371@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第72頁(yè)HDFS—文件寫流程Client向NameNode發(fā)起文件寫入的請(qǐng)求。NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。@2013北京澤佳公司版權(quán)所有Copyright?201372@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第73頁(yè)MapReduce——映射、化簡(jiǎn)編程模型

輸入數(shù)據(jù)->Map分解任務(wù)->執(zhí)行并返回結(jié)果->Reduce匯總結(jié)果->輸出結(jié)果@2013北京澤佳公司版權(quán)所有Copyright?201373@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第74頁(yè)Hbase——分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)Client：使用HBaseRPC機(jī)制與HMaster和HRegionServer進(jìn)行通信Zookeeper：協(xié)同服務(wù)管理，HMaster通過(guò)Zookeepe可以隨時(shí)感知各個(gè)HRegionServer的健康狀況HMaster:管理用戶對(duì)表的增刪改查操作HRegionServer：HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)TableHStore：HBase存儲(chǔ)的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件@2013北京澤佳公司版權(quán)所有Copyright?201374@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第75頁(yè)大數(shù)據(jù)未來(lái)發(fā)展瓶頸通過(guò)對(duì)大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計(jì)算機(jī)、海量數(shù)據(jù)的存儲(chǔ)和管理的流程的不斷優(yōu)化，技術(shù)能夠解決的問(wèn)題終將不會(huì)成為問(wèn)題。我們認(rèn)為，真正會(huì)制約或者成為大數(shù)據(jù)發(fā)展和應(yīng)用瓶頸的有三個(gè)環(huán)節(jié)：數(shù)據(jù)收集和提取的合法性，數(shù)據(jù)隱私的保護(hù)和數(shù)據(jù)隱私應(yīng)用之間的權(quán)衡。大數(shù)據(jù)發(fā)揮協(xié)同效應(yīng)需要產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)的企業(yè)達(dá)成競(jìng)爭(zhēng)與合作的平衡。大數(shù)據(jù)結(jié)論的解讀和應(yīng)用。@2013北京澤佳公司版權(quán)所有Copyright?201375@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第76頁(yè)NoSQL產(chǎn)品@2013北京澤佳公司版權(quán)所有Copyright?201376@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第77頁(yè)大數(shù)據(jù)應(yīng)用案例@2013北京澤佳公司版權(quán)所有Copyright?20177@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第78頁(yè)大數(shù)據(jù)行業(yè)應(yīng)用分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應(yīng)用特點(diǎn)與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖