大數據尹航201410月成都BigData大數據什么是大數據大數據原理和構成大數據應用大數據價值BigData目錄什么是大數據BigData什么是大數據HadoopIBM英特爾HP數據商業(yè)智能數據庫服務器SAPHANANoSQLSQLHDFS預測數據流運算節(jié)點機器學習并行計算磁盤陣列甲骨文AMD內存計算GoogleMapreduce

可視化GbPbTbZbBigData什么是大數據由多個軟件、硬件部分組成的一個數據系統一個執(zhí)行體系有別于傳統企業(yè)數據中心，用來應對現代海量數據化的生活，商業(yè)環(huán)境。不是一個行業(yè)，而是一種新的數據處理方法是關于數據的運輸和處理，以及最后有效使用的體系與云計算一樣都是一種新的生產組織形式Web2.0時代的解決方案大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊BigData什么是大數據大數據的目的原始數據的處理和分類存儲將存儲的數據調取并分析最終提供決策依據歸類數據類型有效分析組合大數據的特點4V海量高速多樣精確BigData什么是大數據1KB=1024字節(jié)存儲單位1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB=1,048,576GB1EB=1024PB=1,073,741,824GB1ZB=1024EB=1,099,511,627,776GB100萬G10億G1萬億G22億臺215萬臺2100臺500G硬盤電腦15寸電腦排成行可以往返一次月球BigData什么是大數據Volume海量1PB=1024TB=1,048,576GB1EB=1024PB=1,073,741,824GB1ZB=1024EB=1,099,511,627,776GBIntel：人類文明開始到2003年地球共產生了5EB數據.2012年全年，全球產生數據2.7ZB是2003年以前的500倍2015年，全球估計產生數據8ZB，等于1800萬個美國國會圖書館44%35ZB2000年數字信息占全球數據量的25%75%都在報紙膠片磁帶等媒介2013年數字信息98%非數字信息2%BigData什么是大數據商業(yè)數據現狀Twitter2007年5000條微博更新/天2008年30萬條微博更新/天2009年250萬條微博更新/天2010年3500萬條微博更新/天2011年2億條微博更新/天2013年4億條微博更新/天2013年上傳時長12年的視頻/天2013年用戶分享25億條信息/天我國一個一線城市的健康檔案數據5PB/年我國一個智慧城市的數據800PB/年一個單數據表幾億-幾百億條記錄下線商品14億件，在線商品8億件淘寶數據庫存了20PB數據平均每月增加1.5PB智能移動終端設備的巨量增長BigData什么是大數據Velocity高速6000萬用戶登錄/天20億次頁面訪問/天每天1.2億次網站訪問響應時間小于100毫秒大數據的驚人不止是在數量上，同時數據還是巨量具有動態(tài)分析價值的數據。訪問響應時間的加快，數據庫讀寫速度的加快，對電商企業(yè)來說就等于多成交。對于很多情況下，動態(tài)的數據價值遠大于靜態(tài)數據，比如氣象預測，災難預測，快消行業(yè)等。由于輸入速度加快，所以要求輸出速度也要加快BigData什么是大數據Variety多樣樣數據據：：結構化數據半結構化數據非結構化數據指關關系系型型數數據據表表指關關系系結結構構與與內內容容混混合合在在一一起起的的數數據據類類型型文檔檔、、視視頻頻、、音音頻頻、、圖圖片片20%結構構化化80非結結構構化化企業(yè)業(yè)數數據據2012年互互聯聯網網產產生生的的數數據據25%結構構化化75非結結構構化化50%-70%源于于人人與與人人的的互互動動BigData什么是大數據Veracity準確確大數數據據的的核核心心思思想想之之一一準確確源源自自于于對對全全部部數數據據的的處處理理分分析析基礎礎數數據據的的真真實實準準確確性性，，才才能能保保證證結結果果的的有有效效性性。。BigData什么是大數據大數數據據VS云計計算算兩者者都都是是生生產產方方式式改改變變?yōu)闉橹髦鳎?，生生產產資資料料改改變變?yōu)闉檩o輔，，提提高高生生產產效效率率。。云計計算算是是將將計計算算和和存存儲儲，，由由本本地地轉轉移移到到了了云云端端。。大數數據據則則是是提提供供了了一一套套新新的的計計算算和和存存儲儲工工作作原原理理。。二者者有有本本質質的的不不同同，，但但卻卻是是一一個個完完整整的的體體系系。。大大數數據據可可以以是是云云計計算算的的心心臟臟，，云云計計算算是是大大數數據據服服務務的的通通路路。。BigData什么是大數據大數數據據VS物聯聯網網物聯聯網網是是大大數數據據的的流流程程中中的的第第一一層層采集集層層物聯聯網網網網關關以以上上就就進進入入了了大大數數據據工工作作范范疇疇。。局部部域域內內的的物物聯聯網網應應用用解解決決方方案案等等同同于于這這個個域域內內的的大大數數據據系系統統大數數據據原原理理和和構構成成大數數據據的的核核心心工工作作思思路路大數數據據系系統統顛顛覆覆了了傳傳統統數數據據中中心心的的工工作作邏邏輯輯傳統統數數據據系系統統工工作作邏邏輯輯：：運算算系系統統調調動動數數據據庫庫的的數數據據，，數數據據的的移移動動。。大數數據據系系統統工工作作邏邏輯輯：：運算算系系統統直直接接部部署署至至數數據據處處，，數數據據僅僅架架構構內內移移動動。。BigData大數據原理和構成BigData大數據原理和構成傳統統數數據據系系統統工工作作原原理理客戶戶客戶戶客戶戶客戶戶客戶戶客戶戶互聯聯網網路由由器器訪問問請請求求負載載均均衡衡服務務器器集集群群DBDBDBDB數據據庫庫集集群群數據據調調用用請請求求數據據移移動動結果果反反饋饋BigData大數據原理和構成Hadoop軟件件框框架架大數數據據系系統統核核心心組組件件MapreduceHBaseHDFSHadoop核心心子子項項目目BigData大數據原理和構成Hadoop系統統工工作作原原理理BigData大數據原理和構成Hadoop系統統構構架架BigData大數據原理和構成存儲儲與與數數據據庫庫的的比比較較傳統數據據中心HadoopJOBDRAID存儲系統統HDFS容錯性擴展性某已分配配任務出出錯，該該計算必必須重新新執(zhí)行節(jié)點靈活活調整節(jié)點相對對固定，，擴展時時會造成成無法訪訪問在任務執(zhí)執(zhí)行中任任何時候候可任意意添加節(jié)節(jié)點SQLNoSQL數據類型型平行計算算系統MapReduceRAID出現壞盤盤后，重重建陣列列需要十十多個小小時，這這在大數數據時代代是無法法接受的的BigData大數據原理和構成SAPHANAHadoop的升級內存計算算技術真正的海海量數據據瞬間分分析內存數據據庫實現任何何地點、、任何時時候、可可以查看看實時的的動態(tài)數數據，任任何時候候都可以以知道正正在發(fā)生生著什么么。并且且做出應應對。利用高性性能的大大數據一一體機服服務器，，將數據據庫直接接植入大大容量內內存中進進行實時時處理。。HadoopMapreduceHDFSHBaseBigData大數據原理和構成大數據的的硬件32顆處理器器、每顆顆處理器器12核=384核X96個線程32TB的內存很很多多中型企企業(yè)的數數據庫也也只不過過幾TB.可以完美美運行內內存計算算數據庫庫大數據一一體機服務器+存儲+網絡=融合基礎礎架構SeaMicroSM1500064顆處理器器、每顆顆處理器器8核=512核心4TB的內存5PB本地存儲儲10U的空間萬兆以太太網Systemx3650M4機架式2U2顆處理器器8核心內存最大大768GB本地存儲儲9TB2.6萬換算成10U的空間80核心大數據的的軟件數據存儲儲管理數據處理理數據分析析Hadoop數據庫軟軟件BigData大數據原理和構成提取轉轉換歸歸類可視化BI商業(yè)智能能大數據的的核心價價值高附加值值階段大數據應應用BigData大數據應用大數據應應用的意意義巨量數據據的產生生對所有復復雜數據據格式的的歸類管管理分析析20%結構化數數據的分分析利用用80%非結構化化的沒有有發(fā)揮作作用，商商業(yè)洞察察力的資資源浪費費。找出最優(yōu)優(yōu)解決方方案應用的核核心大數據分分析BigData大數據應用數據質量量和數據據管理可視化分分析語義引擎擎數據挖掘掘算法預測性分分析能力力大數據應應用的分分析方法法高質量的的數據處處理和管管理是輸輸出高質質量結果果的前提提深入數據據內部，，用機器器去做人人工做不不到的數數據價值值發(fā)現從非結構構化數據據中提取取信息的的方式展示數據據分析結結果，供供使用者者決策根據可視視化和數數據挖掘掘的結果果做出預預測BigData大數據應用大數據應應用的分分析邏輯輯DescriptivePredictivePrescriptive發(fā)生了什什么？為為什么?還會發(fā)生生什么?還會發(fā)生生什么？？，如果果發(fā)生了了，如何何應對？？BigData大數據應用大數據應應用的假假想一給某總辦辦公室、、汽車、、家里裝裝上煙感感。發(fā)現某總總在辦公公室的抽抽煙數量量最大，，在車里里和在家家基本不不抽。那么就可可以知道道，某總總在工作作期間香香煙以及及與香煙煙有關的的產品消消費多。。那在家期期間的消消費習慣慣又是什什么，根根據人的的行為習習慣，不不抽煙但但需要其其他事情情分散注注意力。。吃東西？？看電視視？看書書？。。。。。。。。。。。。。這樣就可可以深入入了解一一個人的的消費行行為習慣慣，從而而提前做做出應對對或者積積極的主主動應對對。BigData大數據應用大數據應應用的假假想二通過對某某人淘寶寶購物的的跟蹤分分析，挖挖掘出