1、大數(shù)據(jù)(shj)尹航 2022 10月 成都Big Data第一頁，共三十八頁。大數(shù)據(jù)(shj)什么是大數(shù)據(jù)大數(shù)據(jù)原理和構(gòu)成大數(shù)據(jù)應(yīng)用大數(shù)據(jù)價值Big Data目錄第二頁，共三十八頁。什么(shn me)是大數(shù)據(jù)第三頁，共三十八頁。Big Data什么是大數(shù)據(jù)HadoopIBM英特爾HP數(shù)據(jù)(shj)商業(yè)智能數(shù)據(jù)庫服務(wù)器SAP HANANoSQLSQLHDFS預(yù)測(yc)數(shù)據(jù)流運算(yn sun)節(jié)點機器學(xué)習(xí)并行計算磁盤陣列甲骨文AMD內(nèi)存計算GoogleMap reduce 可視化GbPbTbZb第四頁，共三十八頁。Big Data什么是大數(shù)據(jù)由多個軟件、硬件部分組成的一個數(shù)據(jù)系統(tǒng)一個執(zhí)行體

2、系有別于傳統(tǒng)企業(yè)數(shù)據(jù)中心，用來應(yīng)對現(xiàn)代海量數(shù)據(jù)化的生活，商業(yè)環(huán)境。不是一個行業(yè)，而是一種新的數(shù)據(jù)處理方法是關(guān)于數(shù)據(jù)的運輸和處理，以及最后有效使用的體系與云計算一樣 都是一種新的生產(chǎn)組織形式Web 2.0時代的解決方案大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為(chngwi)幫助企業(yè)經(jīng)營決策更積極目的的資訊第五頁，共三十八頁。Big Data什么是大數(shù)據(jù)大數(shù)據(jù)(shj)的目的原始(yunsh)數(shù)據(jù)的處理和分類存儲將存儲的數(shù)據(jù)(shj)調(diào)取并分析最終提供決策依據(jù) 歸類數(shù)據(jù)類型有效分析組合大數(shù)據(jù)的特點

3、4V海量高速多樣精確第六頁，共三十八頁。Big Data什么是大數(shù)據(jù)1 KB = 1024字節(jié)(z ji)存儲(cn ch)單位1 MB = 1024 KB1 GB = 1024MB1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB100萬 G10億 G1萬億 G22億臺215萬臺2100臺500G硬盤電腦(dinno)15寸電腦排成行可以往返一次月球第七頁，共三十八頁。Big Data什么是大數(shù)據(jù)Volume 海量(hil

4、ing)1 PB = 1024TB = 1,048,576 GB1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GBIntel：人類文明開始到2021年 地球共產(chǎn)生(chnshng)了5EB數(shù)據(jù).2022年全年(qun nin)，全球產(chǎn)生數(shù)據(jù)2.7ZB 是 2021年以前的500倍2022年，全球估計產(chǎn)生數(shù)據(jù)8ZB，等于1800萬個美國國會圖書館44%35 ZB2000年 數(shù)字信息占全球數(shù)據(jù)量的25% 75%都在報紙 膠片 磁帶等媒介2022年 數(shù)字信息 98% 非數(shù)字信息 2%第八頁，共三十八頁。Big D

5、ata什么是大數(shù)據(jù)商業(yè)數(shù)據(jù)(shj)現(xiàn)狀Twitter2022年 5000條微博更新(gngxn)/天2022年 30萬條微博更新/天2022年 250萬條微博更新/天2022年 3500萬條微博更新/天2022年 2億條微博更新/天2022年 4億條微博更新/天2022年 上傳時長12年的視頻(shpn)/天2022年 用戶分享25億條信息/天我國一個一線城市的健康檔案數(shù)據(jù) 5PB/年我國一個智慧城市的數(shù)據(jù) 800 PB/年 一個單數(shù)據(jù)表幾億-幾百億條記錄下線商品14億件，在線商品8億件淘寶數(shù)據(jù)庫存了20PB數(shù)據(jù)平均每月增加1.5PB智能移動終端設(shè)備的巨量增長第九頁，共三十八頁。Big Da

6、ta什么是大數(shù)據(jù)Velocity 高速(o s)6000萬用戶登錄/天20億次 頁面訪問/天每天1.2億次網(wǎng)站訪問 響應(yīng)(xingyng)時間小于100毫秒大數(shù)據(jù)的驚人不止是在數(shù)量上，同時數(shù)據(jù)還是巨量具有動態(tài)分析價值的數(shù)據(jù)。訪問響應(yīng)時間的加快，數(shù)據(jù)庫讀寫速度的加快，對電商企業(yè)來說就等于多成交。對于很多情況下，動態(tài)的數(shù)據(jù)價值遠(yuǎn)大于靜態(tài)數(shù)據(jù)，比如氣象(qxing)預(yù)測，災(zāi)難預(yù)測，快消行業(yè)等。由于輸入速度加快，所以要求輸出速度也要加快第十頁，共三十八頁。Big Data什么是大數(shù)據(jù)Variety 多樣(du yn)數(shù)據(jù)(shj)：結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)指關(guān)系(gun x)型數(shù)據(jù)表指關(guān)系結(jié)

7、構(gòu)與內(nèi)容混合在一起的數(shù)據(jù)類型文檔、視頻、音頻、圖片20% 結(jié)構(gòu)化 80非結(jié)構(gòu)化企業(yè)數(shù)據(jù)2022年互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)25% 結(jié)構(gòu)化 75非結(jié)構(gòu)化50%-70%源于人與人的互動第十一頁，共三十八頁。9、 人的價值，在招收誘惑的一瞬間被決定。2022/9/12022/9/1Thursday, September 1, 202210、低頭要有勇氣，抬頭要有低氣。2022/9/12022/9/12022/9/19/1/2022 10:27:20 PM11、人總是珍惜為得到。2022/9/12022/9/12022/9/1Sep-2201-Sep-2212、人亂于心，不寬余請。2022/9/12022/9/

8、12022/9/1Thursday, September 1, 202213、生氣是拿別人做錯的事來懲罰自己。2022/9/12022/9/12022/9/12022/9/19/1/202214、抱最大的希望，作最大的努力。01 九月 20222022/9/12022/9/12022/9/115、一個人炫耀什么，說明他內(nèi)心缺少(qusho)什么。九月 222022/9/12022/9/12022/9/19/1/202216、業(yè)余生活要有意義，不要越軌。2022/9/12022/9/101 September 202217、一個人即使已登上頂峰，也仍要自強不息。2022/9/12022/9/12

9、022/9/12022/9/1第十二頁，共三十八頁。Big Data什么是大數(shù)據(jù)Veracity 準(zhǔn)確(zhnqu)大數(shù)據(jù)(shj)的核心思想之一準(zhǔn)確源自于對全部(qunb)數(shù)據(jù)的處理分析基礎(chǔ)數(shù)據(jù)的真實準(zhǔn)確性，才能保證結(jié)果的有效性。第十三頁，共三十八頁。Big Data什么是大數(shù)據(jù)大數(shù)據(jù)(shj) VS 云計算兩者都是生產(chǎn)方式改變(gibin)為主，生產(chǎn)資料改變(gibin)為輔，提高生產(chǎn)效率。云計算是將計算和存儲(cn ch)，由本地轉(zhuǎn)移到了云端。大數(shù)據(jù)則是提供了一套新的計算和存儲工作原理。二者有本質(zhì)的不同，但卻是一個完整的體系。大數(shù)據(jù)可以是云計算的心臟，云計算是大數(shù)據(jù)服務(wù)的通路。第十四頁，

10、共三十八頁。Big Data什么是大數(shù)據(jù)大數(shù)據(jù)(shj) VS 物聯(lián)網(wǎng)物聯(lián)網(wǎng)(lin wn)是大數(shù)據(jù)的流程中的第一層采集(cij)層物聯(lián)網(wǎng)網(wǎng)關(guān)以上就進(jìn)入了大數(shù)據(jù)工作范疇。局部域內(nèi)的物聯(lián)網(wǎng)應(yīng)用解決方案等同于這個域內(nèi)的大數(shù)據(jù)系統(tǒng)第十五頁，共三十八頁。大數(shù)據(jù)(shj)原理和構(gòu)成第十六頁，共三十八頁。大數(shù)據(jù)(shj)的核心工作思路大數(shù)據(jù)系統(tǒng)顛覆(dinf)了傳統(tǒng)數(shù)據(jù)中心的工作邏輯傳統(tǒng)數(shù)據(jù)系統(tǒng)工作(gngzu)邏輯：運算系統(tǒng)調(diào)動數(shù)據(jù)庫的數(shù)據(jù)，數(shù)據(jù)的移動。大數(shù)據(jù)系統(tǒng)工作邏輯：運算系統(tǒng)直接部署至數(shù)據(jù)處，數(shù)據(jù)僅架構(gòu)內(nèi)移動。Big Data大數(shù)據(jù)原理和構(gòu)成第十七頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成傳

11、統(tǒng)(chuntng)數(shù)據(jù)系統(tǒng)工作原理客戶(k h)客戶(k h)客戶客戶客戶客戶互聯(lián)網(wǎng)路由器訪問請求負(fù)載均衡服務(wù)器集群DBDBDBDB數(shù)據(jù)庫集群數(shù)據(jù)調(diào)用請求數(shù)據(jù)移動結(jié)果反饋第十八頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成Hadoop 軟件(run jin)框架大數(shù)據(jù)系統(tǒng)核心(hxn)組件 MapreduceHBaseHDFSHadoop核心(hxn)子項目第十九頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成Hadoop系統(tǒng)工作(gngzu)原理第二十頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成Hadoop系統(tǒng)(xtng)構(gòu)架第二十一頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成存

12、儲(cn ch)與數(shù)據(jù)庫的比較傳統(tǒng)(chuntng)數(shù)據(jù)中心HadoopJOBD RAID存儲系統(tǒng)HDFS容錯性擴展性某已分配任務(wù)出錯，該計算(j sun)必須重新執(zhí)行節(jié)點靈活調(diào)整節(jié)點相對固定，擴展時會造成無法訪問在任務(wù)執(zhí)行中任何時候可任意添加節(jié)點SQLNoSQL數(shù)據(jù)類型平行計算系統(tǒng)Map Reduce RAID出現(xiàn)壞盤后，重建陣列需要十多個小時，這在大數(shù)據(jù)時代是無法接受的第二十二頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成SAP HANAHadoop 的升級(shng j)內(nèi)存計算技術(shù) 真正的海量數(shù)據(jù)瞬間(shn jin)分析內(nèi)存數(shù)據(jù)庫 實現(xiàn)任何地點、任何時候、可以查看實時的動態(tài)數(shù)據(jù)，任

13、何時候都可以知道正在發(fā)生著什么(shn me)。并且做出應(yīng)對。利用高性能的大數(shù)據(jù)一體機服務(wù)器，將數(shù)據(jù)庫直接植入大容量內(nèi)存中進(jìn)行實時處理。Hadoop Mapreduce HDFSHBase第二十三頁，共三十八頁。Big Data大數(shù)據(jù)原理和構(gòu)成大數(shù)據(jù)(shj)的硬件32顆處理器、每顆處理器12核 = 384核 X 96個線程32TB的內(nèi)存 很多中型企業(yè)的數(shù)據(jù)庫也只不過幾TB.可以完美(wnmi)運行內(nèi)存計算數(shù)據(jù)庫大數(shù)據(jù)(shj)一體機服務(wù)器+存儲+網(wǎng)絡(luò) = 融合基礎(chǔ)架構(gòu)SeaMicro SM1500064顆處理器、每顆處理器8核 = 512核心4TB的內(nèi)存 5PB本地存儲10U的空間萬兆以太網(wǎng)

14、System x3650 M4機架式 2U2顆處理器 8核心內(nèi)存最大 768GB本地存儲9TB2.6萬換算成10U的空間80核心 第二十四頁，共三十八頁。大數(shù)據(jù)(shj)的軟件數(shù)據(jù)(shj)存儲管理數(shù)據(jù)處理數(shù)據(jù)分析Hadoop 數(shù)據(jù)庫軟件(run jin) Big Data大數(shù)據(jù)原理和構(gòu)成提取 轉(zhuǎn)換 歸類可視化 BI商業(yè)智能大數(shù)據(jù)的核心價值高附加值階段第二十五頁，共三十八頁。大數(shù)據(jù)(shj)應(yīng)用第二十六頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用大數(shù)據(jù)(shj)應(yīng)用的意義巨量(j lin)數(shù)據(jù)的產(chǎn)生對所有復(fù)雜數(shù)據(jù)格式的歸類管理(gunl)分析20%結(jié)構(gòu)化數(shù)據(jù)的分析利用 80%非結(jié)構(gòu)化的沒有發(fā)揮作

15、用，商業(yè)洞察力的資源浪費。找出最優(yōu)解決方案應(yīng)用的核心大數(shù)據(jù)分析第二十七頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用數(shù)據(jù)(shj)質(zhì)量和數(shù)據(jù)(shj)管理可視化分析(fnx)語義引擎(ynqng)數(shù)據(jù)挖掘算法預(yù)測性分析能力大數(shù)據(jù)應(yīng)用的分析方法高質(zhì)量的數(shù)據(jù)處理和管理是輸出高質(zhì)量結(jié)果的前提深入數(shù)據(jù)內(nèi)部，用機器去做人工做不到的數(shù)據(jù)價值發(fā)現(xiàn)從非結(jié)構(gòu)化數(shù)據(jù)中提取信息的方式展示數(shù)據(jù)分析結(jié)果，供使用者決策根據(jù)可視化和數(shù)據(jù)挖掘的結(jié)果做出預(yù)測第二十八頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用的分析(fnx)邏輯DescriptivePredictivePrescriptive發(fā)生(fshng)了什么？為什

16、么?還會發(fā)生(fshng)什么?還會發(fā)生什么？，如果發(fā)生了，如何應(yīng)對？第二十九頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用(yngyng)的假想一給某總辦公室、汽車、家里裝上煙感。發(fā)現(xiàn)某總在辦公室的抽煙數(shù)量最大，在車?yán)锖驮诩一静怀椤Ｄ敲淳涂梢灾?，某總在工作期間香煙以及與香煙有關(guān)的產(chǎn)品消費多。那在家期間的消費習(xí)慣又是什么，根據(jù)人的行為習(xí)慣，不抽煙但需要其他事情分散注意力。吃東西？看電視？看書？。這樣就可以深入了解一個人的消費行為習(xí)慣，從而提前(tqin)做出應(yīng)對或者積極的主動應(yīng)對。第三十頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用(yngyng)的假想二通過對某人淘寶購物的跟

17、蹤分析，挖掘出他的消費趨勢。某男，在電子商務(wù)網(wǎng)站上長期買衣服，內(nèi)衣等商品。 通過消費記錄可以預(yù)知其單身。用百度聯(lián)盟，把世紀(jì)佳緣，花田等交友網(wǎng)站的廣告推送給他。某男開始買女士消費品了比如衣服，鞋帽等。 則說明該男找到女朋友了。通過信用卡記錄可以分析出其關(guān)系進(jìn)展情況。發(fā)現(xiàn)其買房，裝修了。則該男快結(jié)婚了。之后就是(jish)孕嬰用品的推薦。第三十一頁，共三十八頁。Big Data大數(shù)據(jù)應(yīng)用大數(shù)據(jù)(shj)的大應(yīng)用城市智能交通智能電力照明能源管理系統(tǒng)智能健康(jinkng)醫(yī)療體系政府財政管理綜合信息系統(tǒng)工商企業(yè)信息系統(tǒng)。第三十二頁，共三十八頁。大數(shù)據(jù)(shj)價值第三十三頁，共三十八頁。Big Da

18、ta大數(shù)據(jù)價值大數(shù)據(jù)市場(shchng)價值IDC預(yù)測 中國(zhn u)的大數(shù)據(jù)服務(wù)市場 2022年 7760萬美元 增長到 2022年 6億美元IDC預(yù)測 2022年全球市場(shchng)規(guī)模238億美元 31.7%服務(wù)器市場 21.1% 存儲市場53.4%基礎(chǔ)設(shè)備40%趨勢增值服務(wù)軟件第三十四頁，共三十八頁。Big Data大數(shù)據(jù)價值大數(shù)據(jù)市場(shchng)價值第三十五頁，共三十八頁。謝謝(xi xie)第三十六頁，共三十八頁。9、 人的價值(jizh)，在招收誘惑的一瞬間被決定。2022/9/12022/9/1Thursday, September 1, 202210、低頭要有勇氣，抬頭要有低氣。2022/9/12022/9/12022/9/19/1/2022 10:27:20 PM11、人總是珍惜為得到。2022/9/12022/9/1