大數(shù)據(jù)模板培訓課件123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關領域應用4相關技術架構目錄123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關領域應用4相關技術架構目錄1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景什么是大數(shù)據(jù)大數(shù)據(jù)時代1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。數(shù)據(jù)結(jié)構日趨復雜|

大量新數(shù)據(jù)源的出現(xiàn)則導致非結(jié)構化、半結(jié)構化數(shù)據(jù)爆發(fā)式的增長TBPBZBEB數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。

而有市場研究機構預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）說明互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。1GB（Gigabyte）=1024MB1TB（Terabyte）=1024GB1PB（Petabyte）=1024TB1EB（Exabyte）=1024PB1ZB（Zettabyte）=1024EB地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接受者變成了主動創(chuàng)造者全球每秒鐘發(fā)送2.9百萬封電子郵件，每天會有2.88萬個小時的視頻上傳到Y(jié)outube，推特上每天發(fā)布5千萬條消息量級每月網(wǎng)民在Facebook上要花費7千億分鐘，發(fā)送和接收的數(shù)據(jù)高達1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。facebook社交網(wǎng)絡…淘寶、ebuy電子商務…微博、Apps移動互聯(lián)…數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一2大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity2大數(shù)據(jù)的4V特性體量Volume數(shù)據(jù)結(jié)構海量存儲能力讀寫速度實時大數(shù)據(jù)分析hadoophbasesparkstrom數(shù)據(jù)結(jié)構海量存儲能力讀寫速度實時大數(shù)據(jù)分析hadoophba大數(shù)據(jù)典型特性——存儲能力變化▲

數(shù)據(jù)量不斷增加，存儲能力也隨之不斷增強存儲能力大數(shù)據(jù)典型特性——存儲能力變化▲數(shù)據(jù)量不斷增加，存儲能力也大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速度顯著提升數(shù)據(jù)體量讀寫速度讀寫速度大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構更加復雜，呈多樣性發(fā)展數(shù)據(jù)結(jié)構多樣性大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構更加復雜，呈多樣性發(fā)展1234體量Volume多樣性Variety價值密度Value速度Velocity4V特性從非結(jié)構化數(shù)據(jù)的超大規(guī)模和增長，比結(jié)構化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍，總數(shù)據(jù)量的80~90%大數(shù)據(jù)的異構和多樣性，多種形式（文本、圖像、視頻、機器數(shù)據(jù)），無模式或者模式不明顯，不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析，深度復雜分析，機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效1234體量Volume多樣性Variety價值密度Valu3相關領域應用3相關領域應用軍事①建設公共基礎設施應該如何選址？②怎樣有效提高公眾生活安全水平？③人口土地、資源利用如何優(yōu)化？④自然災害、霧霾情況怎樣最大化去改善？⑤城市交通擁堵情況怎么去解決？合理規(guī)劃很重要食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生軍事①建設公共基礎設施應該如何選址？合理規(guī)劃很重要食品安全消軍事食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生軍事食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生VS優(yōu)化城市實時交通信息：利用社交網(wǎng)絡和天氣數(shù)據(jù)來優(yōu)化最新的交通情況智能城市系統(tǒng)：自動通知消防、公安、醫(yī)院等，迅速到達現(xiàn)場處理自然災害預測：實時監(jiān)測、對潛在危機做出快速響應，通過衛(wèi)星和遙感技術,遠程獲取災區(qū)情況，制定合理救援計劃智慧城市建設：宏觀調(diào)控人口、環(huán)境、土地資源利用等，做高效的城市規(guī)劃建設正確方式VS優(yōu)化實時交通信息：利用社交網(wǎng)絡和天氣數(shù)據(jù)來優(yōu)化最正確VS改善生活穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等時刻監(jiān)控健康狀況提高醫(yī)療和研發(fā)：迅速解碼DNA，結(jié)合海量病例迅速制定最優(yōu)治療方案改善安全和執(zhí)法：國家實時監(jiān)控恐怖主義，企業(yè)防御網(wǎng)絡攻擊，警察利用社交、公共資源數(shù)據(jù)來匹配犯罪人員信息，捕捉罪犯正確方式VS改善穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等正確用戶行為數(shù)據(jù)用戶消費數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG、淘寶信用卡中心、螞蟻金服谷歌地圖、大眾點評、美團等APP的自動定位系統(tǒng)互聯(lián)網(wǎng)金融數(shù)據(jù)支付寶、陸金所用戶地理位置數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)據(jù)簡單羅列幾個行業(yè)fackbook、新浪用戶行為數(shù)據(jù)用戶消費數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟策略金融服務電子商務消費行業(yè)根據(jù)用戶的喜好、交易記錄并制定權重匹配商品，提供準確的推送根據(jù)不同地域、不同年齡段的人群的消費情況及生活習慣，制定提供最優(yōu)服務的計劃結(jié)合熱點、題材、政策和歷史數(shù)據(jù)及趨勢分析，制定良好的方向合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟策略金融服務電子商務消費行業(yè)根4相關技術云計算列數(shù)據(jù)庫實時分析hadoop生態(tài)集群4相關技術云計算數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關系型（列）數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關系型（列）性能對比優(yōu)點缺點優(yōu)點缺點易理解使用方便支持sql易于維護價格昂貴不能自動切片固定表結(jié)構讀寫性能差高并發(fā)讀寫需求讀寫性能高基于鍵值對無耦合數(shù)據(jù)存儲格式豐富價格低大多免費不提供sql支持學習成本高BI支持弱關系型數(shù)據(jù)庫非關系型數(shù)據(jù)庫NoSql場景不同效果也不同，目前NoSql是最為合適大數(shù)據(jù)發(fā)展的關系型數(shù)據(jù)庫：Mysql、Oracle、SQserver等非關系型數(shù)據(jù)庫：Hbase、MongoDB、Redis等性優(yōu)點缺點優(yōu)點缺點易理解價格昂貴不提供sql支持關系型數(shù)據(jù)云計算移動電話PCsTVsPDAsGPS導航汽車電子設備智能家電iPhoneDCs傳感器。。。我們已經(jīng)進入一個無處不網(wǎng)、無時不網(wǎng)的時代！云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關服務的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡、互聯(lián)網(wǎng)的一種比喻說法，用戶通過電腦、筆記本、手機等方式接入數(shù)據(jù)中心，按自己的需求進行運算。云移動電話PCsTVsPDAsGPS導航汽車電子設備智能家電大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關系是靜與動的關系，前者強調(diào)的是計算、存儲能力；大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清洗、轉(zhuǎn)換、存儲、分析、統(tǒng)計等能力），其實就是強大的計算能力和數(shù)據(jù)存儲能力。大數(shù)據(jù)必須采用云端分布式架構對海量數(shù)據(jù)進行分布式存儲、分布式處理。云計算為大數(shù)據(jù)資源、大數(shù)據(jù)挖掘提供技術設施大數(shù)據(jù)挖掘為云計算建設和運作提供決策相互關聯(lián)性大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關系是靜與動的關系，相互關聯(lián)性大數(shù)據(jù)之實時分析是指對規(guī)模巨大的數(shù)據(jù)進行分析，利用大數(shù)據(jù)技術高效的快速完成分析，達到近似實時的效果，更及時的反映數(shù)據(jù)的價值和意義。大數(shù)據(jù)之是指對規(guī)模巨大的數(shù)據(jù)進行分析，利用大數(shù)據(jù)技術高效的快近實時的數(shù)據(jù)分析，是傳統(tǒng)架構的50-1000倍高效的響應速度在當今互聯(lián)網(wǎng)顯得極為重要

實時大數(shù)據(jù)分析spark實時分析框架共性：開源的分布式系統(tǒng)，具有低延遲、可擴展和容錯性諸多優(yōu)點流式實時分析框架storm近實時的數(shù)據(jù)分析，是傳統(tǒng)架構的50-1000倍高效的響應速度Hadoop集群什么是hadoop?集群又是什么？是編程語言嗎？作用？設計理念？跟大數(shù)據(jù)有什么關系？Hadoop集群什么是hadoop?是編程語言嗎？作用？跟大Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構化數(shù)據(jù)這點關系數(shù)據(jù)庫很難做到java、android等程序是用來做交互的，而hadoop是用來做計算的Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構哪些公司在使用Hadoop哪些公司在使用Hadoop為什么使用Hadoop小型機小型機VPSVPSVPSVPS存儲陣列數(shù)據(jù)移動EMC存儲OracleIBM磁盤IO瓶頸帶寬瓶頸計算瓶頸cpucpu基于共享存儲和高性能計算的架構。大型機和小型機的差別存儲陣列和普通硬盤的差別IO,穩(wěn)定性。IO能力和機器數(shù)量成非正比計算能力和機器數(shù)量成正比scale-up(縱向擴展)為什么使用Hadoop小型機小型機VPSVPSVPSVPS存集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎么來決策耕田的問題呢？一只普通的牛體力有限，很快就不行了換一只昂貴的身材健碩的牛呢？還是體力有限，很快就又不行了最后他想到一個辦法：如果找一群普通的牛，事實不會又便宜又高效呢？集群的概念就是這么得來的集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎特性HDFS:HadoopDistributed

分布式文件系統(tǒng)MapReduce：分布式運算框架YARN:YetAnotherResourceNegotiator資源管理調(diào)度系統(tǒng)特HDFS:HadoopDistributed分布生態(tài)圈生問題：怎樣存儲海量數(shù)據(jù)？HDFS分布式文件系統(tǒng)兩個思想十分重要1.切分2.分裝問題：怎樣存儲海量數(shù)據(jù)？HDFS分布式文件系統(tǒng)兩個思想十分MapReduce介紹MapReduce=Map（拆分）+Reduce（合并、排序）MapReduce介紹MapReduce=Map（拆分大數(shù)據(jù)時代來臨一切真相將會展現(xiàn)在我們面前大數(shù)據(jù)時代來臨一切真相將會展現(xiàn)在我們面前大數(shù)據(jù)模板培訓課件1、有時候讀書是一種巧妙地避開思考的方法。12月-2212月-22Monday,December12,20222、閱讀一切好書如同和過去最杰出的人談話。04:22:2904:22:2904:2212/12/20224:22:29AM3、越是沒有本領的就越加自命不凡。12月-2204:22:2904:22Dec-2212-Dec-224、越是無能的人，越喜歡挑剔別人的錯兒。04:22:2904:22:2904:22Monday,December12,20225、知人者智，自知者明。勝人者有力，自勝者強。12月-2212月-2204:22:2904:22:29December12,20226、意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。12十二月20224:22:29上午04:22:2912月-227、最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。。十二月224:22上午12月-2204:22December12,20228、業(yè)余生活要有意義，不要越軌。2022/12/124:22:2904:22:2912December20229、一個人即使已登上頂峰，也仍要自強不息。4:22:29上午4:22上午04:22:2912月-2210、你要做多大的事情，就該承受多大的壓力。12/12/20224:22:29AM04:22:2912-12月-2211、自己要先看得起自己，別人才會看得起你。12/12/20224:22AM12/12/20224:22AM12月-2212月-2212、這一秒不放棄，下一秒就會有希望。12-Dec-2212December202212月-2213、無論才能知識多么卓著，如果缺乏熱情，則無異紙上畫餅充饑，無補于事。Monday,December12,202212-Dec-2212月-2214、我只是自己不放過自己而已，現(xiàn)在我不會再逼自己眷戀了。12月-2204:22:2912December202204:22謝謝大家1、有時候讀書是一種巧妙地避開思考的方法。12月-2212月39大數(shù)據(jù)模板培訓課件123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關領域應用4相關技術架構目錄123大數(shù)據(jù)概述大數(shù)據(jù)4V特性相關領域應用4相關技術架構目錄1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景什么是大數(shù)據(jù)大數(shù)據(jù)時代1大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。數(shù)據(jù)結(jié)構日趨復雜|

大量新數(shù)據(jù)源的出現(xiàn)則導致非結(jié)構化、半結(jié)構化數(shù)據(jù)爆發(fā)式的增長TBPBZBEB數(shù)據(jù)量級變化大數(shù)據(jù)產(chǎn)生背景數(shù)據(jù)量級不斷增加|根據(jù)IDC地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。

而有市場研究機構預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）說明互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。1GB（Gigabyte）=1024MB1TB（Terabyte）=1024GB1PB（Petabyte）=1024TB1EB（Exabyte）=1024PB1ZB（Zettabyte）=1024EB地球上至今的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接受者變成了主動創(chuàng)造者全球每秒鐘發(fā)送2.9百萬封電子郵件，每天會有2.88萬個小時的視頻上傳到Y(jié)outube，推特上每天發(fā)布5千萬條消息量級每月網(wǎng)民在Facebook上要花費7千億分鐘，發(fā)送和接收的數(shù)據(jù)高達1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代變化數(shù)據(jù)在web2.0的時代，人們從信息的被動接數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。facebook社交網(wǎng)絡…淘寶、ebuy電子商務…微博、Apps移動互聯(lián)…數(shù)結(jié)多樣性大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一2大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity2大數(shù)據(jù)的4V特性體量Volume數(shù)據(jù)結(jié)構海量存儲能力讀寫速度實時大數(shù)據(jù)分析hadoophbasesparkstrom數(shù)據(jù)結(jié)構海量存儲能力讀寫速度實時大數(shù)據(jù)分析hadoophba大數(shù)據(jù)典型特性——存儲能力變化▲

數(shù)據(jù)量不斷增加，存儲能力也隨之不斷增強存儲能力大數(shù)據(jù)典型特性——存儲能力變化▲數(shù)據(jù)量不斷增加，存儲能力也大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速度顯著提升數(shù)據(jù)體量讀寫速度讀寫速度大數(shù)據(jù)典型特性——讀寫速度提升▲與云計算相結(jié)合的大數(shù)據(jù)存儲速大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構更加復雜，呈多樣性發(fā)展數(shù)據(jù)結(jié)構多樣性大數(shù)據(jù)典型特性——多樣性發(fā)展▲數(shù)據(jù)結(jié)構更加復雜，呈多樣性發(fā)展1234體量Volume多樣性Variety價值密度Value速度Velocity4V特性從非結(jié)構化數(shù)據(jù)的超大規(guī)模和增長，比結(jié)構化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍，總數(shù)據(jù)量的80~90%大數(shù)據(jù)的異構和多樣性，多種形式（文本、圖像、視頻、機器數(shù)據(jù)），無模式或者模式不明顯，不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析，深度復雜分析，機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效1234體量Volume多樣性Variety價值密度Valu3相關領域應用3相關領域應用軍事①建設公共基礎設施應該如何選址？②怎樣有效提高公眾生活安全水平？③人口土地、資源利用如何優(yōu)化？④自然災害、霧霾情況怎樣最大化去改善？⑤城市交通擁堵情況怎么去解決？合理規(guī)劃很重要食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生軍事①建設公共基礎設施應該如何選址？合理規(guī)劃很重要食品安全消軍事食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生軍事食品安全消費行業(yè)金融服務電子商務氣象交通環(huán)保醫(yī)療衛(wèi)生VS優(yōu)化城市實時交通信息：利用社交網(wǎng)絡和天氣數(shù)據(jù)來優(yōu)化最新的交通情況智能城市系統(tǒng)：自動通知消防、公安、醫(yī)院等，迅速到達現(xiàn)場處理自然災害預測：實時監(jiān)測、對潛在危機做出快速響應，通過衛(wèi)星和遙感技術,遠程獲取災區(qū)情況，制定合理救援計劃智慧城市建設：宏觀調(diào)控人口、環(huán)境、土地資源利用等，做高效的城市規(guī)劃建設正確方式VS優(yōu)化實時交通信息：利用社交網(wǎng)絡和天氣數(shù)據(jù)來優(yōu)化最正確VS改善生活穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等時刻監(jiān)控健康狀況提高醫(yī)療和研發(fā)：迅速解碼DNA，結(jié)合海量病例迅速制定最優(yōu)治療方案改善安全和執(zhí)法：國家實時監(jiān)控恐怖主義，企業(yè)防御網(wǎng)絡攻擊，警察利用社交、公共資源數(shù)據(jù)來匹配犯罪人員信息，捕捉罪犯正確方式VS改善穿戴的裝備：根據(jù)睡眠模式、熱量消耗、心率等正確用戶行為數(shù)據(jù)用戶消費數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG、淘寶信用卡中心、螞蟻金服谷歌地圖、大眾點評、美團等APP的自動定位系統(tǒng)互聯(lián)網(wǎng)金融數(shù)據(jù)支付寶、陸金所用戶地理位置數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)據(jù)簡單羅列幾個行業(yè)fackbook、新浪用戶行為數(shù)據(jù)用戶消費數(shù)據(jù)用戶社交等UGC數(shù)據(jù)培亞馬遜、SMG合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟策略金融服務電子商務消費行業(yè)根據(jù)用戶的喜好、交易記錄并制定權重匹配商品，提供準確的推送根據(jù)不同地域、不同年齡段的人群的消費情況及生活習慣，制定提供最優(yōu)服務的計劃結(jié)合熱點、題材、政策和歷史數(shù)據(jù)及趨勢分析，制定良好的方向合理使用大數(shù)據(jù)大數(shù)據(jù)之提高經(jīng)濟策略金融服務電子商務消費行業(yè)根4相關技術云計算列數(shù)據(jù)庫實時分析hadoop生態(tài)集群4相關技術云計算數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關系型（列）數(shù)據(jù)庫數(shù)據(jù)靈活低價格高性能數(shù)據(jù)靈活非關系型（列）性能對比優(yōu)點缺點優(yōu)點缺點易理解使用方便支持sql易于維護價格昂貴不能自動切片固定表結(jié)構讀寫性能差高并發(fā)讀寫需求讀寫性能高基于鍵值對無耦合數(shù)據(jù)存儲格式豐富價格低大多免費不提供sql支持學習成本高BI支持弱關系型數(shù)據(jù)庫非關系型數(shù)據(jù)庫NoSql場景不同效果也不同，目前NoSql是最為合適大數(shù)據(jù)發(fā)展的關系型數(shù)據(jù)庫：Mysql、Oracle、SQserver等非關系型數(shù)據(jù)庫：Hbase、MongoDB、Redis等性優(yōu)點缺點優(yōu)點缺點易理解價格昂貴不提供sql支持關系型數(shù)據(jù)云計算移動電話PCsTVsPDAsGPS導航汽車電子設備智能家電iPhoneDCs傳感器。。。我們已經(jīng)進入一個無處不網(wǎng)、無時不網(wǎng)的時代！云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關服務的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡、互聯(lián)網(wǎng)的一種比喻說法，用戶通過電腦、筆記本、手機等方式接入數(shù)據(jù)中心，按自己的需求進行運算。云移動電話PCsTVsPDAsGPS導航汽車電子設備智能家電大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關系是靜與動的關系，前者強調(diào)的是計算、存儲能力；大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清洗、轉(zhuǎn)換、存儲、分析、統(tǒng)計等能力），其實就是強大的計算能力和數(shù)據(jù)存儲能力。大數(shù)據(jù)必須采用云端分布式架構對海量數(shù)據(jù)進行分布式存儲、分布式處理。云計算為大數(shù)據(jù)資源、大數(shù)據(jù)挖掘提供技術設施大數(shù)據(jù)挖掘為云計算建設和運作提供決策相互關聯(lián)性大數(shù)據(jù)與云計算云計算與大數(shù)據(jù)的關系是靜與動的關系，相互關聯(lián)性大數(shù)據(jù)之實時分析是指對規(guī)模巨大的數(shù)據(jù)進行分析，利用大數(shù)據(jù)技術高效的快速完成分析，達到近似實時的效果，更及時的反映數(shù)據(jù)的價值和意義。大數(shù)據(jù)之是指對規(guī)模巨大的數(shù)據(jù)進行分析，利用大數(shù)據(jù)技術高效的快近實時的數(shù)據(jù)分析，是傳統(tǒng)架構的50-1000倍高效的響應速度在當今互聯(lián)網(wǎng)顯得極為重要

實時大數(shù)據(jù)分析spark實時分析框架共性：開源的分布式系統(tǒng)，具有低延遲、可擴展和容錯性諸多優(yōu)點流式實時分析框架storm近實時的數(shù)據(jù)分析，是傳統(tǒng)架構的50-1000倍高效的響應速度Hadoop集群什么是hadoop?集群又是什么？是編程語言嗎？作用？設計理念？跟大數(shù)據(jù)有什么關系？Hadoop集群什么是hadoop?是編程語言嗎？作用？跟大Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構化數(shù)據(jù)這點關系數(shù)據(jù)庫很難做到java、android等程序是用來做交互的，而hadoop是用來做計算的Hadoop是開源平臺,本身不是數(shù)據(jù)庫,但可處理非結(jié)構哪些公司在使用Hadoop哪些公司在使用Hadoop為什么使用Hadoop小型機小型機VPSVPSVPSVPS存儲陣列數(shù)據(jù)移動EMC存儲OracleIBM磁盤IO瓶頸帶寬瓶頸計算瓶頸cpucpu基于共享存儲和高性能計算的架構。大型機和小型機的差別存儲陣列和普通硬盤的差別IO,穩(wěn)定性。IO能力和機器數(shù)量成非正比計算能力和機器數(shù)量成正比scale-up(縱向擴展)為什么使用Hadoop小型機小型機VPSVPSVPSVPS存集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎么來決策耕田的問題呢？一只普通的牛體力有限，很快就不行了換一只昂貴的身材健碩的牛呢？還是體力有限，很快就又不行了最后他想到一個辦法：如果找一群普通的牛，事實不會又便宜又高效呢？集群的概念就是這么得來的集群思路引入一戶人家，家里有很多的田，他需要牛來耕地，他要怎特性HDFS:HadoopDistributed

分布式文件系統(tǒng)MapReduce：分布式運算框架YARN:YetAnotherResourceNegotiator資源管理調(diào)度系統(tǒng)特HDFS:HadoopDistributed分布生態(tài)圈生問題：怎樣存儲海量數(shù)據(jù)？HDFS分布式文件系統(tǒng)兩個思想十分重要1.切分2.分裝