大數(shù)據(jù)的發(fā)展和應(yīng)用大數(shù)據(jù)的發(fā)展和應(yīng)用1互聯(lián)網(wǎng)的產(chǎn)生和發(fā)展1目錄大數(shù)據(jù)的概念大數(shù)據(jù)的特點21大數(shù)據(jù)的產(chǎn)生3大數(shù)據(jù)的應(yīng)用4互聯(lián)網(wǎng)的產(chǎn)生和發(fā)展1目錄大數(shù)據(jù)的概念大數(shù)據(jù)的特點21大數(shù)2精品資料精品資料3你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點的難點，你是否會認(rèn)為老師的教學(xué)方法需要改進(jìn)？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽曬，也不怕那風(fēng)雨狂，只怕先生罵我笨，沒有學(xué)問無顏見爹娘……”“太陽當(dāng)空照，花兒對我笑，小鳥說早早早……”大數(shù)據(jù)的發(fā)展與應(yīng)用-ppt課件4大數(shù)據(jù)的基本概念國務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。大數(shù)據(jù)的基本概念國務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》5大數(shù)據(jù)的基本概念重要意義大數(shù)據(jù)成為推動經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動力大數(shù)據(jù)持續(xù)激發(fā)商業(yè)模式創(chuàng)新，不斷催生新業(yè)態(tài)，已成為互聯(lián)網(wǎng)等新興領(lǐng)域促進(jìn)業(yè)務(wù)創(chuàng)新增值、提升企業(yè)核心價值的重要驅(qū)動力大數(shù)據(jù)成為重塑國家競爭優(yōu)勢的新機(jī)遇發(fā)掘和釋放數(shù)據(jù)資源的潛在價值，有利于更好發(fā)揮數(shù)據(jù)資源的戰(zhàn)略作用大數(shù)據(jù)成為提升政府治理能力的新途徑建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的管理機(jī)制大數(shù)據(jù)的基本概念重要意義6大數(shù)據(jù)的基本概念維基百科的定義大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集大數(shù)據(jù)的基本概念維基百科的定義7大數(shù)據(jù)的基本概念I(lǐng)DC(InternationalDataCorporation)的定義大數(shù)據(jù)一般會涉及2種或2種以上數(shù)據(jù)形式。它要收集超過100TB的數(shù)據(jù)，并且是高速、實時數(shù)據(jù)流;或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年會增長60%以上大數(shù)據(jù)的基本概念I(lǐng)DC(InternationalData8大數(shù)據(jù)的基本概念Gartner的定義大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)大數(shù)據(jù)的基本概念Gartner的定義9大數(shù)據(jù)的特點規(guī)模性（Volume）根據(jù)IDC的定義至少要有超過100TB的可供分析的數(shù)據(jù)，數(shù)據(jù)量大是大數(shù)據(jù)的基本屬性谷歌的自動駕駛汽車，為了對周圍環(huán)境作出預(yù)測，每秒鐘要收集差不多1GB的數(shù)據(jù)未來趨勢：智能化汽車大數(shù)據(jù)的特點規(guī)模性（Volume）谷歌的自動駕駛汽車，為了對10大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB（10的21次方），其中75%來自于個人（主要是圖片、視頻和音樂），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量（200PB）預(yù)測到2020年，全球數(shù)據(jù)量暴增44倍（相比2009年），總量會達(dá)到35ZB。大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計11大數(shù)據(jù)的特點數(shù)據(jù)增長定律圖靈獎獲得者JimGray提出數(shù)據(jù)增長的經(jīng)驗定律網(wǎng)絡(luò)環(huán)境下每18個月產(chǎn)生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和大數(shù)據(jù)的特點數(shù)據(jù)增長定律12大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計Google

公司通過大規(guī)模集群和MapReduce軟件，每月處理的數(shù)據(jù)量超過400PB百度每天大約要處理幾十PB數(shù)據(jù)Facebook注冊用戶超過10億，每月上傳的照片超過10億張，每天生成300TB以上的日志數(shù)據(jù)淘寶網(wǎng)會員超過3.7億，在線商品超過11億類，每天交易數(shù)千萬筆，產(chǎn)生約20TB數(shù)據(jù)。大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計13大數(shù)據(jù)的特點大數(shù)據(jù)的特點14大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計傳感網(wǎng)和物聯(lián)網(wǎng)的蓬勃發(fā)展是大數(shù)據(jù)的又一推動力，各個城市的視頻監(jiān)控每時每刻都在采集巨量的流媒體數(shù)勞斯萊斯公司對全世界數(shù)以萬計的飛機(jī)引擎進(jìn)行實時監(jiān)控，每年傳送PB數(shù)量級的數(shù)據(jù)。大數(shù)據(jù)的特點著名咨詢公司IDC的統(tǒng)計15大數(shù)據(jù)的特點數(shù)據(jù)豐富，信息貧乏組織項目數(shù)據(jù)規(guī)模電信通話清單數(shù)十億條/月銀行業(yè)務(wù)數(shù)據(jù)數(shù)千萬條/月股票日線數(shù)據(jù)數(shù)十萬條/月卷煙廠生產(chǎn)數(shù)據(jù)數(shù)百萬條/月超市銷售數(shù)據(jù)數(shù)百萬條/月搜索引擎網(wǎng)頁數(shù)百億頁在線零售商交易數(shù)據(jù)數(shù)百萬條大數(shù)據(jù)的特點數(shù)據(jù)豐富，信息貧乏組織項目數(shù)據(jù)規(guī)模電信通話清單數(shù)16大數(shù)據(jù)的特點多樣性（Variety）數(shù)據(jù)類型繁多，復(fù)雜多變是大數(shù)據(jù)的重要特性以往的數(shù)據(jù)盡管數(shù)量龐大，但通常是事先定義好的結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是將事物向便于人類和計算機(jī)存儲、處理、查詢的方向抽象的結(jié)果數(shù)據(jù)都以表格的形式保存在數(shù)據(jù)庫中大數(shù)據(jù)的特點多樣性（Variety）17大數(shù)據(jù)的特點多樣性（Variety）大數(shù)據(jù)時代半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)逐漸成為主流數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)量已占到數(shù)據(jù)總量的75%以上，且非結(jié)構(gòu)化數(shù)據(jù)的增長速度比結(jié)構(gòu)化數(shù)據(jù)快10倍到50倍。數(shù)據(jù)類型層出不窮，已經(jīng)很難用一種或幾種規(guī)定的模式來表征日趨復(fù)雜、多樣的數(shù)據(jù)形式視頻、音頻、圖片、郵件、HTML、RFID、GPS和傳感器大數(shù)據(jù)的特點多樣性（Variety）視頻、音頻、圖片、郵件、18Web數(shù)據(jù)挖掘面臨的難題Web上半結(jié)構(gòu)化數(shù)據(jù)特點Web頁面的結(jié)構(gòu)是頁面自描述的在頁面里數(shù)據(jù)與結(jié)構(gòu)混合存在結(jié)構(gòu)經(jīng)常動態(tài)變化大數(shù)據(jù)多樣性帶來的問題Web數(shù)據(jù)挖掘面臨的難題Web上半結(jié)構(gòu)化數(shù)據(jù)特點大數(shù)據(jù)多樣性19Web數(shù)據(jù)挖掘面臨的難題Web數(shù)據(jù)挖掘面臨的難題20Web數(shù)據(jù)挖掘面臨的難題Web數(shù)據(jù)挖掘面臨的難題21Web數(shù)據(jù)挖掘面臨的難題Web數(shù)據(jù)挖掘面臨的難題22大數(shù)據(jù)的特點高速性（Velocity）要求數(shù)據(jù)的快速處理，是大數(shù)據(jù)區(qū)別于傳統(tǒng)海量數(shù)據(jù)處理的重要特性之一不斷激增的數(shù)據(jù)不但不能為解決問題帶來優(yōu)勢，反而成了快速解決問題的負(fù)擔(dān)數(shù)據(jù)不是靜止不動的，而是在互聯(lián)網(wǎng)絡(luò)中不斷流動，且通常這樣的數(shù)據(jù)價值是隨著時間的推移而迅速降低的，如果數(shù)據(jù)尚未得到有效的處理，就失去了價值，大量的數(shù)據(jù)就沒有意義大數(shù)據(jù)的特點高速性（Velocity）23大數(shù)據(jù)的特點價值性（Value）大數(shù)據(jù)的價值往往呈現(xiàn)出稀疏性的特點數(shù)據(jù)價值密度低是大數(shù)據(jù)關(guān)注的非結(jié)構(gòu)化數(shù)據(jù)的重要屬性視頻監(jiān)控，大量的圖像數(shù)據(jù)被存儲下來，對于某一特定的應(yīng)用，比如獲取犯罪嫌疑人的體貌特征，有效的視頻數(shù)據(jù)可能僅僅有1-2秒大數(shù)據(jù)的特點價值性（Value）24大數(shù)據(jù)的產(chǎn)生數(shù)據(jù)產(chǎn)生方式的變革人類社會的數(shù)據(jù)產(chǎn)生方式經(jīng)歷了３個階段，而正是數(shù)據(jù)產(chǎn)生方式的巨大變化才最終導(dǎo)致大數(shù)據(jù)的產(chǎn)生運營式系統(tǒng)階段用戶原創(chuàng)內(nèi)容階段感知式系統(tǒng)階段大數(shù)據(jù)的產(chǎn)生數(shù)據(jù)產(chǎn)生方式的變革25大數(shù)據(jù)的產(chǎn)生運營式系統(tǒng)階段數(shù)據(jù)庫出現(xiàn)使得數(shù)據(jù)管理的復(fù)雜度大大降低超市的銷售記錄系統(tǒng)銀行的交易記錄系統(tǒng)醫(yī)院病人的醫(yī)療記錄主要特點是數(shù)據(jù)伴隨運營活動產(chǎn)生并記錄在數(shù)據(jù)庫中比如淘寶每銷售出一件產(chǎn)品就會在數(shù)據(jù)庫中產(chǎn)生相應(yīng)的一條銷售記錄大數(shù)據(jù)的產(chǎn)生運營式系統(tǒng)階段26大數(shù)據(jù)的產(chǎn)生用戶原創(chuàng)內(nèi)容階段互聯(lián)網(wǎng)促使人類社會數(shù)據(jù)量出現(xiàn)第２次飛躍，但是真正的數(shù)據(jù)爆發(fā)產(chǎn)生于Web2.0時代，Web2.0的最重要標(biāo)志就是用戶原創(chuàng)內(nèi)容主要原因以博客、微博和微信等為代表的新型社交網(wǎng)絡(luò)的出現(xiàn)和快速發(fā)展以智能手機(jī)、平板電腦為代表的新型移動設(shè)備的出現(xiàn)，使得人們在網(wǎng)上發(fā)表自己意見的途徑更為便捷大數(shù)據(jù)的產(chǎn)生用戶原創(chuàng)內(nèi)容階段27大數(shù)據(jù)的產(chǎn)生感知式系統(tǒng)階段人類社會數(shù)據(jù)量第３次飛躍最終導(dǎo)致了大數(shù)據(jù)的產(chǎn)生，今天正處于這個階段飛躍的根本原因——感知式系統(tǒng)的廣泛使用制造極其微小的帶有處理功能的傳感器設(shè)備對整個社會運轉(zhuǎn)進(jìn)行監(jiān)控設(shè)備會源源不斷地產(chǎn)生新數(shù)據(jù)大數(shù)據(jù)的產(chǎn)生感知式系統(tǒng)階段28空氣鉆井事故預(yù)警系統(tǒng)空氣鉆井事故預(yù)警系統(tǒng)29空氣鉆井事故預(yù)警系統(tǒng)空氣鉆井事故預(yù)警系統(tǒng)30空氣鉆井事故預(yù)警系統(tǒng)傳感器空氣管道產(chǎn)生800萬條數(shù)據(jù)空氣鉆井事故預(yù)警系統(tǒng)傳感器空氣管道產(chǎn)生800萬條數(shù)據(jù)31空氣鉆井事故預(yù)警系統(tǒng)空氣鉆井事故預(yù)警系統(tǒng)32大數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用臨床決策支持系統(tǒng)使用圖像分析和識別技術(shù),識別醫(yī)療影像數(shù)據(jù)挖掘醫(yī)療文獻(xiàn)數(shù)據(jù)建立醫(yī)療專家數(shù)據(jù)庫,從而給醫(yī)生提出診療建議大數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用臨床決策支持系統(tǒng)33華西藥房藥品陳列建議搜集了11萬數(shù)據(jù)做關(guān)聯(lián)規(guī)則分析1233……華西藥房藥品陳列建議搜集了11萬數(shù)據(jù)做關(guān)聯(lián)規(guī)則分析1233…34華西藥房藥品陳列建議華西藥房藥品陳列建議35大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)預(yù)測基于微博和百度指數(shù)的福特汽車銷量預(yù)測背景來源大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)預(yù)測36大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)在汽車制造公司的應(yīng)用37大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)在汽車制造公司的應(yīng)用38大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)在汽車制造公司的應(yīng)用39大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)在汽車制造公司的應(yīng)用40大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)在汽車制造公司的應(yīng)用41大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷通過聚類分析，對客戶進(jìn)行劃分，獲得各個客戶群不同的特征，從而對客戶群進(jìn)行針對性營銷，或者面向特定細(xì)分客戶群開發(fā)特定產(chǎn)品，從而提高產(chǎn)品銷量股票基金大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷股票基金42大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷西太平洋銀行利用社交媒體數(shù)據(jù)對客戶進(jìn)行情感分析來實現(xiàn)精準(zhǔn)營銷大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷43大數(shù)據(jù)在商業(yè)銀行的應(yīng)用風(fēng)險管理——孤立點分析摩根大通在業(yè)務(wù)交易中引入信用卡和借記卡數(shù)據(jù)進(jìn)行詐騙檢驗例如，從來沒有信用卡取現(xiàn)行為，被阻止中信銀行借助大數(shù)據(jù)分析技術(shù)監(jiān)控評估客戶的行為，并對客戶的信用消費預(yù)警例如，消費金額超過預(yù)期的預(yù)警大數(shù)據(jù)在商業(yè)銀行的應(yīng)用風(fēng)險管理——孤立點分析44大數(shù)據(jù)在保險公司的應(yīng)用汽車保險傳統(tǒng)上保險公司只把車險客戶做了簡單分類第一種是連續(xù)兩年沒有出車禍的第二種過去一年沒有出車禍第三種過去一年出了一次車禍第四種是過去一年出了兩次及以上車禍的不同類別客戶保費有差異大數(shù)據(jù)在保險公司的應(yīng)用汽車保險不同類別客戶保費有差異45大數(shù)據(jù)在保險公司的應(yīng)用汽車保險大數(shù)據(jù)時代保險公司考慮更多因素開車主要只是上下班，這條線路過去一年統(tǒng)計的事故率很低車況（車的使用年限、車型）好，此車型車禍率較低統(tǒng)計駕駛習(xí)慣，臨時剎車少，超車少，與周圍車保持了應(yīng)有的車距，駕駛習(xí)慣好最后結(jié)論