課程背景——大數(shù)據(jù)時代全球知名咨詢公司麥肯錫最早提出“大數(shù)據(jù)”時代，“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?015年9月，國務(wù)院頒布《促進大數(shù)據(jù)發(fā)展行動綱要》，其中指出“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”；“深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應(yīng)用，促進大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展”。課程簡介從數(shù)據(jù)分析到大數(shù)據(jù)大數(shù)據(jù)（BigData）的前世今生Longlongago......什么是數(shù)據(jù)分析，有什么用？數(shù)據(jù)分析：用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。啤酒與尿布的傳說：20世紀(jì)90年代美國沃爾瑪超市中，尿布和啤酒赫然擺在一起出售。但是這個奇怪的舉措?yún)s使尿布和啤酒的銷量雙雙增加了。數(shù)據(jù)分析被視為“煉金術(shù)”。伊尚戈骨頭公元前18000年~公元前20000年：舊石器時代的計數(shù)及預(yù)測?；魻柸鹚古c穿孔制表機霍亂病源之爭19世紀(jì)50年代：約翰斯諾醫(yī)生利用數(shù)據(jù)可視化分析證明了水源污染導(dǎo)致霍亂。19世紀(jì)末：自動制表機的使用，使得美國1890年人口普查在一年內(nèi)完成。早期的數(shù)據(jù)分析從數(shù)據(jù)分析到數(shù)據(jù)挖掘隨著數(shù)據(jù)庫系統(tǒng)的廣泛應(yīng)用，數(shù)據(jù)庫在提供豐富信息的同時，也體現(xiàn)出海量信息的特征。隨著信息爆炸，有效信息難以提煉的問題日益顯著，由此陷入“數(shù)據(jù)豐富而知識貧乏”的窘境。計算機時代的數(shù)據(jù)分析數(shù)據(jù)挖掘：從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，是數(shù)據(jù)庫知識發(fā)現(xiàn)中的一個步驟。通常與計算機科學(xué)有關(guān)，并通過統(tǒng)計、在線分析處理、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)（依靠過去的經(jīng)驗法則）和模式識別等諸多方法來實現(xiàn)上述目標(biāo)。數(shù)據(jù)挖掘六大步驟數(shù)據(jù)挖掘數(shù)據(jù)倉庫：為企業(yè)的決策制定，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于數(shù)據(jù)分析和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供業(yè)務(wù)流程改進、成本質(zhì)量控制等方面的指導(dǎo)。數(shù)據(jù)倉庫Web1.0向Web2.0轉(zhuǎn)變，用戶由信息接受者轉(zhuǎn)變?yōu)樾畔⒅圃煺摺?shù)據(jù)量急劇增長。非結(jié)構(gòu)化數(shù)據(jù)容量巨大、增長迅速、沒有固定格式，關(guān)系型數(shù)據(jù)庫不再適用。數(shù)據(jù)實時產(chǎn)生，且信息轉(zhuǎn)瞬即逝。對分析挖掘算法的時效性有極高要求。Volume海量Variety多樣性Velocity速度大數(shù)據(jù)的3V特性互聯(lián)網(wǎng)對數(shù)據(jù)分析的挑戰(zhàn)2008Nature大數(shù)據(jù)專刊2011201120122013Science?？癉ealingwithData”提出“數(shù)據(jù)困境”全球最著名的管理咨詢公司麥肯錫的研究院發(fā)布文章，給出一個相對清晰的大數(shù)據(jù)概念。瑞士達沃斯世界經(jīng)濟論壇上，發(fā)布報告《大數(shù)據(jù)，大影響》宣稱，數(shù)據(jù)已經(jīng)成為一種新的資產(chǎn)類別。大數(shù)據(jù)元年：不管你有沒有意識到，大數(shù)據(jù)都已經(jīng)來到我們身邊。大數(shù)據(jù)時代到來大數(shù)據(jù)時代下互聯(lián)網(wǎng)的一分鐘2012年公開統(tǒng)計：全球電子郵件用戶共計發(fā)出2.04億封電子郵件；移動網(wǎng)絡(luò)會增加217名新用戶；谷歌會處理200萬次搜索；YouTube用戶會上傳48小時的新視頻；Facebook用戶會共享68.4萬比特的內(nèi)容；Twitter用戶會發(fā)出超過10萬個推特；消費者在網(wǎng)絡(luò)購物中花費27.2萬美元；蘋果會得到大約4.7萬次應(yīng)用下載；數(shù)據(jù)飛速增長：當(dāng)前已進入ZB時代（10萬億億字節(jié)；1ZB=10243TB）2018年全球大數(shù)據(jù)產(chǎn)業(yè)發(fā)展分析報告中指出，2018年全球數(shù)據(jù)總量達19.4ZB。到2020年，全球的數(shù)據(jù)總量將超過30ZB。2016年貴陽國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上，騰訊董事長馬化騰指出，微信朋友圈日上傳圖片10億張，視頻播放20億次。全球領(lǐng)先的網(wǎng)絡(luò)解決方案供應(yīng)商Cisco的白皮書中指出，到2020年，每一秒鐘將有接近一百萬分鐘的視頻內(nèi)容在進行傳輸。大數(shù)據(jù)從表征看是指數(shù)據(jù)體量大，但同時具有其他典型特征。數(shù)據(jù)增長速度驚人大數(shù)據(jù)特性理解在大數(shù)據(jù)的不斷發(fā)展階段，業(yè)界對大數(shù)據(jù)的特征認(rèn)識也在逐步完善，涵蓋范圍也更加全面。數(shù)據(jù)已成為系統(tǒng)設(shè)計的重點考量因素；傳統(tǒng)方法及常規(guī)工具對數(shù)據(jù)難以處理；數(shù)據(jù)分析結(jié)果可以支撐決策、優(yōu)化業(yè)務(wù)。大數(shù)據(jù)的定義2013年Gartner曲線大數(shù)據(jù)發(fā)展極為迅猛HomelandSecurityFinanceSmarterHealthcareMulti-channelsalesTelecomManufacturingTrafficControlTradingAnalyticsFraudandRiskLogAnalysisSearchQualityRetail:Churn,NBO大數(shù)據(jù)的應(yīng)用示例大數(shù)據(jù)分析——用戶畫像GoogleKnowsYouBetterThanYouDo日志數(shù)據(jù)挖掘上網(wǎng)行為分析個性化服務(wù)體驗大數(shù)據(jù)分析——市場洞察Netflix：打造大數(shù)據(jù)時代首部“算”出來的電視劇。類型導(dǎo)演編劇演員劇情......用戶觀看數(shù)據(jù)從大數(shù)據(jù)到“互聯(lián)網(wǎng)+”大數(shù)據(jù)的算力支撐與感知支撐云計算：提供強大算力支撐；降低數(shù)據(jù)產(chǎn)生門檻。物聯(lián)網(wǎng)：提升感知世界能力；降低數(shù)據(jù)產(chǎn)生門檻。“互聯(lián)網(wǎng)+”時代到來制定“互聯(lián)網(wǎng)+”行動計劃——2015年第十二屆人大三次會議制定“互聯(lián)網(wǎng)+”行動計劃，推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進電子商務(wù)、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融（ITFIN）健康發(fā)展，引導(dǎo)互聯(lián)網(wǎng)企業(yè)拓展國際市場?！薄盎ヂ?lián)網(wǎng)+”下的大數(shù)據(jù)分析“互聯(lián)網(wǎng)+”下的大數(shù)據(jù)分析“互聯(lián)網(wǎng)+”促進的數(shù)字經(jīng)濟歷時16年的中國國際軟件和信息服務(wù)交易會(簡稱軟交會)，自2