大數(shù)據(jù)(bigdata)1大數(shù)據(jù)背景大數(shù)據(jù)帶來的好處數(shù)據(jù)倉庫大數(shù)據(jù)可視化facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)大數(shù)據(jù)時代的爆炸增長“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征:大數(shù)據(jù)背景大數(shù)據(jù)帶來的好處數(shù)據(jù)倉庫大數(shù)據(jù)可視化用途？互聯(lián)網(wǎng)上的數(shù)據(jù)看起來數(shù)量龐大卻用處寥寥，但事實上，只要處理好這些數(shù)據(jù)，就能給商家?guī)砭薮蟮睦?。舉一個簡單的例子：商家消費意向通過網(wǎng)頁瀏覽記錄通過人人、微博等消費水平通過淘寶等消費記錄通過社交平臺信息消費位置通過手機軟件定位客戶針對性地給客戶提供廣告與優(yōu)惠信息消費服務(wù)7前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產(chǎn)品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求8政治經(jīng)濟監(jiān)控手機的使用狀況和賬單的繳付模式如果數(shù)據(jù)突然發(fā)生變化，那可能預(yù)示著經(jīng)濟困境正在加劇國情調(diào)控對Twitter和Facebook等社交媒體網(wǎng)站的數(shù)據(jù)篩查若社交媒體提及糧食或種族沖突，那可能預(yù)示爆發(fā)了饑荒或者國內(nèi)騷亂醫(yī)療保衛(wèi)社交媒體上提到某地區(qū)受到感染，是對疫情流行的有效早期預(yù)警9經(jīng)典案例：10在一家超市中，人們發(fā)現(xiàn)了一個特別有趣的現(xiàn)象：尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話，而是一直被商家所津津樂道的發(fā)生在美國沃爾瑪連鎖超市的真實案例。原來，美國的婦女通常在家照顧孩子，所以她們經(jīng)常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。這個發(fā)現(xiàn)為商家?guī)砹舜罅康睦麧?，但是如何從浩如煙海卻又雜亂無章的數(shù)據(jù)中，發(fā)現(xiàn)啤酒和尿布銷售之間的聯(lián)系呢？這又給了我們什么樣的啟示呢？美國超市Target基于數(shù)據(jù)挖掘的精準銷售案例11消費者每一次進行消費，其實都將自己的消費模式細節(jié)透露給銷售方?，F(xiàn)在銷售商、尤其是電子商務(wù)銷售公司，致力于利用數(shù)據(jù)挖掘分析出消費者的個人偏好、需求、對不同優(yōu)惠券的反應(yīng)等，進行客戶信息管理，向客戶精準推銷，提高銷售效率。Target超市的數(shù)據(jù)庫系統(tǒng)給每個顧客分配一個TargetGuestID，在該條目下詳細記錄顧客的信用卡信息、網(wǎng)上注冊信、在Target官網(wǎng)瀏覽的每一個頁面和停留時間長短、每次的購買行為等信息，數(shù)據(jù)挖掘團隊專門分析這些收集到的歷史信息，預(yù)測顧客將來的購物行為和需求甚至生活方式，然后發(fā)郵件給顧客。吃貨集中營12數(shù)據(jù)化運營…13啤酒和尿布ORACLE2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計劃”。該計劃的目標是改進現(xiàn)有人們從海量和復雜的數(shù)據(jù)中獲取知識的能力，從而加速美國在科學與工程領(lǐng)域發(fā)明的步伐，增強國家安全，轉(zhuǎn)變現(xiàn)有的教學和學習方式。大數(shù)據(jù)的浪潮BI商業(yè)智能人工智能數(shù)據(jù)分析

ETL大數(shù)據(jù)可視化互聯(lián)網(wǎng)Googlefacebook基于海量數(shù)據(jù)云計算數(shù)據(jù)倉庫個人隱私IBM實際上，你的數(shù)據(jù)，不管用什么樣的方式計算出來，如果不能很快去查，你的數(shù)據(jù)永遠只是一些數(shù)字而已，產(chǎn)生不了任何的商業(yè)價值。提到大數(shù)據(jù)，你會想到什么呢？大數(shù)據(jù)背景大數(shù)據(jù)帶來的好處數(shù)據(jù)倉庫大數(shù)據(jù)可視化數(shù)據(jù)倉庫的基本概念數(shù)據(jù)倉庫的概念由被譽為“數(shù)據(jù)倉庫之父”的WilliamH.Inmon提出的：數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、信息相對穩(wěn)定的數(shù)據(jù)集合，它用于對企業(yè)管理和決策提供支持。所謂主題：是指用戶使用數(shù)據(jù)倉庫進行決策時所關(guān)心的重點方面，如：客戶、產(chǎn)品、賬務(wù)、事件、服務(wù)使用、資源、客戶服務(wù)、地域等；所謂面向主題，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進行組織的；16數(shù)據(jù)倉庫項目過程:ETL工具展現(xiàn)分析工具數(shù)據(jù)庫WEB服務(wù)器數(shù)據(jù)庫建模工具COGNOSBOSSRSORACLEDB2NETEZZATomcatWeblogicPowerDesignerERWinInformaticaDataStageJBoss解決方案方法論行業(yè)模型典型分析項目控制項目建設(shè)物理模型數(shù)據(jù)加載應(yīng)用開發(fā)上線加載產(chǎn)品選購方案選擇項目工作SSIS17數(shù)據(jù)倉庫的技術(shù)要求-ETL數(shù)據(jù)倉庫的技術(shù)要求包含如下幾個方面：ETL(Extract/Transformation/Load)：用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去；ETL是數(shù)據(jù)倉庫系統(tǒng)中最重要的概念之一，ETL在一個數(shù)據(jù)倉庫系統(tǒng)項目中要花一半以上的時間。18ETL在技術(shù)上涉及到：增量、全量、定時、調(diào)度、監(jiān)控等方面技術(shù)。增量數(shù)據(jù)：流水類數(shù)據(jù)、話單類數(shù)據(jù)的抽取方式；全量數(shù)據(jù)：用戶信息類數(shù)據(jù)，狀態(tài)會更新發(fā)生變化的數(shù)據(jù)；定時抽取：數(shù)據(jù)抽取一般在生產(chǎn)系統(tǒng)比較閑暇的時候進行，凌晨時候比較多，而且按照要分析數(shù)據(jù)的周期，還分為按日、按月數(shù)據(jù)；作業(yè)調(diào)度：由于涉及到的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量龐大，需要分批進行抽取，以及抽取數(shù)據(jù)后面的一系列處理過程；作業(yè)監(jiān)控：對所有作業(yè)執(zhí)行的監(jiān)控；數(shù)據(jù)倉庫的技術(shù)要求-ETL19大數(shù)據(jù)背景大數(shù)據(jù)帶來的好處數(shù)據(jù)倉庫大數(shù)據(jù)可視化大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)可視化數(shù)據(jù)可視化主要旨在借助于圖形化手段，清晰有效地傳達與溝通信息為了有效地傳達思想概念，美學形式與功能需要齊頭并進，通過直觀地傳達關(guān)鍵的方面與特征，從而實現(xiàn)對于相當稀疏而又復雜的數(shù)據(jù)集的深入洞察數(shù)據(jù)可視化的根本目的:傳達與溝通信息Echarts簡介Echarts舉例Echarts模塊化引入大數(shù)據(jù)可視化IntrductionECharts，純Javascript圖表庫，基于Canvas，底層依賴ZRender，商業(yè)產(chǎn)品通用圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表，支持折線圖（區(qū)域圖）、柱狀圖（條狀圖）、散點圖（氣泡圖）、K線圖、餅圖（環(huán)形圖）、雷達圖（填充雷達圖）、和弦圖、力導向布局圖、地圖（內(nèi)置世界地圖、中國及全國34個省市自治區(qū)地理數(shù)據(jù)），同時支持任意維度的堆積和多圖表混合展現(xiàn)。23Echarts舉例Echarts模塊化引入大數(shù)據(jù)可視化Echarts簡介單圖表類型：Pie單圖表類型：Pie

單圖表類型：Bar

單圖表類型：Bar

單圖表類型：force單圖表類型：forceEcharts簡介Echarts模塊化引入大數(shù)據(jù)可視化Echarts舉例模塊化引入Echarts:引入一個模塊加載器，如esl.js或者require.js為ECharts準備一個具備大?。▽捀撸┑腄om（當然可以是動態(tài)生成的）為模塊加載器配置echarts的路徑，從當前頁面鏈接到echarts.js動態(tài)加載echarts然后在回調(diào)函數(shù)中開始使用（當你確保同一頁面已經(jīng)加載過echarts，再使用時直接require('echarts').init(dom)就行）<scriptsrc="/r/www/cache/ecom/esl/1-6-10/esl.js"></script><divid="main"style="height:400px"></div>require.config({paths:{'echarts':'/build/echarts','echarts/chart/bar':'/build/echarts'}});varmyChart=ec.init(document.getElementById('main'));...myChart.setOption(option);32大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)可視化數(shù)據(jù)可視化相關(guān)工具:GooglePublicData

ExplorerInstantatlasDataDeskDAVIXEye-SysFerretDataVisualizationandAnalysisGGobiIBMOpenDXIDL(programminglanguage)StyleIntelligenceOpenLinkAJAXToolkitParaViewSmile(software)信息可視化的相關(guān)方法:Cladogram

(phylogeny)分支圖Coloralphabet

色彩字母表Dendrogram

(classification)樹狀圖