1、大數(shù)據(jù)基礎(chǔ)和行業(yè)應(yīng)用,大數(shù)據(jù),Big Data,大數(shù)據(jù)的定義理解,大數(shù)據(jù)時(shí)代的背景,半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。,大數(shù)據(jù)時(shí)代的背景,YB,NB,BB,20世紀(jì)90年代，數(shù)據(jù)倉庫之父的Bill Inmon就經(jīng)常提及Big Data。,2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMC World 20

2、11 會(huì)議中，EMC 拋出了Big Data概念。,大數(shù)據(jù)時(shí)代的背景,體量Volume,多樣性Variety,價(jià)值密度Value,速度Velocity,非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長 占總數(shù)據(jù)量的8090% 比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍 是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍,大數(shù)據(jù)的異構(gòu)和多樣性 很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)） 無模式或者模式不明顯 不連貫的語法或句義,大量的不相關(guān)信息 對未來趨勢與模式的可預(yù)測分析 深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）,實(shí)時(shí)分析而非批量式分析 數(shù)據(jù)輸入、處理與丟棄 立竿見影而非事后見效,大數(shù)據(jù)的4V特征,“大量化(Volum

3、e)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。,大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù),海量交易數(shù)據(jù)： 企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。,大數(shù)據(jù)包括： 交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集,海量交互數(shù)據(jù)： 源于各種網(wǎng)絡(luò)和社交媒體。它包括了呼叫詳細(xì)記錄、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、評價(jià)

4、數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會(huì)發(fā)生什么。,大數(shù)據(jù)的構(gòu)成,大數(shù)據(jù)的技術(shù)與應(yīng)用,Volume 海量的數(shù)據(jù)規(guī)模,Variety 多樣的數(shù)據(jù)類型,Value,Velocity 快速的數(shù)據(jù)流轉(zhuǎn),發(fā)現(xiàn)數(shù)據(jù)價(jià)值,大數(shù)據(jù)技術(shù)要解決的問題,大數(shù)據(jù)技術(shù)被設(shè)計(jì)用于在成本可承受的條件下，通過非?？焖伲╲elocity）地采集、發(fā)現(xiàn)和分析，從大量（volumes）、多類別（variety）的數(shù)據(jù)中提取價(jià)值（value），將是IT 領(lǐng)域新一代的技術(shù)與架構(gòu)。,大數(shù)據(jù)技術(shù)要解決的問題,技術(shù)領(lǐng)域的挑戰(zhàn),大數(shù)據(jù)的相關(guān)技術(shù),數(shù)據(jù)眾包,大數(shù)據(jù)的相關(guān)技術(shù),分布式文件系統(tǒng),分布式文件系統(tǒng),分布式文件系統(tǒng),分布式文件系統(tǒng)

5、,非關(guān)系型數(shù)據(jù)庫NoSQL,NoSQL,=,非關(guān)系型數(shù)據(jù)庫NoSQL,非關(guān)系型數(shù)據(jù)庫NoSQL,云計(jì)算和云存儲,云計(jì)算是一種資源交付和使用模式，指通過網(wǎng)絡(luò)獲得應(yīng)用所需的資源（硬件、平臺、軟件）。提供資源的網(wǎng)絡(luò)被稱為“云”。,白云下面數(shù)據(jù)跑,藍(lán)藍(lán)的天上白云飄,如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器。沒有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的積淀，云計(jì)算也只能是殺雞用的宰牛刀。,云計(jì)算和云存儲,云計(jì)算和云存儲,當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲系統(tǒng)，所以云存儲是一個(gè)

6、以數(shù)據(jù)存儲和管理為核心的云計(jì)算系統(tǒng)。,實(shí)時(shí)流處理,實(shí)時(shí)流處理,大數(shù)據(jù)的相關(guān)技術(shù),A/B Testing,注冊按鈕由綠色改成紅色提高轉(zhuǎn)化率34%,人性化的表格提高11%的轉(zhuǎn)化率。,MapReduce,MapReduce,R語言,R語言擅長在Hadoop分布式文件系統(tǒng)中存儲的非結(jié)構(gòu)化數(shù)據(jù)上的分析。R現(xiàn)在還可以運(yùn)行在HBase這種非關(guān)系型的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲之上。,大數(shù)據(jù)的相關(guān)技術(shù),標(biāo)簽云,標(biāo)簽云,聚類圖,空間信息流,熱圖,熱圖,大數(shù)據(jù)的應(yīng)用實(shí)例,電商數(shù)據(jù)中心（一）,Hadoop,Hive,HBASE (NoSQL),指標(biāo)體系,TMS,WMS,ERP,交易,DataX,Storm,報(bào)表

7、體系,報(bào)告體系,運(yùn)營體系,監(jiān)控體系,UDFile,移動(dòng)端,關(guān)系數(shù)據(jù)庫與Hadoop混搭,技術(shù)混搭、理念融合,電商基本系統(tǒng)名稱,CMS,FMS,OMS,PMS,WMS,TMS,AMS,SCM,CRM,44,軟件的功能：為了測試用戶數(shù)據(jù)業(yè)務(wù)的QOE，得出用戶上網(wǎng)的真實(shí)評價(jià) 主動(dòng)測試部分： 用戶主動(dòng)上網(wǎng)行為的模擬（上傳、下載和時(shí)延） 打開網(wǎng)頁的模擬（網(wǎng)站響應(yīng)的時(shí)延、速度測試） 對于軟件的監(jiān)控：流量和使用時(shí)長的監(jiān)控 測試的地圖展示,北郵APP采集數(shù)據(jù)分析 我們的軟件Anttest,45,手推車速度,自行車速度,小汽車速度,火車速度,飛機(jī)速度,火箭速度,沖浪速度,網(wǎng)速評價(jià)指標(biāo),我們的軟件Anttest,

8、46,要獲得用戶真正的QOE只有主動(dòng)測試是遠(yuǎn)遠(yuǎn)不夠的，還需要對用戶的APP使用和上網(wǎng)情況，進(jìn)行被動(dòng)的監(jiān)控，獲取真實(shí)的數(shù)據(jù)，進(jìn)行分析。,我們的軟件Anttest,47,測試的數(shù)據(jù)來源：主動(dòng)測試的收集和被動(dòng)監(jiān)控的收集 推廣方式：各大android市場發(fā)布和北京各高校論壇推廣 測試用戶： android市場下載使用者和校內(nèi)友好用戶,數(shù)據(jù)的收集,48,校園大規(guī)模測試 時(shí)間: 2013.7.10- 2013.7.20 8days 上午: 9:00-11:30 下午: 14:00-17:00 晚上: 19:30-21:00 搜集:主動(dòng)測試的信息 被動(dòng)監(jiān)控的信息,3. 數(shù)據(jù)的收集,49,移動(dòng) (1746),

9、聯(lián)通 (2060),電信 (2094),3. 數(shù)據(jù)的收集,50,上傳平均速度,下載平均速度,平均時(shí)延,3. 數(shù)據(jù)的收集,51,CMCC 強(qiáng)度(dBm),CUCC 強(qiáng)度(dBm),CTCC 強(qiáng)度(dBm),3. 數(shù)據(jù)的收集,52,CMCC,CUCC,CTCC,CMCC,CUCC,CTCC,3. 數(shù)據(jù)的收集,53,移動(dòng),聯(lián)通,電信,數(shù)據(jù)聯(lián)通性測試: 時(shí)間:2013-10-15 2013-10-18(4 天) 搜集:北郵校內(nèi)的 數(shù)據(jù)聯(lián)通率 移動(dòng): 15,857 聯(lián)通: 3,713 電信: 3,252 WI-FI: 3,061 總計(jì): 31,899 說明：紅色的點(diǎn)代表數(shù)據(jù)聯(lián)通性出現(xiàn)問題，藍(lán)色的點(diǎn)代表數(shù)

10、據(jù)聯(lián)通性正常,3. 數(shù)據(jù)的收集,54,3. 數(shù)據(jù)的收集,目前為止，Mysql數(shù)據(jù)庫大小，超過10GB。 當(dāng)數(shù)據(jù)表超過1300百萬條時(shí)Mysql計(jì)算均值，平均響應(yīng)在30s左右,55,5.2 大數(shù)據(jù)分析結(jié)果示例-1,使用不同網(wǎng)絡(luò)的人數(shù)對比，發(fā)現(xiàn)在使用我們軟件的人數(shù)中，2G網(wǎng)絡(luò)的用戶還是占了一大部分呢，大概在50%左右。 LTE手機(jī)上市還沒有多久，也有LTE的手機(jī)在使用我們的軟件,56,5.2 大數(shù)據(jù)分析結(jié)果示例-2,從統(tǒng)計(jì)的總體流量來看，Wi-Fi的總流量遠(yuǎn)遠(yuǎn)超出了其他網(wǎng)絡(luò)的用戶流量數(shù)， 上行統(tǒng)計(jì)達(dá)到1690.6GB，下行統(tǒng)計(jì)達(dá)到3031.9GB，圖中1xRTT上行流量統(tǒng)計(jì)只有0.21GB。,57

11、,使用移動(dòng)網(wǎng)絡(luò),2.45%,0.06%,42.18%,42.47%,12.84%,分析發(fā)現(xiàn)，我們?nèi)粘Ｊ褂玫囊苿?dòng)網(wǎng)絡(luò)，85%的用戶數(shù)平均下載速度是在1KB/s-100KB/s區(qū)間，難怪用戶經(jīng)常抱怨網(wǎng)速不給力。,5.2 大數(shù)據(jù)分析結(jié)果示例-3,58,對于一天24小時(shí)，各個(gè)時(shí)間段的上行和下行流量對比。 12:00左右會(huì)達(dá)到一個(gè)小高峰，但是不是很明顯。 每天20:00之后，使用Wi-Fi的流量持續(xù)，增長到23:00-24:00期間，達(dá)到最高峰。 每天早晨5:00-6:00是Wi-Fi流量使用的最低谷。,5.2 大數(shù)據(jù)分析結(jié)果示例-4,59,對于一天24小時(shí)，各個(gè)時(shí)間段的上行和下行流量對比。 使用移動(dòng)網(wǎng)

12、絡(luò)和Wi-Fi的流量圖有著明顯的區(qū)別，在8:00、10:00、13:00左右出現(xiàn)三個(gè)高峰， 8:00左右是在上班的路上，在地鐵和公交上的人會(huì)習(xí)慣性使用手機(jī)打發(fā)時(shí)間。 10:00是工作開始后的第一個(gè)小時(shí)，13:00是在午休期間。,5.2 大數(shù)據(jù)分析結(jié)果示例-5,60,不同流量的人數(shù)分布，比如說有多少人用了1G，有多少人用了2G，等等只使用10M的有幾人，能用到100M總流量的有幾人，上G的又有幾人。分為日均，周均和月均。 使用移動(dòng)網(wǎng)絡(luò)，低流量用戶還是占了絕大多數(shù)。,5.2 大數(shù)據(jù)分析結(jié)果示例-6,61,5.2 大數(shù)據(jù)分析結(jié)果示例-7,62,平均每個(gè)人每天上網(wǎng)時(shí)間的分布，看看多少用戶每天用多少時(shí)間

13、上網(wǎng)。每天使用網(wǎng)10分鐘的有幾人，一小時(shí)的有幾人，3小時(shí)的有幾人。 絕大多數(shù)用戶日均上網(wǎng)時(shí)間在2-15min和15min到2.5小時(shí)這兩個(gè)段內(nèi)。,5.2 大數(shù)據(jù)分析結(jié)果示例-8,63,App網(wǎng)絡(luò)活躍度時(shí)間統(tǒng)計(jì)，比如日均上網(wǎng)使用了10分鐘的app有多少，一小時(shí)的app有多少。,5.2 大數(shù)據(jù)分析結(jié)果示例-9,64,App日均消耗流量分布圖，日均消耗1KB10KB的App有多少款，消耗10KB1MB的App有多少款。,使用移動(dòng)網(wǎng)絡(luò),使用Wi-Fi網(wǎng)絡(luò),43.62%,39.93%,10.96%,3.19%,1.70%,0.52%,0.07%,57.68%,32.40%,8.09%,1.27%,0.5

14、0%,0.05%,5.2 大數(shù)據(jù)分析結(jié)果示例-9,5.2 大數(shù)據(jù)分析結(jié)果示例-流量變化,不同類型應(yīng)用用戶數(shù)量隨時(shí)間變化 橫坐標(biāo)是時(shí)間，縱坐標(biāo)是用戶數(shù)量,不同類型應(yīng)用用戶之間的連接數(shù)隨時(shí)間變化 橫坐標(biāo)是時(shí)間，縱坐標(biāo)是用戶數(shù)量,用戶數(shù)量、連接數(shù)在一天內(nèi)的變化與人的作息相似。,不同類型應(yīng)用用戶平均度隨時(shí)間變化 橫坐標(biāo)是時(shí)間，縱坐標(biāo)是用戶平均度,不同類型應(yīng)用用戶平均流量隨時(shí)間變化 橫坐標(biāo)是時(shí)間，縱坐標(biāo)是用戶平均流量,不同類型的相互比較顯示，Web用戶平均連接數(shù)最大， Video Stream 用戶的平均流量最大。 Web用戶的平均連接數(shù)在一天內(nèi)不斷變化，并在2-5時(shí)達(dá)到最小。 Video Stream

15、 用戶的用戶平均流量在2-5時(shí)達(dá)到最大。,65,3小時(shí)內(nèi)使用兩種應(yīng)用的用戶比例,例如：使用Web的用戶同時(shí)有58.3%使用了P2PD，51.6%使用了P2PS等。 比較突出是既使用Web又使用Video應(yīng)用的用戶占了所有使用Video用戶的90.1%。,5.2 大數(shù)據(jù)分析結(jié)果示例- 社團(tuán)結(jié)構(gòu)-交叉用戶,66,用戶平均應(yīng)用數(shù),橫坐標(biāo)是時(shí)間，每小時(shí)統(tǒng)計(jì)一次。 縱坐標(biāo)是用戶平均使用應(yīng)用數(shù)。 可以看到用戶在不同的一小時(shí)時(shí)間段內(nèi)使用應(yīng)用的平均數(shù)為1.3到1.6,5.2 大數(shù)據(jù)分析結(jié)果示例：社團(tuán)結(jié)構(gòu)-交叉用戶,67,使用同種類型應(yīng)用的用戶之間的關(guān)聯(lián)性,橫坐標(biāo)為圖中點(diǎn)的個(gè)數(shù)，代表網(wǎng)絡(luò)中用戶的數(shù)量。 縱坐標(biāo)為

16、模塊度，代表了同種應(yīng)用內(nèi)部關(guān)聯(lián)度與不同應(yīng)用之間的關(guān)聯(lián)度的差。 隨著用戶數(shù)量的增加，模塊度降低，表示越來越多的用戶會(huì)同時(shí)使用不止一種應(yīng)用。,5.2 大數(shù)據(jù)分析結(jié)果示例：社團(tuán)結(jié)構(gòu)-連接緊密性,68,根據(jù)圖的結(jié)構(gòu)信息，判定節(jié)點(diǎn)的重要性。 PageRank是google用來根據(jù)結(jié)構(gòu)信息判定網(wǎng)頁重要性的算法。入選2006年十大數(shù)據(jù)挖掘經(jīng)典算法 如果一個(gè)頁面被多次引用，那么這個(gè)頁面很可能是重要的。 如果一個(gè)頁面被重要的頁面 引用，那么這個(gè)頁面很可能 是重要的。 一個(gè)頁面的重要性被均分并 傳遞到它所引用的頁面。,大圖數(shù)據(jù)的概念,運(yùn)營商CDR 分析案例,接通率Answer Service Rate (ASR & Adjusted ASR) 完成的呼叫路由嘗試（與供應(yīng)商的表現(xiàn)） 完成呼叫與呼叫嘗試（客戶滿意度） 盈虧分析 計(jì)算由呼叫路由路徑選擇所引起的利潤盈虧 撥號后延遲 Post Dial Delay (PDD) Annoying delay until path through network selected 近實(shí)時(shí)通話質(zhì)量分析 通話時(shí)長，抖動(dòng)和丟包 所有以上參數(shù)的歷史趨勢分析與預(yù)測,70,CDR 分析,71,近實(shí)時(shí)監(jiān)控潛在的問題點(diǎn),CDR 分析,72,供應(yīng)商接通