大數(shù)據(jù)在通信運營商的

應用和前景展望為什么要用大數(shù)據(jù)？具體時間>>不知道上網(wǎng)地點>>不知道終端問題>>不知道人為因素>>不知道不敢問……我前兩天刷朋友圈慢，小趙你給我查查為什么？VVIP投訴如何能夠快速定位投訴原因？--Keypoint！痛點—用戶投訴SGSN2GTDLTEHSSBTSBSCNodeBRNCeNodeBS1-US6aGbIuS1-MMES11SGiMMEInternetSGWPGWS5/8SAEGWGrS10GnGn問題在哪？2\3\4G融合的復雜網(wǎng)絡數(shù)十種不同協(xié)議的網(wǎng)絡接口上百類各色場景的業(yè)務模型我們面對的是：痛點—故障處理SGSN2GTDLTEHSSBTSBSCNodeBRNCeNodeBS1-US6aGbIuS1-MMES11SGiMMEInternetSGWPGWS5/8SAEGWGrS10GnGnBIGDATA捕捉高價值客戶指導精確營銷輔助網(wǎng)絡優(yōu)化生產(chǎn)數(shù)據(jù)價值移動網(wǎng)絡產(chǎn)生的海量數(shù)據(jù)痛點—價值挖掘運維模式，基于網(wǎng)元管理基于傳統(tǒng)網(wǎng)絡架構網(wǎng)絡的KPI與KQI脫節(jié)，用戶感知和網(wǎng)絡考核指標差異大。事后處理的傳統(tǒng)告警處理方式，影響用戶使用。傳統(tǒng)IT架構無法處理海量日志，缺少對用戶感知密切相關的指標的支撐業(yè)務流程日益復雜，如CSFB和VoLTE投訴涉及大量信令流程和接口未來的競爭日益體現(xiàn)出是一場前后端協(xié)同的綜合能力競爭當前面臨的問題關注KQI，從用戶感知的角度來看網(wǎng)絡。通過關聯(lián)和擬合等分析手段，進行預防性維護在IT架構中引入大數(shù)據(jù)存儲和處理技術，可以問題回溯多接口信令關聯(lián)成為運維必須具備的能力。通過大數(shù)據(jù)分析，實現(xiàn)網(wǎng)絡支撐市場，前后端協(xié)同。創(chuàng)新運維為什么要做大數(shù)據(jù)分析？發(fā)現(xiàn)方式，基于被動的告警進行處理IT支撐，以專業(yè)網(wǎng)管為主，向綜合網(wǎng)管過渡用戶投訴，基于現(xiàn)象和經(jīng)驗處理運維定位，解決網(wǎng)絡問題移動互聯(lián)網(wǎng)的發(fā)展趨勢大數(shù)據(jù)的發(fā)展現(xiàn)狀架構演進主要的技術大數(shù)據(jù)的架構演進HDFS2(Redundant,ReliableStorage)YARN(ClusterResourceManagement)Batch(MapReduce)InterActive(Tez)Streaming(Storm,S4,…)Graph(Giraph)IN-Memory(Spark)HPCMPI(OpenMPI)OnLine(HBase)Other(Search)(Weave…)HDFS(Redundant,ReliableStorage)MapReducev1(ClusterResourceManagement&dataprocessing)Batch(Hive)BI(Mahout)OnLine(HBase)前大數(shù)據(jù)時代大數(shù)據(jù)1.0傳統(tǒng)關系型數(shù)據(jù)庫MPPMPP大數(shù)據(jù)2.0主要技術介紹HDFS（Hadoop分布式文件系統(tǒng)）適合于超大文件，一次寫入，多次讀取，最大化的利用硬盤YARN（Hadoop2.0）直接源于MRv1的無能（JobTracker成為瓶頸、NameNode單點故障、難以支持MR之外的計算資源利用率低）共享底層存儲，避免數(shù)據(jù)跨集群遷移不同負載應用混搭，集群利用率高主要技術介紹-計算框架MapReduce（Map（映射）+Reduce（歸約））Tez（Apache的支持DAG作業(yè)的計算框架）用于解決Hive/Pig延遲大、性能低效的問題運行在YARN之上Spark（內存型MR）Spark的中間數(shù)據(jù)放到內存中，對于迭代運算效率比較高可以運行在YARN,Mesos之上，或者單獨運行提供一站式的計算工具，SparkSQL,MLlib,GraphX,SparkStreaming.Storm（實時大數(shù)據(jù)計算框架）信息流處理（實時處理新數(shù)據(jù)和更新數(shù)據(jù)庫）、連續(xù)計算（連續(xù)查詢并把結果即時反饋給客戶）、分布式遠程過程調用（可以用來處理并行密集查詢）可以運行在YARN之上主要技術介紹Hive（Hadoop之上的數(shù)據(jù)倉庫）Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)允許熟悉MapReduce開發(fā)者的開發(fā)自定義的mapper和reducer來處理內建的mapper和reducer無法完成的復雜的分析工作支持select、unionall、join（left、right、mapjoin）like、where、各種聚合函數(shù)、支持json解析Impala（Cloudera的查詢系統(tǒng)，HIVE+MR）存儲在Hadoop的HDFS和Hbase上。不需要把中間結果寫入磁盤，省掉了大量的I/O開銷。省掉了MapReduce作業(yè)啟動的開銷直接通過相應的服務進程來進行作業(yè)調度，速度快了很多。完全拋棄了MR這個不太適合做SQL查詢的范式，使用MPP并行數(shù)據(jù)庫的思想主要技術介紹HBASE（Hadoop

Database）Nosql數(shù)據(jù)庫，Key-Value存儲是hadoopv1.0階段提供實時查詢的主要手段（和redis或者solr結合）Zookeeper（針對大型分布式系統(tǒng)的可靠協(xié)調系統(tǒng)）Namenode熱備必備系統(tǒng)HBASE集群必備系統(tǒng)Sqoop（

數(shù)據(jù)遷移工具）將Hadoop和關系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉移的工具Flume（海量日志采集、聚合和傳輸?shù)南到y(tǒng)）Ambari（Hadoop集群管理工具）大數(shù)據(jù)的能力？系統(tǒng)能力分析能力大數(shù)據(jù)平臺——系統(tǒng)能力大數(shù)據(jù)平臺——系統(tǒng)能力包含2/3/4G用戶上網(wǎng)信令合成XDR話單1TB/日40億條DNS日志CACHE日志300GB/日200GB/日35億條MC/S1/S6A/SGS信令碼流1TB/日建立各類數(shù)據(jù)源信息庫并持續(xù)更新后續(xù)還會將流量管控平臺、爬蟲日志等重要數(shù)據(jù)源接入Later大數(shù)據(jù)平臺——系統(tǒng)能力大數(shù)據(jù)平臺——系統(tǒng)能力自動采集各數(shù)據(jù)源的數(shù)據(jù)主動監(jiān)控采集情況主動告警派單通過程序補采數(shù)據(jù)采集任務管理、檢測與補采目前具備根據(jù)PCAP包進行LTECSFB關聯(lián)信令解碼的能力（內容適配、協(xié)議適配）正在研發(fā)直接對二進制信令碼流進行解碼的程序（內容適配、協(xié)議適配）采集適配能力采集調度能力大數(shù)據(jù)平臺——系統(tǒng)能力大數(shù)據(jù)平臺——系統(tǒng)能力目前平臺可以在線存儲40TB的數(shù)據(jù)壓縮存儲原始數(shù)據(jù)15TB（HDFS）整體架構構建在yarn平臺基礎上能夠同時兼容主流的hadoop以及最新的spark技術。由于hadoop處理多表關聯(lián)和復雜運算效率不高，因此部署MPP數(shù)據(jù)庫GreenPlum，專門處理復雜關聯(lián)運算。實現(xiàn)分布式集群系統(tǒng)服務和Hadoop任務實時監(jiān)控。同時，通過短信派單實現(xiàn)告警派發(fā)，提升集群穩(wěn)定性和高效性hive、pig、java、c、c++、perl、shell、python、sql、plsql數(shù)據(jù)庫存儲過程。目前具有IDC引入效果評估、手機用戶應用熱點、4G覆蓋度評估，終端分布分析、專題分析等。目前正在探索基于spark的準實時海量數(shù)據(jù)運算。平臺管理能力計算模型開發(fā)能力計算能力兼容能力海量存儲能力計算能力大數(shù)據(jù)平臺——系統(tǒng)能力大數(shù)據(jù)平臺——系統(tǒng)能力后續(xù)我們會建立基于Ajax、html5技術的呈現(xiàn)中心。建立基于mysql的前端數(shù)據(jù)庫，存儲大數(shù)據(jù)平臺計算最終結果集，為前端應用提供ODBC、JDBC等數(shù)據(jù)訪問。分析呈現(xiàn)：目前主要基于R和clemetine以及tableau等工具進行分析呈現(xiàn)。深度分析能力：基于R和clemetine等工具，完成聚類、分類、擬合等分析工作。Later深度分析能力數(shù)據(jù)呈現(xiàn)大數(shù)據(jù)平臺——系統(tǒng)能力大數(shù)據(jù)平臺——系統(tǒng)能力對于用戶的號碼和IMSI進行不可逆的運算，作為用戶標識，避免用戶信息泄露。大數(shù)據(jù)平臺完全位于安全整合平臺內，訪問需要通過北京安全管控平臺訪問，有嚴格的賬號和密碼管理措施。大數(shù)據(jù)平臺-分析能力數(shù)據(jù)提煉數(shù)據(jù)提取數(shù)據(jù)整合數(shù)據(jù)分析大數(shù)據(jù)分析平臺全量數(shù)據(jù)源支撐網(wǎng)絡、市場與客戶支撐網(wǎng)絡-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡與市場協(xié)同-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率-定向流量-關鍵詞搜索-4G潛在用戶營銷網(wǎng)絡支撐客戶-APP爬蟲&資源庫開拓創(chuàng)新-數(shù)據(jù)可視化支撐網(wǎng)絡、市場與客戶支撐網(wǎng)絡-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率網(wǎng)絡與市場協(xié)同-定向流量-關鍵詞搜索-4G潛在用戶營銷-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡支撐客戶大數(shù)據(jù)平臺-分析能力-APP爬蟲&資源庫開拓創(chuàng)新-數(shù)據(jù)可視化分析案例-流量構成&熱點分析北京移動用戶流量構成Wlan用戶流量熱點分布家庭寬帶用戶的流量熱點專線用戶流量熱點分布支撐網(wǎng)絡分析案例-流量構成&熱點分析支撐網(wǎng)絡2G用戶流量熱點分布3G用戶流量熱點分布4G用戶的流量熱點分布熱點終端分析分析案例-CSFB指標優(yōu)化支撐網(wǎng)絡

利用大數(shù)據(jù)分析平臺提取的海量數(shù)據(jù)，通過數(shù)據(jù)分析軟件的高效處理，對重點網(wǎng)絡指標和網(wǎng)絡投訴進行分析和定位，實現(xiàn)指標優(yōu)化和投訴處理的精確化和快速化。CSFB指標優(yōu)化數(shù)據(jù)分析通過對現(xiàn)網(wǎng)1500萬條CSFB尋呼消息的成功率、LAC、CELL、尋呼類型和次數(shù)等指標的收集，利用大數(shù)據(jù)分析軟件進行建模分析，能夠快速得到基于LAC、CELL、用戶以及尋呼類型和次數(shù)等不同維度的統(tǒng)計，極大的提高了指標優(yōu)化人員的發(fā)現(xiàn)網(wǎng)絡隱患和網(wǎng)絡問題的能力。Clementine數(shù)據(jù)分析建模高失敗次數(shù)小區(qū)統(tǒng)計高失敗率LAC分布高失敗次數(shù)LAC統(tǒng)計尋呼類型/次數(shù)決策樹分析分析案例-通信保障模型分析支撐網(wǎng)絡

根據(jù)公司提出的2014年10月16日五棵松體育館NBA中國賽通信保障模型分析的需求，我中心通過大數(shù)據(jù)平臺對當日17:00-23：00場館內、外共計72個小區(qū)下的2\3\4G用戶數(shù)據(jù)進行了提取和分析。大數(shù)據(jù)平臺MPP數(shù)據(jù)庫集群結構化數(shù)據(jù)倉庫大數(shù)據(jù)平臺ETL數(shù)據(jù)時段：17:00-23:00規(guī)模：12.38億條大?。?00GBFTP傳輸25分鐘CreateTables按小區(qū)過濾數(shù)據(jù)MPP數(shù)據(jù)庫入庫數(shù)據(jù)小區(qū)：場館內、外相關小區(qū)規(guī)模：49萬條大?。?5MB30分鐘分析案例-通信保障模型分析支撐網(wǎng)絡分析案例-附著延時分析分析機場國際航班落地后，手機用戶登記2G網(wǎng)絡和登記4G網(wǎng)絡的時間差，發(fā)現(xiàn)大時延場景是否集中于特定手機機型或存在其他影響因素。4G2GAttachTime(4G)AttachTime(2G)=AttachTime(4G)-AttachTime(2G)終端機型2-4G時延差分布圖終端“大時延”次數(shù)統(tǒng)計“大時延”次數(shù)國家分布支撐網(wǎng)絡支撐網(wǎng)絡、市場與客戶支撐網(wǎng)絡-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率網(wǎng)絡與市場協(xié)同-定向流量-關鍵詞搜索-4G潛在用戶營銷-其他案例-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡支撐客戶大數(shù)據(jù)平臺-分析能力-APP爬蟲&資源庫開拓創(chuàng)新-數(shù)據(jù)可視化搜索關鍵詞

:iphone換機用戶原終端換機用戶城區(qū)分布換機用戶年齡分布搜索用戶使用終端網(wǎng)絡與市場協(xié)同分析案例-關鍵詞搜索網(wǎng)絡與市場協(xié)同分析案例-4G潛在用戶營銷

精準定位潛在4G用戶群，指導市場部門、網(wǎng)絡部門通過市場營銷、網(wǎng)絡優(yōu)化等手段引導4G潛在用戶群向4G活躍用戶的轉變，實現(xiàn)4G業(yè)務的拓展。龐大的潛在用戶清單大數(shù)據(jù)平臺分析活躍用戶精準面對活躍用戶營銷支撐網(wǎng)絡、市場與客戶支撐網(wǎng)絡-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率網(wǎng)絡與市場協(xié)同-定向流量-4G關鍵詞搜索-4G潛在用戶營銷-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡支撐客戶大數(shù)據(jù)平臺-分析能力-APP爬蟲&資源庫開拓創(chuàng)新-數(shù)據(jù)可視化網(wǎng)絡支撐客戶分析案例-互聯(lián)網(wǎng)行業(yè)對比滴滴打車快的打車VS13萬+人13萬+人5月份用戶分布雙11電商分析全網(wǎng)各類用戶的點擊量分布淘寶遙遙領先電商重合度分布情況移動端與PC端訪問分布三家電商的點擊量和用戶數(shù)方面淘寶均占有明顯的領先優(yōu)勢，京東和天貓相當，京東略強。北京移動用戶訪問電商時，移動端用戶量已明顯超過電腦端用戶量，移動終端購物的便捷性已為更多用戶接受并選擇。總結淘寶VS京東競爭激烈網(wǎng)絡支撐客戶網(wǎng)絡支撐客戶分析案例-廣告投放效果分析廣告1，你看不到廣告2，對你無效廣告3：投放效果？廣告投放效果VS大數(shù)據(jù)分析網(wǎng)絡支撐客戶分析案例-廣告投放效果分析實際案例：這個廣告牌地面上的有效范圍是294米，有效高度是271米網(wǎng)絡支撐客戶分析案例-廣告投放效果分析AB廣告牌廣告牌AB2G3G3G3G4G4G總計：xx人/日2G3G4G24小時內有符合條件的用戶為xx人24小時內有符合條件的用戶為xx人24小時內有符合條件的用戶為xx人騰訊app百度搜狐視頻樂視視頻？？？Cache三期蘋果app淘寶圖庫網(wǎng)絡支撐客戶分析案例-惡意網(wǎng)址分析流量TOP20網(wǎng)站分析相關用戶的終端被植入了惡意軟件“手機預裝木馬”，該木馬偽裝成系統(tǒng)應用，收集用戶隱私信息并上傳至/?p=newcaiji0惡意網(wǎng)址分析受害用戶分析1、上報信安部和網(wǎng)絡部，建議對其及時封堵；2、建議客服部門聯(lián)系用戶刪除惡意軟件；3、根據(jù)白名單定期對流量Top100網(wǎng)站監(jiān)控。解決措施真4G好網(wǎng)絡對內部對外部開放網(wǎng)絡分析能力，支撐網(wǎng)絡、市場、客戶大數(shù)據(jù)平臺-分析能力支撐網(wǎng)絡-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率支撐市場-定向流量-關鍵詞搜索-4G潛在用戶營銷-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡支撐客戶-APP爬蟲&資料庫與研究院合作-用戶行為畫像支撐網(wǎng)絡、市場與客戶支撐網(wǎng)絡-流量構成&熱點分析-CSFB指標優(yōu)化-通信保障模型分析-TD500K下載速率-全網(wǎng)流量本網(wǎng)率網(wǎng)絡與市場協(xié)同-定向流量-關鍵詞搜索-4G潛在用戶營銷-互聯(lián)網(wǎng)行業(yè)報告-雙11電商分析報告-廣告投放效果分析-惡意網(wǎng)址分析網(wǎng)絡支撐客戶大數(shù)據(jù)平臺-分析能力-APP爬蟲&資源庫開拓創(chuàng)新-數(shù)據(jù)可視化

傳統(tǒng)爬蟲系統(tǒng)不支持APP架構的域名爬取，導致流量、熱點識別模糊。研究表明，移動用戶的流量主要產(chǎn)生于各類APP應用。識別手機APP成為當務之急。↑模糊的流量識別

基于Python技術自主研發(fā)手機APP爬蟲系統(tǒng)，支持APP的自動遍歷點擊，自動解析數(shù)據(jù)包輸出URL列表和內容源IP，按頻道區(qū)分識別資源，輸出字段按需靈活調整等。←

最終實現(xiàn)精確的流量識別、分類，支撐IDC引入、用戶熱點抓取、流量經(jīng)營。↓已實現(xiàn)識別的APP開拓創(chuàng)新分析案例-APP爬蟲&資料庫微信APP頻道資源40.007462,登錄68.321644,聊天97.478231,朋友圈……大數(shù)據(jù)平臺其他資源GET,51,Dalvik/1.6.0(Linux;U;Android4.2.2;GT-N7108DBuild/JDQ39),大數(shù)據(jù)環(huán)境下的數(shù)據(jù)可視化解決方案？如何將海量信息傳遞給用戶？開拓創(chuàng)新分析案例-數(shù)據(jù)可視化開拓創(chuàng)新分析案例-數(shù)據(jù)可視化基于位置的可視化-微信的熱點區(qū)域數(shù)據(jù)分析產(chǎn)品功能●不同APP的用戶使用情況●競品的情況分析●用戶的使用習慣分析●用戶留存率分析產(chǎn)地●網(wǎng)絡原始數(shù)據(jù)包裝●提供專業(yè)化的數(shù)據(jù)呈現(xiàn)服務●提供按用戶需求的滾動服務周期●生產(chǎn)周期已有功能：當月交付新增功能：不超過1個月開發(fā)期●產(chǎn)品有效期提供1個月詳單數(shù)據(jù)提供3個月小時粒度數(shù)據(jù)提供半年統(tǒng)計數(shù)據(jù)讓數(shù)據(jù)產(chǎn)生