1、主流大數(shù)據(jù)處理技術(shù)及應(yīng)用方案主流大數(shù)據(jù)處理技術(shù)及應(yīng)用方案2目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)的演進(jìn)應(yīng)用方案-XXX運營商大數(shù)據(jù)平臺三2目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)的3什么是大數(shù)據(jù)大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用對所有數(shù)據(jù)進(jìn)行分析處理的方法維克托邁爾舍恩伯格“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和 流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)全球領(lǐng) 先的信息技術(shù)研究和分析公司Gartner一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫 軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速

2、的數(shù)據(jù)流 轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征麥肯錫3什么是大數(shù)據(jù)大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，4大數(shù)據(jù)4V特征VolumeVarietyVelocityValue隨時隨地產(chǎn)生數(shù)據(jù)，數(shù)據(jù)量更大以“低成本”的方式獲得“可接受” 的數(shù)據(jù)分析結(jié)果Cheap：“廉?dāng)?shù)據(jù)”數(shù)據(jù)具有多樣性數(shù)據(jù)來源多、類型多Multi-X：同一對象多維描述價值密度低更多高價值的數(shù)據(jù)產(chǎn)生對有價值數(shù)據(jù)進(jìn)行“提純”大數(shù)據(jù)的目的對處理速度要求更高實時和在線Swift：“快數(shù)據(jù)”Big DataBig Money4大數(shù)據(jù)4V特征VolumeVarietyVelocityV5大數(shù)據(jù)處理流程數(shù)據(jù)庫技術(shù)是大數(shù)據(jù)處理的關(guān)鍵數(shù)

3、據(jù)獲取數(shù)據(jù)ETL數(shù)據(jù)存儲數(shù)據(jù)分析數(shù)據(jù)服務(wù)數(shù)據(jù)庫技術(shù)是大數(shù)據(jù)的關(guān)鍵！5大數(shù)據(jù)處理流程數(shù)據(jù)庫技術(shù)是大數(shù)據(jù)處理的關(guān)鍵數(shù)據(jù)獲取數(shù)據(jù)ET6數(shù)據(jù)處理技術(shù)的演進(jìn)SQL/ACID傳統(tǒng)關(guān)系型數(shù)據(jù)庫的崛起，提出面向企業(yè) 應(yīng)用的商業(yè)智能，面向數(shù)據(jù)倉庫的數(shù)據(jù)分 析（OLAP）技術(shù)興起20001995200520102015分布式技術(shù)提出谷歌提出分布式文件系統(tǒng)、分布式數(shù)據(jù)庫和 分布式計算框架，奠定大數(shù)據(jù)技術(shù)基礎(chǔ)大數(shù)據(jù)Hadoop技術(shù)提出開源Apache Hadoop逐漸興起，大幅推進(jìn)互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用實時計算技術(shù)提出流計算、圖計算、交互式分析、內(nèi)存計算等 技術(shù)不斷演進(jìn)混合技術(shù)架構(gòu)興起Spark、Flink等新一代分析引擎

4、融入大數(shù)據(jù)平臺6數(shù)據(jù)處理技術(shù)的演進(jìn)SQL/ACID傳統(tǒng)關(guān)系型數(shù)據(jù)庫的崛起，7數(shù)據(jù)處理框架的演進(jìn)RDBMPP數(shù)據(jù)庫Hadoop7數(shù)據(jù)處理框架的演進(jìn)RDBMPPHadoop8數(shù)據(jù)處理框架-RDB(Relational Database)特點單服務(wù)器、小型機(jī)集中式數(shù)據(jù)和業(yè)務(wù)處理ACID(Atomicity、Consistency、Isolation、Durability)Scale-UpOLTP(On-Line Transaction Processing)，響應(yīng)時間敏感成本低缺點大數(shù)據(jù)處理性能較差容災(zāi)性較差穩(wěn)定性有局限業(yè)務(wù)和數(shù)據(jù)處理規(guī)模有限擴(kuò)展性和靈活性較差8數(shù)據(jù)處理框架-RDB(Relation

5、al Databas9數(shù)據(jù)處理框架-MPP特點Massively Parallel Processing多服務(wù)器、多節(jié)點，多任務(wù)并行執(zhí)行數(shù)據(jù)分布式存儲和計算ACIDScale-outOLAP(Online Analytical Processing)商業(yè)化缺點擴(kuò)展規(guī)模有限對并發(fā)的支持有限節(jié)點增刪維護(hù)工作較復(fù)雜不支持非結(jié)構(gòu)化數(shù)據(jù)成本較高9數(shù)據(jù)處理框架-MPP特點10Hadoop，允許使用簡單的編程模型，以跨集群分布式的方式，處理大型數(shù)據(jù)集。具有可靠、高效、可伸縮的特點。它的目的，是從單一的服務(wù)器到上千臺機(jī)器進(jìn)行擴(kuò)展，從而利用各自的本地計算和存儲資源。是一個能夠讓用戶輕松構(gòu)建和使用的分 布式計算平

6、臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop在應(yīng)用層面檢測與處理各類錯誤，因此能夠在 一個集群內(nèi)實現(xiàn)高可用性。并且Hadoop已經(jīng)成為大數(shù)據(jù)行業(yè)的標(biāo)準(zhǔn)，形成了一個健康活躍的生態(tài)系統(tǒng)?？煽啃?、高擴(kuò)展性、高效性、高容錯性、低成本。Hadoop生態(tài)系統(tǒng)10Hadoop，允許使用簡單的編程模型，以跨集群分布式的方11數(shù)據(jù)處理框架-Hadoop特點多服務(wù)器、多節(jié)點的集群架構(gòu)大數(shù)據(jù)多任務(wù)的分布式處理HDFS(Hadoop Distributed File System)分布式文件系統(tǒng)、流式訪問MapReduce曹沖稱象，分而治之可靠、高效、高擴(kuò)展（Scale-out）、

7、高容錯、低成本可處理多種格式數(shù)據(jù)源，非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)開源缺點對SQL的支持有限無法高效存儲大量小文件不支持多用戶寫入及任意修改文件缺乏專業(yè)的支持服務(wù)11數(shù)據(jù)處理框架-Hadoop特點12數(shù)據(jù)處理框架的對比數(shù)據(jù)庫框架分析性能擴(kuò)展性容災(zāi)性數(shù)據(jù)類型業(yè)務(wù)場景支持全SQL異構(gòu)數(shù)據(jù)整合成本RDB一般較差較差結(jié)構(gòu)化OLTP能不支持中等MPP好局限局限結(jié)構(gòu)化OLAP能不支持較高Hadoop好好較好（非）結(jié)構(gòu)化OLAP部分支持低沒有最好的技術(shù)，只有最合適的技術(shù)。針對業(yè)務(wù)需求“有的放矢”。12數(shù)據(jù)處理框架的對比數(shù)據(jù)庫框架分析性能擴(kuò)展性容災(zāi)性數(shù)據(jù)類型13目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)

8、的演進(jìn)應(yīng)用方案-XXX運營商大數(shù)據(jù)平臺三13目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)分析型數(shù)據(jù)庫分析型數(shù)據(jù)庫是面向分析應(yīng)用的數(shù)據(jù)庫，可以對數(shù)據(jù)進(jìn)行統(tǒng)計分析和即席查詢等挖掘數(shù)據(jù) 價值的工作。傳統(tǒng)數(shù)據(jù)庫是以事務(wù)處理為主，大數(shù)據(jù)時代的主要應(yīng)用則是數(shù)據(jù)分析。數(shù)據(jù)庫三大陣營：OldSQL、NoSQL、NewSQL分析事務(wù)互聯(lián)網(wǎng)OldSQL一種架構(gòu)支持多類應(yīng)用NewSQL分析OldSQL事務(wù)NoSQL互聯(lián)網(wǎng)OldSQL+NoSQL+NewSQL多種架構(gòu)支持多類應(yīng)用14分析型數(shù)據(jù)庫分析型數(shù)據(jù)庫是面向分析應(yīng)用的數(shù)據(jù)庫，可以對數(shù)據(jù)進(jìn)15大數(shù)據(jù)下的分析型數(shù)據(jù)庫OldSQL行存儲關(guān)系型ACIDSMP

9、NewSQL列式存儲關(guān)系型ACIDMPPNoSQL列式存儲Key-Value靈活性MPP分布式計算，分布式文件系統(tǒng)內(nèi)存計算（In Memory Computing）新的硬件：Flash Card，SSD，高速網(wǎng)絡(luò)、Infiniband15大數(shù)據(jù)下的分析型數(shù)據(jù)庫OldSQLNewSQLNoSQL16OldSQLOldSQL是指傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，借助于數(shù)學(xué)概念和方法來處理數(shù)據(jù)。數(shù)據(jù)規(guī)范化：關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)存儲是為了更高的規(guī)范性，把數(shù)據(jù)分隔成最小的邏輯表(關(guān)系表)以 避免重復(fù)，獲得最精簡的空間利用。事務(wù)性：SQL數(shù)據(jù)庫支持對事務(wù)原子性細(xì)粒度控制，并且易于回滾事務(wù)。16OldSQLOldSQL是指

10、傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，借助17NewSQLNewSQL是對各種新的可擴(kuò)展、高性能的關(guān)系型數(shù)據(jù)庫的統(tǒng)稱。既能夠提供OldSQL的質(zhì)量保證，也能提供較強(qiáng)的可擴(kuò)展性。17NewSQLNewSQL是對各種新的可擴(kuò)展、高性能的18NoSQL大數(shù)據(jù)類型的多元化急速增長，OldSQL不滿足分布式技術(shù)架構(gòu)的適用性。Not Only SQL，泛指非關(guān)系型的分布式數(shù)據(jù)庫。18NoSQL大數(shù)據(jù)類型的多元化急速增長，OldSQL不19OldSQL&NoSQL&NewSQL總結(jié)海量數(shù)據(jù)實時分析Vertica/Impala19OldSQL&NoSQL&NewSQL總結(jié)海量數(shù)據(jù)實時分20類型OldSQLOldSQLOldSQ

11、LNoSQLNoSQLNoSQLNoSQLNoSQLNewSQLNewSQLNewSQL存儲方式行/列式存儲行式存儲行式存儲分布式文檔存儲分布式K-V存儲分布式列式存儲分布式HDFS分布式HDFS行式存儲分布式存儲分布式列式存儲運算方式磁盤磁盤內(nèi)存內(nèi)存/磁盤內(nèi)存/磁盤內(nèi)存/磁盤內(nèi)存磁盤磁盤磁盤內(nèi)存/磁盤系統(tǒng)架構(gòu)RDBMSRDBMSRDBMSC/S分布式集群C/S分布式集群HadoopHadoopHadoopC/S分布式集群MPPMPP支持SQL支持支持支持不支持不支持需插件類SQL類SQL支持支持支持大數(shù)據(jù)處 理能力較差較差一般較好較好好很好好好好很好容災(zāi)性較差較差較差較好較好好好好較好好好應(yīng)

12、用場景傳統(tǒng)數(shù)據(jù)分析WEB應(yīng)用低成本內(nèi)存運算對象存儲及處理數(shù)據(jù)鍵值關(guān)系突出海量存儲與擴(kuò)展實時分析批處理分析二次訂制開發(fā)數(shù)據(jù)倉庫即席查詢擴(kuò)展性Scale-upScale-upScale-upScale-outScale-outScale-outScale-outScale-outScale-upScale-outScale-out開放性商業(yè)開源商業(yè)開源開源開源開源開源開源開源商業(yè)目前主流分析型數(shù)據(jù)庫對比20類型OldSQLOldSQLOldSQLNoSQLNoS21分析型數(shù)據(jù)庫選型思路決定性因素關(guān)鍵因素一般因素分析需求數(shù)據(jù)格式數(shù)據(jù)存儲方式數(shù)據(jù)查詢能力穩(wěn)定性&容災(zāi)能力數(shù)據(jù)分析運算能力架構(gòu)選擇可擴(kuò)展性

13、成本21分析型數(shù)據(jù)庫選型思路決定性因素關(guān)鍵因素一般因素分析需求數(shù)22目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)的演進(jìn)應(yīng)用方案-XXX運營商大數(shù)據(jù)平臺三22目錄一主流分析型數(shù)據(jù)庫技術(shù)介紹、對比及選型二數(shù)據(jù)處理技術(shù)23一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐視圖四目錄23一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐24網(wǎng)絡(luò)建設(shè)初期階段階段一：先期基于路測數(shù) 據(jù)、投訴數(shù)據(jù)進(jìn)行簡單分 析；后引入MR數(shù)據(jù)進(jìn)行深 度覆蓋分析；階段二：網(wǎng)絡(luò)規(guī)劃建設(shè)簡 單、粗糙，直接在空白區(qū) 域建設(shè)。缺乏針對用戶、業(yè)務(wù)和終端進(jìn) 行深入關(guān)聯(lián)分析；網(wǎng)絡(luò)精細(xì)化建設(shè)階段基于現(xiàn)網(wǎng)23類運行數(shù)據(jù)

14、， 建立了基于移動網(wǎng)絡(luò) “O 域+B域”數(shù)據(jù)的分析方法 體系；在長春、成都、重慶、廣 州、蘭州、上海6重要城市 進(jìn)行推廣和驗證。探索六城市精細(xì)化建設(shè)支撐，并固化方法模型。大數(shù)據(jù)平臺化階段基于“以我為主、自主研 發(fā)”原則，搭建大數(shù)據(jù)分 析平臺，進(jìn)行迭代式開發(fā)， 實現(xiàn)方法固化。逐步實現(xiàn)全網(wǎng)數(shù)據(jù)的統(tǒng)一 采集、解析與存儲管理；開發(fā)大數(shù)據(jù)平臺，實現(xiàn)規(guī)?；?精準(zhǔn)化建設(shè)支撐。通過運行數(shù)據(jù)挖掘分析，實現(xiàn)網(wǎng)絡(luò)優(yōu)化精準(zhǔn)分析、提升網(wǎng)絡(luò)建維優(yōu)的精準(zhǔn)性和有效性XXX運營商大數(shù)據(jù)平臺-背景24網(wǎng)絡(luò)建設(shè)初期階段階段一：先期基于路測數(shù) 據(jù)、投訴數(shù)據(jù)進(jìn)行25人在哪干什么怎么樣XXX運營商大數(shù)據(jù)平臺-建設(shè)總體思路用戶群體特 征

15、分析為軌跡分析不同業(yè)務(wù)體驗 分析B側(cè)價值發(fā)現(xiàn)用戶群體的行用戶投訴O側(cè)網(wǎng)絡(luò)定位覆蓋能力評估網(wǎng)絡(luò)性能、質(zhì)量網(wǎng)絡(luò)問題分 析關(guān)聯(lián)要素時間小區(qū)終端業(yè)務(wù)區(qū)域三大落地支撐客戶維系， 支撐精準(zhǔn)市場推廣維度接口3G分析定 位問題4G支撐引 導(dǎo)規(guī)劃網(wǎng)絡(luò)性能反饋支撐網(wǎng)絡(luò)運維 優(yōu)化，改善網(wǎng) 絡(luò)質(zhì)量支撐網(wǎng)絡(luò)規(guī)劃 建設(shè)，提高資 源投放精準(zhǔn)度25人在哪干什么怎么樣XXX運營商大數(shù)據(jù)平臺-建設(shè)總體思路用XXX運營商大數(shù)據(jù)平臺-方法體系全面梳理23類數(shù)據(jù)序號分類數(shù)據(jù)源1OSS側(cè)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)2DT/CQT數(shù)據(jù)3IU-PS（掛表采集）/Gn數(shù)據(jù)4CDR（平臺采集）5MR數(shù)據(jù)6無線話統(tǒng)數(shù)據(jù)7無線參數(shù)8核心網(wǎng)參數(shù)9告警數(shù)據(jù)10無線側(cè)呼

16、叫記錄數(shù)據(jù)11設(shè)備版本及補(bǔ)丁12設(shè)備與板卡負(fù)荷數(shù)據(jù)13無線COUNTER數(shù)據(jù)14核心網(wǎng)報表數(shù)據(jù)（核心網(wǎng)COUNTER 數(shù)據(jù)）15投訴數(shù)據(jù)16話單數(shù)據(jù)17配套資源配置及運行情況18BSS側(cè)數(shù) 據(jù)用戶信息19月度話單數(shù)據(jù)20語音詳單21數(shù)據(jù)詳單22套餐信息23終端數(shù)據(jù)庫系統(tǒng)建立現(xiàn)網(wǎng)分析方法體系-24個分析模塊序號分類分析模塊項目1網(wǎng)絡(luò)與資 源無線側(cè)資源情況室內(nèi)外站、建筑物、物理站址分析2網(wǎng)絡(luò)覆蓋下行覆蓋、上行干擾、上行干擾分析3資源瓶頸網(wǎng)絡(luò)資源、空口效率、載波負(fù)荷分析4網(wǎng)絡(luò)性能網(wǎng)絡(luò)側(cè)性能指標(biāo)、問題小區(qū)分析5網(wǎng)絡(luò)結(jié)構(gòu)站高、站密、重疊覆蓋、有效性分析6多網(wǎng)協(xié)同2、3、4G多網(wǎng)絡(luò)協(xié)同分析7用戶與終 端終

17、端情況終端統(tǒng)計、終端與用戶及業(yè)務(wù)分析8用戶情況用戶情況總體分析9用戶畫像用戶屬性、消費、時間、業(yè)務(wù)等標(biāo)簽10群體特征分析用戶結(jié)構(gòu)及用戶偏好分析114G轉(zhuǎn)網(wǎng)用戶分析4G轉(zhuǎn)網(wǎng)用戶及潛在4G用戶分析12感知分析用戶各類業(yè)務(wù)感知分析13用戶軌跡各級別用戶遷徙及單用戶軌跡分析14業(yè)務(wù)與應(yīng) 用業(yè)務(wù)情況語音數(shù)據(jù)業(yè)務(wù)、分類主流業(yè)務(wù)分析15業(yè)務(wù)分布及特征總體業(yè)務(wù)情況及分類業(yè)務(wù)情況16業(yè)務(wù)質(zhì)量語音、CSFB、數(shù)據(jù)業(yè)務(wù)質(zhì)量分析17綜合專題趨勢分析小區(qū)數(shù)、用戶數(shù)、業(yè)務(wù)量等發(fā)展趨勢18聯(lián)合分析覆蓋、結(jié)構(gòu)、資源、感知綜合分析19資源重點投放場景、網(wǎng)格、扇區(qū)等區(qū)域價值分析20LTE部署區(qū)域LTE部署區(qū)域及部署建議分析21L

18、TE站址分析LTE站址可用性及合理性分析22流量經(jīng)營終端、流量、閑時包及業(yè)務(wù)內(nèi)容營銷23總覽總覽資源、用戶、業(yè)務(wù)、網(wǎng)絡(luò)、終端總覽24簡報簡報全國級及省級基本簡報和自定義簡報全方位支撐-10個應(yīng)用方向用戶終端業(yè)務(wù)網(wǎng)絡(luò)經(jīng)營26用戶畫像、聚類及簽轉(zhuǎn)分析基于軌跡和感知的投訴支撐用戶黏性和潛在離網(wǎng)預(yù)判主流業(yè)務(wù)的感知分析及回溯各粒度價值區(qū)域分析網(wǎng)絡(luò)質(zhì)量性能預(yù)警及回溯網(wǎng)絡(luò)調(diào)整與技術(shù)演進(jìn)支撐多維度的網(wǎng)絡(luò)規(guī)劃方案終端特征、性能評估體系流量經(jīng)營支撐XXX運營商大數(shù)據(jù)平臺-方法體系全面梳理23類數(shù)據(jù)序號分類數(shù)27內(nèi)部網(wǎng)絡(luò)資 源精準(zhǔn) 投放基于投 訴問題 定位現(xiàn)網(wǎng)用 戶維系精準(zhǔn) 營銷API接口開 放各行 業(yè)應(yīng) 用外部平

19、臺能力可實現(xiàn)對2/3/4G現(xiàn)網(wǎng)各接口及設(shè)備數(shù)據(jù)的解析能力，能夠滿足現(xiàn)網(wǎng)網(wǎng)絡(luò)優(yōu)化需求；可滿足全國B+O數(shù)據(jù)的存儲與處理；實現(xiàn)一體化解析、存儲與管理；與數(shù)據(jù)中心共享資源，著 重網(wǎng)絡(luò)分析應(yīng)用；具備商業(yè)智能數(shù)據(jù)分析能力，可對外開放接口，實現(xiàn)海量數(shù)據(jù)的可視化分析；5*N：滿足縱向從集團(tuán)到省、市、縣、網(wǎng)格，橫向從N個專業(yè)線條的多層次、全鏈條支撐需求， 同時可逐步對外部行業(yè)應(yīng)用需求進(jìn)行適配。XXX運營商大數(shù)據(jù)平臺-平臺能力27內(nèi)部網(wǎng)絡(luò)資 源精準(zhǔn) 投放基于投 訴問題 定位現(xiàn)網(wǎng)用 戶維28XXX運營商大數(shù)據(jù)平臺-平臺架構(gòu)元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)層ETL層數(shù)據(jù)處理層中間層數(shù)據(jù)展現(xiàn)層元模型管理元數(shù)據(jù)采集元數(shù)據(jù)分析

20、元數(shù)據(jù)共享輔助開發(fā)運維輔助業(yè)務(wù)應(yīng)用元數(shù)據(jù)存儲元數(shù)據(jù)共享數(shù)據(jù)質(zhì)量信息采集數(shù)據(jù)質(zhì)量模型 管理核查指標(biāo)管理數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量改進(jìn)核查執(zhí)行調(diào)度質(zhì)量問題管理網(wǎng)優(yōu)平臺BSS系統(tǒng)上網(wǎng)詳單系統(tǒng)網(wǎng)管系統(tǒng)掛表采集MR性能基礎(chǔ)投訴賬單詳單終端數(shù)據(jù)業(yè)務(wù)位置KPI參數(shù)負(fù)荷版本CDRIuPS網(wǎng)絡(luò)規(guī)劃仿真可研/技術(shù)方案設(shè)計/施工/后評價評估優(yōu)化B側(cè)數(shù)據(jù)解析Gn口解析C/D口解析S1口解析COUNTER解析MR解析B側(cè)預(yù)統(tǒng)Gn預(yù)統(tǒng)A/Iu口解析IuPS解析MapReduce數(shù)據(jù)調(diào)度Job調(diào)度MPP數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫OLTPRSQLModelerSASSPARKHIVE數(shù)據(jù)共享查詢轉(zhuǎn)換數(shù)據(jù)采集代理查詢代理GIS引擎

21、GIS呈現(xiàn)圖表表格28XXX運營商大數(shù)據(jù)平臺-平臺架構(gòu)元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)29一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐視圖四目錄29一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐1、端到端網(wǎng)絡(luò)優(yōu)化整體思路貫通“端管云”的全鏈條網(wǎng)絡(luò)優(yōu)化支撐方案，為端到端網(wǎng)絡(luò)優(yōu)化的各個環(huán)節(jié)提供數(shù)據(jù)分析支撐。用戶終端無線接入核心網(wǎng)絡(luò)應(yīng)用服務(wù)終端情況終端性能分 析網(wǎng)絡(luò)覆蓋網(wǎng)絡(luò)資源多網(wǎng)協(xié)同聯(lián)合分析站址合理性參數(shù)核查網(wǎng)絡(luò)性能業(yè)務(wù)質(zhì)量IMSILAC/CIRNC_IPSGSN_IPGGSN_IPDST_IPDNS_IPSP_IP 30管端云1、端到端網(wǎng)絡(luò)優(yōu)化整體思路貫通“端管云”的全鏈條網(wǎng)絡(luò)終端

22、情況：結(jié)合B側(cè)數(shù)據(jù)、核心網(wǎng)用戶面數(shù)據(jù)及終端庫，實現(xiàn)針對終端類型、品牌、制式和 能力等方面聚類統(tǒng)計和地理化呈現(xiàn)。終端性能：建立終端無線性能評價體系，對現(xiàn)網(wǎng)主流活躍終端進(jìn)行網(wǎng)絡(luò)性能評判，支撐網(wǎng) 優(yōu)建設(shè)、優(yōu)化的有效性投放。終端情況多種GIS展現(xiàn) 形式終端 用戶 業(yè)務(wù) 三個 維度 聯(lián)合 分析終端性能基于RNC呼叫記錄及各類不同事件原因進(jìn)行分類統(tǒng)計，針對終端建立無線網(wǎng)絡(luò)性能評價機(jī)制，進(jìn)行量化參考。-I2013012 MIMI-ONE三星PlusGT-I9152 聯(lián)想A820iPhone4(A1332)502 酷派7295A聯(lián)想A850 酷派7295+酷派7295 honor3C三星SM-G7106 I9

23、082i酷派7296WM630華為G520-0000WINGT-I8552MI3WTechwishTR105MI2012061MI2S M三星GT-N7100HTC802w魅族M040三星SM-G3三星SM-N9006三星SM-G9006V iPad2A1396HTCPG58130三星GT三星GT-N7102魅族MXM351 魅族MXM353三星GT-S7562 三星GT-I9100HTCT528wYUGECMI2012052三星GT-I8262D 三星GT-I8552三星GT-I9100G三星GT-S7562i三星GALAXY三星SM-G3812HTCT328w三星GT-S7572HTC60

24、6w-17.50-16.50-15.50-14.50-13.50-12.50-11.5000.2%iPad(A1430)三星GT-I9502 三星SM-N9002 三星GT-I9500三星SM-N900 iPadmini(A1455)iPhone三星GALAXYNOTE2GT-N7100三星GALAXYS4GT-I9500 OPPOOPPOX909三星GT-I9082三星GT-I9300HTCD816w MI20121210.3%0.4%0.5%0.6%0.7%iPadmini(A1490)華為E5220s-1iPhone4S(A1387)iPadAir(A1475) 三星SM-N9005 i

25、Phone5C(A1529)iPhone4S(A1431)iPhone5C(A1526) iPhone5S(A1528)4S(A1387)iPhone iPhone5S(A1530)MI201312120140125(A1429)華為AscendG730三星SM-G3502I iPhone5S(A1533)ZTEAD3812華為G750-T00SonyXperiaCiPhone5A1429 iPhone5(A1428)酷派7295華為G610-U00華為G700-U00LGNexus5iPhone4(A1332)MI2013023 酷派7269.1% 異常比例低，EcIo高異常比例高，EcIo

26、高異常比例低，EcIo低異常比例高，EcIo低31Redmi1S MI201302925 華為G700-U009r華為C01-M08I)2) 013023i(AS 29LGGN3oe5xn0u派s75(AA31553酷1) 4T92)Ion 5AZ 為2GU70500-T004X0E2p1A9e2GD6i3a18OPPiPOhOonPiePhP4Ooa華SdnX(Ae為A95i01r(3A8144175)N90iPad(A143i0P) admini(A1490三三i星星Sh華iMPo-hin為oeP0M25nh052CeoI224(n2A0Se011(5As35CS-1121(24A1250

27、21三星SM-N900三星GT-I X0Y8S24GT-I950006eS) 華1yiP三ad星mGinTi-(PiAIihi9P三P1Po54h0nh50星eo5o4)nSnS(AeeM1453(8-(SA7NA)(1A19)341032502835三星GALAGXTY-IN9iO5PTEhE2oGnT-e5hA090NiPA71L三星SM-G3812I8552HTC三三星8星1GTw-SI9M30-D 6HTC606w三H星TGCTT-3MS27I835wW72三星GT-I9三10星0三G星T-GS7A5L6A2XiYWINGT-iP魅ad族2MA1X3HM魅9三T63族C星5三PYM1三

28、GU星X5TG星GM-8ENS1TC3M-37W5I0193-0M0G2876213i)006三星三SM星魅-GH族N三T9三M-C0星N星80酷i0P704S6聯(lián)Sh1派2M0Mo0w想酷7-0n-G2eAG派99483507(5AA020酷169233V5h)派3+o)27n)2o9r53C三星三三G星星T-GG三IH8TTM2-星T-I6SCI92G271T0華DT5051-602為2I280酷G5w55派5222702-906000TecMhIw2i0MsM1hII2MTI22三1R0SAI029M1星聯(lián)110s23IG想5-0c0O76T1eA-1N2)I8n9E21Pd05lu2G

29、)s酷7派307269-20.00-18.00-16.00-14.00-12.00-10.00-8.00-6.00-4.00-2.000.000.0%0.2%0.4%0.6%0.8%1.0%1.2%1.4%1.6%1.8%2.0%比較各品牌終端的綜合表現(xiàn)篩選個別型號 表現(xiàn)差終端端2、端到端網(wǎng)絡(luò)優(yōu)化終端情況和終端性能終端情況：結(jié)合B側(cè)數(shù)據(jù)、核心網(wǎng)用戶面數(shù)據(jù)及終端庫，實現(xiàn)針對終32網(wǎng)絡(luò)資源：從業(yè)務(wù)量及設(shè)備負(fù)荷、網(wǎng)絡(luò)側(cè)資源情況、網(wǎng)絡(luò)資源擁塞情況及關(guān)聯(lián)分析等多個 維度，分別對網(wǎng)絡(luò)中小區(qū)的資源使用情況進(jìn)行分析和呈現(xiàn)。多項協(xié)同：通過對2/3/4G網(wǎng)絡(luò)性能的綜合分析，反應(yīng)2/3/4G網(wǎng)絡(luò)業(yè)務(wù)、終端、用戶的協(xié)

30、同 發(fā)展?fàn)顩r。網(wǎng)絡(luò)資源多網(wǎng)協(xié)同管多維度可選的網(wǎng) 絡(luò)資源橫向?qū)Ρ雀哓?fù)荷及擁塞 小區(qū)一目了然分析粒度小區(qū) 扇區(qū)任意切換重點扇區(qū)詳細(xì)信息鉆取多個組合維度分 析234G網(wǎng)間協(xié)同全面的網(wǎng)間協(xié) 同指標(biāo)展示天面維度分 段指標(biāo)展示3、端到端網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)資源和多網(wǎng)協(xié)同32網(wǎng)絡(luò)資源：從業(yè)務(wù)量及設(shè)備負(fù)荷、網(wǎng)絡(luò)側(cè)資源情況、網(wǎng)絡(luò)資源擁3管聯(lián)合分析：結(jié)合現(xiàn)網(wǎng)覆蓋、結(jié)構(gòu)、感知、資源各方面分析結(jié)果，針對每個扇區(qū)給出優(yōu)化建 議，為現(xiàn)網(wǎng)實際規(guī)劃優(yōu)化提供參考。站址合理性：建立終端無線性能評價體系，對現(xiàn)網(wǎng)主流活躍終端進(jìn)行網(wǎng)絡(luò)性能評判，支撐 網(wǎng)優(yōu)建設(shè)、優(yōu)化的有效性投放。聯(lián)合分析站址合理性綜合感知、覆蓋、結(jié) 構(gòu)、資源四方面給出 扇區(qū)聯(lián)合

31、分析結(jié)果網(wǎng)格維度匯總問題扇 區(qū)，提供優(yōu)化建議從結(jié)構(gòu)和覆蓋兩 方面綜合評定各 小區(qū)站址合理性3GIS展示各 級別小區(qū)重點小區(qū)鉆取 詳細(xì)信息，明 確問題所在4、端到端網(wǎng)絡(luò)優(yōu)化聯(lián)合分析和站址合理性3管聯(lián)合分析：結(jié)合現(xiàn)網(wǎng)覆蓋、結(jié)構(gòu)、感知、資源各方面分析結(jié)果，34云業(yè)務(wù)質(zhì)量：采用信令面XDR數(shù)據(jù)對語音業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)以及其他各類業(yè)務(wù)的運行質(zhì)量，指導(dǎo)網(wǎng)絡(luò)優(yōu)化與規(guī)劃。指標(biāo) 呈現(xiàn)從用戶/終端/網(wǎng)元等維 度呈現(xiàn)業(yè)務(wù)質(zhì)量指標(biāo)原因排查從數(shù)據(jù)流程和信令流程 維度分析異常情況成因聯(lián)合 定位從地理維度定位小區(qū)，從地址維度定位網(wǎng)元分析針對發(fā)現(xiàn)的問題提出進(jìn)處理一步核查與處理的建議分析呈現(xiàn)TOP網(wǎng)元問題原因分析鉆取問題網(wǎng)元 定位

32、查找5、端到端網(wǎng)絡(luò)優(yōu)化業(yè)務(wù)質(zhì)量34云業(yè)務(wù)質(zhì)量：采用信令面XDR數(shù)據(jù)對語音業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)以及35投訴分析多維度分析 全網(wǎng)投訴投訴收集投訴挖掘原因定位優(yōu)化建設(shè)從投訴時間、 位置、原因、 類別、等級、 客戶等多個維 度綜合分析投 訴數(shù)據(jù)，全面 呈現(xiàn)投訴問題 分布，輔助問 題查找。投訴信息 一鍵導(dǎo)出6、投訴跟蹤處理投訴分析35投訴分析多維度分析 全網(wǎng)投訴投訴收集投訴挖掘原因定位優(yōu)化提供6大類用 戶標(biāo)簽的選擇109種標(biāo)簽描 繪每個用戶多重篩選定位具體用戶查詢投訴用戶的手機(jī)號碼快速定位用戶用戶畫像自然屬性：性別、年齡用戶屬性：VIP等級、入網(wǎng) 時長、簽約套餐消費屬性：ARPU、MOU、DOU終端屬性：終端

33、型號、終端 能力偏好屬性：業(yè)務(wù)偏好、時間 偏好、地理偏好36投訴收集投訴挖掘原因定位我今天上午在XX大廈附近上網(wǎng)，網(wǎng)絡(luò)總是不好，圖片顯示不出來。優(yōu)化建設(shè)常見投訴問題時間地點提供不清問題描述太過模糊7、投訴跟蹤處理用戶畫像提供6大類用 戶標(biāo)簽的選擇109種標(biāo)簽描 繪每個用戶多重篩選37+O用戶軌跡結(jié)合用戶感知，B側(cè)及O側(cè)數(shù)據(jù)關(guān)聯(lián)分析，精準(zhǔn)定位用戶投訴問題的精確時間及位置。感知分析多種形式展示不同維度分析結(jié)果投訴收集用戶軌跡投訴挖掘B原因定位優(yōu)化建設(shè)個體軌跡輔助定位單個用戶、查找用戶投訴具體 位置。群體軌跡分析群體的地理聚集度及業(yè)務(wù)聚集度， 評價不同區(qū)域的群體分布。個體用戶 軌跡點群體用戶軌跡趨勢

34、圖8、投訴跟蹤處理用戶軌跡和感知分析37+O用戶軌跡結(jié)合用戶感知，B側(cè)及O側(cè)數(shù)據(jù)關(guān)聯(lián)分析，精準(zhǔn)投訴收集網(wǎng)絡(luò)性能投訴挖掘原因定位優(yōu)化建設(shè)網(wǎng)絡(luò)穩(wěn)定性從用戶感知映射網(wǎng)絡(luò)問題，從網(wǎng)絡(luò)覆蓋、性能、穩(wěn)定性多方位定位網(wǎng)絡(luò)問題，完成KQI到KPI的轉(zhuǎn)化。38數(shù)據(jù)、圖表、GIS多 維度聯(lián)合展示指標(biāo)從接入性、保持性、移動性、完整性、互操作等 角度全方位評估網(wǎng)絡(luò)性能。問題小區(qū)分析直 接篩選質(zhì)差小區(qū)斷站次數(shù)及 時長分析深入分析斷站、退服等影響用戶感知的故障告警， 輔助查找網(wǎng)絡(luò)穩(wěn)定性問題。斷站原因分析9、投訴跟蹤處理網(wǎng)絡(luò)性能和網(wǎng)絡(luò)穩(wěn)定性投訴收集投訴挖掘原因定位優(yōu)化建設(shè)從用戶感知映射網(wǎng)絡(luò)問題，從網(wǎng)39投訴收集投訴挖掘原因

35、定位優(yōu)化建設(shè)從客戶投訴/用戶感知入手，提升網(wǎng)絡(luò)整體支撐保障能力與客戶感知。以解決客戶投訴為核心，發(fā)現(xiàn)感知問題，查找網(wǎng)絡(luò)原因，指導(dǎo)優(yōu)化建設(shè)，形成網(wǎng)絡(luò)優(yōu)化閉環(huán)。從需求熱點、投訴重點、 網(wǎng)絡(luò)短板等分析結(jié)論出 發(fā)，提升運維優(yōu)化水平。支撐運維優(yōu)化建設(shè)以投訴為切入點，通過用 戶感知查找網(wǎng)絡(luò)問題，不 斷推進(jìn)網(wǎng)絡(luò)優(yōu)化建設(shè)。用戶投訴為出發(fā)點投訴優(yōu)化建設(shè)感知問題網(wǎng)絡(luò)問題10、投訴跟蹤處理優(yōu)化建設(shè)39投訴收集投訴挖掘原因定位優(yōu)化建設(shè)從需求熱點、投訴重點40一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐視圖四目錄40一運行分析視圖二大數(shù)據(jù)平臺總體架構(gòu)規(guī)劃支撐視圖三決策支撐41 通過“覆蓋情況”專題尋找可能的

36、問題區(qū)域基于地市/網(wǎng)格/場景/ 扇區(qū)/基站等不同維度呈 現(xiàn)區(qū)域內(nèi)現(xiàn)網(wǎng)站點情況 結(jié)合“網(wǎng)絡(luò)結(jié)構(gòu)”專題查看區(qū)域內(nèi)站點分布情況 通過熱度圖呈現(xiàn)區(qū)域用戶數(shù)量、業(yè)務(wù)量；通過區(qū)域內(nèi)不同制式的 終端數(shù)量為4G網(wǎng)絡(luò)建設(shè)和2G退網(wǎng)提供支撐；基于收入、用戶、終端、 業(yè)務(wù)情況提供資源重點投放排名和LTE建設(shè)區(qū)域推薦； 在Web界面上呈現(xiàn)各類結(jié)果圖層供規(guī)劃參考，并 提供手動加站和批量站點 導(dǎo)入功能；平臺從現(xiàn)網(wǎng)資源情況、存在問題、用戶終端業(yè)務(wù)分布等多方面為網(wǎng)絡(luò)規(guī)劃提供信息參考；在此基 礎(chǔ)上提供規(guī)劃建議；并通過GIS輔助平臺進(jìn)行方案落地；了解資源現(xiàn)狀定位存在問題用戶終端業(yè)務(wù)提供規(guī)劃建議方案平臺落地綜合用戶感知情況判斷 是

37、否存在問題；完成站點規(guī)劃后在“規(guī)模 調(diào)整”模塊自動計算單個站 點投資，并根據(jù)設(shè)定優(yōu)先級 規(guī)則生成三年滾動規(guī)劃；1、平臺落地基本思路41 通過“覆蓋情況”專題基于地市/網(wǎng)格/場景/ 扇區(qū)/42對234G的室內(nèi)外無線側(cè)資源進(jìn)行統(tǒng)計與展現(xiàn)，從而了解本地網(wǎng)的站點分布和資源情況；可以進(jìn)行省份、城市、BSCNodeBeNodeB等多維度查詢及統(tǒng)計結(jié)果的呈現(xiàn)，呈現(xiàn)方式包括表格和地理呈現(xiàn)。2、了解資源現(xiàn)狀菜單維度 選擇數(shù)據(jù)報表呈現(xiàn)指標(biāo)圖表顯示GIS展示42對234G的室內(nèi)外無線側(cè)資源進(jìn)行統(tǒng)計與展現(xiàn)，從而了解43查看本地網(wǎng) 覆蓋整體情況3、定位存在問題覆蓋情況和網(wǎng)絡(luò)結(jié)構(gòu)覆蓋情況：基于MR/路測數(shù)據(jù)從地市場景網(wǎng)格

38、逐級統(tǒng)計覆蓋情況，并在地圖上對弱覆蓋區(qū)域予以呈現(xiàn)；網(wǎng)絡(luò)結(jié)構(gòu)： 針對現(xiàn)網(wǎng)站點的站高、站密和覆蓋有效性進(jìn)行分析，并結(jié)合覆蓋情況進(jìn)行關(guān)聯(lián)分析，為問題定位 提供參考覆蓋情況網(wǎng)絡(luò)結(jié)構(gòu)查看場景維度覆蓋扇區(qū)粒度的 覆蓋情況呈現(xiàn)通過平均站址、高/中/正常/稀疏站數(shù)量/占比等指標(biāo)，并結(jié)合GIS 多維度（地市、場景、網(wǎng)格等）呈現(xiàn)區(qū)域內(nèi)的站密情況。站高分析通過軟切換比例是否合理，并結(jié)合覆蓋有效性指標(biāo)對區(qū)域內(nèi)網(wǎng)絡(luò)整 體覆蓋的合理性進(jìn)行評估。將網(wǎng)絡(luò)結(jié)構(gòu)與覆蓋 情況結(jié)合綜合定位 問題區(qū)域43查看本地網(wǎng) 覆蓋整體情況3、定位存在問題覆蓋情況和網(wǎng)絡(luò)444、定位存在問題用戶感知分析構(gòu)建移動互聯(lián)網(wǎng)主流業(yè)務(wù)的感知評價方法體系，輸出

39、單用戶級綜合業(yè)務(wù)感知評價、小區(qū)級綜合業(yè)務(wù)感知評價， 形成基于感知門限的預(yù)警及回溯機(jī)制，實現(xiàn)差異化建設(shè)目標(biāo)，精準(zhǔn)匹配客戶需求。1、建立主流業(yè)務(wù)的用戶感知體系2、獲取用戶及用戶群體的感知3、獲取扇區(qū)級主流業(yè)務(wù)感知4、基于感知的問題定位流媒體感知結(jié)果下載業(yè)務(wù)感知結(jié)果及時通信感知結(jié)果瀏覽業(yè)務(wù)感知結(jié)果其他業(yè)務(wù)感知結(jié)果數(shù)據(jù)業(yè)務(wù)總體感知結(jié)果444、定位存在問題用戶感知分析構(gòu)建移動互聯(lián)網(wǎng)主流業(yè)務(wù)的感455、用戶終端分析結(jié)合O域信令與B域用戶類型信息及終端庫，實現(xiàn)針對終端、用戶類型的聚類統(tǒng)計和地理化呈現(xiàn)。2G用戶2G終端分布2G用戶3G終端分布2G用戶4G終端分布3G用戶2G終端分布3G用戶3G終端分布3G用戶

40、4G終端分布4G用戶2G終端分布4G用戶3G終端分布4G用戶4G終端分布455、用戶終端分析結(jié)合O域信令與B域用戶類型信息及終端庫，4G上行數(shù)據(jù)流量4G下行數(shù)據(jù)流量6、業(yè)務(wù)分析針對用戶在網(wǎng)絡(luò)中的各大類業(yè)務(wù)使用情況，進(jìn)行統(tǒng)計并呈現(xiàn)；綜合用戶、終端、網(wǎng)絡(luò)、業(yè)務(wù)量多維度呈現(xiàn)業(yè)務(wù)使用情況，為2G退網(wǎng)、4G建設(shè)提供有力支撐；3G語音話務(wù)量3G上行數(shù)據(jù)流量3G下行數(shù)據(jù)流量主流業(yè)務(wù)分布Top 5品牌的主流業(yè)務(wù)分布464G上行數(shù)據(jù)流量4G下行數(shù)據(jù)流量6、業(yè)務(wù)分析針對用戶在網(wǎng)絡(luò)中47alue=價值用戶業(yè)務(wù)終端Value=U+A+T數(shù)據(jù)提 取、解析及 入庫整理分析要素業(yè)務(wù)終端用戶層次分析打分&價值區(qū)域發(fā)掘價值區(qū)域

41、應(yīng)用分維度獨立加權(quán)評分、排名、 分檔各維度綜合加權(quán)評分、排名、 分檔網(wǎng)絡(luò)性能作為聯(lián)合分析，不做 綜合評分結(jié)合GIS的地理價值地圖生成及區(qū)域 發(fā)現(xiàn)結(jié)合場景及名單的邏輯價值區(qū)域發(fā) 掘結(jié)合時間維度的時域價值地圖及發(fā)掘標(biāo)準(zhǔn)化打分業(yè)務(wù)標(biāo)準(zhǔn)化終端標(biāo)準(zhǔn)化用戶標(biāo)準(zhǔn)化層次分析打分業(yè)務(wù)要素價 值終端要素價 值用戶要素價 值網(wǎng)絡(luò)性能聯(lián) 合分析價值發(fā)掘規(guī)劃支撐 價值展示 優(yōu)化支撐利用Z-Score算 法對要素各指標(biāo)進(jìn) 行標(biāo)準(zhǔn)化打分利用專家矩 陣對準(zhǔn)則層(要 素)打分根據(jù)專家矩陣采用AHP方法，進(jìn)行 綜合打分；結(jié)合地理和邏輯進(jìn)行價值區(qū)域發(fā)掘落地應(yīng)用價值量化計算價值分布及匯聚重點投資區(qū)域是中國聯(lián)通進(jìn)行資源投放的重要指向，需從用戶、業(yè)務(wù)、終端等維度進(jìn)行綜合考量。 構(gòu)建B+O打通的基礎(chǔ)數(shù)據(jù)集合，支撐網(wǎng)絡(luò)規(guī)劃及優(yōu)化應(yīng)用。提取用戶、業(yè)務(wù)、終端要素數(shù)據(jù)并進(jìn)行標(biāo)準(zhǔn) 化打分，AHP算法對實現(xiàn)綜合價值計算扇用綜終業(yè)區(qū)戶務(wù)端收聚分均入集布價地圖7、提供規(guī)劃建議資源重點投放區(qū)域47alue=價值用戶業(yè)務(wù)終端Value=U+A+T數(shù)據(jù)提488、方案平臺落地整體流程規(guī)模調(diào)整確定站點建設(shè)年份，生成項目庫規(guī)則編輯工程配置設(shè)定及初始化計算批量選擇和修改工程匯總和