1、大數(shù)據(jù)平臺(tái)規(guī)劃方案匯報(bào),目 錄,二、大數(shù)據(jù)平臺(tái)整體規(guī)劃,一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢,大數(shù)據(jù),大數(shù)據(jù)對(duì)電信運(yùn)營商的應(yīng)用價(jià)值體現(xiàn),數(shù)據(jù)平臺(tái)現(xiàn)狀,經(jīng)過一二期的建設(shè)，精細(xì)化運(yùn)營平臺(tái)的數(shù)據(jù)中心，已經(jīng)成為最大、內(nèi)容最豐富的數(shù)據(jù)倉庫； 隨著數(shù)據(jù)量的增長，需要對(duì)基礎(chǔ)架構(gòu)做長遠(yuǎn)規(guī)劃； 有必要深入挖掘數(shù)據(jù)價(jià)值，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤中心,6,大數(shù)據(jù)處理的需求和特點(diǎn),低成本運(yùn)營,一體化運(yùn)營,精細(xì)化運(yùn)營,全網(wǎng)運(yùn)營,實(shí)時(shí)、智能化運(yùn)營,集中化建設(shè)、管理和維護(hù) 可不斷線性擴(kuò)展 提高資源綜合利用率 標(biāo)準(zhǔn)化功能組件，可共享可復(fù)用 按業(yè)務(wù)量、按需支付,BASS與BOSS、CRM的一體化 BSS與MSS、OSS、VAS

2、等跨域一體化 對(duì)外部客戶和應(yīng)用的一體化,片區(qū)化、網(wǎng)格化管理 長尾市場、小眾市場的支撐 個(gè)性化、短周期需求的滿足,異地客戶、家庭客戶、集團(tuán)客戶 一點(diǎn)接入、全網(wǎng)服務(wù)、全網(wǎng)客戶畫像 全國統(tǒng)一套餐、全網(wǎng)營銷、 統(tǒng)一客服,實(shí)時(shí)數(shù)據(jù)獲取、處理、分析 智能化主動(dòng)事件觸發(fā) 智能管道 移動(dòng)互聯(lián)網(wǎng),業(yè)務(wù)運(yùn)營發(fā)展趨勢,對(duì)業(yè)務(wù)支撐平臺(tái)的集中化要求,對(duì)數(shù)據(jù)架構(gòu)的集中化要求,集中化、大容量、高擴(kuò)展、高可用數(shù)據(jù)庫平臺(tái)：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級(jí)數(shù)據(jù)中心 高性能：支持3G時(shí)代更高的實(shí)時(shí)性要求、支持 動(dòng)態(tài)資源共享：支持多租戶管理、資源動(dòng)態(tài)按需供應(yīng) 可重用、標(biāo)準(zhǔn)化組件：形成可重用組件，支持一次開發(fā)、

3、各省共享的模式，形成規(guī)模型效益,數(shù)據(jù)集中化趨勢使得運(yùn)營商面臨著海量數(shù)據(jù)的存儲(chǔ)及分析問題，大數(shù)據(jù)在支撐移動(dòng)業(yè)務(wù)發(fā)展趨勢中，充當(dāng)重要角色。,電信運(yùn)營商數(shù)據(jù)集中化趨勢,8,電信運(yùn)營面臨的大數(shù)據(jù)挑戰(zhàn),移動(dòng)互聯(lián)網(wǎng)和個(gè)人消費(fèi)領(lǐng)域業(yè)務(wù)擴(kuò)展和CEM導(dǎo)致海量數(shù)據(jù)的及時(shí)分析帶來挑戰(zhàn),運(yùn)營商一體化集中運(yùn)營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù)倉庫，對(duì)大數(shù)據(jù)的存儲(chǔ)、性能、開放帶來挑戰(zhàn),DPI和信令監(jiān)測，產(chǎn)生的大量事件在存儲(chǔ)和用戶通信行為分析的實(shí)時(shí)處理性能帶來挑戰(zhàn),ICT融合，核心網(wǎng)絡(luò)、運(yùn)營支撐和VAS業(yè)務(wù)數(shù)據(jù)的融合催生海量User Profile并集，對(duì)大數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算效能帶來挑戰(zhàn),移動(dòng)互聯(lián)網(wǎng)流量井噴與客戶行為分析,

4、業(yè)務(wù)融合、能力互通帶來數(shù)據(jù)融合,提升客戶體驗(yàn)要求分析網(wǎng)絡(luò)服務(wù)數(shù)據(jù),IT系統(tǒng)集中化和行業(yè)數(shù)據(jù)價(jià)值挖掘,BSS BI數(shù)據(jù)： 河南17個(gè)地市，每天抽取正常用戶數(shù)7000多萬，撥備用戶數(shù)3000多萬，DW層用戶表總量1億多條；語音清單每天2.7億條數(shù)據(jù)，GPRS清單每天4.2億條數(shù)據(jù)；賬務(wù)每天4.7億條數(shù)據(jù) ；GPRS文件每個(gè)100M左右，其它文件25M。 日接口數(shù)據(jù)量：2000G，其中話單 220G，WAP清單 300G ， 工單服務(wù) 200G ， 用戶、帳務(wù) 300G，其它980G。每月124TB數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留1年，總數(shù)據(jù)量1.45PB。 按照用戶數(shù)簡單測算, 6.5億用戶下，總數(shù)據(jù)量

5、10PB!,總部3G互聯(lián)網(wǎng)訪問記錄查詢及分析系統(tǒng)： 全國每日新增10TB數(shù)據(jù)，每月近萬億條記錄，要存放6個(gè)月，約 2PB的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫時(shí)間小于30分鐘， 原始上網(wǎng)記錄保留6個(gè)月。上網(wǎng)查詢速度不高于1秒，并發(fā)查詢數(shù)1000請(qǐng)求/秒。 集群規(guī)模188個(gè)數(shù)據(jù)節(jié)點(diǎn)，存儲(chǔ)容量2.6 PB,傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲(chǔ)日益增長的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)需求,基礎(chǔ)數(shù)據(jù) （用戶資料，產(chǎn)品訂購信息）： 15G/日*365+40G *12月 = 5T/年 考慮20%的業(yè)務(wù)增長率后為： 6T/年,用戶上網(wǎng)數(shù)據(jù) 話單數(shù)據(jù)：250T/年 考慮20%的業(yè)務(wù)增長率后為：300T/年,MR數(shù)據(jù) 話單數(shù)據(jù)：634G/日 634G

6、/日*365 = 227T/年 考慮20%的業(yè)務(wù)增長率后為：272T/年,BSS數(shù)據(jù),新增,新增,評(píng)估中,隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力； 數(shù)據(jù)倉庫無法線性擴(kuò)容，管理難度加大，成本高擴(kuò)容壓力大，效率下降等 傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大數(shù)據(jù)架構(gòu)下需要對(duì)用戶原始話單進(jìn)行長期保存。需要擴(kuò)容大量存儲(chǔ)空間。,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題,面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供可供線性擴(kuò)容的存儲(chǔ)能力。,每個(gè)應(yīng)用需求的變化就是一場災(zāi)難。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)可能需要對(duì)中間每個(gè)處理環(huán)節(jié)進(jìn)行逐個(gè)調(diào)整。重新生成數(shù)據(jù)的周期也非常

7、緩慢。,由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)。整個(gè)數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲(chǔ)壓力在數(shù)據(jù)抽取和清洗階段會(huì)過濾掉與業(yè)務(wù)無關(guān)的數(shù)據(jù)記錄和字段。,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題,數(shù)據(jù)源,明細(xì)數(shù)據(jù)層 （DW）,匯總層（MK）,報(bào)表數(shù)據(jù),標(biāo)簽庫,指標(biāo)數(shù)據(jù),客戶統(tǒng)一視圖,應(yīng)用層,DW&MK,操作型數(shù)據(jù),ODS層,Oracle數(shù)據(jù)庫,精細(xì)化營銷架構(gòu),2,4,1,2,3,4,現(xiàn)網(wǎng)數(shù)據(jù)平臺(tái)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫架構(gòu)。大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無法保存和處理，缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。,傳統(tǒng)數(shù)據(jù)倉庫無法

8、有效應(yīng)對(duì)大數(shù)據(jù)分析需求,1,現(xiàn)網(wǎng)每日用戶上網(wǎng)HTTP話單達(dá)14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動(dòng)互聯(lián)網(wǎng)正在迅猛增長，傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時(shí)限和事務(wù)處理需求。,3,面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供快速的處理能力。,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題,傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸,現(xiàn)網(wǎng)精細(xì)化營銷平臺(tái)的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承載所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算。缺乏對(duì)數(shù)據(jù)分層分級(jí)及生命周期的有效管理。 系統(tǒng)核心架構(gòu)為Oracle數(shù)據(jù)庫+小型機(jī)+磁陣。數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫服務(wù)器從磁陣讀到本地后進(jìn)行計(jì)

9、算結(jié)果。隨著數(shù)據(jù)量增長，磁盤I/O、網(wǎng)絡(luò)帶寬、數(shù)據(jù)庫服務(wù)器的處理能力將存在瓶頸，處理時(shí)延嚴(yán)重。由于傳統(tǒng)架構(gòu)的可擴(kuò)展性差，無法滿足大數(shù)據(jù)的計(jì)算的擴(kuò)容需求。,為應(yīng)對(duì)海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由x86服務(wù)器提供。,因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，不同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對(duì)內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行有效分析，傳統(tǒng)的架構(gòu)處理吃力。,關(guān)系數(shù)據(jù)庫引入對(duì)XML 的支持仍然無法有效處理,ETL,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題,傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務(wù)數(shù)據(jù),傳統(tǒng)數(shù)據(jù)倉庫無法有效支撐數(shù)據(jù)合作運(yùn)營,由于保存原始話單數(shù)據(jù)周期

10、較短，合作運(yùn)營無法追溯歷史原始數(shù)據(jù)。 現(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫的設(shè)計(jì)只適用與向上層提供既定好的數(shù)據(jù)分析任務(wù)結(jié)果。對(duì)外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時(shí)數(shù)據(jù)的處理方式及結(jié)果也恐難以滿足合作運(yùn)營的需要。 大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運(yùn)營。同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來。,目 錄,二、大數(shù)據(jù)平臺(tái)整體規(guī)劃,一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢,大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位,準(zhǔn)實(shí)時(shí)采集,批量采集,Hadoop平臺(tái),MPP，基于X86平臺(tái),主數(shù)據(jù)倉庫,分布式數(shù)據(jù)庫,基于X86平臺(tái),數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）,

11、數(shù)據(jù)層,獲取層,能力層,精細(xì)化營銷,智能運(yùn)營,物聯(lián)網(wǎng)應(yīng)用,應(yīng)用商店,客服應(yīng)用,基礎(chǔ)分析能力,數(shù)據(jù)挖掘能力,實(shí)時(shí)分析能力,自助分析能力,多維分析能力,數(shù)據(jù)共享能力,指標(biāo)應(yīng)用,報(bào)表應(yīng)用,主題分析,專題分析,互聯(lián)網(wǎng),GN口,半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),BSS,經(jīng)分,DM,VAC,MC話單,業(yè)務(wù)平臺(tái),結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)源,分布式文件系統(tǒng) HDFS,記錄明細(xì)數(shù)據(jù),HBase,M/R,Hive,記錄匯總數(shù)據(jù),數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、,分布式數(shù)據(jù)庫（MPP）： 存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。

12、 主數(shù)據(jù)倉庫（與MPP合設(shè)）： 存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。,Hadoop云平臺(tái)： 負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。,數(shù)據(jù)開放接口： 向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。,數(shù)據(jù)采集（ETL）： 負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括： 1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。 2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫,應(yīng)用層,HDFS：分布式文件系統(tǒng) 有較強(qiáng)的容錯(cuò)性 可在x86平臺(tái)上運(yùn)行，減少總體成本 可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用 HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫 基于分布式文件系統(tǒng)HDFS

13、，保證數(shù)據(jù)安全 列式存儲(chǔ)，節(jié)省存儲(chǔ)空間 提供大數(shù)據(jù)量的高速讀寫操作 Hive：分布式關(guān)系型數(shù)據(jù)庫 數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ) 類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理 通過MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算 MapReduce：大規(guī)劃并行計(jì)算引擎 可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中,Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架?；诜?wù)器本地的計(jì)算與存儲(chǔ)資源， Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。,大數(shù)據(jù)平臺(tái)： Hadoop主要功能,H

14、Base,MapReduce,Hive,HDFS,快速的數(shù)據(jù)讀取,大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì),復(fù)雜計(jì)算并行處理,Shared Nothing,代表數(shù)據(jù)庫：GreenPlum、Vertica、Teradata,適合大數(shù)據(jù)量的OLAP應(yīng)用,新型MPP數(shù)據(jù)庫主要構(gòu)建在x86平臺(tái)上，為無共享架構(gòu)（Share Nothing），依靠軟件架構(gòu)上的創(chuàng)新和數(shù)據(jù)多副本機(jī)制，實(shí)現(xiàn)系統(tǒng)的高可用性和可擴(kuò)展性。負(fù)責(zé)深度分析、復(fù)雜查詢、KPI計(jì)算、數(shù)據(jù)挖掘以及多變的自助分析應(yīng)用等，支持PB級(jí)的數(shù)據(jù)存儲(chǔ)。,大數(shù)據(jù)平臺(tái)： 分布式數(shù)據(jù)庫,新型MPP分布式數(shù)據(jù)庫 基于開放平臺(tái)x86服務(wù)器 大規(guī)模的并發(fā)處理能力 無單點(diǎn)故障，可線性擴(kuò)展 多副本

15、機(jī)制保證數(shù)據(jù)安全 支撐PB級(jí)的數(shù)據(jù)量 支持SQL，開放靈活,數(shù)據(jù)分級(jí)存儲(chǔ)原則,數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施,按數(shù)據(jù)血緣,按邏輯層次,按業(yè)務(wù)種類,按設(shè)備網(wǎng)絡(luò)劃分,按設(shè)備物理地址,在線、近線、離線,按訪問頻度,內(nèi)存數(shù)據(jù)庫,按響應(yīng) 及時(shí)性,內(nèi)存數(shù)據(jù)庫,數(shù)據(jù)生命周期中在線數(shù)據(jù)對(duì)高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制。,基于生命周期,基于訪問壓力,基于業(yè)務(wù)用途,基于物理屬性,分級(jí)原則,高性能 磁盤庫,磁帶 光盤庫,中低性能 磁盤庫,將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉庫的核心模型中

16、，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。 將主數(shù)據(jù)倉庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。,數(shù)據(jù),數(shù)據(jù),數(shù)據(jù),1、核心模型融入主數(shù)據(jù)倉庫,主數(shù)據(jù)倉庫,2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫,分布式數(shù)據(jù)庫,1、清單數(shù)據(jù)入MPP數(shù)據(jù)庫,大數(shù)據(jù)平臺(tái)： 數(shù)據(jù)分級(jí)存儲(chǔ),Hadoop平臺(tái),主數(shù)據(jù)倉庫,報(bào)表數(shù)據(jù),標(biāo)簽庫,指標(biāo)數(shù)據(jù),客戶統(tǒng)一視圖,信息子層,話單數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù),信息子層：報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫等數(shù)據(jù)來源于匯總層。 匯總層：主題域之間進(jìn)行關(guān)聯(lián)、匯總計(jì)算。匯總數(shù)據(jù)服務(wù)于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計(jì)算成本和計(jì)算時(shí)間。,輕度匯總層：主題域內(nèi)部

17、基于明細(xì)層數(shù)據(jù)，進(jìn)行多維度的、用戶級(jí)的匯總。 明細(xì)數(shù)據(jù)層：主題域內(nèi)部進(jìn)行拆分、關(guān)聯(lián)。是對(duì)ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并,ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對(duì)接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。未來也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。,明細(xì)數(shù)據(jù)層 （DW）,輕度匯總層（MK）,高度匯總層（MK）,應(yīng)用庫,精細(xì)化營銷,分布式數(shù)據(jù)庫MPP,其他應(yīng)用1,其他應(yīng)用2,應(yīng)用層：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。 精細(xì)化營銷做為大數(shù)據(jù)平臺(tái)的一個(gè)上層應(yīng)用，有由大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)支撐,數(shù)據(jù)訪問,SQL,FTP,HSQL,API,ETL,數(shù)據(jù)采集E T L,互聯(lián)網(wǎng),GN口,

18、非結(jié)構(gòu)化數(shù)據(jù),BSS,經(jīng)分,DM,VAC,MC話單,業(yè)務(wù)平臺(tái),結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)源,獲取層,1,2,1,2,3,3,4,4,大數(shù)據(jù)平臺(tái)： 數(shù)據(jù)分層,源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫。,基礎(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存3年,清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年,ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺(tái)做長久保存,非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫,生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉庫。,Hadoop平臺(tái),主數(shù)據(jù)倉庫,報(bào)表數(shù)據(jù),標(biāo)簽庫,客戶統(tǒng)一視圖,信息子層,話單數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù),明細(xì)數(shù)據(jù)層 （DW）,輕度匯總層（MK）,高度匯總層（MK）,應(yīng)用庫,分布式數(shù)據(jù)庫MPP,數(shù)據(jù)訪問,SQL,FTP,HSQL,API,ETL,數(shù)據(jù)采集E T L,互聯(lián)網(wǎng),GN口,非結(jié)構(gòu)化數(shù)據(jù),BSS,經(jīng)分,DM,VAC,MC話單,業(yè)務(wù)平臺(tái),結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)源,獲取層,1,2,3,4,6,5,業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。,7,精細(xì)化營銷,其他應(yīng)用1,其他應(yīng)