基于大數(shù)據(jù)的通信運(yùn)營商企業(yè)級數(shù)據(jù)中心搭建【摘要】進(jìn)入流量經(jīng)營時代，通信運(yùn)營商面臨端管云全方位競爭。需要打破數(shù)據(jù)壁壘，融合通信運(yùn)營商業(yè)務(wù)運(yùn)營、網(wǎng)絡(luò)支撐、管理信息等不同域的數(shù)據(jù)，通過大數(shù)據(jù)進(jìn)行立體分析與挖掘，提升流量經(jīng)營時代核心競爭力。如何借助大數(shù)據(jù)，實(shí)現(xiàn)從傳統(tǒng)的基于話單的數(shù)據(jù)倉庫向基于業(yè)務(wù)運(yùn)營、網(wǎng)絡(luò)信令、財務(wù)指標(biāo)等海量信息的企業(yè)級數(shù)據(jù)中心發(fā)展呢？本文重點(diǎn)描述了通信運(yùn)營商企業(yè)級數(shù)據(jù)中心的系統(tǒng)架構(gòu)設(shè)計、平臺演進(jìn)技術(shù)及其管控配套建議?！娟P(guān)鍵詞】大數(shù)據(jù)通信運(yùn)營商企業(yè)級數(shù)據(jù)中心一、現(xiàn)狀分析與背景技術(shù)（一）數(shù)據(jù)倉庫技術(shù)在通信運(yùn)營商中的應(yīng)用現(xiàn)狀與挑戰(zhàn)在電信行業(yè)競爭日趨激烈的背景下，如何提升市場營銷能力、客戶服務(wù)水平與經(jīng)營決策水平已成為通信運(yùn)營商面臨的一個重要問題。數(shù)據(jù)倉庫技術(shù)作為數(shù)據(jù)整理和分析的主流技術(shù)，在通信運(yùn)營商的應(yīng)用越來越廣泛，在企業(yè)經(jīng)營生產(chǎn)中也扮演著越來越重要的角色。然而通信運(yùn)營商數(shù)據(jù)倉庫具有數(shù)據(jù)量巨大且增長迅速、業(yè)務(wù)需求復(fù)雜度高、系統(tǒng)效率及數(shù)據(jù)質(zhì)量要求高等特點(diǎn)。這些都對數(shù)據(jù)倉庫的開發(fā)設(shè)計提出了很高的要求，亟需探索建立更加合理高效的新型數(shù)據(jù)倉庫體系架構(gòu)。（二）大數(shù)據(jù)定義及新技術(shù)引入意義“大數(shù)據(jù)”作為時下最火熱的IT行業(yè)的詞匯，研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在企業(yè)級數(shù)據(jù)中心構(gòu)建中，可供選擇的除了傳統(tǒng)數(shù)據(jù)倉庫技術(shù)外，還有Hadoop和MPP數(shù)據(jù)庫。Hadoop是一個以一種可靠、高效、可伸縮的方式對大量數(shù)據(jù)進(jìn)行分布式軟件框架。MPP數(shù)據(jù)庫是一個大規(guī)模并行處理數(shù)據(jù)庫，通過每個集群中的每個節(jié)點(diǎn)處理計算通過高速專用網(wǎng)絡(luò)連接共享提供數(shù)據(jù)庫服務(wù)。Hadoop和MPP數(shù)據(jù)庫為海量數(shù)據(jù)處理提供了一個超越傳統(tǒng)存儲和數(shù)據(jù)庫技術(shù)的解決方案，已經(jīng)成為構(gòu)建海量數(shù)據(jù)構(gòu)架的主流選擇。二、借助大數(shù)據(jù)搭建企業(yè)級數(shù)據(jù)中心的架構(gòu)規(guī)劃（一）企業(yè)級數(shù)據(jù)中心架構(gòu)設(shè)計面向多專業(yè)領(lǐng)域海量數(shù)據(jù)的存儲、處理與開放的需求，可以通過引入大數(shù)據(jù)技術(shù)，采用分級存儲混搭據(jù)存儲容量可以通過增加計算節(jié)點(diǎn)數(shù)線性獲得。在相當(dāng)?shù)呐渲们闆r下，在一個地市級電信公司31天詳單中查詢隨機(jī)號碼的話單記錄，考察數(shù)據(jù)加載能力，開源Hadoop能達(dá)到17萬條/秒，而傳統(tǒng)數(shù)據(jù)庫僅為3萬條/秒。Hadoop架構(gòu)比傳統(tǒng)數(shù)據(jù)庫在大數(shù)據(jù)處理上能更好地發(fā)揮硬件能力。四、其他實(shí)施關(guān)注點(diǎn)建設(shè)面向企業(yè)級的數(shù)據(jù)倉庫，需要將原來數(shù)據(jù)倉庫體系中的元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、安全和運(yùn)維管理經(jīng)驗(yàn)運(yùn)用到云平臺上，增強(qiáng)云平臺可運(yùn)營可管理的能力，從而建立相應(yīng)的數(shù)據(jù)管控和應(yīng)用支撐體系，這就需要有專門的團(tuán)隊(duì)運(yùn)營數(shù)據(jù)資源，并統(tǒng)一支撐數(shù)據(jù)分析需求。該團(tuán)隊(duì)需要負(fù)責(zé)工作包括數(shù)據(jù)標(biāo)準(zhǔn)建立、數(shù)據(jù)模型設(shè)計