掘金云計算大數(shù)據(jù)時代

--中國電信大數(shù)據(jù)技術(shù)、平臺及產(chǎn)品介紹中國電信股份有限公司云計算分公司江林（jiangl@qq：6883457）2016年4月每分鐘都有大數(shù)據(jù)產(chǎn)生大數(shù)據(jù)已經(jīng)成為中國國家戰(zhàn)略“制定‘互聯(lián)網(wǎng)+’行動計劃，推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進(jìn)電子商務(wù)、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展，引導(dǎo)互聯(lián)網(wǎng)企業(yè)拓展國際市場?！薄羁藦?qiáng)總理政府工作報告在宏觀管理、稅收征繳、資源利用與環(huán)境保護(hù)、食品藥品安全、安全生產(chǎn)、信用體系建設(shè)、健康醫(yī)療、勞動保障、教育文化、交通旅游、金融服務(wù)、中小企業(yè)服務(wù)、工業(yè)制造、現(xiàn)代農(nóng)業(yè)、商貿(mào)物流、社會綜合治理、收入分配調(diào)節(jié)等領(lǐng)域?qū)嵤┐髷?shù)據(jù)示范應(yīng)用工程。2015年11月，十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國家戰(zhàn)略；9月5日,《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要的通知》。開展大數(shù)據(jù)運(yùn)營需要進(jìn)行頂層設(shè)計4企業(yè)和單位在生產(chǎn)、運(yùn)營中產(chǎn)生并記錄了大量的數(shù)據(jù)、信息。數(shù)據(jù)具有價值、又因數(shù)據(jù)會涉及企業(yè)經(jīng)營數(shù)據(jù)、用戶的隱私，所以需要安全管理、慎重開發(fā)、高效利用。圍繞數(shù)據(jù)這一核心生產(chǎn)要素進(jìn)行頂層設(shè)計、開展運(yùn)營體系建設(shè)及管理：

安全、獲取、運(yùn)營、開放。數(shù)據(jù)獲取運(yùn)營開放安全eCloud第一部分大數(shù)據(jù)技術(shù)概念及發(fā)展壹大數(shù)據(jù)的概念6麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。Hadoop核心設(shè)計7Hadoop分布式文件系統(tǒng)8HDFS架構(gòu)主從結(jié)構(gòu)主節(jié)點（1個）：namenode從節(jié)點（多個）：datanodenamenode負(fù)責(zé)：接收用戶操作請求維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu)管理文件與block之間關(guān)系，block與datanode關(guān)系Datanode負(fù)責(zé)：存儲文件文件被分成block存儲為保證數(shù)據(jù)安全，文件存多個副本MR計算框架9MR架構(gòu)主從結(jié)構(gòu)主節(jié)點（1個）：JobTracker從節(jié)點（多個）TaskTrackerJobTracker負(fù)責(zé)：接收客戶提交的計算任務(wù)把任務(wù)分給TaskTrackers執(zhí)行管理監(jiān)控TaskTracker執(zhí)行情況TaskTracker負(fù)責(zé)：執(zhí)行JobTracker分配的任務(wù)HBase介紹10HBase簡介

HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。HBase利用HadoopHDFS作為其文件存儲系統(tǒng)，利用HadoopMapReduce來處理HBase中的海量數(shù)據(jù)，利用Zookeeper作為協(xié)調(diào)工具。

分布式開源數(shù)據(jù)庫，基于hadoop分布式文件系統(tǒng)（HDFS） 模仿提供了Google文件系統(tǒng)的BigTable數(shù)據(jù)庫所有功能 處理非常龐大的表 普通計算機(jī)處理10億條數(shù)據(jù)

利用mapreduce計算數(shù)據(jù)，利用zookeeper協(xié)調(diào)資源Spark的興起11Spark是一個基于內(nèi)存計算的開源集群計算系統(tǒng)，目的是更快速的進(jìn)行數(shù)據(jù)分析。已成為大數(shù)據(jù)領(lǐng)域最活躍的開源項目之一，當(dāng)下已活躍在Hortonworks、IBM、Cloudera、MapR和Pivotal等眾多知名大數(shù)據(jù)公司。1.輕量級快速處理：Spark通過減少磁盤IO來達(dá)到性能提升，它們將中間處理數(shù)據(jù)全部放到了內(nèi)存中。Spark使用了RDD（ResilientDistributedDataset）彈性分布數(shù)據(jù)集的理念，只在需要時才持久化到磁盤。2.易于使用，Spark支持多語言。Spark允許Java、Scala及Python。3.支持復(fù)雜查詢。在簡單的“map”及“reduce”操作之外，Spark還支持SQL查詢、流式查詢及復(fù)雜查詢，比如開箱即用的機(jī)器學(xué)習(xí)機(jī)圖算法。4.實時的流處理。Spark依賴SparkStreaming對數(shù)據(jù)進(jìn)行實時的處理：簡單、容錯、集成。5.可以與Hadoop和已存Hadoop數(shù)據(jù)整合。這個特性讓用戶可以輕易遷移已有Hadoop應(yīng)用。6.活躍和無限壯大的社區(qū)。采用適用業(yè)務(wù)的計算框架12eCloud第二部分大數(shù)據(jù)平臺介紹貳現(xiàn)在的中國電信大數(shù)據(jù)平臺總體架構(gòu)文件接入ftp-over-hdfs/local流式接入/消息接入結(jié)構(gòu)化數(shù)據(jù)接入SQOOP合作伙伴多租戶資源管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資產(chǎn)運(yùn)營程序管理基礎(chǔ)接口服務(wù)接口網(wǎng)絡(luò)爬蟲NutchETL服務(wù)KafkaFlume可視化開發(fā)環(huán)境業(yè)務(wù)監(jiān)控采集交換開發(fā)者社區(qū)服務(wù)MySQLMariaDBProconaOracle關(guān)系數(shù)據(jù)庫政府服務(wù)者交通人口風(fēng)險防控精準(zhǔn)營銷政府開放合作創(chuàng)新大眾創(chuàng)新數(shù)據(jù)存儲與計算環(huán)境大數(shù)據(jù)能力產(chǎn)品與應(yīng)用總體支撐架構(gòu)分布式計算MapReduce/Spark分布式資源管理：YarnHBaseHive數(shù)據(jù)倉庫MongoDBNoSQL數(shù)據(jù)庫Storm/Streaming實時流計算Hadoop分布式存儲與計算接口服務(wù)數(shù)據(jù)開放服務(wù)物化數(shù)據(jù)管理日志管理能力組件管理應(yīng)用管理基礎(chǔ)能力監(jiān)控數(shù)據(jù)開發(fā)服務(wù)數(shù)據(jù)管理&市場運(yùn)營者平臺管理&運(yùn)維者平臺能力層運(yùn)營服務(wù)層平臺服務(wù)組件元數(shù)據(jù)服務(wù)數(shù)據(jù)開放服務(wù)圖數(shù)據(jù)庫資源服務(wù)輿情分析區(qū)域洞察O2O出行…社會開發(fā)者任務(wù)調(diào)度接入控制管理流量控制管理應(yīng)用市場管理OpenAPI管理產(chǎn)品管理&運(yùn)營者服務(wù)計量管理產(chǎn)品開放層數(shù)據(jù)處理組件DPI清洗詳單解碼WCDR清洗計算數(shù)據(jù)脫敏標(biāo)簽處理ID識別關(guān)聯(lián)……共享存儲接入系統(tǒng)數(shù)據(jù)內(nèi)傳導(dǎo)系統(tǒng)基礎(chǔ)能力框架數(shù)據(jù)稽核與數(shù)據(jù)作業(yè)系統(tǒng)&框架統(tǒng)一資源&數(shù)據(jù)服務(wù)中間件大數(shù)據(jù)產(chǎn)品運(yùn)營管理系統(tǒng)數(shù)據(jù)資產(chǎn)治理與管控系統(tǒng)大數(shù)據(jù)質(zhì)量網(wǎng)管&平臺管控系統(tǒng)眾創(chuàng)數(shù)據(jù)開放&開發(fā)系統(tǒng)BDCSC接口系統(tǒng)開放創(chuàng)新應(yīng)用數(shù)據(jù)采集、匯聚階段的管理工具介紹數(shù)據(jù)作為資產(chǎn)文件接入監(jiān)控動態(tài)概覽數(shù)據(jù)數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量評分周期質(zhì)量報告數(shù)據(jù)字典管理15中國電信大數(shù)據(jù)資產(chǎn)運(yùn)營管理系統(tǒng)集群元數(shù)據(jù)的管理工具介紹16中國電信大數(shù)據(jù)治理系統(tǒng)元數(shù)據(jù)管理基本信息字段結(jié)構(gòu)數(shù)據(jù)質(zhì)量檢查血緣分析影響分析集群任務(wù)統(tǒng)一調(diào)度及響應(yīng)管理17消息總線：可以將分部在大數(shù)據(jù)平臺、經(jīng)分、集市、VGOP應(yīng)用整合起來。使接口平臺、數(shù)據(jù)分發(fā)等應(yīng)用可以跨系統(tǒng)部署，從而實現(xiàn)協(xié)同生產(chǎn)?？刂浦行模赫{(diào)度平臺的業(yè)務(wù)邏輯控制器，負(fù)責(zé)將各個子系統(tǒng)協(xié)同，狀態(tài)接受，資源管理，任務(wù)管理，并提供系統(tǒng)運(yùn)行報告。Agent:接受控中心命令并執(zhí)行，支持跨平臺的統(tǒng)一任務(wù)作業(yè)執(zhí)行、支持JAVA、shell、tcl、python等程序。運(yùn)行監(jiān)控:能夠監(jiān)控多種作業(yè)的執(zhí)行情況，并分析作業(yè)執(zhí)行效率，發(fā)現(xiàn)作業(yè)執(zhí)行的關(guān)鍵環(huán)節(jié)。集中的作業(yè)告警與錯誤反饋。統(tǒng)一的作業(yè)告警，支持多種告警方式，并集中作業(yè)運(yùn)行錯誤反饋，將問題日志抓取在平臺統(tǒng)一查看。大數(shù)據(jù)集群平臺開放支持多租戶產(chǎn)品運(yùn)營、服務(wù)接口測試及開通18開始服務(wù)測試申請正式開通配置聯(lián)動客戶反饋客戶響應(yīng)業(yè)務(wù)統(tǒng)計變更服務(wù)服務(wù)結(jié)束eCloud第三部分屬地支撐關(guān)注叁大數(shù)據(jù)運(yùn)營的安全考慮合法、合規(guī)20分類數(shù)據(jù)結(jié)合運(yùn)營對應(yīng)處理數(shù)據(jù)信息需分類、分級敏感數(shù)據(jù)需脫敏或加密不直接對內(nèi)外提供原始數(shù)據(jù)訪問和服務(wù)應(yīng)用不侵害相關(guān)權(quán)益遵守國家信息安全管理規(guī)定刑法第九修正案全國人民代表大會常務(wù)委員會關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定信息安全技術(shù)公共及商用服務(wù)信息系統(tǒng)個人信息保護(hù)指南工信部24號令《電信和互聯(lián)網(wǎng)用戶個人信息保護(hù)規(guī)定》……建立數(shù)據(jù)管理委員會決策護(hù)航大數(shù)據(jù)是集團(tuán)新型的戰(zhàn)略業(yè)務(wù)，是企業(yè)核心資產(chǎn)，是實現(xiàn)企業(yè)轉(zhuǎn)型發(fā)展的強(qiáng)勁推動力把握全集團(tuán)大數(shù)據(jù)發(fā)展方向、決策重大事項為更好地經(jīng)營大數(shù)據(jù)建立政策和環(huán)境保障21電信數(shù)據(jù)安全規(guī)定遵循國家法律及中國電信集團(tuán)相關(guān)規(guī)定，所有輸出項以不能還原至個人信息或樣本較少的特定群體為標(biāo)準(zhǔn)。原始數(shù)據(jù)不能輸出，所有數(shù)據(jù)服務(wù)均以接口形式對外提供服務(wù)。（具體形式參見本材料P6)：涉及用戶隱私相關(guān)的（包括但不限于姓名、身份證、手機(jī)號、實時位置等）數(shù)據(jù)，不能對外輸出，最終確認(rèn)字段需以法務(wù)確認(rèn)文件為準(zhǔn)，并且使用方需具有用戶授權(quán)。雙方合作模型應(yīng)以互相公開為原則，針對模型及輸出項等信息，需要云公司安全部門審核。1234平臺數(shù)據(jù)安全應(yīng)用管理示意說明原始數(shù)據(jù)敏感數(shù)據(jù)脫敏數(shù)據(jù)清洗數(shù)據(jù)脫敏提取轉(zhuǎn)換加載數(shù)據(jù)接入敏感數(shù)據(jù)區(qū)數(shù)據(jù)封裝接口封裝對外服務(wù)算法加載授權(quán)認(rèn)證審計服務(wù)加載實施大數(shù)據(jù)獲取規(guī)范、高效嚴(yán)格控制敏感數(shù)據(jù)，擁有者知情通報與實時授權(quán)，全程監(jiān)控與審計留痕數(shù)據(jù)獲取、處理主要環(huán)節(jié)采集匯聚處理存儲計算數(shù)據(jù)獲取、處理面臨挑戰(zhàn)統(tǒng)一規(guī)范數(shù)據(jù)門類眾多來源設(shè)備型號各一各廠商采集輸出自成體系要求高效采集頻次傳輸時效處理時效應(yīng)用、業(yè)務(wù)特殊要求建立數(shù)據(jù)采集、匯聚質(zhì)量保障體系制定、下發(fā)各類數(shù)據(jù)規(guī)范明確數(shù)據(jù)的采集、清洗和上傳要求，提出需求口徑、維護(hù)規(guī)程、運(yùn)營保障等規(guī)范，奠定了全網(wǎng)數(shù)據(jù)匯聚的基礎(chǔ)通過建設(shè)大數(shù)據(jù)質(zhì)量網(wǎng)管強(qiáng)化管理建設(shè)集團(tuán)大數(shù)據(jù)質(zhì)量網(wǎng)管，打通集團(tuán)-省兩級保障體系，實現(xiàn)數(shù)據(jù)全流程可視化管理明確考核、問責(zé)機(jī)制參照國際和行業(yè)標(biāo)準(zhǔn)，建立數(shù)據(jù)質(zhì)量評估指標(biāo)責(zé)任落實到部門、系統(tǒng)和人，7*24小時保障響應(yīng)，引入考評、量化和通報ODS詳單VSOPIT數(shù)據(jù)專業(yè)線集團(tuán)企信部數(shù)據(jù)管理委員會OIDDDPI網(wǎng)絡(luò)數(shù)據(jù)專業(yè)線綜合平臺專業(yè)數(shù)據(jù)專業(yè)線用戶消費數(shù)據(jù)線用戶行為數(shù)據(jù)線專業(yè)公司數(shù)據(jù)線數(shù)據(jù)匯聚路徑省省條線數(shù)據(jù)責(zé)任部門數(shù)據(jù)規(guī)范協(xié)調(diào)監(jiān)督規(guī)范執(zhí)行大數(shù)據(jù)運(yùn)營單位（對內(nèi)應(yīng)用/對外產(chǎn)品）數(shù)據(jù)需求集團(tuán)網(wǎng)運(yùn)部集團(tuán)創(chuàng)新部…數(shù)據(jù)質(zhì)量保障路徑數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)15評估項評估因子評估因子描述數(shù)據(jù)完整性數(shù)據(jù)覆蓋因子描述一定時間內(nèi)某地用戶數(shù)與全國總用戶數(shù)之比數(shù)據(jù)集完整因子描述一定時間內(nèi)某地采集上傳的數(shù)據(jù)集是否有遺漏或多余數(shù)據(jù)一致性數(shù)據(jù)傳遞因子數(shù)據(jù)上下游平臺間對接的數(shù)據(jù)結(jié)構(gòu)，內(nèi)容保持一致即接收的數(shù)據(jù)與原始平臺產(chǎn)生的數(shù)據(jù)相同。

所有場景：傳輸文件大小與傳輸文件個數(shù)一致數(shù)據(jù)重復(fù)因子是否有相同的數(shù)據(jù)重復(fù)傳輸，評估數(shù)據(jù)重復(fù)傳輸對一致性的影響情況數(shù)據(jù)準(zhǔn)確性封裝因子描述：檢測文件命名是否正確，是否收到結(jié)束上報文件校驗因子校驗數(shù)據(jù)字段個數(shù)，字段格式是否符合規(guī)范要求關(guān)鍵字段選取因子檢測對關(guān)鍵字段是否包含關(guān)聯(lián)因子檢測關(guān)聯(lián)成功率數(shù)據(jù)時效性采集因子傳輸帶寬是否滿足要求傳輸頻率因子一定時間內(nèi)某地傳輸文件的頻率以中國電信大數(shù)據(jù)能力平臺數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)為例eCloud第四部分開放體系肆

打造開放的大數(shù)據(jù)開發(fā)環(huán)境

開放、共贏27馬云曾經(jīng)在一次演講中說道：“人類正從IT（信息技術(shù)）時代走向DT（數(shù)據(jù)技術(shù)）時代。”“IT以我為中心，DT則以別人為中心，DT讓客戶和員工越來越強(qiáng)大，DT越來越開放、透明”。馬云如此描述：“我們需要懂得分享和學(xué)會如何分享資源，構(gòu)建更加低成本、高效率的商業(yè)社會，更多人參與和建設(shè)基于大數(shù)據(jù)的新商業(yè)文明?！遍_放的大數(shù)據(jù)平臺技術(shù)架構(gòu)IAAS虛擬資源主機(jī)資源池存儲資源池網(wǎng)絡(luò)資源池管理平臺虛擬資源管理物理資源管理業(yè)務(wù)性能監(jiān)控應(yīng)用部署數(shù)據(jù)服務(wù)平臺(對內(nèi))數(shù)據(jù)計算二次匯總計算實時流式匯總、分析計算統(tǒng)一管控服務(wù)監(jiān)控數(shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)入統(tǒng)一接口任務(wù)調(diào)度權(quán)限結(jié)構(gòu)化數(shù)據(jù)存儲（資源池）非結(jié)構(gòu)化/大數(shù)據(jù)存儲（資源池）數(shù)據(jù)服務(wù)平臺(對外)計量任務(wù)調(diào)度數(shù)據(jù)加密認(rèn)證服務(wù)監(jiān)控數(shù)據(jù)推送自助型工具應(yīng)用政府決策應(yīng)用MPP分布式關(guān)系數(shù)據(jù)庫HADOOP系統(tǒng)管理數(shù)據(jù)管理運(yùn)維管理實時流數(shù)據(jù)處理實時采集、事件處理大數(shù)據(jù)匯總、挖掘計算ETL（數(shù)據(jù)采集、清洗、匯總、標(biāo)簽挖掘）市場監(jiān)管應(yīng)用公共服務(wù)應(yīng)用社會管理應(yīng)用SAAS統(tǒng)一數(shù)據(jù)服務(wù)平臺數(shù)據(jù)平臺……應(yīng)用管理PAAS自然與環(huán)境保護(hù)應(yīng)用…28數(shù)據(jù)授權(quán)與驗證數(shù)據(jù)交換與交易交易管理可信授權(quán)授權(quán)驗證數(shù)據(jù)開放應(yīng)用管理功能架構(gòu)圖對外數(shù)據(jù)服務(wù)門戶我的應(yīng)用查看應(yīng)用信息應(yīng)用申請應(yīng)用使用應(yīng)用評論應(yīng)用推薦應(yīng)用使用者運(yùn)維管理人員應(yīng)用管理數(shù)據(jù)服務(wù)管理計量應(yīng)用評估平臺監(jiān)控賬號管理應(yīng)用退訂查看使用日志安全管理開發(fā)者平臺介紹查看產(chǎn)品介紹查看平臺服務(wù)注冊應(yīng)用注冊查看服務(wù)應(yīng)用基礎(chǔ)環(huán)境日志緩存權(quán)限數(shù)據(jù)服務(wù)文件服務(wù)推送消息服務(wù)高可用性游客對外數(shù)據(jù)服務(wù)門戶是對外提供一個宣傳數(shù)據(jù)服務(wù)，在線使用數(shù)據(jù)產(chǎn)品的門戶。關(guān)鍵特性：角色的適配分為游客，應(yīng)用使用者，開發(fā)者，運(yùn)維管理人員。每類角色采用不同的模板內(nèi)容。應(yīng)用基礎(chǔ)運(yùn)行環(huán)境提供企業(yè)發(fā)布應(yīng)用和數(shù)據(jù)服務(wù)的基礎(chǔ)運(yùn)行環(huán)境，為應(yīng)用建立標(biāo)準(zhǔn)化的管理手段。中國電信云公司的“123456”301我們正運(yùn)營著一K臺機(jī)器的大數(shù)據(jù)集群2我們有內(nèi)蒙古和貴州兩大云資源基地3我們有三項基礎(chǔ)能力、31省中國電信省級公司駐地支撐4我們具有4項運(yùn)營級系統(tǒng)能力、實時處理著4門8類8128個字段類型數(shù)據(jù)5我們現(xiàn)在每天日均處理50T原始壓縮數(shù)據(jù)、平均端到端5分鐘處理時延6我們已經(jīng)在六大行業(yè)開展深入拓展和合作，取得卓有成效的進(jìn)展7待您的信賴，共同開創(chuàng)大數(shù)據(jù)運(yùn)營

技術(shù)咨詢設(shè)計實施運(yùn)營支撐中國電信大數(shù)據(jù)產(chǎn)品介紹大數(shù)據(jù)產(chǎn)品體系（對外）敏感信息核驗風(fēng)險分值評估風(fēng)險變化探針風(fēng)險個體追蹤用戶興趣分析用戶行為追蹤電商競品分析星圖--風(fēng)險防控星圖--精準(zhǔn)營銷終端魔方輿情控制精細(xì)運(yùn)營鯤鵬--咨詢報告數(shù)據(jù)產(chǎn)品人流熱圖實時交通商業(yè)選址鯤鵬--區(qū)域洞察飛龍--大數(shù)據(jù)云PaaS數(shù)據(jù)托管服務(wù)處理分析服務(wù)產(chǎn)品孵化服務(wù)平臺產(chǎn)品大數(shù)據(jù)產(chǎn)品一微觀產(chǎn)品介紹二三宏觀產(chǎn)品介紹大數(shù)據(jù)云-PaaS服務(wù)電信大數(shù)據(jù)微觀產(chǎn)品敏感信息核驗風(fēng)險分值評估風(fēng)險變化探針風(fēng)險個體追蹤用戶興趣分析用戶行為追蹤電商競品分析星圖--風(fēng)險防控星圖--精準(zhǔn)營銷終端魔方輿情控制精細(xì)運(yùn)營鯤鵬--咨詢報告數(shù)據(jù)產(chǎn)品概述風(fēng)險分值評估敏感信息核驗風(fēng)險個體追蹤風(fēng)險變化探針信用風(fēng)險進(jìn)行排查和評估發(fā)現(xiàn)問題、預(yù)防詐騙對申請人的消費能力、還款能力等及時跟進(jìn)分析提前進(jìn)行風(fēng)險預(yù)警核實客戶信息的真實性對風(fēng)險進(jìn)行初步的判斷風(fēng)險個體信息、位置等進(jìn)行追查全流程服務(wù)3124貸前貸后一、風(fēng)險防控——全流程服務(wù)基于問答模式，進(jìn)行真實性驗證。多組合策略、多角度核驗用戶信息的真實性和風(fēng)險情況一、風(fēng)險防控——敏感信息核驗交往圈驗證工作圈驗證上網(wǎng)時段驗證家庭地址驗證公司地址驗證公司名稱驗證個人收入評估通信消費檔次親友、公司同事驗證擔(dān)保人驗證通話交叉驗證身份驗證電話所屬人驗證開機(jī)停機(jī)欠費驗證借款用途驗證YesORNo?上網(wǎng)時間段查詢用戶實名制驗證用戶證件驗證家庭地址驗證第一、第二聯(lián)系人驗證生活圈驗證工作圈驗證個人收入評估通話交叉驗證交叉檢驗真實的信息虛假的信息用戶敏感信息一、風(fēng)險防控——風(fēng)險分值評估基于各行業(yè)各場景采取打分形式的風(fēng)險分值總分，和劃分等級方式的五個子模型。對個人的合規(guī)性、還款能力、還款意愿、風(fēng)險行為等相關(guān)指標(biāo)進(jìn)行分析，形成個人信用模型，為金融機(jī)構(gòu)提供信用評估分析行為偏好消費能力履約意愿高危行為身份特征人脈關(guān)系“五維一高”體系高危行為模型的最大價值在于，當(dāng)用戶出現(xiàn)高風(fēng)險行為時，模型可以及時感知并進(jìn)行相應(yīng)的操作。根據(jù)不同應(yīng)用場景確定各場景風(fēng)險控制要求，授信額度及直接盈利要求。輸出適用于各場景的風(fēng)險分值評估模型。一、風(fēng)險防控——風(fēng)險變化探針

位置信息通話次數(shù)搜索信息欠費信息關(guān)機(jī)信息短信行為上網(wǎng)行為通話時長更換終端呼轉(zhuǎn)行為······正常異常異常正常貸后關(guān)鍵指標(biāo)追蹤判斷指標(biāo)是否達(dá)到門限值不預(yù)警預(yù)警否是推送預(yù)警信息至銀行負(fù)責(zé)人主動預(yù)警提供信用情況動態(tài)監(jiān)控，行為指標(biāo)數(shù)值出現(xiàn)較大偏差時，提供風(fēng)險預(yù)警。主動推送風(fēng)險信息異常異常異常異常正常正常出現(xiàn)異常一、風(fēng)險防控——風(fēng)險個體追蹤電話號碼追蹤位置追蹤公司、家庭追蹤親朋追蹤及輿論壓力新號碼預(yù)測、追蹤到風(fēng)險個體公司或家里追討不良貸款?；顒游恢米粉櫋⒆罱恢米粉櫬?lián)系風(fēng)險個體的親朋，不得已借助輿論壓力追蹤方式詳細(xì)措施二、精準(zhǔn)營銷——用戶興趣分析搖光星用戶興趣分析人查標(biāo)簽標(biāo)簽查人功能：

用戶唯一標(biāo)識ID、自然人識別、大數(shù)據(jù)標(biāo)簽體系、URL標(biāo)簽庫、 APP標(biāo)簽庫、關(guān)鍵字標(biāo)簽庫、用戶標(biāo)簽查詢、興趣人群查找二、精準(zhǔn)營銷——人查標(biāo)簽IMSIMEIDMDN移動DPI數(shù)據(jù)年齡性別流量消費終端習(xí)慣語音套餐個人屬性標(biāo)簽——接口調(diào)用提供服務(wù)ODMS話單數(shù)據(jù)CRM終端數(shù)據(jù)二、精準(zhǔn)營銷——人查標(biāo)簽AD+UA+IPIMSIMEIDMDN固網(wǎng)DPI數(shù)據(jù)移動DPI數(shù)據(jù)DPI行為興趣行為標(biāo)簽——KV調(diào)用提供服務(wù)二、精準(zhǔn)營銷——標(biāo)簽分類標(biāo)簽體系標(biāo)簽示例標(biāo)簽分類標(biāo)簽數(shù)量一級標(biāo)簽19個,二級標(biāo)簽117個,三級489個，持續(xù)增加中。標(biāo)簽舉例娛樂、電商購物、工具軟件、社交、體育、出行、房產(chǎn)、教育、時尚、汽車、財經(jīng)等。標(biāo)簽范圍二、精準(zhǔn)營銷——標(biāo)簽查人標(biāo)簽查人——KV調(diào)用提供服務(wù)AD+UA+IPIMSIMEIDMDN固網(wǎng)DPI數(shù)據(jù)移動DPI數(shù)據(jù)DPI行為旅游CookieidMEID(MD5)MDN觸點平臺三、咨詢報告——輿情產(chǎn)品：主動發(fā)現(xiàn)DPI數(shù)據(jù)解析：找到發(fā)布謠言、傳播恐怖言論的互聯(lián)網(wǎng)個體（上網(wǎng)賬號、手機(jī)號碼）CRM數(shù)據(jù)關(guān)聯(lián)：映射出實際個體詳單數(shù)據(jù)、終端自注冊數(shù)據(jù)關(guān)聯(lián)：危險個體畫像通話/短信/上網(wǎng)時間通話/短信/上網(wǎng)對象通話/短信/上網(wǎng)地點漫游城市終端型號、OS終端啟用時間、流轉(zhuǎn)節(jié)點終端插拔卡記錄姓名年齡民族歸屬地入網(wǎng)時間電商關(guān)鍵詞搜索VPN/代理服務(wù)器經(jīng)常出沒的地點出現(xiàn)的時間位移軌跡出入云南/某地市的頻次誰做的他是誰他的畫像他在哪兒爬蟲系統(tǒng)：找到包含危險關(guān)鍵詞的文章、回帖、評論三、咨詢報告——輿情產(chǎn)品：交際圈關(guān)聯(lián)互聯(lián)網(wǎng)社交圈通信圈位置交集圈位置交集經(jīng)常在同一時間出現(xiàn)在同一地點有通話、固定時段來自同一個地區(qū)、同一民族跟帖、互聯(lián)網(wǎng)社交互動在犯罪嫌疑人名單中ABC位置交集經(jīng)常在同一時間出現(xiàn)在同一地點有通話、固定時段來自同一個地區(qū)、同一民族D跟帖、互聯(lián)網(wǎng)社交互動在犯罪嫌疑人名單中有通話、固定時段來自同一個地區(qū)、同一民族三、咨詢報告——輿情產(chǎn)品：情報監(jiān)測多次在電商網(wǎng)站搜索、查看危險品：硝酸銨、亞硝酸鈉、管制刀具多次搜索危險品制作方法、危險區(qū)域到達(dá)方法、搜索暴力恐怖視頻等新聞評論當(dāng)中的危險評論及極端言論使用翻墻工具、使用代理服務(wù)器經(jīng)常插拔卡、非正常時段上網(wǎng)、通話、短信；通話詳單中有警方監(jiān)控對象經(jīng)常出現(xiàn)在宗教場所、交通樞紐、會展中心等重點區(qū)域論壇、貼吧發(fā)表恐怖言論、極端言論或進(jìn)行相關(guān)評論小時級互聯(lián)網(wǎng)爬取9大類情報監(jiān)控縮小監(jiān)控范圍，主動追蹤助排查危險自定義危險線索危險分子的位置軌跡追蹤三、咨詢報告——輿情產(chǎn)品線索線索指標(biāo)自媒體文章數(shù)瀏覽數(shù)轉(zhuǎn)發(fā)數(shù)核心訂閱自然人數(shù)新聞文章瀏覽數(shù)轉(zhuǎn)載量評論數(shù)情緒指數(shù)關(guān)鍵詞搜索量自然人數(shù)商品瀏覽數(shù)自然人數(shù)代理瀏覽數(shù)自然人數(shù)位置國/省/市/縣切換次數(shù)特定區(qū)域停留次數(shù)特定區(qū)域停留時長通信TOP20聯(lián)系人通話時長、頻次危險號碼通話時長、頻次非實名制號碼通話時長、頻次海外/長途/本地通話時長、頻次主動/被動占比插拔卡次數(shù)通信時段特征區(qū)域高危人口數(shù)人口數(shù)通話次數(shù)特定號碼撥打次數(shù)交際圈同類危險行為次數(shù)相同特定區(qū)域停留時長/次數(shù)相同時間同一地點停留時長/次數(shù)危險交集圈并集相同區(qū)域切換特征危險事件總量變化率閾值

總量閾值

特定時段變化率閾值

特定時段總量閾值

特定區(qū)域變化率閾值

特定區(qū)域總量閾值

情報事件演變熱度分析受眾分析線索聚類情報，閾值定義危險事件，提前預(yù)警三、咨詢報告——終端魔方產(chǎn)品終端大數(shù)據(jù)魔方產(chǎn)品，通過講述“終端一生”的故事，回答終端從哪里來，到哪里去以及終端經(jīng)歷了怎樣的一生，來進(jìn)行終端市場洞察、品牌洞察、流向洞察以及終端發(fā)展預(yù)測。數(shù)據(jù)算法模型分析終端多棱鏡終端這一生終端性格圖譜終端大數(shù)據(jù)魔方輸入輸出終端自注冊數(shù)據(jù)數(shù)據(jù)源客戶消費數(shù)據(jù)客戶行為數(shù)據(jù)……三、咨詢報告——終端魔方產(chǎn)品終端大數(shù)據(jù)魔方終端多棱鏡終端這一生終端性格圖譜市場份額品牌洞察流向洞察市場預(yù)測終端這一生終端年齡終端使用時間終端使用行為應(yīng)用概括應(yīng)用對標(biāo)應(yīng)用粘性用戶行為三、咨詢報告——終端魔方產(chǎn)品市場份額終端結(jié)構(gòu)……熱門機(jī)型終端流轉(zhuǎn)終端網(wǎng)齡終端流轉(zhuǎn)……終端周期終端換機(jī)大數(shù)據(jù)產(chǎn)品一微觀產(chǎn)品介紹二三宏觀產(chǎn)品介紹大數(shù)據(jù)云-PaaS服務(wù)eCloud第一部分

區(qū)域洞察產(chǎn)品概述壹基于對劃定區(qū)域的特征及區(qū)域內(nèi)人員及商業(yè)的分析，針對不同客戶的市場需求，提供不同維度、不同特征的數(shù)據(jù)指標(biāo)，滿足客戶提高其生產(chǎn)效率，提高其服務(wù)質(zhì)量的訴求，有效的促進(jìn)以大數(shù)據(jù)分析為基礎(chǔ)的產(chǎn)品及服務(wù)提升。區(qū)域洞察產(chǎn)品概覽區(qū)域洞察：城市規(guī)劃管理-城市綜合交通實時信息-道路人流分析-指定區(qū)域商業(yè)選址-特征區(qū)域區(qū)域廣告-特征區(qū)域區(qū)域安全-特征區(qū)域區(qū)域洞察的核心要素指定區(qū)域人群統(tǒng)計指定區(qū)域環(huán)境統(tǒng)計區(qū)域人群數(shù)量及變化區(qū)域人群年齡，性別分布區(qū)域人群常駐/流動狀態(tài)區(qū)域人群上網(wǎng)熱點統(tǒng)計行業(yè)地理分布銀行分布商戶分布學(xué)校分布醫(yī)院分布數(shù)據(jù)關(guān)聯(lián)分析人流OD分析商戶選址分析交通實時狀況信息區(qū)域廣告行業(yè)特征分析安全醫(yī)院銀行其他企業(yè)績效管理區(qū)域地理畫像數(shù)據(jù)：商業(yè)POI周邊小區(qū)人流變化消費寫字樓上網(wǎng)分析通話量長漫話音分析戶外，戶內(nèi)廣告牌其他區(qū)域指數(shù)：互聯(lián)網(wǎng)活躍度區(qū)域消費潛力指數(shù)區(qū)域流動指數(shù)區(qū)域交通指數(shù)區(qū)域經(jīng)濟(jì)指數(shù)其他eCloud第二部分

交通實時信息平臺貳節(jié)能及改善空氣污染需要交通信息服務(wù)節(jié)能減排已成為全球共識，我國也已經(jīng)把節(jié)能減排定為基本國策。汽車作為能源消耗和廢氣排放的大戶，如何節(jié)能減排已成為令人關(guān)注的問題，而汽車導(dǎo)航和動態(tài)交通信息服務(wù)有利于此問題的解決。通過使用導(dǎo)航和交通信息服務(wù)，汽車燃油效率提高12%。以2010年我國燃油消耗1.4億噸計算，每年可減少約1680萬噸燃油消耗我國汽車排出的廢氣約占城市空氣中氣態(tài)污染物的50%，通過使用導(dǎo)航和動態(tài)交通信息服務(wù)，廢氣排放量可減少20%，意味著城市空氣中氣態(tài)污染物可減少10%汽車燃油效率提高12%廢氣排放量減少20%使用導(dǎo)航和動態(tài)交通信息服務(wù)交通信息服務(wù)的主要市場車廠：前裝電子設(shè)備后裝電子設(shè)備政府相關(guān)部門：交通出行信息服務(wù)區(qū)域數(shù)據(jù)交通信息產(chǎn)品處理流程線路洞察對需要交通數(shù)據(jù)的線路進(jìn)行分析建模進(jìn)行區(qū)域用戶速度標(biāo)簽根據(jù)用戶的位置進(jìn)行數(shù)據(jù)計算交通數(shù)據(jù)優(yōu)化根據(jù)多用戶計算結(jié)果及其他數(shù)據(jù)進(jìn)行算法優(yōu)化（Kalman濾波，神經(jīng)網(wǎng)絡(luò)、D-S證據(jù)理論）數(shù)據(jù)交通數(shù)據(jù)分析展現(xiàn)Hive網(wǎng)格劃分根據(jù)基站數(shù)據(jù)建立蜂窩網(wǎng)絡(luò)地理信息數(shù)據(jù)3.23.4中國電信大數(shù)據(jù)交通實時信息產(chǎn)品多種指數(shù)產(chǎn)品：多種標(biāo)識方式7項指數(shù)發(fā)布更多功能擴(kuò)展eCloud第三部分大數(shù)據(jù)人流分析叁政府需要有效的技術(shù)手段實現(xiàn)對人流變化的監(jiān)控2014穆斯林開齋節(jié)盛況人流聚集呈常態(tài)節(jié)假日出行人員聚集各地自主舉行的活動多，人員集中爆發(fā)的情況經(jīng)常出現(xiàn)每年全國節(jié)假日體育賽事少數(shù)民族節(jié)假日各地活動經(jīng)濟(jì)活動……多樣化的分析展現(xiàn)方式Page64功能描述——區(qū)域人流熱圖靈活配置監(jiān)控區(qū)域?qū)崟r展現(xiàn)人流變化直觀的熱圖展現(xiàn)方式可配置多種熱圖效果人群構(gòu)成展現(xiàn)可配置多個監(jiān)控區(qū)域功能描述——區(qū)域人流特征分析性別分布民族分布籍貫分布年齡分布?xì)w屬地分布消費能力分布其他平臺可根據(jù)分析要求對區(qū)域人流特征進(jìn)行分析，包括且不限于：功能描述——常駐/外來人員分析通過對常住/外來人群分析，提前發(fā)現(xiàn)外來人群聚集構(gòu)成，并進(jìn)行環(huán)比，同比變化建立分析及預(yù)警模型。常駐/外來人群變化常駐/外來人群構(gòu)成變化配置預(yù)警模型及門限功能描述——區(qū)域人流OD分析通過對區(qū)域人流的來源地分析，給出區(qū)域內(nèi)人群遷入、遷出流向，并進(jìn)行環(huán)比，同比變化建立分析及預(yù)警模型。分析指定時間段人員OD情況可配合指定人群進(jìn)行分析配置預(yù)警模型及門限實時人群監(jiān)控案例實時人流熱圖人群特征統(tǒng)計人群來源可視化展館內(nèi)實時人流熱圖實時人群監(jiān)控案例eCloud第四部分區(qū)域選址和經(jīng)營分析平臺肆電信大數(shù)據(jù)選址的優(yōu)勢傳統(tǒng)選址方法：主要依賴公開數(shù)據(jù)+掃街，公開的人口和經(jīng)濟(jì)環(huán)境等數(shù)據(jù)適合大范圍待選區(qū)域分析，待選區(qū)域內(nèi)人流及人口精準(zhǔn)分析則主要以掃街的方式，*劣勢：樣本數(shù)少；人力成本高；人物畫像不精準(zhǔn)；時效性差。電信大數(shù)據(jù)選址優(yōu)勢：全景大數(shù)據(jù)：全面，精準(zhǔn)，多樣；其他互聯(lián)網(wǎng)公司數(shù)據(jù)源單一。電信數(shù)據(jù)全景（面）覆蓋，包括通話，短信，固網(wǎng)，移動網(wǎng)絡(luò)等，人群網(wǎng)絡(luò)行為可分析所有網(wǎng)站用戶訪問數(shù)據(jù)，分析出的人群標(biāo)簽更全面、精準(zhǔn)。大數(shù)據(jù)選址特點：多數(shù)據(jù)來源分析，精準(zhǔn)人物畫像刻畫，足不出戶精準(zhǔn)選址。中國電信大數(shù)據(jù)分析實現(xiàn)多維度選址服務(wù)商業(yè)選址洞察根據(jù)選址的商業(yè)需求對初選區(qū)域進(jìn)行分析建模進(jìn)行選址輸出根據(jù)選址評分計算因子完成選址并輸出鎖定分析對評分排名靠前地址進(jìn)行多維度分析，供用戶參考多維度多因數(shù)選址分析評估3.4Hive網(wǎng)格劃分GIS商業(yè)地理規(guī)劃分析區(qū)域人口常駐信息區(qū)域人流分析區(qū)域車流分析區(qū)域富裕程度區(qū)域銀行網(wǎng)點分布區(qū)域安全信息區(qū)域競爭信息區(qū)域其他各類商業(yè)信息

結(jié)合線上線下數(shù)據(jù)、從商業(yè)數(shù)據(jù)、用戶行為數(shù)據(jù)、地理數(shù)據(jù)等多維度，采用大數(shù)據(jù)分析手段、自助分析模型，幫助零售、金融等各業(yè)態(tài)客戶解決新店選址、品牌招商、經(jīng)營分析等方面的業(yè)務(wù)需求，降低選址成本、提高品牌競爭力、最大化投資回報。房地產(chǎn)大數(shù)據(jù)分析產(chǎn)品功能定位以運(yùn)營商大數(shù)據(jù)助力房地產(chǎn)企業(yè)置地、售前、售中和售后運(yùn)營商大數(shù)據(jù)位置信息應(yīng)用使用通信行為電商消費終端信息內(nèi)容訪問漫游出訪特定位置應(yīng)用偏好特定位置訪問內(nèi)容搜索內(nèi)容電話/短信通信繳費大數(shù)據(jù)分析-數(shù)據(jù)價值挖掘當(dāng)前終端使用年限購物偏好消費能力售前售中售后潛在購房客戶挖掘線上廣告策略支持小區(qū)配套策略支持服務(wù)合作商評估小區(qū)業(yè)主輿情監(jiān)控物業(yè)廣告合作決策戶外廣告媒體決策置地區(qū)域特征分析區(qū)域客戶特征分析房地產(chǎn)行業(yè)旅游大數(shù)據(jù)分析應(yīng)用主體：政府、景區(qū)、服務(wù)商專題：旅客來源數(shù)據(jù)轉(zhuǎn)化：對排名靠前地區(qū)進(jìn)行宣傳和指導(dǎo)。應(yīng)用主體：政府、景區(qū)、開發(fā)商專題：人流量、趨勢圖、尖峰時刻數(shù)據(jù)轉(zhuǎn)化：人流誘導(dǎo)、人流發(fā)布、安全預(yù)警應(yīng)用主體：服務(wù)商、政府專題：交通到達(dá)方式數(shù)據(jù)轉(zhuǎn)化：接待、安置、疏導(dǎo)力量配置。應(yīng)用主體：景區(qū)、旅游服務(wù)商專題：旅游軌跡、停留時長等數(shù)據(jù)轉(zhuǎn)化：合理配套吃、住、行、游、樂、娛Where人哪來hoW怎么來Which去哪玩What怎么玩大數(shù)據(jù)產(chǎn)品一微觀產(chǎn)品介紹二三宏觀產(chǎn)品介紹大數(shù)據(jù)云-PaaS服務(wù)傳統(tǒng)IT架構(gòu)無法滿足大數(shù)據(jù)分析業(yè)務(wù)要求跨域融合難數(shù)據(jù)分散在煙囪式系統(tǒng)里擴(kuò)容已到極限單CPU主頻高的一臺機(jī)器不能滿足大數(shù)據(jù)多任務(wù)并行處理實時性差隨著數(shù)據(jù)量增加，性能陡降，無法滿足秒級處理的需求軟硬件成本高IBM、EMC、ORACLE提供的軟硬件價格昂貴，服務(wù)費高數(shù)據(jù)格式復(fù)雜傳統(tǒng)數(shù)據(jù)庫無法應(yīng)對多媒體數(shù)據(jù)的爆炸式增長業(yè)務(wù)上線周期長大數(shù)據(jù)需求變化快，不能滿足按天、按周上線的要求自建大數(shù)據(jù)平臺技術(shù)門檻高環(huán)境準(zhǔn)備：安裝硬件：服務(wù)器、存儲和網(wǎng)絡(luò)安裝系統(tǒng)軟件：OS、虛擬化等安裝中間件：DB、MQ等配置硬件、軟件、網(wǎng)絡(luò)等開發(fā)、編譯調(diào)試：安裝Runtime：如JVM等業(yè)務(wù)idea構(gòu)想Coding、編譯調(diào)測部署、上線：硬件、軟件版本申請，發(fā)貨現(xiàn)場安裝配置軟硬件、網(wǎng)絡(luò)等上線APP監(jiān)控日志開發(fā)可視化監(jiān)控、日志系統(tǒng)找到服務(wù)器對監(jiān)控、日志系統(tǒng)進(jìn)行安裝部署配置每個模塊與監(jiān)控、日志對接…規(guī)劃設(shè)計研發(fā)上線監(jiān)控維護(hù)升級擴(kuò)容擴(kuò)容：申請新硬件、軟件版本安裝軟件棧配置新硬件、軟件配置集群，接入新節(jié)點升級：OS/DB等升級、補(bǔ)丁升級APP…新產(chǎn)品上線周期長達(dá)半年、年……新需求上線周期長達(dá)月、季……基礎(chǔ)平臺建設(shè)周期長新的項目總是申請新的設(shè)計、設(shè)備以及構(gòu)建環(huán)境硬件占據(jù)了大部分時間，不是若干月就是若干周，有時候因為復(fù)雜的采購和驗收流程會更長需要必要的設(shè)計和開發(fā)確定系統(tǒng)大小，因而無法提早下訂單新的運(yùn)營的上線環(huán)境專門為新的系統(tǒng)服務(wù)軟件部署和配置復(fù)雜新基礎(chǔ)架構(gòu)或者版本需要配置、打包構(gòu)建以及優(yōu)化工作.專有系統(tǒng)，甚至虛擬化的基礎(chǔ)架構(gòu)發(fā)生變更都需要花費時間，因此可用于測試的資源或者對變更需求的響應(yīng)都是有限的.戰(zhàn)略規(guī)劃業(yè)務(wù)頂層設(shè)計技術(shù)與實施規(guī)劃應(yīng)用系統(tǒng)規(guī)劃數(shù)據(jù)資源規(guī)劃網(wǎng)絡(luò)規(guī)劃計算與存儲規(guī)劃災(zāi)備系統(tǒng)規(guī)劃信息安全規(guī)劃管理與服務(wù)規(guī)劃運(yùn)維管理規(guī)劃運(yùn)營服務(wù)規(guī)劃自建大數(shù)據(jù)平臺運(yùn)維面臨的問題大數(shù)據(jù)業(yè)務(wù)不斷發(fā)展，規(guī)模越來越大，系統(tǒng)越來越復(fù)雜，自建大數(shù)據(jù)平臺需要更多的資源投入資源管理復(fù)雜多種虛擬資源池和物理設(shè)備混合管理，無法全局進(jìn)行容量評估，影響業(yè)務(wù)上線故障發(fā)現(xiàn)、業(yè)務(wù)恢復(fù)慢被動管理，缺乏自動化的統(tǒng)一管控工具，為提供連續(xù)的業(yè)務(wù)服務(wù)費心費力規(guī)模越來越大大大用戶量和業(yè)務(wù)量的快速增長，手工部署應(yīng)用不具有重復(fù)性，無法滿足增長的要求發(fā)展大數(shù)據(jù)業(yè)務(wù)需多種角色的人員儲備大數(shù)據(jù)分析數(shù)據(jù)集成工程師快速加載，數(shù)據(jù)加載速度始終是瓶頸數(shù)據(jù)整理復(fù)雜，工作量占大數(shù)據(jù)項目的70％如何管理數(shù)據(jù)資產(chǎn)和質(zhì)量傳統(tǒng)分析方法面臨大數(shù)據(jù)的挑戰(zhàn)海量數(shù)據(jù)分析的及時性、效率和實時應(yīng)用數(shù)據(jù)分析師開發(fā)工程師快速上手、高效開發(fā)典型場景最好免代碼開發(fā)無縫集成到已有系統(tǒng)和支撐移動互聯(lián)網(wǎng)應(yīng)用環(huán)境快速上線：易安裝部署，升級和配置低維護(hù)成本：可靠、安全、問題快速定位主動運(yùn)維：主動進(jìn)行健康/風(fēng)險/效率監(jiān)控分析運(yùn)維工程師構(gòu)建專業(yè)大數(shù)據(jù)團(tuán)隊選、育、留困難選：人才缺口大育：技術(shù)門檻高，變化快大數(shù)據(jù)有一整套自己的技術(shù)體系，包括統(tǒng)計、編程、JAVA、數(shù)據(jù)庫、Hadoop、Spark、NoSQL、機(jī)器學(xué)習(xí)、自然語言處理、算法、數(shù)據(jù)可視化等等，光是Hadoop需要用到的技術(shù)和編程語言就有很多項，要求非常較高據(jù)中國商業(yè)聯(lián)合會數(shù)據(jù)分析專業(yè)委員會統(tǒng)計，未來中國基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到1400萬，而在BAT企業(yè)招聘的職位里，60%以上都在招大數(shù)據(jù)人才“我們開辦公司之初，主要工作就是挖掘分析數(shù)據(jù)、編制在線文檔。要找到擁有豐富實際經(jīng)驗的人基本上很難。我們只好從雅虎和Facebook這些公司那里招人”BinhTran(KloutCTO)留：人才戰(zhàn)爭，行業(yè)工資高大數(shù)據(jù)人才的平均工資比普通程序員的平均水平高50%以上在大數(shù)據(jù)時代，企業(yè)之間正在為了吸引并留住商業(yè)智能和信息管理的專業(yè)人才而展開戰(zhàn)爭。以深圳工資水平為例，數(shù)據(jù)挖掘工程師月薪平均在1.5W以上，架構(gòu)師更達(dá)到了2W選：人才缺口大，資源少育：技術(shù)門檻高，變化快留：人才戰(zhàn)爭，行業(yè)工資高中國電信對大數(shù)據(jù)的理解數(shù)據(jù)能力和產(chǎn)品提供商業(yè)務(wù)應(yīng)用提供商最終使用者基礎(chǔ)設(shè)施提供商分析技術(shù)提供商構(gòu)建大數(shù)據(jù)生態(tài)圈，引導(dǎo)大數(shù)據(jù)產(chǎn)業(yè)鏈基礎(chǔ)設(shè)施提供商數(shù)據(jù)能力和產(chǎn)品提供商分析技術(shù)提供商業(yè)務(wù)應(yīng)用提供商最終使用者大數(shù)據(jù)綜合平臺提供者大數(shù)據(jù)業(yè)務(wù)與應(yīng)用參與者電信云公司PaaS業(yè)務(wù)定位飛龍-大數(shù)據(jù)云PaaS業(yè)務(wù)以數(shù)據(jù)為中心的先進(jìn)云計算服務(wù)提供商關(guān)注企業(yè)數(shù)據(jù)資產(chǎn)的積累，提供大數(shù)據(jù)基礎(chǔ)資源租賃服務(wù)關(guān)注企業(yè)數(shù)據(jù)創(chuàng)新和發(fā)展，提供大數(shù)據(jù)變現(xiàn)開放化生態(tài)服務(wù)關(guān)注企業(yè)研發(fā)方式的變化，提供大數(shù)據(jù)應(yīng)用快速迭代服務(wù)通過云計算PaaS平臺，提供比基礎(chǔ)設(shè)施層更高、更豐富的平臺服務(wù)，降低用戶使用大數(shù)據(jù)挖掘門檻；通過分布式計算框架，完善的數(shù)據(jù)分析工具組件，能夠為客戶實現(xiàn)更精準(zhǔn)大數(shù)據(jù)營銷；通過PaaS平臺能力開放，提供敏捷可靠的開發(fā)平臺，縮短產(chǎn)品上市周期！致力于打造企業(yè)數(shù)據(jù)分享的第一平臺，打造以數(shù)據(jù)為中心的云計算服務(wù)生態(tài)！大數(shù)據(jù)云PaaS業(yè)務(wù)演進(jìn)路徑數(shù)據(jù)可托管降低成本，節(jié)省資源數(shù)據(jù)可分析經(jīng)營參考，分析決策數(shù)據(jù)可變現(xiàn)數(shù)據(jù)共享，價值增強(qiáng)大數(shù)據(jù)云PaaS集成服務(wù)咨詢集成分析開發(fā)運(yùn)維管理可服務(wù)可管理可創(chuàng)新數(shù)據(jù)基礎(chǔ)資源服務(wù)數(shù)據(jù)挖掘分析服務(wù)數(shù)據(jù)開放服務(wù)網(wǎng)絡(luò)安全管理數(shù)據(jù)安全管理數(shù)據(jù)運(yùn)營管理數(shù)據(jù)挖掘能力創(chuàng)新數(shù)據(jù)開放能力創(chuàng)新數(shù)據(jù)應(yīng)用能力創(chuàng)新商業(yè)咨詢技術(shù)咨詢數(shù)據(jù)遷移和集成服務(wù)挖掘工具定制與集成數(shù)據(jù)分析與報表服務(wù)數(shù)據(jù)資源運(yùn)維管理數(shù)據(jù)開放運(yùn)維管理大數(shù)據(jù)Pa