1、BAT三大巨頭開發(fā)大數(shù)據(jù),大數(shù)據(jù) 分析處理,數(shù)據(jù)如同蘊(yùn)藏能量的煤礦。大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。,百度,兩大類型數(shù)據(jù)： 用戶搜索表征的需求數(shù)據(jù) 爬蟲和阿拉丁獲取的公共web數(shù)據(jù),含著數(shù)據(jù)出生且用于挖掘技術(shù)， 研究和實(shí)用結(jié)合！,BAT三大巨頭開發(fā)大數(shù)據(jù),大數(shù)據(jù) 分析處理,數(shù)據(jù)如同蘊(yùn)藏能量的煤礦。大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。,百度,交易數(shù)據(jù)&信用數(shù)據(jù)更易變現(xiàn)，挖掘商業(yè)價(jià)值 通過投資等方式掌握部分社交數(shù)據(jù)、移動(dòng)數(shù)據(jù)，如微博和高德,坐擁“金”數(shù)據(jù)！ 嘗試做面向未來的數(shù)據(jù)集市,阿里,BAT三大巨頭開發(fā)大數(shù)據(jù),大數(shù)據(jù) 分析

2、處理,數(shù)據(jù)如同蘊(yùn)藏能量的煤礦。大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。,百度,用戶關(guān)系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù) 可以分析人們的生活和行為,從里面挖掘出政治、社會(huì)、 文化、商業(yè)、健康等領(lǐng)域的信息，甚至預(yù)測(cè)未來。,數(shù)據(jù)為產(chǎn)品所用，自產(chǎn)自銷！,阿里,騰訊,騰訊數(shù)據(jù)平臺(tái),案例一：騰訊數(shù)據(jù)平臺(tái),CDG,IEG,MIG,OMG,SNG,TEG,WXG,在線消息,離線消息,DB-Binlog,TDBank-實(shí)時(shí)數(shù)據(jù)接入平臺(tái),格式適配,數(shù)據(jù)傳輸,加密傳輸,消息緩存,緩存分發(fā),訂閱分發(fā),6000億 接入消息/天 150TB 接入數(shù)據(jù)量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 1-2

3、s 采集平均時(shí)延 99.999% 可用度,TRC-實(shí)時(shí)計(jì)算,實(shí)時(shí)計(jì)算,存儲(chǔ)引擎,1000億 支撐應(yīng)用請(qǐng)求量/天 15，000億 多維度交叉計(jì)算量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 50ms 請(qǐng)求延遲/次 21億 應(yīng)用引擎訪問數(shù)據(jù)次數(shù)/秒,TDW-分布式數(shù)據(jù)倉庫,查詢引擎,計(jì)算引擎,存儲(chǔ)引擎,6000臺(tái) 單集群服務(wù)器 140,000核 CPU 380TB 內(nèi)存 72,000塊 磁盤 100PB 存儲(chǔ)容量 1,000,000+ Job數(shù)/天,TPR-精準(zhǔn)推薦,實(shí)時(shí)精準(zhǔn)推薦平臺(tái),180+ 億 效果廣告精準(zhǔn)推薦 量/天 2億+ 視頻精準(zhǔn)推薦量/天 1億+ 新聞精準(zhǔn)推薦量/天,TDBank構(gòu)建數(shù)據(jù)源

4、和數(shù)據(jù)處理系統(tǒng)間的橋梁，將數(shù)據(jù)處理系統(tǒng)同數(shù)據(jù)源解耦，為離線計(jì)算TDW和在線計(jì)算TRC平臺(tái)提供數(shù)據(jù)支持。 通過不斷的改進(jìn)，將以前Linux+HDFS的模式，轉(zhuǎn)變?yōu)榧?分布式消息隊(duì)列的模式，將以前一天才能處理的消息量縮短到2秒鐘！ 提供數(shù)據(jù)主動(dòng)訂閱模式，以及不同的數(shù)據(jù)分發(fā)支持。整個(gè)數(shù)據(jù)通路透明化，只需簡單配置，即可實(shí)現(xiàn)一點(diǎn)接入，整個(gè)大數(shù)據(jù)平臺(tái)可用。,案例一：騰訊數(shù)據(jù)平臺(tái),CDG,IEG,MIG,OMG,SNG,TEG,WXG,在線消息,離線消息,DB-Binlog,TDBank-實(shí)時(shí)數(shù)據(jù)接入平臺(tái),格式適配,數(shù)據(jù)傳輸,加密傳輸,消息緩存,緩存分發(fā),訂閱分發(fā),6000億 接入消息/天 150TB 接

5、入數(shù)據(jù)量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 1-2s 采集平均時(shí)延 99.999% 可用度,TRC-實(shí)時(shí)計(jì)算,實(shí)時(shí)計(jì)算,存儲(chǔ)引擎,1000億 支撐應(yīng)用請(qǐng)求量/天 15，000億 多維度交叉計(jì)算量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 50ms 請(qǐng)求延遲/次 21億 應(yīng)用引擎訪問數(shù)據(jù)次數(shù)/秒,TDW-分布式數(shù)據(jù)倉庫,查詢引擎,計(jì)算引擎,存儲(chǔ)引擎,6000臺(tái) 單集群服務(wù)器 140,000核 CPU 380TB 內(nèi)存 72,000塊 磁盤 100PB 存儲(chǔ)容量 1,000,000+ Job數(shù)/天,TPR-精準(zhǔn)推薦,實(shí)時(shí)精準(zhǔn)推薦平臺(tái),180+ 億 效果廣告精準(zhǔn)推薦 量/天 2億+ 視頻精準(zhǔn)推薦量/

6、天 1億+ 新聞精準(zhǔn)推薦量/天,TRC：基于在線消息流的實(shí)時(shí)計(jì)算模型，對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)采集、流式計(jì)算、實(shí)時(shí)存儲(chǔ)、實(shí)時(shí)展示的全流程實(shí)時(shí)計(jì)算體系。 核心技術(shù)：Java for Storm、Storm on Gaia、PigLatin/SQL on Storm 應(yīng)用場(chǎng)景：精準(zhǔn)推薦、實(shí)時(shí)分析、實(shí)時(shí)監(jiān)控,案例一：騰訊數(shù)據(jù)平臺(tái),CDG,IEG,MIG,OMG,SNG,TEG,WXG,在線消息,離線消息,DB-Binlog,TDBank-實(shí)時(shí)數(shù)據(jù)接入平臺(tái),格式適配,數(shù)據(jù)傳輸,加密傳輸,消息緩存,緩存分發(fā),訂閱分發(fā),6000億 接入消息/天 150TB 接入數(shù)據(jù)量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 1-

7、2s 采集平均時(shí)延 99.999% 可用度,TRC-實(shí)時(shí)計(jì)算,實(shí)時(shí)計(jì)算,存儲(chǔ)引擎,1000億 支撐應(yīng)用請(qǐng)求量/天 15，000億 多維度交叉計(jì)算量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 50ms 請(qǐng)求延遲/次 21億 應(yīng)用引擎訪問數(shù)據(jù)次數(shù)/秒,TDW-分布式數(shù)據(jù)倉庫,查詢引擎,計(jì)算引擎,存儲(chǔ)引擎,6000臺(tái) 單集群服務(wù)器 140,000核 CPU 380TB 內(nèi)存 72,000塊 磁盤 100PB 存儲(chǔ)容量 1,000,000+ Job數(shù)/天,TPR-精準(zhǔn)推薦,實(shí)時(shí)精準(zhǔn)推薦平臺(tái),180+ 億 效果廣告精準(zhǔn)推薦 量/天 2億+ 視頻精準(zhǔn)推薦量/天 1億+ 新聞精準(zhǔn)推薦量/天,TDW完成了對(duì)騰訊公

8、司內(nèi)部幾乎全業(yè)務(wù)的覆蓋，成為騰訊最大的離線處理平臺(tái)。 基于開源軟件Hadoop和Hive進(jìn)行構(gòu)建，并且根據(jù)公司數(shù)據(jù)量大、計(jì)算復(fù)雜等特定情況進(jìn)行了大量優(yōu)化和改造。 它支持百PB級(jí)數(shù)據(jù)的離線存儲(chǔ)和計(jì)算，為業(yè)務(wù)提供海量、高效、穩(wěn)定的大數(shù)據(jù)平臺(tái)支撐和決策支持。,案例一：騰訊數(shù)據(jù)平臺(tái),CDG,IEG,MIG,OMG,SNG,TEG,WXG,在線消息,離線消息,DB-Binlog,TDBank-實(shí)時(shí)數(shù)據(jù)接入平臺(tái),格式適配,數(shù)據(jù)傳輸,加密傳輸,消息緩存,緩存分發(fā),訂閱分發(fā),6000億 接入消息/天 150TB 接入數(shù)據(jù)量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 1-2s 采集平均時(shí)延 99.999% 可用度,

9、TRC-實(shí)時(shí)計(jì)算,實(shí)時(shí)計(jì)算,存儲(chǔ)引擎,1000億 支撐應(yīng)用請(qǐng)求量/天 15，000億 多維度交叉計(jì)算量/天 10,000個(gè) 并發(fā)分揀業(yè)務(wù)接口 50ms 請(qǐng)求延遲/次 21億 應(yīng)用引擎訪問數(shù)據(jù)次數(shù)/秒,TDW-分布式數(shù)據(jù)倉庫,查詢引擎,計(jì)算引擎,存儲(chǔ)引擎,6000臺(tái) 單集群服務(wù)器 140,000核 CPU 380TB 內(nèi)存 72,000塊 磁盤 100PB 存儲(chǔ)容量 1,000,000+ Job數(shù)/天,TPR-精準(zhǔn)推薦,實(shí)時(shí)精準(zhǔn)推薦平臺(tái),180+ 億 效果廣告精準(zhǔn)推薦 量/天 2億+ 視頻精準(zhǔn)推薦量/天 1億+ 新聞精準(zhǔn)推薦量/天,以人為核心的數(shù)據(jù)挖掘，提供“海量、精準(zhǔn)、實(shí)時(shí)”的個(gè)性化推薦服務(wù)。

10、 應(yīng)用場(chǎng)景：用戶畫像的建立是精準(zhǔn)推薦的基礎(chǔ)、以效果廣告為代表的準(zhǔn)確營銷、以視頻推薦為代表的內(nèi)容推薦、以電商推薦為代表的購物推薦,案例二：淘寶數(shù)據(jù)平臺(tái),MyFox-分布式MySQL集群 海量數(shù)據(jù)分布式存儲(chǔ)、非實(shí)時(shí)寫入 提供全鏡像、路由字段、記錄條數(shù)、組合等分片規(guī)則 跨機(jī)房互備,Prom實(shí)時(shí)計(jì)算 用冗余避免網(wǎng)絡(luò)傳輸和隨機(jī)讀 實(shí)時(shí)計(jì)算分析 定制化的存儲(chǔ),Glider高性能異構(gòu)數(shù)據(jù)中間層 整合多種數(shù)據(jù) 底層架構(gòu)對(duì)前端透明 水平可擴(kuò)展性 內(nèi)置二級(jí)緩存,關(guān)系型數(shù)據(jù)庫仍然是王道,NoSQL是SQL的有益補(bǔ)充,用中間層隔離前后端,緩存是系統(tǒng)化的工程,案例二：淘寶數(shù)據(jù)平臺(tái),銀河-實(shí)時(shí)流處理平臺(tái) 基于Actor模

11、型的分布式流數(shù)據(jù)實(shí)時(shí)處理和計(jì)算框架 底層基于開源軟件AKKA實(shí)現(xiàn) 消息即數(shù)據(jù) 日處理3億數(shù)據(jù)量,運(yùn)營商的數(shù)據(jù)源特點(diǎn),運(yùn)營商數(shù)據(jù)源表,互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)及數(shù)據(jù)處理以非結(jié)構(gòu)化為主,數(shù)據(jù)結(jié)構(gòu)：隨著流量經(jīng)營以及與OTT業(yè)務(wù)的交叉經(jīng)營等新型商業(yè)模式的成熟和發(fā)展，逐步會(huì)增加非結(jié)構(gòu)化數(shù)據(jù)以及混合結(jié)構(gòu)數(shù)據(jù)的比重。 使用模式: 目前電信運(yùn)營商對(duì)數(shù)據(jù)的應(yīng)用仍以精確性計(jì)算分析為主，隨著精細(xì)化營銷的深入，分眾營銷的實(shí)施，趨勢(shì)性計(jì)算分析逐步會(huì)得到應(yīng)用和發(fā)展。,發(fā)展趨勢(shì),而電信運(yùn)營商的數(shù)據(jù)及數(shù)據(jù)處理仍然是以結(jié)構(gòu)化為主；,運(yùn)營商的大數(shù)據(jù)架構(gòu)選擇分析,數(shù)據(jù)分析的發(fā)展線路有兩種： 傳統(tǒng)的BI為代表的發(fā)展線路 互聯(lián)網(wǎng)企業(yè)為代表的數(shù)

12、據(jù)分析發(fā)展線路,電信運(yùn)營商在數(shù)據(jù)源、數(shù)據(jù)分布、數(shù)據(jù)分析等方面均有較高的要求，故大數(shù)據(jù)的技術(shù)架構(gòu)選擇上必然面臨更多的約束條件，單一技術(shù)將無法兼顧對(duì)效率、精確性、數(shù)據(jù)量等諸多方面的限制。 數(shù)據(jù)量較小，訪問頻次較大，訪問實(shí)時(shí)性要求低 如：報(bào)表分析應(yīng)用 原有的BI系統(tǒng)適用 數(shù)據(jù)量大，訪問頻次不高 如：話單查詢等應(yīng)用 原有的BI技術(shù)已不能滿足需求 數(shù)據(jù)量大，訪問實(shí)時(shí)性要求高 如：精細(xì)化營銷和分眾業(yè)務(wù)推薦等應(yīng)用 需要進(jìn)行趨勢(shì)化分析,電信運(yùn)營商的大數(shù)據(jù)平臺(tái)是一種混搭的架構(gòu)模式，實(shí)現(xiàn)一個(gè)統(tǒng)一平臺(tái)，集中5大類數(shù)據(jù)。需要對(duì)MPP數(shù)據(jù)庫、Hadoop和流數(shù)據(jù)處理做深度融合，形成大數(shù)據(jù)整合架構(gòu)，并針對(duì)特殊應(yīng)用場(chǎng)景，選

13、擇內(nèi)存數(shù)據(jù)庫、列存數(shù)據(jù)庫作為補(bǔ)充，滿足實(shí)時(shí)流式的數(shù)據(jù)服務(wù)和應(yīng)用的觸發(fā)。,“SMP+MPP+Hadoop+內(nèi)存數(shù)據(jù)庫、流處理”的混搭架構(gòu)，不僅能夠適應(yīng)大數(shù)據(jù)的“4V”特征，并且能滿足多樣化應(yīng)用場(chǎng)景需求。,大數(shù)據(jù)整合服務(wù)平臺(tái)層：“SMP+MPP+Hadoop+流處理”的混搭結(jié)構(gòu) IaaS層（PB級(jí)計(jì)算）：“內(nèi)存+多核計(jì)算、計(jì)算與數(shù)據(jù)處理一體化、MPP/Hadoop+X86”的低成本海量分布結(jié)構(gòu) 計(jì)算資源、存儲(chǔ)資源必須池化 兼并其他技術(shù)以降本增效,運(yùn)營商如何選擇技術(shù)適用場(chǎng)景,互聯(lián)網(wǎng)啟發(fā)一：如何用大數(shù)據(jù),既然未來企業(yè)里面肯定會(huì)有多種數(shù)據(jù)源，多種數(shù)據(jù)庫結(jié)構(gòu)，那么是否可以建立一個(gè)中間的數(shù)據(jù)服務(wù)層，把應(yīng)用和

14、底層數(shù)據(jù)庫架構(gòu)隔離開呢？,什么樣的數(shù)據(jù)，用哪種方式存儲(chǔ)效率最高，處理起來最快就用哪種方式。 能直接在文件系統(tǒng)上做的就不放到數(shù)據(jù)庫里。 數(shù)據(jù)的分析也是如此，結(jié)構(gòu)層次越少越好，數(shù)據(jù)訪問越直接越好，能用編程語言直接解決的問題就堅(jiān)決不采用數(shù)據(jù)倉庫用SQL。 該用SQL解決的問題也不去為了統(tǒng)一接口而再去跑一遍Java或Python。 一切以高效直接為前提，充分貫徹“把支部建到連隊(duì)里”的核心思想，發(fā)揮小快靈的優(yōu)勢(shì)。,互聯(lián)網(wǎng)：簡潔、直接,以Hadoop舉例，很多互聯(lián)網(wǎng)或者發(fā)行版都開始嘗試放棄Map/Reduce直接對(duì)HDFS進(jìn)行操作處理，其思想就是想更直接，更簡潔。 “建立一個(gè)數(shù)據(jù)服務(wù)層”還是傳統(tǒng)企業(yè)的舊思

15、路老方法，希望通過建立中間層減少開發(fā)移植難度，其實(shí)結(jié)果就是發(fā)揮不出大數(shù)據(jù)架構(gòu)本身的性能和規(guī)模優(yōu)勢(shì)，限制住了技術(shù)架構(gòu)本書身的發(fā)展空間。,中間服務(wù)層的限制性,對(duì)大數(shù)據(jù)應(yīng)用最成熟的互聯(lián)網(wǎng)做法：,問題,借鑒,難度大，不現(xiàn)實(shí),互聯(lián)網(wǎng)啟發(fā)二：架構(gòu)6大理念,Google 系統(tǒng)架構(gòu)可以大致分成三層： 產(chǎn)品應(yīng)用層：搜索，廣告，電子郵件，地圖，視頻，聊天，博客 基礎(chǔ)設(shè)施層：GFS，MapReduce和BigTable 計(jì)算平臺(tái)層：分布在一堆不同的數(shù)據(jù)中心中一堆機(jī)器 擅長平臺(tái)的建構(gòu) 自動(dòng)自動(dòng)還是自動(dòng),可擴(kuò)展性系統(tǒng)之王,擴(kuò)展需要多次的迭代 保持簡單：不重復(fù)設(shè)計(jì)一個(gè)方案 -優(yōu)化PHP，完成PHP到C+轉(zhuǎn)換 針對(duì)工作選正

16、確的工具，并接受所帶來的開銷 -選用LAMP,LAMP+Service,開放的力量,Cache！Cache！成功關(guān)鍵 GeoDNS-面向各個(gè)國家、各個(gè)地域 驚人的高效 -運(yùn)營這樣的站點(diǎn)，WikiPedia 每年的開支是 200 萬美元，技術(shù)人員只有 6 個(gè)，驚人的高效。,使用SOA架構(gòu)都是松耦合的，并且圍繞著服務(wù)建立。 根據(jù)場(chǎng)景在數(shù)據(jù)的一致性和數(shù)據(jù)的可用性之間做取舍 擁抱失敗 -建立一個(gè)自我修復(fù)、自我組織、無人值守類型的操作。 只用你需要的： -讓設(shè)計(jì)保持簡單，確定設(shè)計(jì)中沒有隱藏的需求及依賴性。 根據(jù)客戶的反饋來指定決策 擴(kuò)展性即競(jìng)爭(zhēng)優(yōu)勢(shì) -快速推出新服務(wù),松耦合架構(gòu),不難發(fā)現(xiàn)，這些互聯(lián)網(wǎng)公司

17、的系統(tǒng)架構(gòu)都有以下共同的6大理念 ： 保持簡單隨著時(shí)間推移，復(fù)雜性會(huì)自然出現(xiàn)。 自動(dòng)化一切包括災(zāi)難恢復(fù)。 不斷迭代想擴(kuò)展到更高水平？必須準(zhǔn)備好忍痛棄用現(xiàn)在能工作的某個(gè)組件。 選擇合適的工具但也不怕自己動(dòng)手打造。 使用緩存在適當(dāng)?shù)牡胤健?根據(jù)場(chǎng)景，在數(shù)據(jù)的一致性和可用性之間做取舍。,互聯(lián)網(wǎng)啟發(fā)三：怎樣向大數(shù)據(jù)架構(gòu)遷移,首先找個(gè)方案，把你準(zhǔn)備分析處理的數(shù)據(jù)用新的辦法存起來，然后再試著在上面做些簡單的查詢，比較之類的應(yīng)用，看看效果好不好 如果效果好了，那么再試著在這上面實(shí)現(xiàn)新的業(yè)務(wù)應(yīng)用場(chǎng)景，解決一部分業(yè)務(wù)人員的某些實(shí)際需求；效果好的話再試著做第二個(gè)應(yīng)用，第三個(gè)分析，慢慢的讓越來越多人看到這些新數(shù)據(jù)新

18、應(yīng)用的價(jià)值。,一、先把大數(shù)據(jù)存起來，用起來,把舊的應(yīng)用分析運(yùn)行在新的大數(shù)據(jù)平臺(tái)上。把數(shù)據(jù)從原先的RDBMS數(shù)據(jù)源抽取到新的大數(shù)據(jù)平臺(tái)上，利用新的大數(shù)據(jù)分析方法實(shí)現(xiàn)傳統(tǒng)的業(yè)務(wù)分析邏輯。這么做有可能會(huì)分析更多的數(shù)據(jù)產(chǎn)生更好的分析結(jié)果，也有可能會(huì)發(fā)現(xiàn)效率還不如原先的RDBMS方案。 把大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)抽取到舊有數(shù)據(jù)倉庫中分析展現(xiàn)。這個(gè)方向主要還是為了保證舊有用戶的SQL使用習(xí)慣，區(qū)別是抽入舊數(shù)據(jù)倉庫的不是外部表，而是經(jīng)過清洗整理的有價(jià)值的數(shù)據(jù)。 通過這兩個(gè)方面的嘗試，基本就可以把哪些應(yīng)用可以遷移，哪些不可以遷移搞清楚了。為下一步打下基礎(chǔ)。礎(chǔ)。,二、考慮將新的大數(shù)據(jù)平臺(tái)和原有數(shù)據(jù)平臺(tái)的互通，聯(lián)合問題。,整合數(shù)據(jù)源，把將會(huì)涉及到的各類型數(shù)據(jù)分類，用各自最合適的方法儲(chǔ)存起來整理好。 把應(yīng)用、展現(xiàn)工具根據(jù)所涉及數(shù)據(jù)源的不同，應(yīng)用場(chǎng)景的差異，和不同的數(shù)據(jù)存儲(chǔ)架構(gòu)做耦合，定制化應(yīng)用場(chǎng)景，使每個(gè)應(yīng)用都可以充分利用到底層架構(gòu)的性能和擴(kuò)展能力。對(duì)于需要跨數(shù)據(jù)源的應(yīng)用場(chǎng)景，選定中間處理層方案，保證中間處理層方案的定制化，不會(huì)因其存在影響底層架構(gòu)的性能和上層分析應(yīng)用的實(shí)現(xiàn)。 這種思路屬于互