1、優(yōu)酷土豆數(shù)據(jù)平臺(tái),傅杰 2013.3,2,大綱,數(shù)據(jù)平臺(tái)介紹 平臺(tái)運(yùn)營(yíng)規(guī)范 平臺(tái)運(yùn)營(yíng)數(shù)據(jù),3,平臺(tái)規(guī)模與負(fù)載,平臺(tái)規(guī)模 節(jié)點(diǎn)數(shù) 150 物理CPU 3600核 物理內(nèi)存 4.8T 磁盤 1800塊 存儲(chǔ) 3P+ 平臺(tái)負(fù)載 日均 5000+作業(yè) 峰值1W3 日均掃描 上百T數(shù)據(jù) 日增2T+ 原始日志、1T+計(jì)算結(jié)果 存儲(chǔ)利用率70% CPU利用率60% 峰值 95%,4,支撐業(yè)務(wù),輻射人員 注冊(cè)賬戶100+ 開(kāi)放團(tuán)隊(duì)14組 輻射業(yè)務(wù) 廣告 個(gè)性化推薦 數(shù)據(jù)分析 無(wú)線 搜索 播放器 .,5,開(kāi)放功能,數(shù)據(jù)存儲(chǔ)(30T/團(tuán)隊(duì)) MapReduce Hive Pig Sqoop 日志采集服務(wù) 平臺(tái)基礎(chǔ)

2、包 運(yùn)營(yíng)報(bào)表 實(shí)時(shí)計(jì)算,6,Data-mr-common,功能類似Pangool封裝偏業(yè)務(wù) SmartInputFormat 常用的統(tǒng)計(jì)相關(guān)工具 TopN,Histogram,LongStaticsmax,min,avg,sum,stddev,count MrJobHelper 常用Reducer count,distinct,tuplesum,max,min,sum 工具Writable pair,tuple,map，bitset 業(yè)務(wù)Writable 廣告數(shù)據(jù)、PV、VV、TS,7,安全穩(wěn)定開(kāi)放,身份認(rèn)證-Kerberos 權(quán)限控制-mysql Web界面訪問(wèn)控制 運(yùn)營(yíng)監(jiān)控,8,平臺(tái)運(yùn)營(yíng)流

3、程化,新用戶、團(tuán)隊(duì)注冊(cè)流程化 權(quán)限開(kāi)通流程化 新日志上線流程化 例行維護(hù) 受益：資源規(guī)范、可控易管理,9,目錄規(guī)范,/source 存儲(chǔ)原始日志 /logData存儲(chǔ)壓縮日志 /work 存儲(chǔ)業(yè)務(wù)數(shù)據(jù)(按照?qǐng)F(tuán)隊(duì)、業(yè)務(wù)線) /tmp 存儲(chǔ)臨時(shí)數(shù)據(jù) /user 存儲(chǔ)用戶測(cè)試數(shù)據(jù),10,資源權(quán)限粒度,按照業(yè)務(wù)線劃分日志權(quán)限 按照?qǐng)F(tuán)隊(duì)劃分職能權(quán)限 通過(guò)授權(quán)運(yùn)行跨團(tuán)隊(duì)訪問(wèn)資源,11,調(diào)度隊(duì)列規(guī)劃,按照十二生肖順序定義隊(duì)列名稱 mouse、pig等 最初設(shè)計(jì)劃分三個(gè)隊(duì)列(公平調(diào)度) 通過(guò)隊(duì)列設(shè)置來(lái)控制資源分配,12,歷史作業(yè)信息采集,作業(yè)分布統(tǒng)計(jì) 作業(yè)類型統(tǒng)計(jì) 平臺(tái)負(fù)載 作業(yè)調(diào)優(yōu)向?qū)?13,運(yùn)營(yíng)數(shù)據(jù)-作業(yè)數(shù)量日線圖,14,運(yùn)營(yíng)數(shù)據(jù)-資源消耗情況,15,數(shù)據(jù)平臺(tái)-slot消耗情況,16,數(shù)據(jù)平臺(tái)-大作業(yè)占比,17,數(shù)據(jù)平臺(tái)-11月用戶作業(yè)數(shù)