數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐∧技術(shù)創(chuàng)新,變革未來數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐1騰訊游戲大數(shù)據(jù)運(yùn)菅概況15W+表離線計(jì)算:220+萬/端游100+款4000億乙+數(shù)據(jù)100P+流式計(jì)算量:2000+萬秒露,表頁游90+款600億+數(shù)據(jù)多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數(shù)據(jù)每日傳輸量:17000億條,約260TB,總存儲(chǔ)量為100PB+,公司占比為20%騰訊游戲大數(shù)據(jù)運(yùn)菅概況2問題與痛點(diǎn)在游戲大數(shù)據(jù)管控中,面臨著眾多問題與痛點(diǎn)1.數(shù)據(jù)多樣化,缺少統(tǒng)標(biāo)準(zhǔn)2.計(jì)算邏輯理解一不致,導(dǎo)致統(tǒng)計(jì)結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)≡問題,層次復(fù)雜、不能快速定位問題04數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應(yīng)用帶來的各種挑戰(zhàn)游戲數(shù)據(jù)管控的問題與難點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理,集成困難6.數(shù)據(jù)分散,沒有形成完整的成本管理7.數(shù)據(jù)價(jià)值的評(píng)估較為困難8.數(shù)據(jù)安全與合規(guī)保障的問題問題與痛點(diǎn)3發(fā)展歷程勾建游戲大數(shù)據(jù)資產(chǎn)管理體系歷經(jīng)6年在各階段解決的關(guān)鍵問題數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)孤島形成殳有統(tǒng)數(shù)據(jù)平臺(tái)資產(chǎn)運(yùn)營數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂數(shù)據(jù)標(biāo)準(zhǔn)往缺失數(shù)據(jù)傳輸時(shí)延高質(zhì)參差不齊數(shù)據(jù)成本劇增數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)集成效率低指標(biāo)概念不一平臺(tái)組件不夠穩(wěn)定數(shù)據(jù)合規(guī)存在風(fēng)險(xiǎn)數(shù)據(jù)價(jià)值難評(píng)估·數(shù)據(jù)獲取效率低數(shù)據(jù)生命周明不合理區(qū)營效率有待提升2019年2019年2018年游戲大數(shù)據(jù)資產(chǎn)管理:通過組織、流程、制度、技術(shù)等組合手段,確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全,助力業(yè)務(wù)數(shù)據(jù)價(jià)值提升發(fā)展歷程4能力模型三好用好”數(shù)據(jù)資產(chǎn)管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)數(shù)據(jù)管理人員平臺(tái)指「數(shù)群價(jià)值成本結(jié)算致?lián)l」知識(shí)圖線下培訓(xùn)數(shù)紫應(yīng)用[數(shù)據(jù)血緣「血練跟蹤「異分析產(chǎn)品開發(fā)數(shù)據(jù)映時(shí)產(chǎn)品運(yùn)維數(shù)據(jù)理理密源度「數(shù)據(jù)變更]「數(shù)據(jù)質(zhì)量「評(píng)估彩響「數(shù)據(jù)近量權(quán)哦流程安全規(guī)落「數(shù)拼檢索數(shù)提接入成本性理](元數(shù)把理「安全策路制世世理用樓塊能力模型5體系架構(gòu)數(shù)據(jù)增值服務(wù)可視化胺表效分析月推送渠遍管理戰(zhàn)績直詢資產(chǎn)管理平臺(tái)資產(chǎn)總覽資產(chǎn)治理產(chǎn)服務(wù)產(chǎn)安全數(shù)據(jù)理資產(chǎn)運(yùn)營被據(jù)動(dòng)數(shù)據(jù)平數(shù)抹花準(zhǔn)成本優(yōu)化敔據(jù)清洗充程制度生命期回理熱度分析數(shù)據(jù)傳轄數(shù)據(jù)質(zhì)量安全管理廣分析數(shù)據(jù)整臺(tái)影響評(píng)估據(jù)存惴數(shù)據(jù)血DevElOps數(shù)書開放元數(shù)據(jù)皆理「元元數(shù)指標(biāo)準(zhǔn)技術(shù)元數(shù)務(wù)元數(shù)園激數(shù)據(jù)存情元數(shù)據(jù)開放游戲大數(shù)據(jù)資產(chǎn)管理體系體系架構(gòu)6元數(shù)據(jù)管理元數(shù)據(jù)(Metadata)—描述數(shù)據(jù)的數(shù)據(jù)按服務(wù)對(duì)象劃分業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)時(shí)fot_noreItaMin+元數(shù)據(jù)管理7元數(shù)據(jù)管理元數(shù)據(jù)應(yīng)用[元放據(jù)檢索數(shù)據(jù)體化質(zhì)監(jiān)控」「資源管理其他應(yīng)用元據(jù)能力點(diǎn)|元數(shù)搖管理新管理[版本管進(jìn)用戶管理〖日志管理」『可視化同步管理其他管埋權(quán)限管理|[備份恢復(fù)〖接口管理>業(yè)務(wù)指標(biāo),開放共享技術(shù)元數(shù)據(jù)DataMoreiData[休化口>自動(dòng)構(gòu)建血緣關(guān)系鏈業(yè)務(wù)元款據(jù)//元數(shù)據(jù)存儲(chǔ)[磁實(shí)時(shí)規(guī)則圖靈更多>擴(kuò)展能力,輔助運(yùn)營元數(shù)據(jù)采集轉(zhuǎn)換層模型橋接器數(shù)據(jù)映射橋接器異構(gòu)數(shù)據(jù)源元數(shù)據(jù)管理體系技術(shù)架構(gòu)元數(shù)據(jù)管理8數(shù)據(jù)資產(chǎn)目錄某業(yè)務(wù)視圖≌262242口2數(shù)據(jù)資產(chǎn)目錄某業(yè)務(wù)視圖9數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務(wù)發(fā)現(xiàn)Consul/L5Web管理端服務(wù)特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機(jī)吞吐量:180Mb布式高可用,雙方擴(kuò)容互PBTDRSlogSvr扃可用,高可靠:擴(kuò)容游戲服務(wù)端TGlog_5傳輸體系失數(shù)據(jù);WAL雙備數(shù)據(jù)RPC-Pralo完整率:9999~99.9999%·多協(xié)議支持;多數(shù)據(jù)格式范結(jié)構(gòu)·專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運(yùn)維周邊系統(tǒng)完善支持布道元數(shù)據(jù)管理專業(yè)運(yùn)維m[在數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)10數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件11數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件12數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件13數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件14數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件15數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件16數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件17數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件18數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件19數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件20數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件21數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件22數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件23數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件24數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件25數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件26數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件27數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件28數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件29數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件30數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件31數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件32數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件33數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件34數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件35數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件36數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件37數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐∧技術(shù)創(chuàng)新,變革未來數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐38騰訊游戲大數(shù)據(jù)運(yùn)菅概況15W+表離線計(jì)算:220+萬/端游100+款4000億乙+數(shù)據(jù)100P+流式計(jì)算量:2000+萬秒露,表頁游90+款600億+數(shù)據(jù)多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數(shù)據(jù)每日傳輸量:17000億條,約260TB,總存儲(chǔ)量為100PB+,公司占比為20%騰訊游戲大數(shù)據(jù)運(yùn)菅概況39問題與痛點(diǎn)在游戲大數(shù)據(jù)管控中,面臨著眾多問題與痛點(diǎn)1.數(shù)據(jù)多樣化,缺少統(tǒng)標(biāo)準(zhǔn)2.計(jì)算邏輯理解一不致,導(dǎo)致統(tǒng)計(jì)結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)≡問題,層次復(fù)雜、不能快速定位問題04數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應(yīng)用帶來的各種挑戰(zhàn)游戲數(shù)據(jù)管控的問題與難點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理,集成困難6.數(shù)據(jù)分散,沒有形成完整的成本管理7.數(shù)據(jù)價(jià)值的評(píng)估較為困難8.數(shù)據(jù)安全與合規(guī)保障的問題問題與痛點(diǎn)40發(fā)展歷程勾建游戲大數(shù)據(jù)資產(chǎn)管理體系歷經(jīng)6年在各階段解決的關(guān)鍵問題數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)孤島形成殳有統(tǒng)數(shù)據(jù)平臺(tái)資產(chǎn)運(yùn)營數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂數(shù)據(jù)標(biāo)準(zhǔn)往缺失數(shù)據(jù)傳輸時(shí)延高質(zhì)參差不齊數(shù)據(jù)成本劇增數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)集成效率低指標(biāo)概念不一平臺(tái)組件不夠穩(wěn)定數(shù)據(jù)合規(guī)存在風(fēng)險(xiǎn)數(shù)據(jù)價(jià)值難評(píng)估·數(shù)據(jù)獲取效率低數(shù)據(jù)生命周明不合理區(qū)營效率有待提升2019年2019年2018年游戲大數(shù)據(jù)資產(chǎn)管理:通過組織、流程、制度、技術(shù)等組合手段,確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全,助力業(yè)務(wù)數(shù)據(jù)價(jià)值提升發(fā)展歷程41能力模型三好用好”數(shù)據(jù)資產(chǎn)管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)數(shù)據(jù)管理人員平臺(tái)指「數(shù)群價(jià)值成本結(jié)算致?lián)l」知識(shí)圖線下培訓(xùn)數(shù)紫應(yīng)用[數(shù)據(jù)血緣「血練跟蹤「異分析產(chǎn)品開發(fā)數(shù)據(jù)映時(shí)產(chǎn)品運(yùn)維數(shù)據(jù)理理密源度「數(shù)據(jù)變更]「數(shù)據(jù)質(zhì)量「評(píng)估彩響「數(shù)據(jù)近量權(quán)哦流程安全規(guī)落「數(shù)拼檢索數(shù)提接入成本性理](元數(shù)把理「安全策路制世世理用樓塊能力模型42體系架構(gòu)數(shù)據(jù)增值服務(wù)可視化胺表效分析月推送渠遍管理戰(zhàn)績直詢資產(chǎn)管理平臺(tái)資產(chǎn)總覽資產(chǎn)治理產(chǎn)服務(wù)產(chǎn)安全數(shù)據(jù)理資產(chǎn)運(yùn)營被據(jù)動(dòng)數(shù)據(jù)平數(shù)抹花準(zhǔn)成本優(yōu)化敔據(jù)清洗充程制度生命期回理熱度分析數(shù)據(jù)傳轄數(shù)據(jù)質(zhì)量安全管理廣分析數(shù)據(jù)整臺(tái)影響評(píng)估據(jù)存惴數(shù)據(jù)血DevElOps數(shù)書開放元數(shù)據(jù)皆理「元元數(shù)指標(biāo)準(zhǔn)技術(shù)元數(shù)務(wù)元數(shù)園激數(shù)據(jù)存情元數(shù)據(jù)開放游戲大數(shù)據(jù)資產(chǎn)管理體系體系架構(gòu)43元數(shù)據(jù)管理元數(shù)據(jù)(Metadata)—描述數(shù)據(jù)的數(shù)據(jù)按服務(wù)對(duì)象劃分業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)時(shí)fot_noreItaMin+元數(shù)據(jù)管理44元數(shù)據(jù)管理元數(shù)據(jù)應(yīng)用[元放據(jù)檢索數(shù)據(jù)體化質(zhì)監(jiān)控」「資源管理其他應(yīng)用元據(jù)能力點(diǎn)|元數(shù)搖管理新管理[版本管進(jìn)用戶管理〖日志管理」『可視化同步管理其他管埋權(quán)限管理|[備份恢復(fù)〖接口管理>業(yè)務(wù)指標(biāo),開放共享技術(shù)元數(shù)據(jù)DataMoreiData[休化口>自動(dòng)構(gòu)建血緣關(guān)系鏈業(yè)務(wù)元款據(jù)//元數(shù)據(jù)存儲(chǔ)[磁實(shí)時(shí)規(guī)則圖靈更多>擴(kuò)展能力,輔助運(yùn)營元數(shù)據(jù)采集轉(zhuǎn)換層模型橋接器數(shù)據(jù)映射橋接器異構(gòu)數(shù)據(jù)源元數(shù)據(jù)管理體系技術(shù)架構(gòu)元數(shù)據(jù)管理45數(shù)據(jù)資產(chǎn)目錄某業(yè)務(wù)視圖≌262242口2數(shù)據(jù)資產(chǎn)目錄某業(yè)務(wù)視圖46數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務(wù)發(fā)現(xiàn)Consul/L5Web管理端服務(wù)特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機(jī)吞吐量:180Mb布式高可用,雙方擴(kuò)容互PBTDRSlogSvr扃可用,高可靠:擴(kuò)容游戲服務(wù)端TGlog_5傳輸體系失數(shù)據(jù);WAL雙備數(shù)據(jù)RPC-Pralo完整率:9999~99.9999%·多協(xié)議支持;多數(shù)據(jù)格式范結(jié)構(gòu)·專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運(yùn)維周邊系統(tǒng)完善支持布道元數(shù)據(jù)管理專業(yè)運(yùn)維m[在數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)47數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件48數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件49數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件50數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件51數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件52數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件53數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件54數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件55數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件56數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件57數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件58數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件59數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件60數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件61數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件62數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件