2019

中國(guó)數(shù)

智能管理峰會(huì)滴滴數(shù)據(jù)資產(chǎn)管理實(shí)踐2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)平臺(tái)建設(shè)之?dāng)?shù)據(jù)開發(fā)平臺(tái)滴滴的數(shù)據(jù)資產(chǎn)概述平臺(tái)建設(shè)之資產(chǎn)管理平臺(tái)平臺(tái)建設(shè)之?dāng)?shù)據(jù)應(yīng)用平臺(tái)目錄/Contents01030402滴滴的數(shù)據(jù)資產(chǎn)概述2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)車?

靜態(tài)信息：歸屬人/公司、

車牌號(hào)、車型

…?

動(dòng)態(tài)信息：里程數(shù)、維保

記錄2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)路?

靜態(tài)信息：全球、全國(guó)、

城市等各粒度?

動(dòng)態(tài)信息：行程軌跡日均處理處理4875+TB數(shù)據(jù)日新增106TB＋數(shù)據(jù)150億日定位數(shù)據(jù)700億日ETA請(qǐng)求1000+座

全球城市人?

司機(jī)

?

乘客滴滴的數(shù)據(jù)資產(chǎn)5.5億+用戶2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)020103地理位置、軌跡相關(guān)的數(shù)據(jù)占比高結(jié)構(gòu)化數(shù)據(jù)為主，價(jià)值密度高滴滴的數(shù)據(jù)特色實(shí)時(shí)數(shù)據(jù)占比高

滴滴的數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)?元數(shù)據(jù)打通，更準(zhǔn)確識(shí)別公司核心數(shù)據(jù)資產(chǎn)，輔助資產(chǎn)信息的完

善，從而沉淀數(shù)據(jù)資產(chǎn)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)

統(tǒng)一數(shù)據(jù)門戶

PC

APP-H5

數(shù)據(jù)應(yīng)用產(chǎn)品平臺(tái)

BI自助分析

決策分析

業(yè)務(wù)分析

看板分析

技

術(shù)

&

業(yè)

務(wù)

元

數(shù)

據(jù)

打

通離線引擎實(shí)時(shí)引擎機(jī)器學(xué)習(xí)引擎數(shù)據(jù)

公共層指標(biāo)管理平臺(tái)資產(chǎn)管理平臺(tái)數(shù)據(jù)服務(wù)化…數(shù)據(jù)大屏

大屏用戶數(shù)據(jù)內(nèi)容建設(shè)數(shù)據(jù)開

發(fā)平臺(tái)業(yè)務(wù)應(yīng)用/DS內(nèi)部用戶/DS數(shù)據(jù)同步數(shù)據(jù)開發(fā)監(jiān)控告

警項(xiàng)目管理數(shù)據(jù)質(zhì)量權(quán)限管理數(shù)據(jù)接入數(shù)據(jù)消費(fèi)工具調(diào)度平臺(tái)建設(shè)之?dāng)?shù)據(jù)開發(fā)平臺(tái)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)極致簡(jiǎn)單只要會(huì)SQL，人人都是數(shù)據(jù)玩家！完整閉環(huán)?

一站式數(shù)據(jù)開發(fā)生產(chǎn)平臺(tái)?底層封裝、模塊中心化、平臺(tái)應(yīng)用模塊智能聯(lián)動(dòng)，提升開發(fā)效率安全保障?

權(quán)限控制責(zé)任到人，權(quán)限到字段?開發(fā)生產(chǎn)數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全行業(yè)領(lǐng)先?

基于開源引擎?基線監(jiān)控機(jī)制，標(biāo)記最核心計(jì)算通路，確保核心數(shù)據(jù)及時(shí)產(chǎn)出經(jīng)驗(yàn)積累國(guó)內(nèi)領(lǐng)先的大數(shù)據(jù)體系建設(shè)及數(shù)據(jù)治理經(jīng)驗(yàn)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)一站式智能數(shù)據(jù)開發(fā)、生產(chǎn)平臺(tái)——數(shù)據(jù)中臺(tái)(數(shù)據(jù)夢(mèng)工場(chǎng))數(shù)據(jù)開發(fā)數(shù)據(jù)質(zhì)量…

…內(nèi)置規(guī)范產(chǎn)出語(yǔ)義明確的元數(shù)據(jù)衍生更智能化的平臺(tái)服務(wù)數(shù)易BI實(shí)時(shí)監(jiān)控監(jiān)控大屏北極星把脈

Omega數(shù)據(jù)夢(mèng)工場(chǎng)高質(zhì)量的

元數(shù)據(jù)數(shù)據(jù)應(yīng)用產(chǎn)品離線計(jì)算引擎Hive

、Spark智能地圖消息隊(duì)列Kafka、DDMQ機(jī)器學(xué)習(xí)TensorFlow流計(jì)算引擎Flink數(shù)據(jù)檢索ESHbase

Phoenix數(shù)據(jù)地圖數(shù)據(jù)安全標(biāo)簽系統(tǒng)算法平臺(tái)機(jī)器學(xué)習(xí)監(jiān)控告警資產(chǎn)管理同步中心調(diào)度…

…2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)穩(wěn)定高效異構(gòu)數(shù)據(jù)源同步服務(wù)。1）集成實(shí)時(shí)、離線兩種方式；2）快速擴(kuò)展，插件式拓展多種同步類型；3）自主運(yùn)維，同步相關(guān)指標(biāo)清晰可見(jiàn)；4）為流計(jì)算提供實(shí)時(shí)數(shù)據(jù)源；項(xiàng)目管理和權(quán)限管理產(chǎn)品功能調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量數(shù)據(jù)開發(fā)數(shù)據(jù)同步1）智能編輯器，支持各種庫(kù)表、函數(shù)、變量聯(lián)想輸入、動(dòng)態(tài)語(yǔ)法檢查等2）提供SQL格式化、錯(cuò)誤提示，提供更順滑

的SQL開發(fā)體驗(yàn)3）支持各種SQL（Hive、Spark、

Presto）、

Shell、

PySpark等類型任務(wù)支持，4）支持文件多版本、任務(wù)回滾；5）直通調(diào)度，字段檢測(cè)依賴，方便測(cè)試和上2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)線任務(wù)。6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經(jīng)過(guò)安全審批）針對(duì)數(shù)據(jù)開發(fā)、臨時(shí)查詢場(chǎng)景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗(yàn)：項(xiàng)目管理和權(quán)限管理產(chǎn)品功能數(shù)據(jù)質(zhì)量調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)同步數(shù)據(jù)開發(fā)1）提供開發(fā)、生產(chǎn)兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任

務(wù)類型的任務(wù)調(diào)度3）支持小時(shí)、天、周、月多種調(diào)度周期

配置4）數(shù)據(jù)回溯簡(jiǎn)單易用：支持重跑、支持

多維度運(yùn)維2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)支持百萬(wàn)級(jí)的離線例行任務(wù)調(diào)度，保障業(yè)務(wù)穩(wěn)定運(yùn)行。項(xiàng)目管理和權(quán)限管理產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)智能監(jiān)控任務(wù)運(yùn)行情況，異常時(shí)發(fā)出告警。體系化解決“是否報(bào)警、何時(shí)報(bào)警、如何報(bào)警、給誰(shuí)報(bào)警”，

杜絕無(wú)效報(bào)警；?表規(guī)則監(jiān)控?字段規(guī)則監(jiān)

控?自定義監(jiān)控?cái)?shù)據(jù)加工?任務(wù)出錯(cuò)?任務(wù)延遲數(shù)據(jù)質(zhì)量?抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時(shí)產(chǎn)出，并動(dòng)態(tài)規(guī)劃相關(guān)任務(wù)優(yōu)先級(jí)。?結(jié)合算法，預(yù)測(cè)可能的數(shù)據(jù)延遲，提前預(yù)警，

將影響面降到最低。?升級(jí)邏輯，避免漏處理。?數(shù)據(jù)量?流量?異常數(shù)據(jù)項(xiàng)目管理和權(quán)限管理產(chǎn)品功能數(shù)據(jù)同步調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量數(shù)據(jù)開發(fā)?存儲(chǔ)告警?計(jì)算告警數(shù)據(jù)接入資源告警1）完整配置VS快速配置2）強(qiáng)規(guī)則

VS弱規(guī)則3）表規(guī)則

VS字段規(guī)則4）預(yù)設(shè)規(guī)則

VS

SQL規(guī)則41%2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)全鏈路的數(shù)據(jù)質(zhì)量管控，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量校驗(yàn)、通知、管理能力項(xiàng)目管理和權(quán)限管理產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量調(diào)度系統(tǒng)1）項(xiàng)目管理提供項(xiàng)目自身的增刪改查以及項(xiàng)目?jī)?nèi)的人員、角色、生產(chǎn)賬號(hào)、庫(kù)表、存儲(chǔ)和隊(duì)列等資產(chǎn)管理功能。2）權(quán)限管理針對(duì)人員、角色的權(quán)限申請(qǐng)和主動(dòng)授權(quán)，以及過(guò)期權(quán)

限、閑置權(quán)限的回收和權(quán)限審計(jì)

等功能。2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)表任務(wù)quota數(shù)據(jù)量

數(shù)據(jù)流

趨勢(shì)統(tǒng)一便捷的進(jìn)行項(xiàng)目管理和權(quán)限管理。項(xiàng)目管理和權(quán)限管理產(chǎn)品功能數(shù)據(jù)質(zhì)量監(jiān)控報(bào)警數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)應(yīng)用概覽趨勢(shì)&明細(xì)數(shù)據(jù)編目資產(chǎn)分析資產(chǎn)明細(xì)成本管理表管理應(yīng)用血緣資產(chǎn)管理業(yè)務(wù)全局管理我的資產(chǎn)數(shù)據(jù)管理我的應(yīng)用資產(chǎn)概覽全局資產(chǎn)個(gè)人資產(chǎn)數(shù)據(jù)加工者數(shù)據(jù)管理者趨勢(shì)待辦大盤表任務(wù)單應(yīng)用管理資產(chǎn)儀表盤2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)項(xiàng)目

管理權(quán)限

管理提交實(shí)時(shí)任務(wù)告警觸發(fā)監(jiān)控

告警機(jī)器

學(xué)習(xí)數(shù)據(jù)

質(zhì)量數(shù)據(jù)

開發(fā)離線

調(diào)度數(shù)據(jù)

同步實(shí)時(shí)

運(yùn)維夢(mèng)工場(chǎng)-模塊關(guān)系圖ML任務(wù)告警實(shí)時(shí)數(shù)據(jù)源質(zhì)量告警觸發(fā)提交提交2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)日志數(shù)據(jù)導(dǎo)入實(shí)時(shí)同步離線同步實(shí)時(shí)同步實(shí)時(shí)同步其他來(lái)源數(shù)據(jù)數(shù)據(jù)庫(kù)導(dǎo)入夢(mèng)工場(chǎng)-典型的離線場(chǎng)景計(jì)算8計(jì)算7計(jì)算6數(shù)據(jù)加工數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)出日志

check導(dǎo)入6導(dǎo)入4計(jì)算3導(dǎo)入1計(jì)算1導(dǎo)入2導(dǎo)入3計(jì)算2導(dǎo)入5計(jì)算5計(jì)算4導(dǎo)出1

導(dǎo)出2導(dǎo)出4導(dǎo)出5導(dǎo)出3實(shí)時(shí)同步實(shí)時(shí)同步導(dǎo)入計(jì)算2計(jì)算3計(jì)算1計(jì)算4計(jì)算6計(jì)算5計(jì)算7計(jì)算85導(dǎo)出335實(shí)時(shí)同步2351253其他來(lái)源數(shù)據(jù)51日志數(shù)據(jù)導(dǎo)入離線同步數(shù)據(jù)庫(kù)導(dǎo)入3534

導(dǎo)出41

2導(dǎo)出1

導(dǎo)出235

導(dǎo)出5數(shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)入數(shù)據(jù)加工2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)基線(業(yè)務(wù))->任務(wù)

->調(diào)度機(jī)

->yarn全流程打通夢(mèng)工場(chǎng)-優(yōu)先級(jí)上推策略2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)實(shí)時(shí)同步日志數(shù)據(jù)導(dǎo)入離線同步實(shí)時(shí)同步實(shí)時(shí)同步其他來(lái)源數(shù)據(jù)數(shù)據(jù)庫(kù)導(dǎo)入計(jì)算8計(jì)算7計(jì)算6數(shù)據(jù)加工夢(mèng)工場(chǎng)-業(yè)務(wù)下線日志

check導(dǎo)入6計(jì)算3導(dǎo)入4導(dǎo)入1計(jì)算1計(jì)算2導(dǎo)入2導(dǎo)入3導(dǎo)出2導(dǎo)入5導(dǎo)出5計(jì)算5計(jì)算4導(dǎo)出1導(dǎo)出4數(shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)入業(yè)務(wù)下線導(dǎo)出3平臺(tái)建設(shè)之?dāng)?shù)據(jù)應(yīng)用平臺(tái)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)數(shù)易解決用戶三大痛點(diǎn)問(wèn)題： Where：去哪兒看數(shù)據(jù)

What：數(shù)據(jù)分析、可視化可以產(chǎn)出哪些內(nèi)容？

How：業(yè)務(wù)需求那么多，如何快速響應(yīng)，

更方便、自助實(shí)現(xiàn)數(shù)據(jù)可視化？2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺(tái)。數(shù)易分析可視化查詢層數(shù)據(jù)存儲(chǔ)層2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)開放分析功能的查詢接口擴(kuò)展對(duì)接多種數(shù)據(jù)源可對(duì)接實(shí)時(shí)、離線、文件多種

源數(shù)據(jù)類型無(wú)縫對(duì)接主

流大數(shù)據(jù)處

理套件可視化能力開放的API接口數(shù)易技術(shù)特點(diǎn)存儲(chǔ)層的可擴(kuò)展性查詢層的可擴(kuò)展性BI層的可擴(kuò)展性滴滴數(shù)據(jù)App，讓用戶隨時(shí)隨地第一時(shí)間觸達(dá)數(shù)據(jù)，掌握業(yè)務(wù)，結(jié)合數(shù)據(jù)知識(shí)圈子分享，是滴滴內(nèi)部的一站式數(shù)據(jù)移動(dòng)平臺(tái)。2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)數(shù)據(jù)APP2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)標(biāo)簽系統(tǒng)是基于海量標(biāo)簽進(jìn)行用戶分群、快速圈出特定人群、對(duì)人群進(jìn)行計(jì)算及分析，支持精細(xì)化運(yùn)營(yíng)和廣告投放等活動(dòng)的運(yùn)營(yíng)支持服務(wù)系統(tǒng)。數(shù)據(jù)分析

分析速度快

數(shù)據(jù)顆粒度足夠細(xì)

數(shù)據(jù)交叉分析效果追蹤

策略收益分析

目標(biāo)人群關(guān)鍵指

標(biāo)趨勢(shì)分析產(chǎn)品策略

快速制定策略

提供策略服務(wù)

尋找相似人群標(biāo)簽系統(tǒng)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)標(biāo)簽系統(tǒng)多維度數(shù)據(jù)分析重點(diǎn)用戶關(guān)鍵指標(biāo)趨勢(shì)追蹤用戶單一維度構(gòu)成分析用戶核心路徑漏斗分析交叉維度分析2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)快速圈定目標(biāo)用戶制定千人千面的策略人群相似性擴(kuò)展探索業(yè)務(wù)增長(zhǎng)標(biāo)簽系統(tǒng)策略制定

業(yè)務(wù)監(jiān)控大屏監(jiān)控滴滴核心業(yè)務(wù)指標(biāo)，是管理者、產(chǎn)品、運(yùn)營(yíng)等觀察業(yè)務(wù)狀況的“眼睛”?；趯?shí)時(shí)計(jì)算能力分鐘級(jí)別發(fā)現(xiàn)業(yè)務(wù)故障2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)

圖表配置簡(jiǎn)單靈活

支持多源數(shù)據(jù)接入

支持多維度分析業(yè)務(wù)BI監(jiān)控訂單數(shù)據(jù)毫秒級(jí)更新，適配實(shí)時(shí)數(shù)據(jù)彰顯酷炫視覺(jué)特效

實(shí)時(shí)業(yè)務(wù)核心數(shù)據(jù)監(jiān)控+儀表盤的展示

短信/電話預(yù)警配置

支持實(shí)時(shí)、離線數(shù)據(jù)大屏

各類展廳、展會(huì)數(shù)據(jù)大屏2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)監(jiān)控大屏平臺(tái)建設(shè)之資產(chǎn)管理平臺(tái)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)2019

中國(guó)數(shù)據(jù)智能管理峰會(huì)一站式資源管理平臺(tái)一體化的元數(shù)據(jù)2019