如何做一款好的數(shù)據(jù)平臺(tái)？騰訊歐拉-資產(chǎn)工場(chǎng)一站式數(shù)據(jù)開發(fā)平臺(tái)實(shí)踐01技術(shù)轉(zhuǎn)產(chǎn)品的思考從自身經(jīng)歷簡(jiǎn)單聊聊技術(shù)轉(zhuǎn)產(chǎn)品02深度理解數(shù)據(jù)工數(shù)據(jù)平臺(tái)的用戶需求分析實(shí)踐03騰訊歐拉資產(chǎn)工場(chǎng)實(shí)踐基于DataOps的一站式數(shù)據(jù)開發(fā)04數(shù)據(jù)平臺(tái)產(chǎn)品經(jīng)理方法論方法和熱情都很重要目錄 CONTENT01技術(shù)轉(zhuǎn)產(chǎn)品的思考從自身經(jīng)歷簡(jiǎn)單聊聊技術(shù)轉(zhuǎn)產(chǎn)品產(chǎn)品經(jīng)理與技術(shù)研發(fā)的不同主要職能思維角度交付目標(biāo)產(chǎn)品經(jīng)理競(jìng)品調(diào)研、需求分析、產(chǎn)品設(shè)計(jì)用戶角度->功能角度商業(yè)角度（ROI）訴求->需求->產(chǎn)品方案，以用戶價(jià)值為依歸技術(shù)研發(fā)技術(shù)預(yù)研、技術(shù)設(shè)計(jì)、產(chǎn)品落地工程角度產(chǎn)品方案->技術(shù)方案->產(chǎn)品，以產(chǎn)品質(zhì)量為依歸產(chǎn)品與技術(shù)從不同角度相互碰撞，共同實(shí)現(xiàn)產(chǎn)品價(jià)值作為技術(shù)型的數(shù)據(jù)平臺(tái)，對(duì)數(shù)據(jù)產(chǎn)品經(jīng)理有了更高的要求職能上：學(xué)習(xí)技術(shù)研究報(bào)告，上手體驗(yàn)相關(guān)技術(shù)底層組件，與研發(fā)對(duì)齊平臺(tái)底層邏輯思維上：同時(shí)具備“技術(shù)思維”，對(duì)技術(shù)難未來演進(jìn)有大致了解，綜合考慮ROI來調(diào)整項(xiàng)目迭代交付上：在“產(chǎn)品”基礎(chǔ)上增加“專業(yè)型服務(wù)”，解決客戶遇到的問題簡(jiǎn)而言之，數(shù)據(jù)平臺(tái)產(chǎn)品經(jīng)理，既需要有產(chǎn)品經(jīng)理的必備素養(yǎng)，又要有對(duì)大數(shù)據(jù)領(lǐng)域技術(shù)的專業(yè)認(rèn)知從技術(shù)轉(zhuǎn)產(chǎn)品所需要的準(zhǔn)備和工作判斷是否適合轉(zhuǎn)？嘗試做一些產(chǎn)品設(shè)計(jì)學(xué)習(xí)產(chǎn)品經(jīng)理的素養(yǎng)判斷自己是否合適是否已經(jīng)有了技術(shù)知識(shí)積累？（專業(yè)）是否有一顆好奇心？（好奇心）是否對(duì)所負(fù)責(zé)的事情很操心？（母性）是否有一個(gè)比較積極的心態(tài)？（韌性）是否勇于挑戰(zhàn)目標(biāo)？（狼性）是否擅長(zhǎng)與人溝通？（溝通能力/同理心）判斷是否機(jī)會(huì)足夠好比如在同一項(xiàng)目?jī)?nèi)進(jìn)行角色轉(zhuǎn)變產(chǎn)品思維訓(xùn)練還在做研發(fā)的時(shí)候，就先嘗試切換產(chǎn)品視角對(duì)需求進(jìn)行思考學(xué)習(xí)基本的產(chǎn)品做事方式可以從一個(gè)簡(jiǎn)單的需求入手，進(jìn)行原型圖繪制、需求文檔撰寫?避免太技術(shù)的思考方式多關(guān)注產(chǎn)品本身是否能解決用戶需求和問題，避免太過于關(guān)注技術(shù)實(shí)現(xiàn)細(xì)節(jié)；盡量考慮較為完整的方案，而不要揣測(cè)不可行or實(shí)現(xiàn)難度、導(dǎo)致丟失了很好的想法提升自己的產(chǎn)品力洞察力、抽象力、想象力、演繹力內(nèi)在性格

+外部機(jī)遇+自我培養(yǎng)02深度理解數(shù)據(jù)工數(shù)據(jù)平臺(tái)的用戶需求分析實(shí)踐內(nèi)容APP，數(shù)據(jù)是科學(xué)決策和精細(xì)化運(yùn)營(yíng)的重要資料APP產(chǎn)品力推薦能力內(nèi)容理解能力（內(nèi)容畫像）用戶理解能力（用戶畫像）內(nèi)容用戶作者驅(qū)動(dòng)力推薦算法APPs高價(jià)值的數(shù)據(jù)資產(chǎn)高質(zhì)量的數(shù)據(jù)資產(chǎn)作為一名數(shù)據(jù)人，你是否聽到過這樣的抱怨？數(shù)據(jù)分析師A：“需要反復(fù)驗(yàn)證數(shù)據(jù)，但是查詢非常慢，這效率也太低了”查詢速度慢策略產(chǎn)品B：“工具只適用于專業(yè)技術(shù)人員用，除了表結(jié)構(gòu)，沒什么功能去了解表的更多信息”數(shù)據(jù)工程師C：“大雜燴，很多數(shù)據(jù)的工具或者平臺(tái)，但是沒有什么協(xié)同效應(yīng)，集群有些也是割裂的”新入職的數(shù)據(jù)工程師D：“感覺表名很亂，沒有數(shù)據(jù)規(guī)范，數(shù)據(jù)質(zhì)量很沒有保障，出了問題我甚至不知道找誰”數(shù)據(jù)管理混亂平臺(tái)能力割裂數(shù)據(jù)質(zhì)量差咋這么難面向開發(fā)工具都有，能用但不夠好用～另外，少了一些圍繞數(shù)據(jù)資產(chǎn)的工具！以更好地建設(shè)數(shù)據(jù)資產(chǎn)為目標(biāo)，來補(bǔ)齊和優(yōu)化能力數(shù)據(jù)1、是否規(guī)范標(biāo)準(zhǔn)？上報(bào)規(guī)范標(biāo)準(zhǔn)離線數(shù)倉標(biāo)準(zhǔn)2、是否解？元數(shù)據(jù)管理數(shù)據(jù)血緣3、是否質(zhì)量可靠？數(shù)據(jù)質(zhì)量監(jiān)控任務(wù)及時(shí)性監(jiān)控1、是否重要？熱度統(tǒng)計(jì)人工重要度標(biāo)識(shí)規(guī)范治理價(jià)值體現(xiàn)2、是否使用便捷？高速的數(shù)據(jù)查詢工具數(shù)據(jù)能夠加工成對(duì)外服務(wù)的API3、是否ROI高？數(shù)據(jù)成本度量安全管控高質(zhì)量數(shù)據(jù)資產(chǎn)高價(jià)值數(shù)據(jù)資產(chǎn)打造數(shù)據(jù)資產(chǎn)管理平臺(tái)——早期的歐拉平臺(tái)數(shù)據(jù)資產(chǎn)地圖：數(shù)據(jù)API、畫像標(biāo)簽、Hive表數(shù)據(jù)管理上報(bào)事件離線表指標(biāo)/維度實(shí)時(shí)數(shù)據(jù)標(biāo)簽/特征沉淀核心數(shù)據(jù)主要面向

數(shù)據(jù)科學(xué)家數(shù)據(jù)分析師技術(shù)元數(shù)據(jù)采集和挖掘業(yè)務(wù)元數(shù)據(jù)主動(dòng)登記主要面向

數(shù)據(jù)工程師Open

API開放協(xié)作，共建生態(tài)數(shù)據(jù)SQL洞察質(zhì)量監(jiān)控?cái)?shù)據(jù)API加工數(shù)據(jù)應(yīng)用A數(shù)據(jù)應(yīng)用B數(shù)據(jù)應(yīng)用C數(shù)據(jù)應(yīng)用?Presto這個(gè)方案有沒有解決問題？并沒有理想中運(yùn)轉(zhuǎn)的那么好問題產(chǎn)生后再來解決，比較棘手管理數(shù)據(jù)資產(chǎn)的動(dòng)力不足并未形成有效的元數(shù)據(jù)管理氛圍??

最終數(shù)倉資產(chǎn)化程度不夠“先有數(shù)據(jù)、再進(jìn)行治理”的平臺(tái)方案遇到問題需求當(dāng)前解決辦法解決問題了么？查詢慢更快的數(shù)據(jù)查詢工具Presto引擎SQL執(zhí)行速度雖然變快了，但是產(chǎn)品體驗(yàn)也決定了效率數(shù)據(jù)管理混亂數(shù)據(jù)管理工具元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)豐富了，但業(yè)務(wù)元數(shù)據(jù)很難沉淀數(shù)據(jù)質(zhì)量差數(shù)據(jù)質(zhì)量監(jiān)控工具質(zhì)量監(jiān)控質(zhì)量問題能監(jiān)控了，但并未定位到根因平臺(tái)割裂用起來體驗(yàn)更好增強(qiáng)功能確實(shí)彌補(bǔ)了一些功能，但生產(chǎn)和管理依然割裂回顧下數(shù)據(jù)工足的怎么樣？解法1、將治理提前到生產(chǎn)過程中在生產(chǎn)過程中進(jìn)行治理，可能會(huì)是一個(gè)自然而然的過程寫代碼是否通過數(shù)倉規(guī)范和數(shù)據(jù)測(cè)試建新表發(fā)布制定數(shù)據(jù)倉庫的管理規(guī)范規(guī)范數(shù)倉表制定數(shù)據(jù)倉庫的開發(fā)規(guī)范引舊表規(guī)范開發(fā)流程否是數(shù)據(jù)管理者數(shù)據(jù)工程師補(bǔ)信息是否通過數(shù)倉規(guī)范發(fā)布否新的表都相對(duì)較好挑選自己核心的舊表變的更好有一定資產(chǎn)化程度的數(shù)據(jù)解法2、整合用到的工具，提升效率解法3、治理需要驅(qū)動(dòng)力資產(chǎn)化程度度量有一定資產(chǎn)化程度的數(shù)據(jù)資產(chǎn)分

評(píng)價(jià)體系思考下哪些方面可以進(jìn)行評(píng)價(jià)？維度指標(biāo)規(guī)范表命名規(guī)范性注釋規(guī)范性依賴規(guī)范層域規(guī)范質(zhì)量監(jiān)控保障覆蓋存量治理DQC保障覆蓋基線保障覆蓋DQC達(dá)標(biāo)產(chǎn)出穩(wěn)定性回刷穩(wěn)定性DDL穩(wěn)定性安全表安全等級(jí)設(shè)置字段安全等級(jí)設(shè)置敏感字段加密審批流程合規(guī)性讀寫權(quán)限設(shè)置合規(guī)責(zé)任人符合規(guī)范成本計(jì)算成本存儲(chǔ)成本OLAP成本應(yīng)用熱度下游依賴數(shù)互動(dòng)推薦值共享熱度應(yīng)用貢獻(xiàn)度新增治理解法4、質(zhì)量問題能夠提前規(guī)避數(shù)據(jù)質(zhì)量的問題往往在上游充分的數(shù)據(jù)測(cè)試核心節(jié)點(diǎn)出現(xiàn)問題阻斷下游在數(shù)據(jù)上報(bào)端就做好質(zhì)量監(jiān)控報(bào)表延遲往往是由于上游任務(wù)的報(bào)錯(cuò)帶來的連鎖反應(yīng)實(shí)時(shí)預(yù)測(cè)下游是否能及時(shí)產(chǎn)出解法5、軟件工程思想落地?cái)?shù)據(jù)領(lǐng)域DataOps

：從敏捷、DevOps、精益制造吸取靈感并應(yīng)用于數(shù)據(jù)工程領(lǐng)域敏捷：能夠快速響應(yīng)外部的各種變化，小步快跑DevOps：從數(shù)據(jù)的產(chǎn)生、處理到交付，整個(gè)過程要盡可能的自動(dòng)化處理精益化生產(chǎn)：專注提升質(zhì)量和效率，為企業(yè)帶來最大的價(jià)值逐步落地DataOps任務(wù)開發(fā)視角

=》以數(shù)據(jù)為中心打造一站式數(shù)據(jù)資產(chǎn)開發(fā)平臺(tái)充分集成已有能力補(bǔ)齊缺失能力組合創(chuàng)新錯(cuò)位發(fā)展以更好地為數(shù)據(jù)倉庫工程師提供服務(wù)所有研發(fā)數(shù)據(jù)的角色從而提升整體的能力割裂并且借鑒軟件工程思想優(yōu)化流程傳統(tǒng)開發(fā)工具03騰訊歐拉資產(chǎn)工場(chǎng)實(shí)踐基于DataOps的一站式數(shù)據(jù)開發(fā)平臺(tái)一站式開發(fā)的功能矩陣歐拉資產(chǎn)工場(chǎng)數(shù)據(jù)規(guī)劃數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布數(shù)據(jù)質(zhì)量與數(shù)據(jù)運(yùn)維表開發(fā)任務(wù)開發(fā)資源文件工具數(shù)倉目錄配置hiveSQL任務(wù)公共python庫數(shù)據(jù)測(cè)試批量提交DQC運(yùn)維大盤iceberg數(shù)倉信息登記庫配置資源配置PySQL任務(wù)智能解析依賴版本對(duì)比智能基線監(jiān)控報(bào)警代碼庫配置DDL文本模式數(shù)據(jù)集成公共python腳本版本對(duì)比代碼評(píng)審值班表運(yùn)維工具維度字典數(shù)據(jù)源管理刪表重建畫布開發(fā)模式函數(shù)庫發(fā)布記錄及時(shí)性監(jiān)控問題復(fù)盤全鏈路統(tǒng)一元數(shù)據(jù)服務(wù)DataOps：開發(fā)->測(cè)試->CR->發(fā)布->監(jiān)控->運(yùn)維->治理兼顧規(guī)范和效率，基于DataOps的一站式數(shù)倉生產(chǎn)規(guī)劃①進(jìn)行數(shù)倉的整體設(shè)計(jì)②對(duì)外部數(shù)據(jù)源進(jìn)行管理調(diào)試①直接調(diào)試?yán)谢a②測(cè)試、只讀模式，隔離線上環(huán)境開發(fā)①表開發(fā)、任務(wù)代碼開發(fā)②智能解析上游依賴③豐富的數(shù)據(jù)同步組件類型發(fā)布（CI/CD）①代碼評(píng)審②版本對(duì)比、線上對(duì)比③同時(shí)發(fā)布線上任務(wù)調(diào)度平臺(tái)、更新git倉庫運(yùn)維與質(zhì)量（可觀測(cè)性）①任務(wù)運(yùn)維與告警②通過數(shù)據(jù)鏈路對(duì)上下游進(jìn)行運(yùn)維③數(shù)據(jù)質(zhì)量監(jiān)控、任務(wù)及時(shí)性監(jiān)控?cái)?shù)據(jù)能力有機(jī)整合

=>

一站式數(shù)倉開發(fā)

=>

效率↑DataOps+數(shù)倉規(guī)范

=>

生產(chǎn)即治理

=>

規(guī)范↑用戶角色和使用路徑在這套數(shù)據(jù)開發(fā)流程下，DE的細(xì)分角色把數(shù)據(jù)表當(dāng)作產(chǎn)品一樣進(jìn)行精益化生產(chǎn)，從而構(gòu)建出更規(guī)范、更高質(zhì)量的數(shù)據(jù)倉庫值班表git數(shù)據(jù)開發(fā)的核心面板重點(diǎn)打磨公共Py增強(qiáng)團(tuán)隊(duì)內(nèi)協(xié)同效率調(diào)度平臺(tái)Git倉庫hive集群自動(dòng)化上線并同步git公共py腳本腳本參數(shù)1腳本參數(shù)2公共py庫用于封裝基礎(chǔ)的DDL操作、ETL操作實(shí)現(xiàn)配置化開發(fā)：json->SQL維護(hù)公共的業(yè)務(wù)邏輯片段維護(hù)常用公共字段列表任務(wù)1 任務(wù)2強(qiáng)化版本控制+提交流程用于生產(chǎn)的所有內(nèi)容

is

Code：表結(jié)構(gòu)、代碼、調(diào)度配置、依賴…比git好的地方：可視化展示版本內(nèi)容，未來可以提供更多輔助信息去CR比傳統(tǒng)方式好的地方：“保存即上線”=》“CR通過再發(fā)布上線”環(huán)境隔離、智能化、自動(dòng)化分層保障業(yè)務(wù)數(shù)倉，提升質(zhì)量，降低起夜率「運(yùn)維中心」運(yùn)維大盤：統(tǒng)計(jì)異常情況、展示工作成果運(yùn)維工具：提供深度分析與處理異常的能力失敗延遲變慢智能異常診斷任務(wù)血緣重跑/終止/回滾調(diào)整優(yōu)先級(jí)故障復(fù)盤核心數(shù)據(jù)：質(zhì)時(shí)強(qiáng)保重點(diǎn)數(shù)據(jù)：質(zhì)量保障日常任務(wù)：盡量穩(wěn)定其他重點(diǎn)（萬）核心（千）依據(jù)重要程度任務(wù)分層保障“基線保障”

，支持對(duì)任務(wù)鏈路進(jìn)行智能監(jiān)控，對(duì)延遲風(fēng)險(xiǎn)提前預(yù)警“質(zhì)量監(jiān)控”

，基礎(chǔ)能力+阻斷能力“監(jiān)控報(bào)警

=>

任務(wù)健康度

=>

處理異常=>復(fù)盤異?！?/p>

的一套運(yùn)維方案任務(wù)問題明細(xì)與DAG圖：??完整性準(zhǔn)確性一致性有效性及時(shí)性數(shù)倉規(guī)模變化今日重點(diǎn)關(guān)注實(shí)例運(yùn)行狀態(tài)資源使用情況異常明細(xì)新建個(gè)數(shù)發(fā)布次數(shù)CR次數(shù)搭配課程體系，提升相關(guān)的意識(shí)，牽引用戶使用數(shù)據(jù)工程的4門必修課程：《DataOps》《SQl代碼規(guī)范》《數(shù)據(jù)倉庫設(shè)計(jì)》《數(shù)據(jù)測(cè)試》策略產(chǎn)品的必修課程

《數(shù)倉與SQL應(yīng)用》數(shù)倉概念SQL語法SQL相關(guān)工具課堂實(shí)操練習(xí)提升有數(shù)據(jù)需求的產(chǎn)品經(jīng)理對(duì)數(shù)據(jù)倉庫、SQL的認(rèn)知，方便與DE/DS對(duì)話生產(chǎn)即治理數(shù)據(jù)規(guī)劃數(shù)據(jù)同步、數(shù)據(jù)地圖數(shù)據(jù)質(zhì)量數(shù)據(jù)運(yùn)維數(shù)據(jù)發(fā)布數(shù)據(jù)開發(fā)數(shù)據(jù)洞察?

生產(chǎn)后業(yè)務(wù)規(guī)范+數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)化約束《元數(shù)據(jù)標(biāo)準(zhǔn)》《數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)》《數(shù)據(jù)安全標(biāo)準(zhǔn)》《數(shù)據(jù)倉庫標(biāo)準(zhǔn)》數(shù)倉屬性+業(yè)務(wù)元數(shù)據(jù)開發(fā)過程中登記數(shù)倉質(zhì)量+及時(shí)性開發(fā)后持續(xù)關(guān)注增強(qiáng)數(shù)據(jù)的可理解性增強(qiáng)數(shù)據(jù)的質(zhì)量和時(shí)效數(shù)據(jù)資產(chǎn)地圖呈現(xiàn)+下游應(yīng)用高價(jià)值數(shù)據(jù)的發(fā)現(xiàn)增強(qiáng)數(shù)倉整體的規(guī)范性意識(shí)+平臺(tái)工具+組織通過生產(chǎn)過程中，直接完成數(shù)據(jù)資產(chǎn)的塑造?

生產(chǎn)前 ?

生產(chǎn)中用戶群：“單一的DE”->“崗位多元化”按工作職能數(shù)據(jù)工程DE提供更專業(yè)性的能力數(shù)據(jù)科學(xué)/分析

DS增強(qiáng)分析展示能力數(shù)據(jù)產(chǎn)品/運(yùn)營(yíng)容偏數(shù)據(jù)的開發(fā)/算法與非hive的互通不分職能，有DE方面的工作就能推分析工程師元數(shù)據(jù)資產(chǎn)工場(chǎng)功能足夠全足夠大信息充分發(fā)揮輔助作用強(qiáng)化信息量目前占比1/3，未來用戶增長(zhǎng)的突破點(diǎn)數(shù)倉工程師專業(yè)性04數(shù)據(jù)平臺(tái)產(chǎn)品方法論總結(jié)方法與熱情都很重要數(shù)據(jù)平臺(tái)創(chuàng)新方法論錯(cuò)位競(jìng)爭(zhēng)：質(zhì)量比數(shù)量重要，著力打造核心競(jìng)爭(zhēng)力組合創(chuàng)造&創(chuàng)新：做平臺(tái)不是做工具，不能簡(jiǎn)單地堆砌功能目標(biāo)用戶技術(shù)研發(fā)數(shù)據(jù)平臺(tái)產(chǎn)品經(jīng)理平臺(tái)1平臺(tái)2平臺(tái)n工具1工具n功能1功能2功能3功能4功能5功能m需求1需求x重新組合功能拆解需求拆解行業(yè)前沿落地按最小單元拆解基本要素按供需連法重新組合要素?cái)?shù)據(jù)工作者尋找新興市場(chǎng)提升自我專業(yè)度與用戶和研發(fā)保持一致的技術(shù)認(rèn)知人有我優(yōu)

人無我有規(guī)范和效率如何兼顧1、在大需求迭代中，插入一些“小而美”的需求2、約束用戶行為的時(shí)候，是否提供了輔助工具??規(guī)范效率目標(biāo)驅(qū)動(dòng)馬斯克：“只要有目標(biāo)，就一定能實(shí)現(xiàn)。哪怕還沒有想到如何實(shí)現(xiàn)的路徑，就有一種全然相信的力量”用戶的驅(qū)動(dòng)力推力：普遍認(rèn)同的評(píng)價(jià)機(jī)制（例如資產(chǎn)分）拉力：展示成果的獎(jiǎng)勵(lì)機(jī)制平臺(tái)的驅(qū)動(dòng)力找準(zhǔn)核心評(píng)價(jià)指標(biāo)核心指標(biāo)：使用規(guī)模、深度、覆蓋度洞察集成開發(fā)運(yùn)維業(yè)界TOP★★★★★★★★★★★★★★★★★★★★A時(shí)刻★★★★☆★★★☆☆★★★★☆★★☆