大應(yīng)科技/趙尉淋極客邦科技2024年會(huì)議規(guī)劃會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：已結(jié)束全球人工智能開發(fā)與應(yīng)用大會(huì)會(huì)議時(shí)間：12月20-21日會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：12月20-21日4月5月6月8月8月10月12月全球人工智能開發(fā)與應(yīng)用大會(huì)會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：已結(jié)束會(huì)議時(shí)間：10月18-19日·20年數(shù)據(jù)領(lǐng)域經(jīng)驗(yàn)，大應(yīng)科技聯(lián)合創(chuàng)始人，現(xiàn)任首席數(shù)據(jù)架構(gòu)師和客戶成功官，對(duì)金融業(yè)務(wù)數(shù)智化有深刻理解和豐富實(shí)戰(zhàn)經(jīng)驗(yàn)·原螞蟻集團(tuán)、菜鳥集團(tuán)數(shù)據(jù)平臺(tái)部數(shù)據(jù)架構(gòu)師。菜鳥物流數(shù)據(jù)體系主要設(shè)計(jì)者和建設(shè)者。曾主導(dǎo)螞蟻集團(tuán)2020年全域數(shù)據(jù)架構(gòu)升級(jí)和治理工作 ·主動(dòng)元數(shù)據(jù)平臺(tái)是DataOps體系的新支點(diǎn)·什么是主動(dòng)元數(shù)據(jù)平臺(tái)·什么是算子級(jí)血緣工具生態(tài)和鏈路復(fù)雜性劇烈膨脹的現(xiàn)代數(shù)據(jù)工程架構(gòu)加劇數(shù)據(jù)協(xié)同與管理、交付困境企業(yè)數(shù)據(jù)應(yīng)用場景增加，參與數(shù)據(jù)管道構(gòu)建團(tuán)隊(duì)增多，數(shù)據(jù)管道TT數(shù)據(jù)量成倍增加，ETL任務(wù)成倍增長，ETL工程師人均維護(hù)數(shù)據(jù)流中的表和數(shù)據(jù)管道的數(shù)量成倍增加，依靠ETL工程師很難在高度復(fù)雜數(shù)據(jù)流中找到優(yōu)化方案數(shù)據(jù)交付weteogrosbat越來越多的業(yè)務(wù)場景要求需求響應(yīng)效率從月/周到天/持多維度明細(xì)下探，強(qiáng)調(diào)數(shù)據(jù)分析一致性，以及技術(shù)上weteogrosbatDataOps架構(gòu)理念：數(shù)據(jù)旅程各環(huán)節(jié)緊密銜接，快速響應(yīng)需求架DataOps突破現(xiàn)代數(shù)據(jù)工程架構(gòu)困境，實(shí)現(xiàn)“數(shù)據(jù)優(yōu)先”■通過引入DataOps,實(shí)現(xiàn)“數(shù)據(jù)優(yōu)先定位：面向數(shù)據(jù)管理做優(yōu)化目標(biāo)：追求數(shù)據(jù)的高可用性(不遲、不錯(cuò)、不重、不漏)機(jī)制：核心產(chǎn)出數(shù)據(jù)資產(chǎn)，數(shù)據(jù)運(yùn)維方式隱式，盡量自動(dòng)化一站式、一體化建設(shè)InfoQ極客傳媒DataOps體系建設(shè)的“一個(gè)目標(biāo)、兩個(gè)實(shí)現(xiàn)”流程優(yōu)化技術(shù)升級(jí)從“人盯人”升級(jí)成“事盯人”從“人治”升級(jí)成“機(jī)治”數(shù)據(jù)優(yōu)先即業(yè)務(wù)優(yōu)先從“人盯人”升級(jí)成“事盯人”從“人治”升級(jí)成“機(jī)治”敏捷、可靠、自動(dòng)■推動(dòng)數(shù)據(jù)探查、開發(fā)、測試、部署、運(yùn)維和監(jiān)控等DataOps工作流高效運(yùn)轉(zhuǎn)包括數(shù)據(jù)表的元數(shù)據(jù)，涵蓋了腳本、模型、指標(biāo)、報(bào)表以及數(shù)據(jù)使用行為等與數(shù)據(jù)相關(guān)的所有元數(shù)據(jù)精準(zhǔn)通過自動(dòng)化采集、動(dòng)態(tài)更新、多種解析方法和智能挖掘，構(gòu)建全面、準(zhǔn)確且實(shí)時(shí)更新的算子級(jí)數(shù)據(jù)血緣圖譜能夠?qū)崟r(shí)監(jiān)控?cái)?shù)據(jù)變更，預(yù)測數(shù)據(jù)質(zhì)量問題和合規(guī)風(fēng)險(xiǎn)，并提供智能化的被動(dòng)元數(shù)據(jù)被動(dòng)元數(shù)據(jù)主動(dòng)元數(shù)據(jù)監(jiān)控等全部DataOps活動(dòng)數(shù)據(jù)流(有“治”):實(shí)現(xiàn)主動(dòng)數(shù)據(jù)管理控制流主動(dòng)元數(shù)據(jù)平臺(tái)主動(dòng)元數(shù)據(jù)平臺(tái)數(shù)據(jù)解耦據(jù)標(biāo)平臺(tái)數(shù)據(jù)編排智晰物化據(jù)標(biāo)平臺(tái)工作流(有“序”):實(shí)現(xiàn)敏捷數(shù)據(jù)協(xié)同工作流(有“序”):實(shí)現(xiàn)敏捷數(shù)據(jù)協(xié)同屬性開發(fā)測試生味生融科描大告生味生融科描大告算子級(jí)血緣解析算子級(jí)血緣解析元數(shù)據(jù)語義挖掘元數(shù)據(jù)語義挖掘反向元數(shù)據(jù)集成主動(dòng)元數(shù)據(jù)服務(wù)反向元數(shù)據(jù)集成主動(dòng)元數(shù)據(jù)服務(wù)可配置化提供各類服務(wù)API,與客戶的數(shù)據(jù)主動(dòng)元數(shù)據(jù)平臺(tái)能力圖譜數(shù)據(jù)庫數(shù)據(jù)庫智能數(shù)據(jù)助手血緣頁面集成釘釘/企業(yè)IM集成服務(wù)API調(diào)智能數(shù)據(jù)助手元數(shù)據(jù)知識(shí)圖譜數(shù)據(jù)開發(fā)運(yùn)維助手?jǐn)?shù)據(jù)開發(fā)運(yùn)維助手?jǐn)?shù)據(jù)治理運(yùn)營助手HipAccuracy看板看板指標(biāo)算法模型非結(jié)構(gòu)化實(shí)體報(bào)表數(shù)據(jù)質(zhì)量管控平臺(tái)OBRMD_C_T84_VBS.列1精準(zhǔn)刻畫血緣關(guān)系1月度業(yè)務(wù)分析報(bào)表月度業(yè)務(wù)分析報(bào)表季度業(yè)務(wù)季度業(yè)務(wù)分析報(bào)表醉擱表期末余額TabisnTabisnpACOUCT全鏈路端到端連通全鏈路端到端連通3擱3精確理解字段口徑全連通一張圖全疆路可視自定義資產(chǎn)可按規(guī)范接入血緣，打通從源通到應(yīng)用端全鏈路精準(zhǔn)刻畫字段加工口徑，自動(dòng)理解計(jì)算語義塔比數(shù)據(jù)專家的SCL任務(wù)腳本理解能力“四大”顯著特性，解決數(shù)據(jù)管理中的多項(xiàng)“頑疾”精細(xì)準(zhǔn)確主動(dòng)元數(shù)據(jù)平臺(tái)●5分鐘看清復(fù)雜字段口徑復(fù)雜SQL代碼高精度解析，字段計(jì)算口徑的自動(dòng)提取和準(zhǔn)確裁剪解決血緣泛化問題，實(shí)現(xiàn)精準(zhǔn)溯源和影響面分析，根治了表/列血緣發(fā)散過快引發(fā)大量噪音的問題，10倍提升數(shù)據(jù)盤點(diǎn)效率全面集成調(diào)度或數(shù)據(jù)異常消息，輔助精準(zhǔn)定位上游“估下游影響面量化評(píng)估字段級(jí)(指標(biāo))相似度，主動(dòng)識(shí)別全域重復(fù)資產(chǎn)，促進(jìn)持續(xù)且主動(dòng)的重復(fù)模型治理，自動(dòng)識(shí)別鏈路冗余依賴，生成模型優(yōu)化建議會(huì)案例分享：招商銀行基于列算子血緣的模型優(yōu)化和變更協(xié)同應(yīng)用實(shí)踐以主動(dòng)元數(shù)據(jù)為基石，圍繞著DataOps基于算子血緣構(gòu)建的智能數(shù)據(jù)助手應(yīng)用于數(shù)倉持續(xù)優(yōu)化理念構(gòu)建一站式智能數(shù)據(jù)研發(fā)平臺(tái)基于算子血緣構(gòu)建的智能數(shù)據(jù)助手應(yīng)用于全鏈路變更協(xié)同升級(jí)現(xiàn)有血緣圖譜到高精準(zhǔn)的算子級(jí)血緣圖譜案例分享：杭州銀行基于主動(dòng)元數(shù)據(jù)平臺(tái)實(shí)現(xiàn)重點(diǎn)鏈路主動(dòng)保障風(fēng)險(xiǎn)監(jiān)測&異常歸因持續(xù)分析全鏈路變更及質(zhì)量異常，輔助異主動(dòng)評(píng)估下游影響，通知受影響的下游應(yīng)腳本變更元數(shù)據(jù)變更事件影響分析口徑變化任務(wù)調(diào)度事件影響分析口徑變化任務(wù)調(diào)度事件鏈路風(fēng)險(xiǎn)報(bào)告質(zhì)量檢測事件鏈路風(fēng)險(xiǎn)報(bào)告任務(wù)異常變更異常任務(wù)異常100%精準(zhǔn)的表血緣，業(yè)務(wù)應(yīng)用也有限不可見作業(yè)腳本內(nèi)部黑盒基于開源血緣軟件看不清字段影響作業(yè)腳本作業(yè)腳本內(nèi)部白盒化字段D2字段日3像數(shù)據(jù)庫引擎一樣去解析代碼細(xì)節(jié)作業(yè)腳本內(nèi)部黑盒字段日3輸入喪日基于開源血緣軟件看不清加工邏輯看不清加工邏輯能夠清晰展現(xiàn)數(shù)據(jù)流向，使數(shù)據(jù)前因后果之間形成邏輯上的連通高精準(zhǔn)能夠精確描述和記錄數(shù)據(jù)的每一次處理和轉(zhuǎn)換，哪怕最微小的數(shù)據(jù)變化極細(xì)致能夠?yàn)槊總€(gè)數(shù)據(jù)操作提供細(xì)粒度跟蹤，精細(xì)管控?cái)?shù)據(jù)質(zhì)量和流動(dòng)實(shí)時(shí)保鮮能夠?qū)崟r(shí)解析數(shù)據(jù)血緣，及時(shí)反映數(shù)據(jù)最新狀態(tài)和應(yīng)用程序變更基于算子級(jí)血緣，實(shí)現(xiàn)真正的“敏捷協(xié)同和主動(dòng)管理”C看得清清晰理解數(shù)據(jù)的來源和去向F管得住確保數(shù)據(jù)的質(zhì)量和合規(guī)性E治得動(dòng)在數(shù)據(jù)生命周期的任何環(huán)節(jié)中動(dòng)態(tài)管理和優(yōu)化數(shù)據(jù)做得快實(shí)現(xiàn)敏捷的數(shù)據(jù)協(xié)同做到真正的”敏捷數(shù)據(jù)協(xié)同”和“主動(dòng)智能的數(shù)據(jù)管理”以上，實(shí)現(xiàn)這一指標(biāo)的前提是元II只有準(zhǔn)確才敢用III只有不漏才可用