數(shù)據(jù)治理_數(shù)據(jù)自動(dòng)化清洗功能設(shè)計(jì)方案背景當(dāng)前的基礎(chǔ)清洗是由開(kāi)發(fā)人員在平臺(tái)通過(guò)配置輸入輸出表、依賴(lài)、數(shù)據(jù)源，再通過(guò)SQL腳本創(chuàng)建剔重程序?qū)DS表轉(zhuǎn)換為DWD表，程序上線(xiàn)依據(jù)前置歸集任務(wù)的調(diào)度周期及系統(tǒng)忙閑程度生成調(diào)度任務(wù)。是ODS-DWD-DWS程序鏈中的一環(huán)，平臺(tái)也會(huì)依據(jù)這些配置信息生成數(shù)據(jù)血緣關(guān)系圖。因輸出表有命名規(guī)范，剔重SQL沒(méi)有附加業(yè)務(wù)屬性，千篇一律，其他配置信息可以通過(guò)前置的歸集任務(wù)獲取，因此業(yè)主方認(rèn)為基礎(chǔ)清洗工作可以自動(dòng)化完成，也就是說(shuō)ODS到DWD過(guò)程不需要人工干預(yù)。要求歸集后的數(shù)據(jù)都應(yīng)全量做基礎(chǔ)清洗基礎(chǔ)清洗流程—現(xiàn)狀歸集系統(tǒng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理MQ歸集完成通知消費(fèi)歸集消息通過(guò)接口觸發(fā)執(zhí)行輸入表為當(dāng)前歸集ODS表的清洗程序元數(shù)據(jù)采集樣例數(shù)據(jù)采集目錄狀態(tài)更新…數(shù)據(jù)湖執(zhí)行ODS->DWD的清洗開(kāi)發(fā)ODS->DWD的清洗程序治理開(kāi)發(fā)人員治理開(kāi)發(fā)人員在數(shù)據(jù)治理平臺(tái)把ODS->DWD的清洗程序開(kāi)發(fā)完成并發(fā)布后，平臺(tái)才能根據(jù)歸集消息自動(dòng)觸發(fā)清洗程序目錄資源掛載自動(dòng)化基礎(chǔ)清洗流程歸集系統(tǒng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理MQ歸集完成通知消費(fèi)歸集消息通過(guò)接口觸發(fā)執(zhí)行輸入表為當(dāng)前歸集ODS表的清洗程序元數(shù)據(jù)采集樣例數(shù)據(jù)采集目錄狀態(tài)更新…執(zhí)行ODS->DWD的清洗開(kāi)發(fā)ODS->DWD的清洗程序治理開(kāi)發(fā)人員1、通過(guò)接口自動(dòng)創(chuàng)建輸入表為ODS表的調(diào)度程序并發(fā)布，如已創(chuàng)建則跳過(guò)2、自動(dòng)創(chuàng)建DWD元數(shù)據(jù)并掛載目錄資源通過(guò)接口自動(dòng)創(chuàng)建輸入表為ODS表的調(diào)度程序并發(fā)布，不再需要治理開(kāi)發(fā)人員人工干預(yù)目錄資源掛載自動(dòng)化基礎(chǔ)清洗—全量清洗程序模板判斷ODS表是否存在ODS表不存在，程序結(jié)束讀取ODS表獲取ODS表數(shù)據(jù)量判斷ODS表數(shù)據(jù)量是否為0ODS表數(shù)據(jù)量為0，程序結(jié)束獲取分桶數(shù)讀取DWD表判斷DWD表是否存在備份DWD表存在創(chuàng)建新的DWD表不存在清洗數(shù)據(jù)保存清洗統(tǒng)計(jì)日志刪除歷史DWD備份表結(jié)束自動(dòng)清洗前提條件：DWD表的創(chuàng)建依據(jù)ODS的建表語(yǔ)句，增加分桶規(guī)則；ODS表如果建表不規(guī)范，則DWD表可能存在不規(guī)范的情況數(shù)據(jù)踢重，依賴(lài)于奧騰同步的目錄信息中的主鍵標(biāo)識(shí)；如沒(méi)有主鍵標(biāo)識(shí)，則無(wú)法自動(dòng)生成自動(dòng)清洗規(guī)則：DWD表名按照規(guī)范生成DWD表為ORC的分桶表，分桶數(shù)跟據(jù)數(shù)據(jù)量查詢(xún)分桶配置表確定DWD表先備份再清洗數(shù)據(jù)清洗去重規(guī)則為：根據(jù)主鍵分組，按照奧騰創(chuàng)建時(shí)間取最新一條數(shù)據(jù)存在不存在為0不為0自動(dòng)化基礎(chǔ)清洗·增量清洗程序模板判斷最新批次ODS表是否存在ODS表不存在，程序結(jié)束讀取當(dāng)前批次ODS表獲取最新批次ODS表數(shù)據(jù)量判斷最新批次ODS表數(shù)據(jù)量是否為0ODS表數(shù)據(jù)量為0，程序結(jié)束獲取分桶數(shù)清洗數(shù)據(jù)（前一批次的DWD表+最新批次ODS表數(shù)據(jù)合并）保存清洗統(tǒng)計(jì)日志刪除歷史批次DWD備份表結(jié)束自動(dòng)清洗前提條件：增量歸集時(shí)，每次歸集都生成一個(gè)新表或有統(tǒng)一的標(biāo)識(shí)字段標(biāo)識(shí)增量數(shù)據(jù)，如歸集批次、歸集日期DWD表的創(chuàng)建依據(jù)ODS的建表語(yǔ)句，增加分桶規(guī)則；ODS表如果建表不規(guī)范，則DWD表可能存在不規(guī)范的情況數(shù)據(jù)踢重，依賴(lài)于奧騰同步的目錄信息中的主鍵標(biāo)識(shí)；如沒(méi)有主鍵標(biāo)識(shí)，則無(wú)法自動(dòng)生成自動(dòng)清洗規(guī)則：DWD表名按照規(guī)范生成，表后綴增加DWD表為ORC的分桶表，分桶數(shù)跟據(jù)數(shù)據(jù)量查詢(xún)分桶配置表確定最新DWD表的數(shù)據(jù)為前一批次DWD表+最新批次ODS的數(shù)據(jù)合并數(shù)據(jù)清洗去重規(guī)則為：根據(jù)主鍵分組，按照奧騰創(chuàng)建時(shí)間取最新一條數(shù)據(jù)存在不存在為0不為0創(chuàng)建新批次的DWD表數(shù)據(jù)復(fù)制到DWD表自動(dòng)化基礎(chǔ)清洗—監(jiān)控&上線(xiàn)異常監(jiān)控：自動(dòng)化清洗程序生成失敗的統(tǒng)計(jì)監(jiān)控已生成自動(dòng)化清洗程序的調(diào)度執(zhí)行結(jié)果監(jiān)控自動(dòng)化清洗程序調(diào)度成功后ODS數(shù)據(jù)量與DWD數(shù)據(jù)量的對(duì)比監(jiān)控上線(xiàn)方式（二選一）：人工上線(xiàn)自動(dòng)化清洗程序（推薦）：平臺(tái)自動(dòng)生成ODS->DWD的清洗程序，數(shù)據(jù)治理開(kāi)發(fā)人員，對(duì)需要上線(xiàn)的治理程序，進(jìn)行發(fā)布上線(xiàn)自動(dòng)上線(xiàn)自動(dòng)化清洗程序：按照委辦逐步上線(xiàn)：所有委辦的目錄量1萬(wàn)+，目前星環(huán)的資源配置可能不具備一次性全量清洗條件，采取首次上線(xiàn)時(shí)，選擇一個(gè)委辦試點(diǎn)，逐步放開(kāi)其他委辦自動(dòng)化基礎(chǔ)清洗·其他說(shuō)明對(duì)于已經(jīng)開(kāi)發(fā)ODS->DWD清洗程序的表，不再重復(fù)生成清洗程序所有生成的自動(dòng)化清洗程序，都在治理平臺(tái)運(yùn)維團(tuán)隊(duì)下對(duì)于某些特殊場(chǎng)景，自動(dòng)化生成的調(diào)度程序無(wú)法滿(mǎn)足需求的，需要治理人員單獨(dú)開(kāi)發(fā)治理程序，并刪除原自動(dòng)生成的治理程序當(dāng)自動(dòng)化清洗模板規(guī)則發(fā)生變更時(shí)，對(duì)所有自動(dòng)生成的治理程序進(jìn)行批量統(tǒng)一更新（如不需要此功能則上面特殊場(chǎng)景的清洗程序，治理人員直接修改自動(dòng)生成的治理程序即可）需要在星環(huán)單獨(dú)配置一個(gè)資源隊(duì)列，所有自動(dòng)化清洗調(diào)度任務(wù)都提交至此資源隊(duì)列中自動(dòng)化基礎(chǔ)清洗·工作整理數(shù)據(jù)資產(chǎn)平臺(tái)：樣例程序開(kāi)發(fā)：全量、增量自動(dòng)清洗程序的樣例程序開(kāi)發(fā)、驗(yàn)證自動(dòng)化清洗程序生成：通過(guò)歸集消息、目錄歸集方式（全量/增量）、樣例程序模板調(diào)用數(shù)據(jù)開(kāi)發(fā)平臺(tái)的生成清洗程序、調(diào)度配置，程序發(fā)布接口；并保存相關(guān)接口日志、調(diào)用狀態(tài)開(kāi)發(fā)定時(shí)任務(wù)：查詢(xún)調(diào)度任務(wù)日志，對(duì)自動(dòng)清洗調(diào)度成功的，生成或修改DWD元數(shù)據(jù)，并掛載目錄資源統(tǒng)計(jì)監(jiān)控：增加自動(dòng)化清洗程序生成失敗的統(tǒng)計(jì)監(jiān)控統(tǒng)計(jì)監(jiān)控：自動(dòng)化清洗程序調(diào)度成功后ODS數(shù)據(jù)量與DWD數(shù)據(jù)量的對(duì)比監(jiān)控（對(duì)原有監(jiān)控增加字段、查詢(xún)條件）數(shù)據(jù)開(kāi)發(fā)平臺(tái)：新增生成清洗程序（新增、修改）接口，接口中增加調(diào)用標(biāo)識(shí)字段新增調(diào)度配置（新增、修改）接口，接口中增加調(diào)用標(biāo)識(shí)字段新增發(fā)布程序（發(fā)布、取消發(fā)布）接口，接口中增加調(diào)用標(biāo)識(shí)字段調(diào)度程序支持配置星環(huán)資源隊(duì)列（之前已提交給產(chǎn)品的需求中包含此項(xiàng)）自動(dòng)化基礎(chǔ)清洗·外部要求保證歸集ODS表的建表規(guī)范，字段類(lèi)型保持與星環(huán)一致保證委辦目錄字