數(shù)據(jù)治理那些事(9)-—數(shù)據(jù)質(zhì)量6上節(jié)主要講了HADOOP平臺的數(shù)據(jù)質(zhì)量管理平臺的規(guī)則配置，本節(jié)繼續(xù)講數(shù)據(jù)質(zhì)量檢管理平臺的工作流程.數(shù)據(jù)質(zhì)量評估信息數(shù)據(jù)質(zhì)量評估信息是數(shù)據(jù)質(zhì)量管理平臺不定期數(shù)據(jù)質(zhì)量評估活動中所涉及的明細(xì)業(yè)務(wù)數(shù)據(jù)信息、編碼信息、評估元數(shù)據(jù)信息及評估指標(biāo)選擇信息等。參見錯誤!未找到引用源。節(jié)。數(shù)據(jù)質(zhì)量問題處理信息數(shù)據(jù)質(zhì)量問題處理信息是數(shù)據(jù)質(zhì)量告警被確認(rèn)后轉(zhuǎn)入問題處理流程的相關(guān)處理信息及數(shù)據(jù)質(zhì)量評估發(fā)現(xiàn)的問題信息。數(shù)據(jù)質(zhì)量存儲方式數(shù)據(jù)質(zhì)量存儲庫使用關(guān)系數(shù)據(jù)庫或文件存儲數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)質(zhì)量信息和數(shù)據(jù)質(zhì)量知識;對于問題總結(jié)過程和數(shù)據(jù)質(zhì)量評估過程中輸出的文檔可以以Text、PDF、Excel或Word等文件格式存儲。數(shù)據(jù)質(zhì)量功能層按照數(shù)據(jù)質(zhì)量管理流程，即質(zhì)量定義、度量、分析和改進(jìn)，質(zhì)量管理子系統(tǒng)主要功能包括:開數(shù)據(jù)質(zhì)量滿意度反饋、Hadoop結(jié)構(gòu)化數(shù)據(jù)稽核、新數(shù)據(jù)源質(zhì)量稽核、規(guī)則配置管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量問題處理、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)質(zhì)量報(bào)告和數(shù)據(jù)質(zhì)量對外服務(wù)等?；A(chǔ)功能規(guī)則配置管理規(guī)則管理功能結(jié)構(gòu)如錯誤!未找到引用源。所示：規(guī)則配置管理建查點(diǎn)1槍遷點(diǎn)n節(jié)瞽祝則規(guī)閶設(shè)壽規(guī)則配置管理建查點(diǎn)1槍遷點(diǎn)n節(jié)瞽祝則規(guī)閶設(shè)壽規(guī)削堆護(hù)規(guī)則tit化〔時間觸澄?、事件仙而質(zhì)坦成1頑斗規(guī)則定義數(shù)據(jù)質(zhì)量規(guī)則是以被操作對象為中心，展開的一系列質(zhì)量管理活動的判斷準(zhǔn)則。一個規(guī)則通常包括規(guī)則ID、規(guī)則名稱、規(guī)則算法、規(guī)則閾值和被監(jiān)控對象等要素。數(shù)據(jù)質(zhì)量規(guī)則可分為采集規(guī)則、監(jiān)控規(guī)則、告警規(guī)則和審計(jì)規(guī)則四類。采集規(guī)則是獲取被監(jiān)控對象的具體數(shù)值的方法，包括采集代理規(guī)則和采集程序規(guī)則；監(jiān)控規(guī)則是對采集到的監(jiān)控對象數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)規(guī)則；告警規(guī)則是監(jiān)控規(guī)則執(zhí)行后，出現(xiàn)違反規(guī)則允許范圍的異常時，發(fā)送告警信息的方式方法，包括告警方式規(guī)則和告警訂閱規(guī)則；審計(jì)規(guī)則是進(jìn)行兩級聯(lián)動對象數(shù)據(jù)質(zhì)量審計(jì)的算法依據(jù)，包括及時性審計(jì)規(guī)則和準(zhǔn)確性審計(jì)規(guī)則。下面根據(jù)規(guī)范實(shí)施重點(diǎn)，詳述監(jiān)控規(guī)則的規(guī)則結(jié)構(gòu)，并簡述采集、告警和審計(jì)等其他規(guī)則的內(nèi)容。規(guī)則設(shè)置數(shù)據(jù)質(zhì)量管理平臺需要對大量的監(jiān)控點(diǎn)進(jìn)行質(zhì)量監(jiān)控。規(guī)則動態(tài)設(shè)置，即是在規(guī)則統(tǒng)一結(jié)構(gòu)和存儲的基礎(chǔ)上，根據(jù)監(jiān)控對象的類型、屬性及歷史數(shù)據(jù)，動態(tài)提供與其相應(yīng)的監(jiān)控規(guī)則、初始閾值及數(shù)據(jù)維度信息等，實(shí)現(xiàn)規(guī)則的類型及閾值等與被監(jiān)控對象快速匹配，支持對新增監(jiān)控點(diǎn)的動態(tài)配置和快速部署。主要包括以下幾點(diǎn)：規(guī)則類型支持根據(jù)監(jiān)控對象類型做匹配，如對接口文件提供及時性檢查規(guī)則、對關(guān)鍵指標(biāo)提供波動檢查規(guī)則。規(guī)則閾值支持參照歷史數(shù)據(jù)波動情況或同類型監(jiān)控對象的規(guī)則閾值做匹配。支持根據(jù)相同監(jiān)控對象的不同維度（如客戶到達(dá)數(shù)的城市、品牌等維度）進(jìn)行規(guī)則配置。規(guī)則運(yùn)行配置：規(guī)則配置完成后，支持立即運(yùn)行規(guī)則或重跑。支持一個指標(biāo)多個規(guī)則配置，能夠一個指標(biāo)監(jiān)控使用多個監(jiān)控規(guī)則。如快報(bào)應(yīng)用，同一指標(biāo)在10點(diǎn)鐘與同期對比波動范圍為±30%，在20點(diǎn)鐘與同期對比波動范圍為±20%。規(guī)則維護(hù)規(guī)則維護(hù)即是規(guī)則建立后對規(guī)則各種屬性的日常管理，包括規(guī)則的界面維護(hù)即后臺維護(hù)兩部分。規(guī)則的界面維護(hù)即是對規(guī)則相關(guān)的規(guī)則類型、規(guī)則算法、規(guī)則閾值及數(shù)據(jù)維度等進(jìn)行管理，包括如下幾部分：規(guī)則修改：修改規(guī)則的相關(guān)屬性信息。規(guī)則刪除：刪除一條規(guī)則。規(guī)則查詢：提供按照規(guī)則的ID、名稱、屬性等精確匹配及模糊查詢。后臺維護(hù)規(guī)則的后臺維護(hù)包括對當(dāng)前規(guī)則、規(guī)則變更和歷史規(guī)則信的存儲維護(hù)等，分別說明如下：當(dāng)前規(guī)則信息：記錄所有當(dāng)前可有效使用的最新規(guī)則信息，由規(guī)則的基本結(jié)構(gòu)信息，包括規(guī)則定義、規(guī)則類型、規(guī)則對象以及規(guī)則閾值等組成；規(guī)則變更信息：記錄規(guī)則發(fā)生修改時的變更信息，包括變更編碼（每次變更的唯一識別碼）、規(guī)則編碼、變更類型（閾值、對象維度等）、變更值（變更后的值）以及變更人和變更時間等；歷史規(guī)則信息：記錄一次規(guī)則變更發(fā)生前的規(guī)則信息。規(guī)則調(diào)度數(shù)據(jù)質(zhì)量規(guī)則調(diào)度是面向規(guī)則對象的檢查任務(wù)，按照時間觸發(fā)和事件請求方式觸發(fā)規(guī)則調(diào)用，具體說明如下。時間觸發(fā)方式定時觸發(fā)即根據(jù)設(shè)定的時間：年、月、日、小時、分鐘及秒等進(jìn)行規(guī)則調(diào)度；循環(huán)觸發(fā)即指定時間段進(jìn)行規(guī)則的循環(huán)調(diào)度；間隔觸發(fā)即指定兩個規(guī)則調(diào)度的間隔時間；事件請求方式前置依賴調(diào)度即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足。女0錯誤!未找到引用源。所示，根據(jù)元數(shù)據(jù)血統(tǒng)圖建立了指標(biāo)1和指標(biāo)2的相關(guān)監(jiān)控點(diǎn)。前置依賴即鏈路上每個監(jiān)控點(diǎn)是否進(jìn)行規(guī)則調(diào)度，都要依賴于前一個監(jiān)控點(diǎn)執(zhí)行的結(jié)果，如果前一個監(jiān)控點(diǎn)出現(xiàn)告警，則該監(jiān)控點(diǎn)即無需調(diào)度。如接口1的及時性檢查出現(xiàn)告警（即接口1未按時到達(dá)），則ETL1和ETL1之后的節(jié)點(diǎn)則無需調(diào)度。實(shí)現(xiàn)該調(diào)度方式可以減少大量的關(guān)聯(lián)告警產(chǎn)生。女［錯誤!未找到引用源。所示。后置觸發(fā)調(diào)度后置觸發(fā)調(diào)度即某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點(diǎn)是否執(zhí)行。該調(diào)度方式可支持在出現(xiàn)質(zhì)量問題時，進(jìn)行進(jìn)一步的質(zhì)量探查分析。本節(jié)講的數(shù)據(jù)質(zhì)量管理平臺的數(shù)據(jù)規(guī)則的功能和配置，通過數(shù)據(jù)檢核規(guī)則的配置和調(diào)度進(jìn)行數(shù)據(jù)檢核的