項(xiàng)目編號(hào):

某企業(yè)數(shù)據(jù)智能管理治理平臺(tái)設(shè)計(jì)

建

設(shè)

方

案

錄

1.1總體建設(shè)方案概述.......................................................3

1.1.1數(shù)據(jù)治理論述.....................................................5

1.1.2數(shù)據(jù)治理;耀.....................................................8

1.13基礎(chǔ)庫(kù)治理步驟...................................................9

1.1.4治理過(guò)程產(chǎn)出.......................................12

1.2平臺(tái)建設(shè)總體設(shè)計(jì).....................................................12

1.2.1平臺(tái)削理念....................................................13

1.2.2平臺(tái)架構(gòu)謝十....................................................14

1.23平臺(tái)技術(shù)特點(diǎn)....................................................15

1.3數(shù)據(jù)治理建設(shè)方案...............................................16

1.3.1數(shù)據(jù)標(biāo)準(zhǔn)WS......................................................................................................................16

1.3.2元數(shù)據(jù)管理......................................................20

1.33數(shù)據(jù)質(zhì)量管理....................................................25

1.3.4數(shù)據(jù)集成管理....................................................30

1.4數(shù)據(jù)管理建設(shè)方案.....................................................31

1.4.1數(shù)據(jù)資產(chǎn)??....................................................31

1.4.2數(shù)據(jù)異常宣里....................................................44

1.43數(shù)據(jù)架構(gòu)徵里....................................................47

144數(shù)據(jù)開(kāi)發(fā)管理....................................................48

1.5數(shù)據(jù)智能建設(shè)方案.....................................................54

1.5.1數(shù)據(jù)血緣........................................................54

1.5.2智能標(biāo)簽........................................................56

1.5.3數(shù)據(jù)探索........................................................58

1.5.4畫(huà)像分析........................................................59

1.1總體建設(shè)方案概述

數(shù)據(jù)管理平臺(tái)涵蓋了數(shù)據(jù)的全局治理和過(guò)程管控，是數(shù)據(jù)可用的前提，只有

確保數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化,可信可用，才能進(jìn)一步通過(guò)數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)應(yīng)用幫

助大數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理，發(fā)現(xiàn)內(nèi)部數(shù)據(jù)問(wèn)題、發(fā)掘數(shù)據(jù)價(jià)值，進(jìn)而實(shí)現(xiàn)

數(shù)據(jù)資產(chǎn)的盤(pán)活和有效利用。

數(shù)據(jù)管理平臺(tái)基于元模型驅(qū)動(dòng)模式，構(gòu)建一體化的數(shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)全流

程、全生命周期和全景式的〃三全"治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、

可用。

通過(guò)對(duì)數(shù)據(jù)、應(yīng)用、系統(tǒng)綜合管理，構(gòu)建標(biāo)準(zhǔn)化、流程化、自動(dòng)化、一體化

的數(shù)據(jù)管理體系。

數(shù)據(jù)治理將分散、多樣化的數(shù)據(jù)通過(guò)匯集、標(biāo)準(zhǔn)化、清洗等操作對(duì)數(shù)據(jù)的質(zhì)

量進(jìn)行全面的提升和監(jiān)控，形成城市大數(shù)據(jù)的管理和控制機(jī)制，并提供一站式數(shù)

據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價(jià)值。從功能角度，數(shù)據(jù)治理系

統(tǒng)包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)集成、工作流、數(shù)據(jù)

地圖/數(shù)據(jù)血緣、數(shù)據(jù)管理數(shù)據(jù)安全、多租戶、元數(shù)據(jù)管理、系統(tǒng)安全等功能。

制定相關(guān)標(biāo)準(zhǔn)規(guī)范及管理制度，通過(guò)相應(yīng)平臺(tái)工具匯聚區(qū)內(nèi)各單位公共數(shù)據(jù)

及市級(jí)落地?cái)?shù)據(jù)資源，形成區(qū)級(jí)數(shù)據(jù)池，同時(shí)經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理

后高質(zhì)量的公共數(shù)據(jù)資源，形成區(qū)級(jí)綜合數(shù)據(jù)平臺(tái)。

數(shù)據(jù)治理系統(tǒng)通過(guò)對(duì)數(shù)據(jù)全生命周期、端到端的全鏈路透明化管控，實(shí)現(xiàn)〃數(shù)

據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化〃，實(shí)現(xiàn)數(shù)

據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務(wù)流程的實(shí)時(shí)監(jiān)控，有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)

量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡(luò)不清晰的痛點(diǎn)問(wèn)題。

數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法,采用的數(shù)據(jù)治理子系統(tǒng)和工

具，以分布式存儲(chǔ)和運(yùn)算為基礎(chǔ)，通過(guò)人工智能和機(jī)器學(xué)習(xí)技術(shù),輔之以適量的

人工訓(xùn)練和專家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞閔行

區(qū)大數(shù)據(jù)資源平臺(tái)的應(yīng)用建設(shè)目標(biāo)，包含數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、智能監(jiān)控、數(shù)據(jù)

保護(hù)傘以及安全衛(wèi)士，提供全面的數(shù)據(jù)治理能力，提供數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)

據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對(duì)等方面服務(wù)。在數(shù)據(jù)打通過(guò)程中，同

時(shí)做好數(shù)據(jù)質(zhì)量管理，主要包括四個(gè)方面數(shù)據(jù)缺失補(bǔ)缺、數(shù)據(jù)重復(fù)去重、數(shù)據(jù)錯(cuò)

誤糾正、數(shù)據(jù)不可用補(bǔ)救。

數(shù)據(jù)治理子系統(tǒng)通過(guò)標(biāo)準(zhǔn)API接口、用戶自主上傳與自主數(shù)據(jù)抽取技術(shù)將

用戶內(nèi)部數(shù)據(jù)直接導(dǎo)入數(shù)據(jù)池，利用全局?jǐn)?shù)據(jù)處理技術(shù)在數(shù)據(jù)池中解決大量數(shù)據(jù)

的集成處理,將數(shù)據(jù)統(tǒng)一整合、集成，最終形成可以提供高質(zhì)量數(shù)據(jù)的數(shù)據(jù)集成

平臺(tái)，提供規(guī)則、無(wú)錯(cuò)漏、清潔、有價(jià)值、易使用的集成數(shù)據(jù)環(huán)境。

z-----------------在線服務(wù)一予------------------------

/^＜[x

（深度學(xué)習(xí)知識(shí)圖譜

數(shù)81特征.tj行業(yè)知識(shí)昨?新

事令數(shù)據(jù)湖+人工智能*濟(jì)

帚三方崢一-O?@O-＞但5分析

收據(jù)送解U郵關(guān)聯(lián)數(shù)據(jù)II合數(shù)據(jù)安全

IIJ

L----------§§希------------

內(nèi)部數(shù)據(jù)（含*g）專家少員參與

＞數(shù)據(jù)治理流程圖

數(shù)據(jù)治理子系統(tǒng)西寺現(xiàn)有的絕大多數(shù)數(shù)據(jù)格式的導(dǎo)入和識(shí)別。通過(guò)結(jié)合人工

智能技術(shù)，數(shù)據(jù)治理系統(tǒng)能夠?qū)?shù)據(jù)自動(dòng)識(shí)別并抽取存入數(shù)據(jù)湖中，與傳統(tǒng)ETL

不同的是，數(shù)據(jù)治理系統(tǒng)的全局?jǐn)?shù)據(jù)處理技術(shù)在應(yīng)對(duì)多系統(tǒng)、多部門、多環(huán)節(jié)、

多數(shù)據(jù)、多表單的便用場(chǎng)景時(shí)更加科學(xué)。全局?jǐn)?shù)據(jù)處理能夠避免在全局?jǐn)?shù)據(jù)匯總

前的信息流失，最大程度的在完成數(shù)據(jù)集成的同時(shí)保持?jǐn)?shù)據(jù)的高保真、高還原。

1.1.1數(shù)據(jù)治理論述

大數(shù)據(jù)治理工作從數(shù)據(jù)匯聚開(kāi)始，到最終服務(wù)業(yè)務(wù)，主要包括以下幾個(gè)階段：

大數(shù)據(jù)治理方法論

>

全息檔塞關(guān)系中心軌跡中心

離線數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)I二人一檔.飛機(jī)火生13

同伙關(guān)系伴隨軌跡

數(shù)據(jù)管理I-II

?器史.,3”?受工產(chǎn)

?kI?0A?

?e?ss?'；B4

7*模型治理

基礎(chǔ)政據(jù).數(shù)據(jù)治九斐合收期

資源虎?I.I資源展

IDMapping

為了無(wú)法計(jì)算的價(jià)值ICDWSE

第一階段：數(shù)據(jù)匯聚，融合管理

從政務(wù)辦公網(wǎng)、感知網(wǎng)、社會(huì)協(xié)同單位收集各類數(shù)據(jù)，形成大數(shù)據(jù)中心的數(shù)

據(jù)基礎(chǔ)，并對(duì)匯集的原始數(shù)據(jù)開(kāi)展基于數(shù)據(jù)管理視角和業(yè)務(wù)應(yīng)用視角的治理及應(yīng)

用工作。

基于數(shù)據(jù)管理視角，對(duì)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)進(jìn)行集中采集和管理，從站

位全局服務(wù)閔行區(qū)大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和

數(shù)據(jù)資產(chǎn)管理應(yīng)用，達(dá)到數(shù)據(jù)資源的規(guī)范化和可視化；匯聚后的原始數(shù)據(jù)仍處于

零散、不可直接使用的狀態(tài)，為數(shù)據(jù)使用者提供一站式的集成開(kāi)發(fā)環(huán)境,從而滿

足數(shù)據(jù)資源平臺(tái)下，數(shù)據(jù)開(kāi)發(fā)者進(jìn)行ETL開(kāi)發(fā)、數(shù)據(jù)挖掘算法開(kāi)發(fā)、數(shù)據(jù)主題

庫(kù)建設(shè)等需求；對(duì)數(shù)據(jù)融合處理的全過(guò)程通過(guò)質(zhì)量管理工具進(jìn)行管理監(jiān)測(cè)，保障

數(shù)據(jù)質(zhì)量；因政府?dāng)?shù)據(jù)的機(jī)密性、高敏感性等特點(diǎn)，需對(duì)數(shù)據(jù)資源層中各數(shù)據(jù)項(xiàng)

進(jìn)行安全上的分類分級(jí)，確保數(shù)據(jù)使用合理、安全可控。

基于業(yè)務(wù)應(yīng)用視角，對(duì)匯聚的基礎(chǔ)數(shù)據(jù)開(kāi)展模型治理，通過(guò)數(shù)據(jù)清洗加工、

基于業(yè)務(wù)背景及要求的處理加工、以及面向應(yīng)用專題場(chǎng)景的開(kāi)發(fā)，依次構(gòu)建整合

數(shù)據(jù)資源層、主題數(shù)據(jù)資源層、應(yīng)用數(shù)據(jù)資源層，形成指標(biāo)口徑一致、統(tǒng)存統(tǒng)用

的大數(shù)據(jù)資源層。

第二階段：基于數(shù)據(jù)，提煉抽象信息，形成知識(shí)

因政務(wù)大數(shù)據(jù)涉及的來(lái)源廣泛、數(shù)據(jù)采集背景及方法多樣甚至特殊、復(fù)雜，

導(dǎo)致因不同的匯集場(chǎng)景等因素，各個(gè)實(shí)體對(duì)象往往存在多個(gè)ID,需要對(duì)ID間關(guān)

系做計(jì)算,通過(guò)IDM叩ping,建立ID和實(shí)體人/物間的關(guān)系，從而串聯(lián)起實(shí)體

人/物的屬性/行為信息。數(shù)據(jù)中的各種人/物、事件、活動(dòng)軌跡也不是孤立存在

的，需要對(duì)各個(gè)部份的數(shù)據(jù)做動(dòng)態(tài)關(guān)系識(shí)別、軌跡匹配等操作，形成統(tǒng)一的關(guān)系

庫(kù)、軌跡庫(kù)等。

基于業(yè)務(wù)需求引導(dǎo)和對(duì)數(shù)據(jù)資源信息的價(jià)值梳理，對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步提煉加

工和算法計(jì)算，將數(shù)據(jù)標(biāo)簽化，基于"四大庫(kù)"構(gòu)建全息檔案等標(biāo)簽庫(kù)，支撐專

題應(yīng)用庫(kù)建設(shè)，并通過(guò)標(biāo)簽中心產(chǎn)品對(duì)用戶及開(kāi)發(fā)者開(kāi)放。

第三階段：構(gòu)建應(yīng)用，服務(wù)業(yè)務(wù)

按照業(yè)務(wù)場(chǎng)景需求，將基礎(chǔ)庫(kù)、主題庫(kù)和專題庫(kù)等進(jìn)一步組合利用，可構(gòu)建

起各類業(yè)務(wù)創(chuàng)新應(yīng)用，如監(jiān)控大屏、全息畫(huà)像、預(yù)警中心等應(yīng)用。通過(guò)數(shù)據(jù)服務(wù)

平臺(tái)，可以把數(shù)據(jù)和標(biāo)簽在線服務(wù)化提供給開(kāi)發(fā)者和用戶。

1.1.2數(shù)據(jù)治理流程

部門管理員中心管理員（實(shí)施人員）

2同步生產(chǎn)庫(kù)數(shù)據(jù)結(jié)

構(gòu)到前置庫(kù)

3采集前置庫(kù)元數(shù)據(jù)A4標(biāo)準(zhǔn)化前置庫(kù)數(shù)據(jù)

1）標(biāo)準(zhǔn)錄入

數(shù)據(jù)治理平臺(tái)會(huì)包含部分5大庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門標(biāo)準(zhǔn)等需由實(shí)施人員

從客戶處采集后錄入系統(tǒng)

2）同步數(shù)據(jù)結(jié)構(gòu)

由于數(shù)據(jù)治理過(guò)程需采集數(shù)據(jù)元并標(biāo)準(zhǔn)化，故需先將生產(chǎn)庫(kù)需橋接庫(kù)表的數(shù)

據(jù)結(jié)構(gòu)錄入前置庫(kù)

3）元數(shù)據(jù)采集

將數(shù)據(jù)結(jié)構(gòu)采集入數(shù)據(jù)治理平臺(tái)

4）標(biāo)準(zhǔn)化

實(shí)施人員為采集來(lái)的元數(shù)據(jù)掛接數(shù)據(jù)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)化其元數(shù)據(jù)格式屬性、值域

等

5）落標(biāo)及數(shù)據(jù)橋接

部門管理員根據(jù)標(biāo)準(zhǔn)化的字段屬性，將生產(chǎn)庫(kù)數(shù)據(jù)橋接到前置庫(kù)

6）質(zhì)檢及整改

中心管理員對(duì)前置庫(kù)數(shù)據(jù)進(jìn)行質(zhì)量檢查及整改

7）數(shù)據(jù)集成

中心管理員將質(zhì)檢后數(shù)據(jù)集成到治理庫(kù)

8）邏輯質(zhì)檢

中心管理員對(duì)治理庫(kù)的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行邏輯層質(zhì)量檢查

9）資源掛載

部門管理人員對(duì)已完成數(shù)據(jù)治理的治理庫(kù)數(shù)據(jù)進(jìn)行資源掛載

1.1.3基礎(chǔ)庫(kù)治理步驟

針對(duì)于基礎(chǔ)庫(kù)的治理主要流程如下：

eH幽一AT個(gè)性化元

＞基礎(chǔ)庫(kù)準(zhǔn)備

基礎(chǔ)物理庫(kù)以及基礎(chǔ)庫(kù)元數(shù)據(jù)通過(guò)產(chǎn)品初始化腳本創(chuàng)建。默認(rèn)基礎(chǔ)庫(kù)模型中

的字段約束，包括字段類型，長(zhǎng)度，規(guī)則等參考基礎(chǔ)庫(kù)基礎(chǔ)目錄技術(shù)規(guī)范，例如

人口庫(kù)：

＞數(shù)據(jù)集成

以人口庫(kù)為例，將前置庫(kù)中的部分?jǐn)?shù)據(jù)和人口數(shù)據(jù)元進(jìn)行關(guān)聯(lián)。

以人口基本信息表單(T_RK_BaseInfo)和人口擴(kuò)展信息(T_RK_Summary)

為目標(biāo)，主要驗(yàn)證：

多個(gè)表的數(shù)據(jù)合并：

戶籍人口和流動(dòng)人口匯集到人口庫(kù)基本信息表。

默認(rèn)字段賦值；

人口基本信息表中的rowguid、personguid需要uuid賦值。

一張表到多張表；

戶籍人口和流動(dòng)人口匯集到人口庫(kù)擴(kuò)展信息表，并且擴(kuò)展信息表的

personguid需要與基本信息的personguid一致。

規(guī)則過(guò)濾；

自動(dòng)過(guò)濾不滿足身份證校驗(yàn)的數(shù)據(jù)；

自動(dòng)過(guò)濾不滿足代碼項(xiàng)的數(shù)據(jù)，其中不滿足部門代碼項(xiàng)的、滿足部門代碼項(xiàng)

但是人口庫(kù)中沒(méi)有對(duì)應(yīng)的代碼項(xiàng)的數(shù)據(jù)都需要過(guò)濾。

代碼項(xiàng)轉(zhuǎn)換；

性別和名族代碼項(xiàng)，部門代碼項(xiàng)實(shí)際值與人口庫(kù)代碼項(xiàng)的值不一致的，通過(guò)

顯示值進(jìn)行匹配后自動(dòng)轉(zhuǎn)換成人口庫(kù)的值。

其他來(lái)源的字段更新。

人口基本信息表的死亡標(biāo)識(shí)狀態(tài)由民政局的死亡信息目錄進(jìn)行更新。需要滿

足條件的才會(huì)進(jìn)行更新。

＞溯源分析

通過(guò)可視化圖形，展現(xiàn)人口庫(kù)和公安、民政等部門的溯源關(guān)系。

1.1.4治理過(guò)程產(chǎn)出

通過(guò)數(shù)據(jù)治理工作后，形成的數(shù)據(jù)治理成果物。

《數(shù)據(jù)標(biāo)準(zhǔn)規(guī)則清生》V--------標(biāo)準(zhǔn)確理、錄入

《數(shù)空調(diào)講很告》V--------元數(shù)據(jù)梳理、采集

3g:ra_L1R第十、

《數(shù)憲治理實(shí)施瞼收用<--------治理報(bào)告

例》一__-

1.2平臺(tái)建設(shè)總體設(shè)計(jì)

本項(xiàng)目建設(shè)數(shù)據(jù)智能管理平臺(tái)適用于分析型系統(tǒng)數(shù)據(jù)處理的各個(gè)過(guò)程，負(fù)責(zé)

數(shù)據(jù)的加工處理以及加工處理過(guò)程數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺(tái)可

以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個(gè)過(guò)程的全流程、全生

命周期的數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)管控的一體化建設(shè)。

整個(gè)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行治理、管理與應(yīng)用的過(guò)程分為以下三個(gè)核心環(huán)節(jié)：

＞采集/集成環(huán)節(jié)

提供更多渠道、更復(fù)雜數(shù)據(jù)源的采集，包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)ETL,外部文件、

第三方接口抽取，實(shí)時(shí)消息采集等。

＞加工/計(jì)算環(huán)節(jié)

提供隨時(shí)變化的數(shù)據(jù)加工，包括批量數(shù)據(jù)加工，實(shí)時(shí)交互計(jì)算，機(jī)器學(xué)習(xí)等。

＞決策/探索環(huán)節(jié)

支持用戶個(gè)性化需求、自主數(shù)據(jù)探索，提供固定主題的報(bào)表、指標(biāo)，臨時(shí)報(bào)

表需求、自助取數(shù)，數(shù)據(jù)探索、數(shù)據(jù)實(shí)驗(yàn)等功能。

1.2.1平臺(tái)設(shè)計(jì)理念

本項(xiàng)目建設(shè)數(shù)據(jù)智能管理平臺(tái)的總體設(shè)計(jì)理念如下：

＞數(shù)據(jù)模型標(biāo)準(zhǔn)化

通過(guò)平臺(tái)將數(shù)據(jù)模型的要求嚴(yán)格落地，杜絕不滿足標(biāo)準(zhǔn)的數(shù)據(jù)模型出現(xiàn)在系

統(tǒng)中。

＞數(shù)據(jù)治理產(chǎn)品化

數(shù)據(jù)治理的成果和內(nèi)容，必須通過(guò)切實(shí)可行的IT手段落實(shí)到系統(tǒng)來(lái)嚴(yán)格執(zhí)

行

＞數(shù)據(jù)處理工廠化

數(shù)據(jù)處理工作，必須實(shí)現(xiàn)工廠化的建謝口管理，以〃極速、低成本、高質(zhì)量”

要求來(lái)響應(yīng)業(yè)務(wù)部門的個(gè)性化數(shù)據(jù)需求。

＞數(shù)據(jù)運(yùn)營(yíng)全員化

體現(xiàn)"平臺(tái)化、開(kāi)放性”的思想，提高數(shù)據(jù)開(kāi)放的可視化，實(shí)現(xiàn)人人參與數(shù)

據(jù)治理、數(shù)據(jù)建設(shè)和數(shù)據(jù)運(yùn)維

＞數(shù)據(jù)安全可控化

體現(xiàn)安全的重要性、必要性，保障系統(tǒng)數(shù)據(jù)安全和數(shù)據(jù)服務(wù)開(kāi)放過(guò)程中數(shù)據(jù)

的安全可控。

1.2.2平臺(tái)架構(gòu)設(shè)計(jì)

1.2.2.1總體架構(gòu)設(shè)計(jì)

平臺(tái)采用工廠化的數(shù)據(jù)處理和管理模式，通過(guò)數(shù)據(jù)生產(chǎn)計(jì)劃、數(shù)據(jù)生產(chǎn)執(zhí)行

和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過(guò)程透明可控，實(shí)現(xiàn)工具化、流程

化和自動(dòng)化的開(kāi)發(fā)、運(yùn)維、管理,提升數(shù)據(jù)開(kāi)發(fā)、生產(chǎn)的效率，保持系統(tǒng)健康、

持續(xù)、穩(wěn)定的發(fā)展。

?數(shù)據(jù)生產(chǎn)計(jì)劃模塊：主要功能為：需求設(shè)計(jì)、設(shè)計(jì)確認(rèn)等。

?數(shù)據(jù)處理執(zhí)行模塊：負(fù)責(zé)數(shù)據(jù)處理計(jì)劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)

質(zhì)量控制等工作。

?數(shù)據(jù)處理管理模塊：負(fù)責(zé)軟件開(kāi)發(fā)和數(shù)據(jù)規(guī)范的管控。

技術(shù)架構(gòu)設(shè)計(jì)

為實(shí)現(xiàn)工廠化的數(shù)據(jù)處理和管理，本項(xiàng)目數(shù)據(jù)智能管理平臺(tái)采用基于元數(shù)據(jù)

驅(qū)動(dòng)的開(kāi)發(fā)模式，保障元數(shù)據(jù)與實(shí)際系統(tǒng)情況的一致性,通過(guò)元數(shù)據(jù)準(zhǔn)確描述系

統(tǒng)，指導(dǎo)系統(tǒng)建設(shè)。技術(shù)架構(gòu)圖如下：

W

■

化

第

石

*

*

2

*

呼＞

?提供數(shù)據(jù)對(duì)象設(shè)計(jì)功能

?提供元數(shù)據(jù)獲取和管理功能

?提供數(shù)據(jù)質(zhì)量管理功能

?提供對(duì)象化接口模塊

?提供與各類底層平臺(tái)對(duì)接功能

?提供可視化的標(biāo)準(zhǔn)IDE環(huán)境

?提供基于元數(shù)據(jù)血緣圖的調(diào)度功能

1.2.3平臺(tái)技術(shù)特點(diǎn)

>MetadataBeforeCoding

業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的強(qiáng)制性前向獲取機(jī)制，杜絕元數(shù)據(jù)的后期補(bǔ)錄,

建設(shè)保證業(yè)務(wù)元數(shù)據(jù)/技術(shù)元數(shù)據(jù)/技術(shù)實(shí)現(xiàn)這三者一致性的技術(shù)機(jī)制

>BusinessDrivenDesign

以最大化業(yè)務(wù)需求吻合度為目標(biāo)，所有數(shù)據(jù)對(duì)象的設(shè)計(jì)和實(shí)現(xiàn)，都必須以業(yè)

務(wù)需求為驅(qū)動(dòng)，在最大程度上保證數(shù)據(jù)對(duì)象與業(yè)務(wù)需求的一致性。

>ObjectOrientedArchitecture

將數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、數(shù)據(jù)加工、數(shù)據(jù)質(zhì)量檢查等與數(shù)據(jù)相關(guān)

的內(nèi)容統(tǒng)一作為數(shù)據(jù)對(duì)象管理起來(lái)，且該數(shù)據(jù)對(duì)象是系統(tǒng)的最小管理單元。

>TCUPrinciple

數(shù)據(jù)對(duì)象必須遵循TCU(TakeCareofYourself)的設(shè)計(jì)原則，所有與數(shù)

據(jù)有關(guān)的工作全部在對(duì)應(yīng)的數(shù)據(jù)對(duì)象內(nèi)部完成，確保數(shù)據(jù)對(duì)象之間只有數(shù)據(jù)加工

過(guò)程的上下游關(guān)系。

1.3數(shù)據(jù)治理建設(shè)方案

1?3.1數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范了業(yè)務(wù)術(shù)語(yǔ)，元數(shù)據(jù)，參考數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)，指標(biāo)數(shù)據(jù)的規(guī)范

定義、獲取原則、管理要求等。包括設(shè)計(jì)基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)

標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流

程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門、技術(shù)部門和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì),

建立全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)流程，制定總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)內(nèi)部

對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。

13.1.1數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范

數(shù)據(jù)標(biāo)準(zhǔn)管理體系主要包含數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理

平臺(tái)維護(hù)三部分。

平臺(tái)通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)維護(hù)三部分

進(jìn)行數(shù)據(jù)資源管理，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職

責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)。落地實(shí)施機(jī)制從規(guī)范推廣、技術(shù)平臺(tái)支撐

兩方面保障；數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)維護(hù)主要包括建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)平臺(tái)，支撐數(shù)據(jù)標(biāo)準(zhǔn)

日常管理工作兩方面。

＞數(shù)據(jù)標(biāo)準(zhǔn)管理機(jī)制設(shè)計(jì)

設(shè)計(jì)基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)

準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門、技

術(shù)部門和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)，建立企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)流程，制定

總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建

設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。

＞數(shù)據(jù)標(biāo)準(zhǔn)分類規(guī)范

數(shù)據(jù)標(biāo)準(zhǔn)是對(duì)數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值等｛言息的統(tǒng)一定義，達(dá)成對(duì)數(shù)

據(jù)的業(yè)務(wù)理解、技術(shù)實(shí)現(xiàn)的一致性。

基于數(shù)據(jù)模型理論將數(shù)據(jù)標(biāo)準(zhǔn)延伸至5個(gè)分類，涵蓋技術(shù)、業(yè)務(wù)多個(gè)視角。

業(yè)務(wù)術(shù)語(yǔ)：從一致性、通用性等方面統(tǒng)一業(yè)務(wù)術(shù)語(yǔ)定義。

數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)：用來(lái)描述實(shí)體的某種屬性，包含數(shù)據(jù)項(xiàng)的名稱、編號(hào)、別名、

簡(jiǎn)述、數(shù)據(jù)項(xiàng)的長(zhǎng)度、類型、數(shù)據(jù)項(xiàng)的取值范圍。

參考數(shù)據(jù)標(biāo)準(zhǔn)：浜別參考數(shù)據(jù)，并建立參考數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)樣例，使參考數(shù)

據(jù)可在不同系統(tǒng)中被使用而保持統(tǒng)一標(biāo)準(zhǔn)值。

主數(shù)據(jù)標(biāo)準(zhǔn)：主數(shù)據(jù)編碼是應(yīng)用系統(tǒng)中的重要數(shù)據(jù)類型之一，通常用來(lái)描述

業(yè)務(wù)操作的具體對(duì)象及其特征，注重唯一性，特征一致性，穩(wěn)定性及有效性。

唯一性：在一個(gè)系統(tǒng)，一個(gè)平臺(tái)甚至整個(gè)范圍內(nèi)同一主數(shù)據(jù)編碼要求具有唯

一的識(shí)別標(biāo)志（代碼，名稱，特征描述等），用以明確區(qū)分業(yè)務(wù)對(duì)象，業(yè)務(wù)范圍

和業(yè)務(wù)的具體細(xì)節(jié)

特征一致性：主數(shù)據(jù)在不同系統(tǒng)中，均按統(tǒng)一標(biāo)準(zhǔn)出現(xiàn)

穩(wěn)定性：主數(shù)據(jù)相對(duì)穩(wěn)定，本身屬性不會(huì)隨交易過(guò)程而被修改

有效性：貫穿該業(yè)務(wù)對(duì)象的全生命周期過(guò)程，只要該業(yè)務(wù)對(duì)象存在，則比數(shù)

據(jù)不會(huì)喪失有效性

指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)：需要收集指標(biāo)的管理信息、業(yè)務(wù)定義、以及維度定義，需要

兼顧通用性和個(gè)性化，個(gè)性化方面支持各使用部門個(gè)性化定制

＞數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)規(guī)范

以分析型應(yīng)用建設(shè)和操作型應(yīng)用集成為導(dǎo)向,兩套方法結(jié)合，建立數(shù)據(jù)標(biāo)準(zhǔn)

設(shè)計(jì)體系

分析型應(yīng)用建設(shè)導(dǎo)向：以分析應(yīng)用指標(biāo)范圍為依據(jù)，重點(diǎn)結(jié)合業(yè)務(wù)戰(zhàn)略及管

理要求，自上而下追溯數(shù)據(jù)源，聚焦數(shù)據(jù)標(biāo)準(zhǔn)范圍。

操作型應(yīng)用集成導(dǎo)向：自上而下的原則，基G實(shí)際業(yè)務(wù)流程及操作,重點(diǎn)識(shí)

別跨業(yè)務(wù)、跨流程的集成點(diǎn)及關(guān)鍵步驟，分析提煉共享數(shù)據(jù)，完成業(yè)務(wù)流程和應(yīng)

用共享的數(shù)據(jù)映射，刪除冗余、非重點(diǎn)數(shù)據(jù)，精簡(jiǎn)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)范圍。

13.1.2數(shù)據(jù)元管理

數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、

數(shù)據(jù)元?jiǎng)h除、數(shù)據(jù)元停用、數(shù)據(jù)元檢索等功能。同時(shí)支持?jǐn)?shù)據(jù)元版本管理及版本

之間的差異核對(duì)功能以及支持基于基礎(chǔ)庫(kù)、主題庫(kù)的元數(shù)據(jù)快速創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)元,

并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系。

1.3.13標(biāo)準(zhǔn)代碼配置

標(biāo)準(zhǔn)代碼配置支持代碼的分類、標(biāo)準(zhǔn)代碼項(xiàng)的新增、導(dǎo)入、導(dǎo)出功能，提供

了標(biāo)準(zhǔn)代碼維護(hù)的能力；可關(guān)聯(lián)到國(guó)標(biāo)、地標(biāo)代碼字典,為數(shù)據(jù)的規(guī)范性提供了

更加詳細(xì)的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等工作提供支撐。

標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼（標(biāo)準(zhǔn)代碼），按照實(shí)際的業(yè)務(wù)領(lǐng)域進(jìn)行分類之

后，可以形成帶有業(yè)務(wù)領(lǐng)域特征的相關(guān)編碼，比如"FR00001"代表法人相關(guān)

的數(shù)據(jù)元標(biāo)準(zhǔn)代碼。

可關(guān)聯(lián)到國(guó)標(biāo)、地標(biāo)

代碼字典

13.1.4常用規(guī)則配置

數(shù)據(jù)元的值有部分需要滿足固定格式的標(biāo)準(zhǔn)，治理過(guò)程中需要通過(guò)固定的值

組成規(guī)則來(lái)規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話號(hào)碼、電子郵箱等格式。包

括通用規(guī)則及各部門根據(jù)自身需求實(shí)際制定的規(guī)則，常用規(guī)則配置會(huì)針對(duì)公共數(shù)

據(jù)的特性內(nèi)置部分常用的規(guī)則，同時(shí)提供了規(guī)則的配置修改能力。

1?3.2元數(shù)據(jù)管理

按照數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，需要實(shí)現(xiàn)各層的各種對(duì)象，如表、

存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)

據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。

13.2.1元數(shù)據(jù)管理目標(biāo)

元數(shù)據(jù)建設(shè)以服務(wù)項(xiàng)目管控需要為出發(fā)點(diǎn)，立足于項(xiàng)目建設(shè)實(shí)際，通過(guò)合理

規(guī)劃和全面分析，以項(xiàng)目中的關(guān)鍵點(diǎn)和問(wèn)題點(diǎn)作為優(yōu)先和重點(diǎn)突破方向，實(shí)現(xiàn)元

數(shù)據(jù)的逐步演進(jìn)和完善。

13.2.2元數(shù)據(jù)管理內(nèi)容

元數(shù)據(jù)內(nèi)容涉及到整個(gè)大數(shù)據(jù)資源平臺(tái)的各個(gè)數(shù)據(jù)環(huán)節(jié)，包括數(shù)據(jù)采集、逐

層加工稽核，數(shù)據(jù)服務(wù)到最終應(yīng)用展現(xiàn)的處理，元數(shù)據(jù)管理貫穿了整個(gè)流程，并

與各環(huán)節(jié)實(shí)現(xiàn)有效互動(dòng)。

元數(shù)據(jù)管理分類

按照元數(shù)據(jù)的定義分類，綜合價(jià)值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技

術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)三類。其中：

(1)業(yè)務(wù)元數(shù)據(jù)

?使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；

?訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)來(lái)源；

?系統(tǒng)所提供的分析方法及公式、報(bào)表信息；

?對(duì)業(yè)務(wù)元數(shù)據(jù)來(lái)源的管理和差異性對(duì)比；

(2)技術(shù)元數(shù)據(jù)

?系統(tǒng)結(jié)構(gòu)的描述(各個(gè)主題的定義，星型模式或雪花型模式的描述定義

等)；

?整合數(shù)據(jù)層的機(jī)構(gòu)單位的數(shù)據(jù)模型描述(以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為

形式)；

?對(duì)數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述(包括維度、

層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則)；

(3)管理元數(shù)據(jù)

系統(tǒng)內(nèi)部用戶的數(shù)據(jù)處理操作規(guī)則，包括抽取、轉(zhuǎn)換、加載、匯總等各類操

作的用戶權(quán)限、操作時(shí)間窗管理、異常處理規(guī)則等；

外部訪問(wèn)用戶（主要針對(duì)該系統(tǒng)對(duì)外提供的數(shù)據(jù)服務(wù)）的操作規(guī)則和方式,

包括所提供的數(shù)據(jù)服務(wù)接口、數(shù)據(jù)訪問(wèn)方式、操作；

各類用戶的操作記錄日志，包括操作用戶、登錄方式、操作對(duì)象、持續(xù)時(shí)間、

操作類型等相關(guān)信息。

13.2.4元數(shù)據(jù)管理組織

為了保障元數(shù)據(jù)管理目標(biāo)的順利達(dá)成，需要從組織架構(gòu)層面建立專業(yè)的元數(shù)

據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以落實(shí)、制度得以執(zhí)行。

13.2.5元數(shù)據(jù)管理流程

元數(shù)據(jù)維護(hù)管理流程是以需求提出作為開(kāi)始，經(jīng)歷規(guī)劃設(shè)計(jì)、開(kāi)發(fā)實(shí)施、需

求驗(yàn)收等項(xiàng)目階段的元數(shù)據(jù)建立和校驗(yàn)，最后實(shí)現(xiàn)元數(shù)據(jù)的發(fā)布和運(yùn)維管理。在

這些階段中，元數(shù)據(jù)管控組負(fù)責(zé)元數(shù)據(jù)信息的全生命周期流程的管理和監(jiān)控。

元數(shù)據(jù)管理功能

元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動(dòng)獲取、元

數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。

訪

問(wèn)

灶格式文件導(dǎo)出訪問(wèn)實(shí)時(shí)API網(wǎng)用

層WEBSERVICE

功

能

層

技術(shù)元數(shù)摑,一倉(cāng)庫(kù)像市元數(shù)苴

業(yè)業(yè)務(wù)木語(yǔ)/描述/規(guī)則管職責(zé):斕

存

務(wù)理

儲(chǔ)

層元業(yè)務(wù)指標(biāo)元數(shù)據(jù)管理要求數(shù)據(jù)源接口元數(shù)據(jù)門戶朝元數(shù)據(jù)

數(shù)

維度數(shù)熨數(shù)熨操作日志數(shù)據(jù)封裝元數(shù)據(jù)數(shù)據(jù)質(zhì)限元數(shù)據(jù)

&

元數(shù)據(jù)元數(shù)據(jù)

自動(dòng)獲取篦理外部文件導(dǎo)入

自動(dòng)獲取SQLMP本自動(dòng)解析手工聯(lián)取手工錄入

＞元數(shù)據(jù)管理功能架構(gòu)

＞元數(shù)據(jù)自動(dòng)獲取

對(duì)元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進(jìn)行集中登記管理,并形成

自動(dòng)獲取數(shù)據(jù)源的全局視圖，實(shí)現(xiàn)元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)信息。

要實(shí)現(xiàn)兀數(shù)據(jù)的自動(dòng)獲取，需要在集成的兀數(shù)據(jù)平臺(tái)中配置自動(dòng)獲取策略和

調(diào)度時(shí)間等，使元數(shù)據(jù)能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過(guò)程,

滿足元數(shù)據(jù)自動(dòng)獲取的時(shí)效性。

調(diào)度策略包括時(shí)間周期觸發(fā)、事件觸發(fā)兩種方式。例如，在每周星期一凌晨

00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺(tái)元數(shù)據(jù)的自動(dòng)獲取過(guò)程，或者在數(shù)據(jù)處理

程序更新后12小時(shí)內(nèi)觸發(fā)相應(yīng)的映射關(guān)系元數(shù)據(jù)自動(dòng)獲取過(guò)程。

＞元數(shù)據(jù)維護(hù)

包括元數(shù)據(jù)的定義、變更及版本管理，對(duì)主機(jī)信息、數(shù)據(jù)庫(kù)信息、用戶信息、

數(shù)據(jù)對(duì)象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進(jìn)行維護(hù)和管控。

＞元數(shù)據(jù)掃描

支持以手動(dòng)或定時(shí)的方式掃描指定的數(shù)據(jù)庫(kù)資源，并提取和解析相關(guān)的信息

在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動(dòng)將差異數(shù)據(jù)維護(hù)到指定的元數(shù)據(jù)目錄。

＞元數(shù)據(jù)檢索

在元數(shù)據(jù)管理首頁(yè)用戶通過(guò)輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查

找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通

過(guò)展示的路徑信息快速定位到元數(shù)據(jù)組織樹(shù)上的節(jié)點(diǎn)。

＞元數(shù)據(jù)版本

版本管理分為元數(shù)據(jù)對(duì)象版本管理與基線版本管理兩種類型。

元數(shù)據(jù)對(duì)象版本：對(duì)元數(shù)據(jù)的每次提交形成版本（上一版本形成歷史版本），

提供歷史版本間，歷史版本與當(dāng)前版本對(duì)比功能；

基線版本，對(duì)某一階段產(chǎn)生的元數(shù)據(jù)對(duì)象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的

數(shù)據(jù)集的版本比較

＞權(quán)限管理及查詢

統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問(wèn)和操作管控，對(duì)用戶進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)

權(quán)限等方面的管控和查詢；

＞元數(shù)據(jù)的導(dǎo)入/導(dǎo)出

在系統(tǒng)層面實(shí)現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對(duì)象能夠

靈活的遷移，支持模型間的檢查和比對(duì)，以便于數(shù)據(jù)模型的維護(hù)和擴(kuò)展。

1.3.3數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理主要包含對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管

理，并對(duì)數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的

能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問(wèn)題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量

問(wèn)題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價(jià)值。

質(zhì)量模型配置

數(shù)據(jù)質(zhì)量分析的基本單元，一個(gè)質(zhì)量模型由可以由一套實(shí)體表、一套規(guī)則以

及多套質(zhì)檢方案組成，用戶在定義質(zhì)檢方案時(shí)，可以根據(jù)業(yè)務(wù)需要選擇實(shí)體表和

規(guī)則，方案與方案之間相互獨(dú)立,互不干擾。通過(guò)執(zhí)行模型下的質(zhì)檢方案，可以

得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問(wèn)題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。

基仁等元

13.3.2質(zhì)量規(guī)則管理

數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校驗(yàn)標(biāo)準(zhǔn)，是數(shù)據(jù)質(zhì)量監(jiān)控管理的基礎(chǔ)。

系統(tǒng)支持多種規(guī)則類型，提供了全方位的視角來(lái)為用戶解析數(shù)據(jù)質(zhì)量。一套

規(guī)則能在多套方案中復(fù)用，在保證多角度準(zhǔn)確數(shù)據(jù)質(zhì)量分析的前提下，大大減少

了用戶投入的精力與時(shí)間，為用戶提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式。

系統(tǒng)包括以下質(zhì)量規(guī)則：

＞空值檢查

空值檢查用于檢查關(guān)鍵字段非空

A值域檢查

值域檢查用于檢查關(guān)鍵字段的取值范圍，支持?jǐn)?shù)值型、字符型、日期型字段

檢查

＞規(guī)范檢查

規(guī)范檢查用于檢查指標(biāo)值的格式是否規(guī)范，支持身份證、手機(jī)號(hào)碼、郵箱、

日期等多種數(shù)據(jù)類型的檢測(cè)，支持自定義正則表達(dá)式

＞邏輯檢查

邏輯檢查用于檢查指標(biāo)之間是否滿足一定的邏輯關(guān)系

＞重復(fù)數(shù)據(jù)檢查

重復(fù)數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復(fù)數(shù)據(jù)。

規(guī)則算法：groupby重復(fù)依據(jù)字段，count(l)＞l的算重復(fù)

＞及時(shí)性檢查

及時(shí)性檢查，用于檢查數(shù)據(jù)的及時(shí)性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報(bào)是否及時(shí)。

規(guī)則算法：算出上報(bào)時(shí)間字段的值，如果沒(méi)寫(xiě)上報(bào)時(shí)間表達(dá)式，則最佳上報(bào)

時(shí)間都是以下一期的第一天做為參照依據(jù)，再將上報(bào)時(shí)間與最佳上報(bào)時(shí)間做為比

較，看是否在允許誤差最大天數(shù)范圍內(nèi)

＞缺失記錄檢查

記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。根據(jù)比照表字段檢

查目標(biāo)字段是否缺少數(shù)據(jù)，檢查實(shí)體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全

一致。

規(guī)則算法：對(duì)檢查表字段和比照字段進(jìn)行g(shù)roupby并求count,根據(jù)兩個(gè)

字段groupby的結(jié)果來(lái)outerjoin,count不相等或檢查字段值和比照字歿值

有一個(gè)為空時(shí)，此行結(jié)果都算錯(cuò)

＞引用完整性檢查

引用完整性檢查用于判斷實(shí)體表中的數(shù)據(jù)是否完全存在于比照表中。實(shí)體表

檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。

規(guī)則算法：實(shí)體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如

果比照字段為空，則檢查字段的值非來(lái)源于比照表，則該規(guī)則對(duì)應(yīng)結(jié)果為false

13.3.3方案配置調(diào)度

依據(jù)質(zhì)量規(guī)則執(zhí)行的實(shí)際治理需求，通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成

可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控平臺(tái)自動(dòng)執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)

方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式，并且在控制

臺(tái)可以查看質(zhì)檢方案執(zhí)行歷史，對(duì)數(shù)據(jù)質(zhì)檢全流程進(jìn)行管控。

I規(guī)則顏分類說(shuō)明I

fflWRASAWW則咬掰ttttSQU湎

艇錄百麻第財(cái)姓隊(duì)艇的1*5

三

否不在封潛忌uUct?fromAubblwhoefWd1icnul

表含義E*

儂乂了帆

/PWdl.Wd2.fW3.count(,)fromA.utte1

filSMT能■舔膜寺19諼,炳一

groupbyfie<d1,fieid2.fieW3

個(gè)MBR喬漢

having<oumH>1

selecttength^tm；fromA.UHe1

is也即*e張assas總限

wherelength僧嗤?閨<>10

三蟲(chóng)的統(tǒng)被近獐*藻，淚

京ie<ect*fromwhereWdlnothfl,.X))

C?5180.

select*fromAtaWelwherefledlnotE(

18槌班錐晤1鱷猊頻創(chuàng)汽selectcodefromftS#

)

S'ffEsns18梯切陪1S石賓緲江Wselect*fromAlabawherefieW1<0

＞界面配置

通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，通過(guò)界面進(jìn)行數(shù)據(jù)傳參。

＞觸發(fā)方式

質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等

執(zhí)行方式。

＞全流程管控

固定時(shí)間監(jiān)控業(yè)務(wù)系統(tǒng)運(yùn)行的各類數(shù)據(jù)，及時(shí)發(fā)現(xiàn)并整改數(shù)據(jù)異常，完善系統(tǒng)運(yùn)

行機(jī)制。

13.3.4質(zhì)檢結(jié)果查看

基于質(zhì)檢方案執(zhí)行過(guò)程,反饋每次質(zhì)檢產(chǎn)生的異常數(shù)據(jù)，根據(jù)問(wèn)題數(shù)據(jù)所配

置的規(guī)則提供問(wèn)題詳情、比對(duì)及整改重檢的能力。結(jié)合實(shí)際可執(zhí)行和可實(shí)現(xiàn)的原

則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問(wèn)題：

＞分析與檢測(cè)

著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進(jìn)行檢

測(cè)和分析。

＞整改與重建

著重與在數(shù)據(jù)的分析和檢測(cè)基礎(chǔ)上，利用起結(jié)果對(duì)數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)

據(jù)管理提出整改意見(jiàn)，重建數(shù)據(jù)質(zhì)量的管理能力。

具體系統(tǒng)方案如下:

13.3.5質(zhì)檢分析報(bào)告

基于質(zhì)檢方案及質(zhì)檢結(jié)果，對(duì)每次質(zhì)檢的檢查數(shù)、問(wèn)題數(shù)、整改數(shù)等進(jìn)行統(tǒng)

計(jì)，形成統(tǒng)計(jì)圖。支持按日、按月統(tǒng)計(jì)及柱狀圖、折線圖。

1.3.4數(shù)據(jù)集成管理

數(shù)據(jù)集成主要在數(shù)據(jù)治理平臺(tái)承擔(dān)數(shù)據(jù)管道作用，通過(guò)數(shù)據(jù)集成現(xiàn)實(shí)不通業(yè)

務(wù)數(shù)據(jù)的匯聚、數(shù)據(jù)中心基礎(chǔ)庫(kù)的清洗等流程，通過(guò)在線簡(jiǎn)單靈活的可視化頁(yè)面

針對(duì)不同的數(shù)據(jù)匯聚、清洗流程進(jìn)行配置建立，平臺(tái)直接對(duì)接調(diào)度底層的數(shù)據(jù)傳

輸工具進(jìn)行數(shù)據(jù)管道的打通；實(shí)現(xiàn)了數(shù)據(jù)集成建模與數(shù)據(jù)集成匯聚快速、高效流

轉(zhuǎn)的全過(guò)程。

13.4.1數(shù)據(jù)建模配置

提供數(shù)據(jù)集成中數(shù)據(jù)單元集模型配置，數(shù)據(jù)模型即為數(shù)據(jù)集成中的數(shù)據(jù)單元

集。

13.4.2集成方案管理

根據(jù)實(shí)際數(shù)據(jù)集成需求，系統(tǒng)提供了統(tǒng)一的集成方案配置，集成方案可以通

過(guò)構(gòu)建的數(shù)據(jù)模型實(shí)現(xiàn)多維度的數(shù)據(jù)匯聚、清洗等數(shù)據(jù)處理流程，解決了公共數(shù)

據(jù)中大量的數(shù)據(jù)梳理處理工作，大大減少了人工對(duì)數(shù)據(jù)對(duì)比、校準(zhǔn)、映射等繁雜

的工作，同時(shí)實(shí)現(xiàn)數(shù)據(jù)在前置庫(kù)、基礎(chǔ)庫(kù)等之間的快速匯聚能力。

支持?jǐn)?shù)據(jù)匯聚（來(lái)源表全表到目標(biāo)表）、更新（基于目標(biāo)表主鍵從不同來(lái)源

獲取所需字段）及全量、增量功能。同時(shí)，數(shù)據(jù)集成過(guò)程中，支持不同元數(shù)據(jù)代

碼項(xiàng)之間的映射轉(zhuǎn)換功能，基本的數(shù)據(jù)格式驗(yàn)證以及任務(wù)調(diào)度配置。

1.3.43數(shù)據(jù)來(lái)源統(tǒng)計(jì)

用于統(tǒng)計(jì)集成模型中所有數(shù)據(jù)的來(lái)源方向以及各庫(kù)表、各字段的精確來(lái)源,

并且提供基于領(lǐng)域的快速篩選

1.4數(shù)據(jù)管理建設(shè)方案

1.41數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理平臺(tái)主要負(fù)責(zé)對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一注冊(cè)和管理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)

體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊(cè)管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、

數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運(yùn)行審

計(jì)管理、資產(chǎn)統(tǒng)計(jì)分析，接口管理、數(shù)據(jù)質(zhì)量等功能。

數(shù)據(jù)資產(chǎn)注冊(cè)管理

平臺(tái)提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊(cè)管理、數(shù)據(jù)資產(chǎn)注冊(cè)審核、生成數(shù)據(jù)庫(kù)

管理等功能。提供采集器、在線維護(hù)、自動(dòng)注冊(cè)接口等方式來(lái)注冊(cè)數(shù)據(jù)資產(chǎn)。

＞數(shù)據(jù)源管理

平臺(tái)提供對(duì)數(shù)據(jù)源注冊(cè)管理的功能，主要是對(duì)數(shù)據(jù)提供者所在數(shù)據(jù)庫(kù)、

Hadoop庫(kù)的注冊(cè)管理。

1)數(shù)據(jù)庫(kù)注冊(cè)管理，主要負(fù)責(zé)數(shù)據(jù)庫(kù)基本信息的注冊(cè)配置，包含但不限于

以下內(nèi)容：

?數(shù)據(jù)庫(kù)類型

?數(shù)據(jù)庫(kù)版本

?數(shù)據(jù)庫(kù)服務(wù)IP

?數(shù)據(jù)庫(kù)服務(wù)端口

?數(shù)據(jù)庫(kù)SID

?數(shù)據(jù)庫(kù)表空間

2)Hadoop庫(kù)注冊(cè)管理，主要負(fù)責(zé)Hive庫(kù)基本信息、HDFS文件信息的

注冊(cè)配置，包含但不限于以下內(nèi)容：

?HIVE數(shù)據(jù)庫(kù)服務(wù)IP

?HIVE數(shù)據(jù)庫(kù)服務(wù)端口

?HDFS文件系統(tǒng)服務(wù)IP

?HDFS文件系統(tǒng)服務(wù)端口

＞數(shù)據(jù)資產(chǎn)注冊(cè)管理

平臺(tái)提供對(duì)數(shù)據(jù)資產(chǎn)注冊(cè)管理的功能，主要包括對(duì)表、視圖、序列、文

件、ETL過(guò)程、Hadoop等進(jìn)行注冊(cè)管理。

1）業(yè)務(wù)系統(tǒng)信息收集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?業(yè)務(wù)系統(tǒng)名稱

?業(yè)務(wù)系統(tǒng)描述

?業(yè)務(wù)系統(tǒng)服務(wù)IP

?業(yè)務(wù)系統(tǒng)服務(wù)端口

2）數(shù)據(jù)庫(kù)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?數(shù)據(jù)庫(kù)類型

?數(shù)據(jù)庫(kù)版本

?數(shù)據(jù)庫(kù)服務(wù)IP

?數(shù)據(jù)庫(kù)服務(wù)端口

?數(shù)據(jù)庫(kù)SID

?數(shù)據(jù)庫(kù)表空間

3）表結(jié)構(gòu)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?表名稱

?表中文名稱

?業(yè)務(wù)信息描述

?表結(jié)構(gòu)定義

?表數(shù)據(jù)處理邏娼

4）視圖信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容:

?視圖名稱

?視圖中文名稱

?業(yè)務(wù)信息描述

?視圖結(jié)構(gòu)定義

5）字段信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?字段名稱

?字段中文名稱

?字段詳細(xì)描述

?字段類型定義

6）指標(biāo)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?指標(biāo)名稱

?指標(biāo)中文名稱

?指標(biāo)業(yè)務(wù)描述

?指標(biāo)統(tǒng)計(jì)口徑

?指標(biāo)統(tǒng)計(jì)周期

7）報(bào)表信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?報(bào)表名稱

?報(bào)表中文名稱

?報(bào)表業(yè)務(wù)描述

?報(bào)表格式

?報(bào)表統(tǒng)計(jì)周期

8)hadoop平臺(tái)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?Hadoop集群名稱

?Hadoop集群描述

?Hadoop集群主節(jié)點(diǎn)IP

?Hadoop集群從節(jié)點(diǎn)IP

9)hadoophive庫(kù)表信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?Hive數(shù)據(jù)庫(kù)服務(wù)IP

?Hive數(shù)據(jù)庫(kù)服務(wù)端口

?Hive表名稱

?Hive表中文名稱

?Hive表業(yè)務(wù)描述信息

?Hive表結(jié)構(gòu)定義

10)ETL過(guò)程信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?ETL作業(yè)名稱

?ETL作業(yè)業(yè)務(wù)描述信息

?ETL過(guò)程處理邏輯

?ETL作業(yè)運(yùn)行周期

?ETL來(lái)源表名稱

?ETL來(lái)源文件路徑

?ETL目標(biāo)表名稱

?ETL目標(biāo)文件路徑

11)文件接口信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?接口文件名稱

?接口文件業(yè)務(wù)描述信息

?接口文件路徑

?接口文件大小

?接口內(nèi)容與表字段映射關(guān)系

12)OLAP信息采集與資產(chǎn)注冊(cè)；

13)webservice接口信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：

?webservice接口名稱

?webservice接口描述

?webservice接口負(fù)責(zé)人

＞數(shù)據(jù)資產(chǎn)注冊(cè)審核

平臺(tái)提供對(duì)數(shù)據(jù)資產(chǎn)注冊(cè)的審核功能，通過(guò)在平臺(tái)中定義數(shù)據(jù)資產(chǎn)的相

關(guān)命名規(guī)范，可實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)的自動(dòng)審核，主要包括對(duì)表/視圖、文件等數(shù)據(jù)

資產(chǎn)進(jìn)行審核分析。當(dāng)數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時(shí)，平臺(tái)會(huì)提示錯(cuò)誤信息，并阻

止資產(chǎn)的注冊(cè)操作，當(dāng)數(shù)據(jù)資產(chǎn)命名審核通過(guò)后，交由相應(yīng)的審核人進(jìn)行審核,

保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。

IXP.9

*???*

bawycrsx

科”機(jī)a化

sxwQWA_GRP_AR￡A_riCOMEqTMIW@SH,D

3，：；：

rniM及

uHltfil

.sat?c?*9中文名除字收mMRS”?值?長(zhǎng)字展改發(fā)ffW

.作業(yè)比乂GROUP.?7ARCMIRho

rtMMJg

GRP_AREA_OBW

flmrUoB

CRP_0<ST_O?MWT

富體企幺

U?<6YARCK?A

CTFER.rer.io7ARCMAR

黛sew淵陽(yáng)

-ZSttS------------------------------------OFER.

|力總尹M㈤.ST依T_D7E

ttty*心SY9Y.WAJD￡瑜，”

t?W0用3TmT/CC.FEE

k重?世EI?_CRP_AREA_O

its雷”用EIO.ACC.FEE

emenCn￡ATE_DATEDATE

晟西今年IH?啥_YEAR_NtWSUM.LWT

工術(shù)SOL

"Iutyn??vuWM5,KM

XOfQ0+。QCttHKtfiimciM

13mor?

■收■博引IC和SMIW量不?日

”我開(kāi)f評(píng)收不開(kāi)。㈱射豪中孑?4時(shí)*）?臭顫NXbF￡K>AD3E

收【不稈含版射￥粒?文?電含加向力-英文WIU用包含MEtatLST依JDATE

A生成數(shù)據(jù)庫(kù)管理

平臺(tái)可基于數(shù)據(jù)資產(chǎn)（表），通過(guò)在平臺(tái)中指定生成表的數(shù)據(jù)庫(kù)及表空

間寄言息后自動(dòng)生成相應(yīng)數(shù)據(jù)庫(kù)的建表腳本并在數(shù)據(jù)庫(kù)中生成數(shù)據(jù)表，如下圖所

示：

表結(jié)構(gòu)(tableEntity)

y啟用實(shí)體定義

SHGRP,DWA_GRP_PROD_INFO_FEE_@yy)^WM@DB2▼、賴―從庫(kù)中讀取

MySQL

訪高級(jí)設(shè)矍!

DB2

—

實(shí)體定義根據(jù)數(shù)據(jù)庫(kù)類型自動(dòng)生成相應(yīng)的建表腳本Hive

x##aaOracle

中文名稱字段說(shuō)明可為空字段名i據(jù)類型主用￡

集團(tuán)標(biāo)識(shí)▲

?GROUPJD_______________V_A_R__C_HARB

用戶標(biāo)識(shí)VUSERJD\iRCH-R匚

集團(tuán)產(chǎn)3月秀標(biāo)識(shí)?GROUP_PROD_ITEM_DBIGINTJE

策劃標(biāo)識(shí)OFFERJDBIGINT□

策劃實(shí)例標(biāo)識(shí),OFFERJNSTJDVARCHAR

II—

瞇單費(fèi)用項(xiàng)編碼“ITEM.CODEBIGINT□

客戶揚(yáng)理標(biāo)識(shí)MANAGERJDBIGINT▼

n--?

4?

createtableSHGRP.DWA_GRP_PROD_INFO_FEE_201512(

GROUPJDVARCHAR(50).

USER_6VARCHAR(20).

GROUP_PRODJTEM_IDBIGINT,