項(xiàng)目編號(hào):

某企業(yè)數(shù)據(jù)智能管理治理平臺(tái)設(shè)計(jì)

建

設(shè)

方

案

錄

1.1總體建設(shè)方案概述.....................................................3

1.1.1數(shù)據(jù)治理論述....................................................5

1.1.2數(shù)據(jù)治理潮呈....................................................8

1.1.3基礎(chǔ)庫(kù)治理步驟..................................................9

1.1.4治頓程產(chǎn)出...................................................12

1.2平臺(tái)建設(shè)總體囪十.....................................................12

1.2.1平臺(tái)削理念...................................................13

1.2.2平臺(tái)架構(gòu)設(shè)計(jì)...................................................14

1.2.3平臺(tái)技術(shù)特點(diǎn)...................................................16

斯J坦/C-3/心Q硅建沿*窗?????????????????????????????????????????????????????????????????????????????????????????????????????????1，。R

13.1數(shù)據(jù)標(biāo)準(zhǔn)管理...................................................18

1.3.2元數(shù)據(jù)管理.....................................................22

13.3數(shù)據(jù)質(zhì)量管理..................................................27

13.4數(shù)據(jù)集成管理...................................................32

1.4數(shù)據(jù)管理建設(shè)方案.....................................................33

1.4.1數(shù)據(jù)資產(chǎn)管理...................................................33

1.4.2數(shù)據(jù)異常管理...................................................46

1.4.3數(shù)據(jù)睇管理...................................................49

1.4.4數(shù)據(jù)開發(fā)管理...................................................50

1.5數(shù)據(jù)智能建設(shè)方案.....................................................56

1.5.1數(shù)據(jù)血緣........................................................56

1.5.2智能標(biāo)簽........................................................58

1.5.3數(shù)據(jù)探索........................................................60

1.5.4畫像分析........................................................61

1.1總體建設(shè)方案概述

數(shù)據(jù)管理平臺(tái)涵蓋了數(shù)據(jù)的全局治理和過(guò)程管控，是數(shù)據(jù)可用的前提，只有

確保數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化，可信可用，才能進(jìn)一步通過(guò)數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)應(yīng)用幫

助大數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理，發(fā)現(xiàn)內(nèi)部數(shù)據(jù)問(wèn)題、發(fā)掘數(shù)據(jù)價(jià)值，進(jìn)而實(shí)現(xiàn)

數(shù)據(jù)資產(chǎn)的盤活和有效利用。

數(shù)據(jù)管理平臺(tái)基于元模型驅(qū)動(dòng)模式,構(gòu)建一體化的數(shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)全流

程、全生命周期和全景式的〃三全〃治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、

可用。

通過(guò)對(duì)數(shù)據(jù)、應(yīng)用、系統(tǒng)綜合管理，構(gòu)建標(biāo)準(zhǔn)化、流程化、自動(dòng)化、一體化

的數(shù)據(jù)管理體系。

數(shù)據(jù)治理將分散、多樣化的數(shù)據(jù)通過(guò)匯集、標(biāo)準(zhǔn)化、清洗等操作對(duì)數(shù)據(jù)的質(zhì)

量進(jìn)行全面的提升和監(jiān)控，形成城市大數(shù)據(jù)的管理和控制機(jī)制，并提供一站式數(shù)

據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價(jià)值。從功能角度，數(shù)據(jù)治理系

統(tǒng)包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)集成、工作流、數(shù)據(jù)

地圖/數(shù)據(jù)血緣、數(shù)據(jù)管理數(shù)據(jù)安全、多租戶、元數(shù)據(jù)管理、系統(tǒng)安全等功能。

制定相關(guān)標(biāo)準(zhǔn)規(guī)范及管理制度，通過(guò)相應(yīng)平臺(tái)工具匯聚區(qū)內(nèi)各單位公共數(shù)據(jù)

及市級(jí)落地?cái)?shù)據(jù)資源，形成區(qū)級(jí)數(shù)據(jù)池，同時(shí)經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理

后高質(zhì)量的公共數(shù)據(jù)資源，形成區(qū)級(jí)綜合數(shù)據(jù)平臺(tái)。

數(shù)據(jù)治理系統(tǒng)通過(guò)對(duì)數(shù)據(jù)全生命周期、端到端的全鏈路透明化管控，實(shí)現(xiàn)〃數(shù)

據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化"，實(shí)現(xiàn)數(shù)

據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務(wù)流程的實(shí)時(shí)監(jiān)控，有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)

量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡(luò)不清晰的痛點(diǎn)問(wèn)題。

數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法,采用的數(shù)據(jù)治理子系統(tǒng)和工

具，以分布式存儲(chǔ)和運(yùn)算為基礎(chǔ)，通過(guò)人工智能和機(jī)器學(xué)習(xí)技術(shù)，輔之以適量的

人工訓(xùn)練和專家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞閔行

區(qū)大數(shù)據(jù)資源平臺(tái)的應(yīng)用建設(shè)目標(biāo)，包含數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、智能監(jiān)控、數(shù)據(jù)

保護(hù)傘以及安全衛(wèi)士，提供全面的數(shù)據(jù)治理能力，提供數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)

據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對(duì)等方面服務(wù)。在數(shù)據(jù)打通過(guò)程中，同

時(shí)做好數(shù)據(jù)質(zhì)量管理，主要包括四個(gè)方面數(shù)據(jù)缺失補(bǔ)缺、數(shù)據(jù)重復(fù)去重、數(shù)據(jù)錯(cuò)

誤糾正、數(shù)據(jù)不可用補(bǔ)救。

數(shù)據(jù)治理子系統(tǒng)通過(guò)標(biāo)準(zhǔn)API接口、用戶自主上傳與自主數(shù)據(jù)抽取技術(shù)將

用戶內(nèi)部數(shù)據(jù)直接導(dǎo)入數(shù)據(jù)池，利用全局?jǐn)?shù)據(jù)處理技術(shù)在數(shù)據(jù)池中解決大量數(shù)據(jù)

的集成處理，將數(shù)據(jù)統(tǒng)一整合、集成，最終形成可以提供高質(zhì)量數(shù)據(jù)的數(shù)據(jù)集成

平臺(tái)，提供規(guī)則、無(wú)錯(cuò)漏、清潔、有價(jià)值、易使用的集成數(shù)據(jù)環(huán)境。

/-----------------在線服務(wù)一手------------------------

/x

（深度學(xué)習(xí)知識(shí)留港

數(shù)81特征.f］行業(yè)如iR昨?新

事令數(shù)據(jù)湖+人工智能*濟(jì)

第三方哪一*O???—*Q分析

散據(jù)理解閱8關(guān)聯(lián)數(shù)據(jù)整合數(shù)據(jù)安全

?Ij

L----------------------§8--------------雨-----------------------------

內(nèi)部效據(jù)（含觸邂）G家少61參與

＞數(shù)據(jù)治理流程圖

數(shù)據(jù)治理子系統(tǒng)支持現(xiàn)有的絕大多數(shù)數(shù)據(jù)格式的導(dǎo)入和識(shí)別。通過(guò)結(jié)合人工

智能技術(shù)，數(shù)據(jù)治理系統(tǒng)能夠?qū)?shù)據(jù)自動(dòng)識(shí)別并抽取存入數(shù)據(jù)湖中，與傳統(tǒng)ETL

不同的是，數(shù)據(jù)治理系統(tǒng)的全局?jǐn)?shù)據(jù)處理技術(shù)在應(yīng)對(duì)多系統(tǒng)、多部門、多環(huán)節(jié)、

多數(shù)據(jù)、多表單的使用場(chǎng)景時(shí)更加科學(xué)。全局?jǐn)?shù)據(jù)攵卜理能夠避免在全局?jǐn)?shù)據(jù)匯總

前的信息流失，最大程度的在完成數(shù)據(jù)集成的同時(shí)保持?jǐn)?shù)據(jù)的高保真、高還原。

1.1.1數(shù)據(jù)治理論述

大數(shù)據(jù)治理工作從數(shù)據(jù)匯聚開始，到最終服務(wù)業(yè)務(wù)，主要包括以下幾個(gè)階段：

大數(shù)據(jù)治理方法論

G上云匯集

霄全總檔案關(guān)系中心軌跡中心

離送數(shù)擷女時(shí)數(shù)據(jù)知宓EX.至飛機(jī)火?阻

識(shí)廠車一檔［同伙關(guān)系」僮■場(chǎng)論

靛好管理

A預(yù)警卜><一良服務(wù)

了模型治理

/戛礎(chǔ)政娟上更巨縱.整合收強(qiáng)，現(xiàn)如引寫>數(shù)據(jù)開放

資源層?>資源展

>倏5B中心>API開放

應(yīng)用數(shù)據(jù)小向姬/

生源展)<1(.

(ADM1

為了無(wú)法計(jì)K的價(jià)值ICDMSo

第一階段：數(shù)據(jù)匯聚，融合管理

從政務(wù)辦公網(wǎng)、感知網(wǎng)、社會(huì)協(xié)同單位收集各類數(shù)據(jù)，形成大數(shù)據(jù)中心的數(shù)

據(jù)基礎(chǔ)，并對(duì)匯集的原始數(shù)據(jù)開展基于數(shù)據(jù)管理視角和業(yè)務(wù)應(yīng)用視角的治理及應(yīng)

用工作。

基于數(shù)據(jù)管理視角，對(duì)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)進(jìn)行集中采集和管理，從站

位全局服務(wù)閔行區(qū)大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和

數(shù)據(jù)資產(chǎn)管理應(yīng)用，達(dá)到數(shù)據(jù)資源的規(guī)范化和可視化；匯聚后的原始數(shù)據(jù)仍處于

零散、不可直接使用的狀態(tài)，為數(shù)據(jù)使用者提供一站式的集成開發(fā)環(huán)境，從而滿

足數(shù)據(jù)資源平臺(tái)下，數(shù)據(jù)開發(fā)者進(jìn)行ETL開發(fā)、數(shù)據(jù)挖掘算法開發(fā)、數(shù)據(jù)主題庫(kù)

建設(shè)等需求；對(duì)數(shù)據(jù)融合處理的全過(guò)程通過(guò)質(zhì)量管理工具進(jìn)行管理監(jiān)測(cè)，保障數(shù)

據(jù)質(zhì)量；因政府?dāng)?shù)據(jù)的機(jī)密性、高敏感性等特點(diǎn),需對(duì)數(shù)據(jù)資源層中各數(shù)據(jù)項(xiàng)進(jìn)

行安全上的分類分級(jí)，確保數(shù)據(jù)使用合理、安全可控。

基于業(yè)務(wù)應(yīng)用視角，對(duì)匯聚的基礎(chǔ)數(shù)據(jù)開展模型治理，通過(guò)數(shù)據(jù)清洗加工、

基于業(yè)務(wù)背景及要求的處理加工、以及面向應(yīng)用專題場(chǎng)景的開發(fā)，依次構(gòu)建整合

數(shù)據(jù)資源層、主題數(shù)據(jù)資源層、應(yīng)用數(shù)據(jù)資源層，形成指標(biāo)口徑一致、統(tǒng)存統(tǒng)用

的大數(shù)據(jù)資源層。

第二階段：基于數(shù)據(jù)，提煉抽象信息，形成知識(shí)

因政務(wù)大數(shù)據(jù)涉及的來(lái)源廣泛、數(shù)據(jù)采集背景及方法多樣甚至特殊、復(fù)雜,

導(dǎo)致因不同的匯集場(chǎng)景等因素，各個(gè)實(shí)體對(duì)象往往存在多個(gè)ID,需要對(duì)ID間關(guān)

系做計(jì)算，通過(guò)IDM叩ping,建立ID和實(shí)體人/物間的關(guān)系,從而串聯(lián)起實(shí)體

人/物的屬性/行為信息。數(shù)據(jù)中的各種人/物、事件、活動(dòng)軌跡也不是孤立存在

的，需要對(duì)各個(gè)部份的數(shù)封故動(dòng)態(tài)關(guān)系識(shí)別、軌跡匹配等操作，形成統(tǒng)一的關(guān)系

庫(kù)、軌跡庫(kù)等。

基于業(yè)務(wù)需求引導(dǎo)和對(duì)數(shù)據(jù)資源信息的價(jià)值傀理，對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步提煉加

工和算法計(jì)算，將數(shù)據(jù)標(biāo)簽化，基于"四大庫(kù)"構(gòu)建全息檔案等標(biāo)簽庫(kù)，支撐專

題應(yīng)用庫(kù)建設(shè)，并通過(guò)標(biāo)簽中心產(chǎn)品對(duì)用戶及開發(fā)者開放。

第三階段：構(gòu)建應(yīng)用，服務(wù)業(yè)務(wù)

按照業(yè)務(wù)場(chǎng)景需求，將基礎(chǔ)庫(kù)、主題庫(kù)和專題庫(kù)等進(jìn)一步組合利用，可構(gòu)建

起各類業(yè)務(wù)創(chuàng)新應(yīng)用，如監(jiān)控大屏、全息畫像、預(yù)警中心等應(yīng)用。通過(guò)數(shù)據(jù)服務(wù)

平臺(tái)，可以把數(shù)據(jù)和標(biāo)簽在線服務(wù)化提供給開發(fā)都口用戶。

1.1.2數(shù)據(jù)治理流程

1）標(biāo)準(zhǔn)錄入

數(shù)據(jù)治理平臺(tái)會(huì)包含部分5大庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門標(biāo)準(zhǔn)等需由實(shí)施人員

從客戶處采集后錄入系統(tǒng)

2）同步數(shù)據(jù)結(jié)構(gòu)

由于數(shù)據(jù)治理過(guò)程需采集數(shù)據(jù)元并標(biāo)準(zhǔn)化，故需先將生產(chǎn)庫(kù)需橋接庫(kù)表的數(shù)

據(jù)結(jié)構(gòu)錄入前置庫(kù)

3）元數(shù)據(jù)采集

將數(shù)據(jù)結(jié)構(gòu)采集入數(shù)據(jù)治理平臺(tái)

4）標(biāo)準(zhǔn)化

實(shí)施人員為采集來(lái)的元數(shù)據(jù)掛接數(shù)據(jù)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)化其元數(shù)據(jù)格式屬性、值域

等

5）落標(biāo)及數(shù)據(jù)橋接

部門管理員根據(jù)標(biāo)準(zhǔn)化的字段屬性，將生產(chǎn)庫(kù)數(shù)據(jù)橋接到前置庫(kù)

6）質(zhì)檢及整改

中心管理員對(duì)前置庫(kù)數(shù)據(jù)進(jìn)行質(zhì)量檢查及整改

7）數(shù)據(jù)集成

中心管理員將質(zhì)檢后數(shù)據(jù)集成到治理庫(kù)

8）邏輯質(zhì)檢

中心管理員對(duì)治理庫(kù)的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行邏輯層質(zhì)量檢查

9）資源掛載

部門管理人員對(duì)已完成數(shù)據(jù)治理的治理庫(kù)數(shù)據(jù)進(jìn)行資源掛載

1.1.3基礎(chǔ)庫(kù)治理步驟

針對(duì)于基礎(chǔ)庫(kù)的治理主要流程如下:

否

映射數(shù)據(jù)

元

配置數(shù)據(jù)異常數(shù)據(jù)

集成方案監(jiān)控

異常庫(kù)

＞基礎(chǔ)庫(kù)準(zhǔn)備

基礎(chǔ)物理庫(kù)以及基礎(chǔ)庫(kù)元數(shù)據(jù)通過(guò)產(chǎn)品初始化腳本創(chuàng)建。默認(rèn)基礎(chǔ)庫(kù)模型中

的字段約束，包括字段類型，長(zhǎng)度，規(guī)則等參考基礎(chǔ)庫(kù)基礎(chǔ)目錄技術(shù)規(guī)范，例如

人口庫(kù)：

＞數(shù)據(jù)集成

以人口庫(kù)為例，將前置庫(kù)中的部分?jǐn)?shù)據(jù)和人口數(shù)據(jù)元進(jìn)行關(guān)聯(lián)。

以人口基本信息表單(T_RK_BaseInfo)和人口擴(kuò)展信息(T_RK_Summary)

為目標(biāo)，主要驗(yàn)證：

多個(gè)表的數(shù)據(jù)合并：

戶籍人口和流動(dòng)人口匯集到人口庫(kù)基本信息表。

默認(rèn)字段賦值；

人口基本信息表中的rowguid、personguid需要uuid賦值。

一張表到多張表；

戶籍人口和流動(dòng)人口匯集到人口庫(kù)擴(kuò)展信息表，并且擴(kuò)展信息表的

personguid需要與基本信息的personguid一致。

規(guī)則過(guò)濾；

自動(dòng)過(guò)濾不滿足身份證校驗(yàn)的數(shù)據(jù)；

自動(dòng)過(guò)濾不滿足代碼項(xiàng)的數(shù)據(jù)，其中不滿足部門代碼項(xiàng)的、滿足部門代碼項(xiàng)

但是人口庫(kù)中沒有對(duì)應(yīng)的代碼項(xiàng)的數(shù)據(jù)都需要過(guò)濾。

代碼項(xiàng)轉(zhuǎn)換;

性別和名族代碼項(xiàng)，部門代碼項(xiàng)實(shí)際值與人口庫(kù)代碼項(xiàng)的值不一致的，通過(guò)

顯示值進(jìn)行匹配后自動(dòng)轉(zhuǎn)換成人口庫(kù)的值。

其他來(lái)源的字段更新。

人口基本信息表的死亡標(biāo)識(shí)狀態(tài)由民政局的死亡信息目錄進(jìn)行更新。需要滿

足條件的才會(huì)進(jìn)行更新。

＞溯源分析

通過(guò)可視化圖形，展現(xiàn)人口庫(kù)和公安、民政等部門的溯源關(guān)系。

1.1.4治理過(guò)程產(chǎn)出

通過(guò)數(shù)據(jù)治理工作后，形成的數(shù)據(jù)治理成果物。

《數(shù)據(jù)標(biāo)準(zhǔn)規(guī)則清更》V--------標(biāo)準(zhǔn)梳理、錄入

*一1

《數(shù)空調(diào)講報(bào)告》?--------談采集

-----------I______

:\/7

《元數(shù)據(jù)管曰>要ZJ報(bào)IX告k-Jj%f■M隹化A\整改/

-----“-、I~'

*\/

《數(shù)據(jù)質(zhì)量提升報(bào)告》、

，《數(shù)據(jù)質(zhì)量提升考》-?y~T■吊SX1I5至以/

,---、\\____1/

1《集成實(shí)施指導(dǎo)書（含增I.T______,

恒）》、《數(shù)據(jù)集成效搪1\/

厄圍清單》、《數(shù)據(jù)集成?SXWJ來(lái)吸后SX牯至取/

JLTPilxra/\-------1

?\/

%RX1?SJ>1SJJE7IJIX

告》々數(shù)據(jù)蔑量提升

方至匕-—

(>—^|\____/

</g曲Xite/厚QS-L住1p^—7七>5Qa/、▼

《數(shù)電治理實(shí)施驗(yàn)收用

?--------治?g告

例》——_

-----才-

責(zé)數(shù)據(jù)的加工處理以及加工處理過(guò)程數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平

臺(tái)可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個(gè)過(guò)程的全流

程、全生命周期的數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)管控的一體化建設(shè)。

整個(gè)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行治理、管理與應(yīng)用的過(guò)程分為以下三個(gè)核心環(huán)節(jié)：

＞采集/集成環(huán)節(jié)

提供更多渠道、更復(fù)雜數(shù)據(jù)源的采集，包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)ETL,外部文

件、第三方接口抽取，實(shí)時(shí)消息采集等。

＞加工/計(jì)算環(huán)節(jié)

提供隨時(shí)變化的數(shù)據(jù)加工，包括批量數(shù)據(jù)加工，實(shí)時(shí)交互計(jì)算，機(jī)器學(xué)習(xí)

等。

＞決策/探索環(huán)節(jié)

支持用戶個(gè)性化需求、自主數(shù)據(jù)探索，提供固定主題的報(bào)表、指標(biāo)，IISB寸

報(bào)表需求、自助取數(shù)，數(shù)據(jù)探索、數(shù)據(jù)實(shí)驗(yàn)等功能。

L2.1平臺(tái)設(shè)計(jì)理念

本項(xiàng)目建設(shè)數(shù)據(jù)智能管理平臺(tái)的總體設(shè)計(jì)理念如下：

＞數(shù)據(jù)模型標(biāo)準(zhǔn)化

通過(guò)平臺(tái)將數(shù)據(jù)模型的要求嚴(yán)格落地，杜絕不滿足標(biāo)準(zhǔn)的數(shù)據(jù)模型出現(xiàn)在

系統(tǒng)中。

＞數(shù)據(jù)治理產(chǎn)品化

數(shù)據(jù)治理的成果和內(nèi)容，必須通過(guò)切實(shí)可行的IT手段落實(shí)到系統(tǒng)來(lái)嚴(yán)格

執(zhí)行

＞數(shù)據(jù)處理工廠化

數(shù)據(jù)處理工作，必、須實(shí)現(xiàn)工廠化的建設(shè)和管理,以“極速、低成本、高質(zhì)

量”要求來(lái)響應(yīng)業(yè)務(wù)部門的個(gè)性化數(shù)據(jù)需求。

＞數(shù)據(jù)運(yùn)營(yíng)全員化

體現(xiàn)〃平臺(tái)化、開放性”的思想，提高數(shù)據(jù)開放的可視化，實(shí)現(xiàn)人人參與

數(shù)據(jù)治理、數(shù)據(jù)建設(shè)和數(shù)據(jù)運(yùn)維

＞數(shù)據(jù)安全可控化

體現(xiàn)安全的重要性、必要性，保障系統(tǒng)數(shù)據(jù)安全和數(shù)據(jù)服務(wù)開放過(guò)程中數(shù)

據(jù)的安全可控。

1.2.2平臺(tái)架構(gòu)設(shè)計(jì)

1.2.2.1總體架構(gòu)設(shè)計(jì)

平臺(tái)采用工廠化的數(shù)據(jù)處理和管理模式，通過(guò)數(shù)據(jù)生產(chǎn)計(jì)劃、數(shù)據(jù)生產(chǎn)執(zhí)

行和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過(guò)程透明可控，實(shí)現(xiàn)工具化、

流程化和自動(dòng)化的開發(fā)、運(yùn)維、管理，提升數(shù)據(jù)開發(fā)、生產(chǎn)的效率，保持系統(tǒng)

健康、持續(xù)、穩(wěn)定的發(fā)展。

哪生產(chǎn)計(jì)劃系統(tǒng)數(shù)據(jù)生產(chǎn)Wt理系統(tǒng)

各類開發(fā)模塊，供日常開發(fā)使用

設(shè)計(jì)、編碼

制定規(guī)范

an奧深開發(fā)人員

提出需求

，始寫卷數(shù)，包括技術(shù)卷數(shù)、制定開發(fā)和數(shù)

—業(yè)務(wù)信息、檢查規(guī)則等

根據(jù)叁數(shù)動(dòng)態(tài)構(gòu)建數(shù)據(jù)生產(chǎn)建管控開發(fā)據(jù)知范

普通開發(fā)人員

數(shù)據(jù)生產(chǎn)執(zhí)行系統(tǒng)

系統(tǒng)運(yùn)行監(jiān)控

來(lái)源系統(tǒng)數(shù)據(jù)生產(chǎn)線1業(yè)務(wù)報(bào)表和管理

多一日?臼監(jiān)控過(guò)程系統(tǒng)健康分析

?口，和優(yōu)化

數(shù)據(jù)生產(chǎn)線2

知識(shí)積累和傳

承

優(yōu)化建設(shè)

數(shù)據(jù)生產(chǎn)線N

?數(shù)據(jù)生產(chǎn)計(jì)劃模塊：主要功能為：需求設(shè)計(jì)、設(shè)計(jì)確認(rèn)等。

?數(shù)據(jù)處理執(zhí)行模塊：負(fù)責(zé)數(shù)據(jù)處理計(jì)劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)

量控制等工作。

?數(shù)據(jù)處理管理模塊：負(fù)責(zé)軟件開發(fā)和數(shù)據(jù)規(guī)范的管控。

技術(shù)架構(gòu)設(shè)計(jì)

為實(shí)現(xiàn)工廠化的數(shù)據(jù)處理和管理，本項(xiàng)目數(shù)據(jù)智能管理平臺(tái)采用基于元數(shù)

據(jù)驅(qū)動(dòng)的開發(fā)模式，保障元數(shù)據(jù)與實(shí)際系統(tǒng)情況的一致性，通過(guò)元數(shù)據(jù)準(zhǔn)確描

述系統(tǒng)，指導(dǎo)系統(tǒng)建設(shè)。技術(shù)架構(gòu)圖如下：

校板J4

可

視

化

的

標(biāo)

凈

_

ED

壞

班

MJ元數(shù)貼的調(diào)度?？?/p>

?提供數(shù)據(jù)對(duì)象設(shè)計(jì)功能

?提供元數(shù)據(jù)獲取和管理功能

?提供數(shù)據(jù)質(zhì)量管理功能

?提供對(duì)象化接口模塊

?提供與各類底層平臺(tái)對(duì)接功能

?提供可視化的標(biāo)準(zhǔn)IDE環(huán)境

?提供基于元數(shù)據(jù)血緣圖的調(diào)度功能

1.2.3平臺(tái)技術(shù)特點(diǎn)

>MetadataBeforeCoding

業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的強(qiáng)制性前向獲取機(jī)制，杜絕元數(shù)據(jù)的后期補(bǔ)

錄，建設(shè)保證業(yè)務(wù)元數(shù)據(jù)/技術(shù)元數(shù)據(jù)/技術(shù)實(shí)現(xiàn)這三者一致性的技術(shù)機(jī)制

>BusinessDrivenDesign

以最大化業(yè)務(wù)需求吻合度為目標(biāo)，所有數(shù)據(jù)對(duì)象的設(shè)計(jì)和實(shí)現(xiàn)，都必須以

業(yè)務(wù)需求為驅(qū)動(dòng)，在最大程度上保證數(shù)據(jù)對(duì)象與業(yè)務(wù)需求的一致性。

>ObjectOrientedArchitecture

將數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、數(shù)據(jù)加工、數(shù)據(jù)質(zhì)量檢查等與數(shù)據(jù)相

關(guān)的內(nèi)容統(tǒng)T乍為數(shù)據(jù)對(duì)象管理起來(lái)，且該數(shù)據(jù)對(duì)象是系統(tǒng)的最小管理單元。

>TCUPrinciple

數(shù)據(jù)對(duì)象必須遵循TCU(TakeCareofYourself)的設(shè)計(jì)原則，所有與

數(shù)據(jù)有關(guān)的工作全部在對(duì)應(yīng)的數(shù)據(jù)對(duì)象內(nèi)部完成,確保數(shù)據(jù)對(duì)象之間只有數(shù)據(jù)

加工過(guò)程的上下游關(guān)系。

1.3數(shù)據(jù)治理建設(shè)方案

1?3.1數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范了業(yè)務(wù)術(shù)語(yǔ)，元數(shù)據(jù)，參考數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)，指標(biāo)數(shù)據(jù)的規(guī)范

定義、獲取原則、管理要求等。包括設(shè)計(jì)基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)

標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流

程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門、技術(shù)部門和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì),

建立全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)流程，制定總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)內(nèi)部

對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解,指導(dǎo)信息化建設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。

13.1.1數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范

數(shù)據(jù)標(biāo)準(zhǔn)管理體系主要包含數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理

平臺(tái)維護(hù)三部分。

平臺(tái)通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)維護(hù)三部

分進(jìn)行數(shù)據(jù)資源管理，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織

和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)。落地實(shí)施機(jī)制從規(guī)范推廣、技術(shù)平

臺(tái)支撐兩方面保障；數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)維護(hù)主要包括建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)平臺(tái)，支撐

數(shù)據(jù)標(biāo)準(zhǔn)日常管理工作兩方面C

＞數(shù)據(jù)標(biāo)準(zhǔn)管理機(jī)制設(shè)計(jì)

設(shè)計(jì)基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)

準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門、技

術(shù)部門和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)，建立企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)流程，制定

總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建

設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。

＞數(shù)據(jù)標(biāo)準(zhǔn)分類規(guī)范

數(shù)據(jù)標(biāo)準(zhǔn)是對(duì)數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值等信息的統(tǒng)一定義，達(dá)成對(duì)數(shù)

據(jù)的業(yè)務(wù)理解、技術(shù)實(shí)現(xiàn)的一致性。

基于數(shù)據(jù)模型理論將數(shù)據(jù)標(biāo)準(zhǔn)延伸至5個(gè)分類，涵蓋技術(shù)、業(yè)務(wù)多個(gè)視角。

業(yè)務(wù)術(shù)語(yǔ)：從一致性、通用性等方面統(tǒng)一業(yè)務(wù)術(shù)語(yǔ)定義。

數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)：用來(lái)描述實(shí)體的某種屬性，包含數(shù)據(jù)項(xiàng)的名稱、編號(hào)、別名、

簡(jiǎn)述、數(shù)據(jù)項(xiàng)的長(zhǎng)度、類型、數(shù)據(jù)項(xiàng)的取值范圍,

參考數(shù)據(jù)標(biāo)準(zhǔn)：識(shí)別參考數(shù)據(jù)，并建立參考數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)樣例，使參考數(shù)

據(jù)可在不同系統(tǒng)中被使用而保持統(tǒng)一標(biāo)準(zhǔn)值。

主數(shù)據(jù)標(biāo)準(zhǔn)：主數(shù)據(jù)編碼是應(yīng)用系統(tǒng)中的重要數(shù)據(jù)類型之一，通常用來(lái)描述

業(yè)務(wù)操作的具體對(duì)象及其特征，注重唯一性，特征一致性，穩(wěn)定性及有效性。

唯一性：在一個(gè)系統(tǒng)，一個(gè)平臺(tái)甚至整個(gè)范圍內(nèi)同一主數(shù)據(jù)編碼要求具有唯

一的識(shí)別標(biāo)志（代碼，名稱，特征描述等），用以明確區(qū)分業(yè)務(wù)對(duì)象，業(yè)務(wù)范圍

和業(yè)務(wù)的具體細(xì)節(jié)

特征一致性：主數(shù)據(jù)在不同系統(tǒng)中，均按統(tǒng)一標(biāo)準(zhǔn)出現(xiàn)

穩(wěn)定性：主數(shù)據(jù)相對(duì)穩(wěn)定，本身屬性不會(huì)隨交易過(guò)程而被修改

有效性：貫穿該業(yè)務(wù)對(duì)象的全生命周期過(guò)程，只要該業(yè)務(wù)對(duì)象存在，則比數(shù)

據(jù)不會(huì)喪失有效性

指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)：需要收集指標(biāo)的管理信息、業(yè)務(wù)定義、以及維度定義，需要

兼顧通用性和個(gè)性化，個(gè)性化方面支持各使用部門個(gè)性化定制

A數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)規(guī)范

以分析型應(yīng)用建設(shè)和操作型應(yīng)用集成為導(dǎo)向，兩套方法結(jié)合，建立數(shù)據(jù)標(biāo)準(zhǔn)

設(shè)計(jì)體系

分析型應(yīng)用建設(shè)導(dǎo)向：以分析應(yīng)用指標(biāo)范圍為依據(jù)，重點(diǎn)結(jié)合業(yè)務(wù)戰(zhàn)略及管

理要求，自上而下追溯數(shù)據(jù)源，聚焦數(shù)據(jù)標(biāo)準(zhǔn)范圍。

操作型應(yīng)用集成導(dǎo)向：自上而下的原則，基G實(shí)際業(yè)務(wù)流程及操作，重點(diǎn)識(shí)

別跨業(yè)務(wù)、跨流程的集成點(diǎn)及關(guān)鍵步驟，分析提煉共享數(shù)據(jù),完成業(yè)務(wù)流程和應(yīng)

用共享的數(shù)據(jù)映射，刪除冗余、非重點(diǎn)數(shù)據(jù)，精簡(jiǎn)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)范圍。

數(shù)據(jù)元管理

數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、

數(shù)據(jù)元?jiǎng)h除、數(shù)據(jù)元停用、數(shù)據(jù)元檢索等功能。同時(shí)支持?jǐn)?shù)據(jù)元版本管理及版本

之間的差異核對(duì)功能以及支持基于基礎(chǔ)庫(kù)、主題庫(kù)的元數(shù)據(jù)快速創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)元,

并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系。

數(shù)據(jù)元

改新增皈

數(shù)據(jù)元敖據(jù)源

導(dǎo)入發(fā)布

數(shù)據(jù)元

修改

數(shù)據(jù)元數(shù)據(jù)元停用

刪除

:數(shù)據(jù)元檢索

標(biāo)準(zhǔn)代碼配置

標(biāo)準(zhǔn)代碼配置支持代碼的分類、標(biāo)準(zhǔn)代碼項(xiàng)的新增、導(dǎo)入、導(dǎo)出功能，提供

了標(biāo)準(zhǔn)代碼維護(hù)的能力；可關(guān)聯(lián)到國(guó)標(biāo)、地標(biāo)代碼字典，為數(shù)據(jù)的規(guī)范性提供了

更加詳細(xì)的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等工作提供支撐。

標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼（標(biāo)準(zhǔn)代碼），按照實(shí)際的業(yè)務(wù)領(lǐng)域進(jìn)行分類之

后，可以形成帶有業(yè)務(wù)領(lǐng)域特征的相關(guān)編碼，比如"FR00001”代表法人相關(guān)的

數(shù)據(jù)元標(biāo)準(zhǔn)代碼。

可關(guān)聯(lián)到國(guó)標(biāo)、t聯(lián)示

代碼字典

常用規(guī)則配置

數(shù)據(jù)元的值有部分需要滿足固定格式的標(biāo)準(zhǔn)，治理過(guò)程中需要通過(guò)固定的值

組成規(guī)則來(lái)規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話號(hào)碼、電子郵箱等格式。包

括通用規(guī)則及各部門根據(jù)自身需求實(shí)際制定的規(guī)則，常用規(guī)則配置會(huì)針對(duì)公共數(shù)

據(jù)的特性內(nèi)置部分常用的規(guī)則，同時(shí)提供了規(guī)則的配置修改能力。

1?3?2元數(shù)據(jù)管理

按照數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，需要實(shí)現(xiàn)各層的各種對(duì)象，如表、

存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)

據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。

元數(shù)據(jù)管理目標(biāo)

元數(shù)據(jù)建設(shè)以服務(wù)項(xiàng)目管控需要為出發(fā)點(diǎn)，立足于項(xiàng)目建設(shè)實(shí)際，通過(guò)合理

規(guī)劃和全面分析，以項(xiàng)目中的關(guān)鍵點(diǎn)和問(wèn)題點(diǎn)作為優(yōu)先和重點(diǎn)突破方向，實(shí)現(xiàn)元

數(shù)據(jù)的逐步演進(jìn)和完善。

13.2.2元數(shù)據(jù)管理內(nèi)容

元數(shù)據(jù)內(nèi)容涉及到整個(gè)大數(shù)據(jù)資源平臺(tái)的各個(gè)數(shù)據(jù)環(huán)節(jié)，包括數(shù)據(jù)采集、逐

層加工稽核，數(shù)據(jù)服務(wù)到最終應(yīng)用展現(xiàn)的處理，元數(shù)據(jù)管理貫穿了整個(gè)流程，并

與各環(huán)節(jié)實(shí)現(xiàn)有效互動(dòng)。

元數(shù)據(jù)管理分類

按照元數(shù)據(jù)的定義分類，綜合價(jià)值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技

術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)三類。其中：

(1)業(yè)務(wù)元數(shù)據(jù)

?使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；

?訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)來(lái)源；

?系統(tǒng)所提供的分析方法及公式、報(bào)表信息；

?對(duì)業(yè)務(wù)元數(shù)據(jù)來(lái)源的管理和差異性對(duì)比；

(2)技術(shù)元數(shù)據(jù)

?系統(tǒng)結(jié)構(gòu)的描述(各個(gè)主題的定義，星型模式或雪花型模式的描述定義

等)；

?整合數(shù)據(jù)層的機(jī)構(gòu)單位的數(shù)據(jù)模型描述(以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為

形式)；

?對(duì)數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述(包括維度、

層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則)；

(3)管理元數(shù)據(jù)

系統(tǒng)內(nèi)部用戶的數(shù)據(jù)處理操作規(guī)則，包括抽取、轉(zhuǎn)換、加載、匯總等各類操

作的用戶權(quán)限、操作時(shí)間窗管理、異常處理規(guī)則等;

外部訪問(wèn)用戶（主要針對(duì)該系統(tǒng)對(duì)外提供的數(shù)據(jù)服務(wù)）的操作規(guī)則和方式,

包括所提供的數(shù)據(jù)服務(wù)接口、數(shù)據(jù)訪問(wèn)方式、操作；

各類用戶的操作記錄日志，包括操作用戶、登錄方式、操作對(duì)象、持續(xù)時(shí)間、

操作類型等相關(guān)信息。

元數(shù)據(jù)管理組織

為了保障元數(shù)據(jù)管理目標(biāo)的順利達(dá)成，需要從組織架構(gòu)層面建立專業(yè)的元數(shù)

據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以落實(shí)、制度得以執(zhí)行。

元數(shù)據(jù)管理流程

元數(shù)據(jù)維護(hù)管理流程是以需求提出作為開始,經(jīng)歷規(guī)劃設(shè)計(jì)、開發(fā)實(shí)施、需

求驗(yàn)收等項(xiàng)目階段的元數(shù)據(jù)建立和校驗(yàn)，最后實(shí)現(xiàn)元數(shù)據(jù)的發(fā)布和運(yùn)維管理。在

這些階段中，元數(shù)據(jù)管控組負(fù)責(zé)元數(shù)據(jù)信息的全生命周期流程的管理和監(jiān)控。

元數(shù)據(jù)管理功能

元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動(dòng)獲取、元

數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。

訪

問(wèn)

件號(hào)出

格式文

二

二

liffl用

實(shí)時(shí)AP

問(wèn)

CE訪

SERVI

層WEB

---

-----

-----

-----

我

3S蘇打

直

性檢

據(jù)屬

元數(shù)

功翻

基礎(chǔ)

公共

功能

分析

元朗8

功

析

性分

T

|指標(biāo)

析

血緣分

護(hù)

據(jù)維

元數(shù)

檢直

S-致性

能元數(shù)3

層