版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
ICS35.020
CCSL70
DB3209
鹽城市地方標準
DB3209/T1320—2025
公共數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)范
第2部分:實施體系
Publicdataplatform—Datagovernancestandards—
Part2:Implementationsystem
2025-06-20發(fā)布2025-09-20實施
鹽城市市場監(jiān)督管理局發(fā)布
DB3209/T1320-2025
目次
前言.............................................................................II
引言............................................................................III
1范圍...............................................................................1
2規(guī)范性引用文件.....................................................................1
3術(shù)語和定義.........................................................................1
4數(shù)據(jù)治理實施活動...................................................................2
4.1數(shù)據(jù)架構(gòu).........................................................................2
4.1.1數(shù)據(jù)模型.....................................................................2
4.1.2數(shù)據(jù)分布.....................................................................4
4.1.3元數(shù)據(jù)管理...................................................................6
4.2數(shù)據(jù)標準.........................................................................9
4.2.1標準規(guī)劃.....................................................................9
4.2.2標準制定.....................................................................9
4.2.3標準發(fā)布.....................................................................9
4.2.4標準執(zhí)行....................................................................10
4.2.5標準維護....................................................................10
4.3數(shù)據(jù)質(zhì)量........................................................................10
4.3.1數(shù)據(jù)質(zhì)量需求確立............................................................10
4.3.2數(shù)據(jù)質(zhì)量檢查................................................................11
4.3.3數(shù)據(jù)質(zhì)量分析................................................................12
4.3.4數(shù)據(jù)質(zhì)量提升................................................................13
4.3.5數(shù)據(jù)質(zhì)量控制................................................................14
4.4數(shù)據(jù)服務(wù)........................................................................14
4.4.1數(shù)據(jù)服務(wù)需求分析............................................................14
4.4.2數(shù)據(jù)服務(wù)設(shè)計................................................................15
4.4.3數(shù)據(jù)服務(wù)管理................................................................15
4.4.4數(shù)據(jù)服務(wù)安全................................................................16
4.5數(shù)據(jù)安全........................................................................16
4.5.1實施數(shù)據(jù)分類分級............................................................16
4.5.2數(shù)據(jù)安全防護................................................................18
附錄A(資料性)權(quán)威數(shù)據(jù)源清單.....................................................20
附錄B(資料性)數(shù)據(jù)質(zhì)量需求調(diào)研表.................................................21
I
DB3209/T1320-2025
前言
本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定
起草。
本文件是DB3209/T1259《公共數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)范》的第2部分。DB3209/T1259已經(jīng)發(fā)布了以
下部分,以后根據(jù)工作需要,再視情增補:
——第1部分:總則。
——第2部分:實施體系。
——第3部分:高頻數(shù)據(jù)元。
請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責(zé)任。
本文件由鹽城市數(shù)據(jù)局提出、歸口并組織實施。
本文件起草單位:鹽城市大數(shù)據(jù)管理中心。
本文件主要起草人:袁永軍、袁愛娣、戴祥、施曉波、殷云瀟、陳德祥、姚德亮、邢程、李想、齊
文輝、薛步高、田永艷、韋應(yīng)虎、李興儒。
II
DB3209/T1320-2025
引言
公共數(shù)據(jù)作為國家基礎(chǔ)性戰(zhàn)略資源,其高效開發(fā)與利用是實現(xiàn)經(jīng)濟社會高質(zhì)量發(fā)展的必然要求。為
規(guī)范鹽城市公共數(shù)據(jù)管理,推進數(shù)據(jù)資源共享開放,促進市縣各級數(shù)據(jù)相關(guān)方合規(guī)、高效地開發(fā)利用公
共數(shù)據(jù)要素,充分發(fā)揮數(shù)據(jù)賦能新質(zhì)生產(chǎn)力的驅(qū)動作用,現(xiàn)圍繞數(shù)據(jù)架構(gòu)、標準、質(zhì)量、服務(wù)及安全等
核心維度,構(gòu)建系統(tǒng)化的數(shù)據(jù)治理體系,制定DB3209/T《公共數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)范》系列標準。
DB3209/T擬由以下三個部分構(gòu)成。
——第1部分:總則。目的在于明確公共數(shù)據(jù)平臺數(shù)據(jù)治理的總則,確立數(shù)據(jù)治理的架構(gòu)體系、
保障體系以及實施體系。
——第2部分:實施體系。目的在于規(guī)范公共數(shù)據(jù)平臺數(shù)據(jù)治理各環(huán)節(jié)的實施步驟。
——第3部分:高頻數(shù)據(jù)元。目的在于規(guī)定高頻數(shù)據(jù)的屬性設(shè)置、分類和內(nèi)部標識符規(guī)則及其目
錄,指導(dǎo)高頻數(shù)據(jù)元的編制、使用和擴展。
III
DB3209/T1320—2025
公共數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)范第2部分:實施體系
1范圍
本文件描述了公共數(shù)據(jù)平臺開展數(shù)據(jù)治理實施活動的步驟,包括數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)
量、數(shù)據(jù)服務(wù)和數(shù)據(jù)安全五個部分的相關(guān)內(nèi)容。
本文件適用于指導(dǎo)鹽城市市縣兩級公共數(shù)據(jù)平臺數(shù)據(jù)治理各環(huán)節(jié)實施步驟。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用
文件,僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)
適用于本文件。
GB/T35274數(shù)據(jù)安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求
GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型
GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型
GB/T43697數(shù)據(jù)安全技術(shù)數(shù)據(jù)分類分級規(guī)則
3術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1
公共數(shù)據(jù)commondata
指本市各級行政機關(guān)、法律法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織和教育、醫(yī)療、供水、供
電、供氣、供熱、交通運輸、文化旅游、體育、環(huán)境保護等公共企事業(yè)單位依法履行職責(zé)或者提供公
共服務(wù)過程中收集、產(chǎn)生的數(shù)據(jù),以及中央國家機關(guān)派駐本市的機關(guān)或者派出機構(gòu)根據(jù)本市應(yīng)用需
求提供的數(shù)據(jù)。
3.2
數(shù)據(jù)模型datamodel
數(shù)據(jù)模型是使用結(jié)構(gòu)化的語言將組織業(yè)務(wù)經(jīng)營、管理和決策中使用的數(shù)據(jù)需求進行綜合分析,
并按照模型設(shè)計規(guī)范重新組織。
3.3
實體entity
實體是指現(xiàn)實世界中具有獨立存在和可區(qū)分性的事物,它在數(shù)據(jù)模型中表示為一個對象或表。
3.4
屬性attribute
屬性是實體所具有的特征或性質(zhì),每個實體都有一組屬性,這些屬性定義了實體的特征和行
為。
3.5
關(guān)系relationship
關(guān)系是實體之間的互動和連接,主要描述實體之間的依賴、聯(lián)系和約束,關(guān)系可以是一對一、
一對多或多對多的關(guān)聯(lián)。
3.6
元數(shù)據(jù)metadata
1
DB3209/T1320-2025
關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述),以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問
權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。
[來源:GB/T36073-2018,3.6]
3.7
元模型metamodel
規(guī)定一個或多個其他數(shù)據(jù)模型的數(shù)據(jù)模型。
[來源:GB/T36073-2018,3.9]
3.8
數(shù)據(jù)質(zhì)量dataquality
在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。
[來源:GB/T36073-2018,3.10]
3.9
數(shù)據(jù)服務(wù)dataservice
通過標準化接口或平臺提供的、用于訪問、處理或分析數(shù)據(jù)的功能性服務(wù)。
4數(shù)據(jù)治理實施活動
4.1數(shù)據(jù)架構(gòu)
4.1.1數(shù)據(jù)模型
模型需求調(diào)研
模型需求調(diào)研需從以下幾個方面開展實施工作:
a)開展需求調(diào)研:圍繞業(yè)務(wù)目標,數(shù)據(jù)管理者組織數(shù)據(jù)相關(guān)方充分調(diào)研公共數(shù)據(jù)平臺當前業(yè)
務(wù)和數(shù)據(jù)現(xiàn)狀,分析各相關(guān)方的數(shù)據(jù)治理需求和存在問題,調(diào)研分析內(nèi)容包括但不限于:
業(yè)務(wù)應(yīng)用需求、國家和省級相關(guān)要求、跨部門數(shù)據(jù)共享需求、數(shù)據(jù)治理的痛點難點;
b)確定模型范圍:根據(jù)調(diào)研情況發(fā)現(xiàn)的數(shù)據(jù)問題與治理需求,與各行業(yè)業(yè)務(wù)專家溝通,理解
業(yè)務(wù)流程,挖掘深層次需求,確定數(shù)據(jù)模型的目標和范圍,同時分析現(xiàn)有數(shù)據(jù)架構(gòu),識別
數(shù)據(jù)質(zhì)量問題。
制定模型規(guī)范
.1概述
數(shù)據(jù)管理者根據(jù)數(shù)據(jù)治理和數(shù)據(jù)建模需求,選擇合適的數(shù)據(jù)模型管理工具,明確數(shù)據(jù)模型命名
規(guī)范和常用術(shù)語,規(guī)范各業(yè)務(wù)、各部門的數(shù)據(jù)模型開發(fā)和管理工作。
.2實施步驟
.2.1選擇數(shù)據(jù)模型工具
數(shù)據(jù)模型管理工具的能力包括但不限于:
a)支持可視化數(shù)據(jù)建模,具有正向建模和逆向建模的能力;
b)支持模型變更管理,實現(xiàn)從模型設(shè)計、審核、發(fā)布、物化到下線的全過程管理;
c)支持模型差異稽核,對數(shù)據(jù)模型與應(yīng)用數(shù)據(jù)庫進行稽核對比,保障數(shù)據(jù)模型設(shè)計與落地的
一致性,針對數(shù)據(jù)庫表結(jié)構(gòu)、關(guān)系等形成差異報告,發(fā)現(xiàn)數(shù)據(jù)模型實施問題,提升數(shù)據(jù)模
型質(zhì)量。
.2.2明確模型命名規(guī)范
結(jié)合業(yè)務(wù)需求定義數(shù)據(jù)模型的命名規(guī)范,用于指導(dǎo)數(shù)據(jù)模型設(shè)計和開發(fā)。數(shù)據(jù)模型命名規(guī)范如
下(可結(jié)合業(yè)務(wù)實際情況調(diào)整):
a)遵循一致性、簡潔性、可讀性和可維護性四個原則,避免使用保留字、特殊字符、空格等。
2
DB3209/T1320—2025
其中,一致性要求平臺所有模型都嚴格遵循統(tǒng)一的命名規(guī)則;簡潔性強調(diào)模型命名應(yīng)簡潔
明了,避免復(fù)雜性;可讀性確保模型命名應(yīng)易于理解和記憶,避免使用縮寫或非標準術(shù)語;
可維護性要求模型命名便于業(yè)務(wù)未來的維護和擴展;
b)模型命名編碼宜采用26個英文字母(包含大小寫)、0~9自然數(shù)和下劃線,在相同的數(shù)據(jù)
庫或程序技術(shù)環(huán)境中,對象編碼采用大小寫應(yīng)統(tǒng)一,以方便數(shù)據(jù)庫移植,避免程序調(diào)用問
題;具體模型命名規(guī)范如下:數(shù)據(jù)分層_業(yè)務(wù)域_主題域_XXX_更新周期|數(shù)據(jù)范圍;其中,
數(shù)據(jù)分層、周期和數(shù)據(jù)范圍,見表1。
示例:dwd_rkk_jbxx_jbdjxx_di。表示明細層_人口庫_基本信息_基本登記信息_日|增量更新。
表1模型命名規(guī)范說明表
數(shù)據(jù)分層周期/數(shù)據(jù)范圍
公共維度DIM日快照d
DM層DM增量l
ODS層ODS周w
DWD層DWD拉鏈表l
DWS層DWS非分區(qū)全量表a
數(shù)據(jù)模型設(shè)計
.1概述
數(shù)據(jù)管理者宜采用概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型、物理數(shù)據(jù)模型三層架構(gòu)模式進行數(shù)據(jù)模型設(shè)
計,以實現(xiàn)數(shù)據(jù)模型設(shè)計的系統(tǒng)性和完整性。業(yè)務(wù)流程指導(dǎo)概念模型的設(shè)計,功能需求驅(qū)動邏輯模
型的設(shè)計,非功能性需求與約束對物理模型的設(shè)計提出要求。通過三層架構(gòu)的模型設(shè)計方法,確保
數(shù)據(jù)模型在不同抽象層次上都能滿足業(yè)務(wù)需求和系統(tǒng)實現(xiàn)的需要。
.2實施步驟
.2.1概念模型設(shè)計
明確數(shù)據(jù)的業(yè)務(wù)需求,闡釋業(yè)務(wù)對象及其相互間的關(guān)聯(lián)關(guān)系。通過深入剖析業(yè)務(wù)領(lǐng)域,提煉關(guān)
鍵信息,為邏輯模型、物理模型設(shè)計指定范圍、明確方向。概念模型設(shè)計宜遵循以下規(guī)則要求:
a)明確業(yè)務(wù)背景和主題邊界,在主題域下按照業(yè)務(wù)對象顆粒度設(shè)計概念實體,保證概念模型
呈現(xiàn)重要的一級子類;
b)定義關(guān)鍵業(yè)務(wù)實體,明確每個實體所具備的特性或?qū)傩?,準確地表示業(yè)務(wù)實體的本質(zhì)特
征;
c)定義業(yè)務(wù)實體間的聯(lián)系(如一對多、多對多),使用實體-關(guān)系圖(ER圖)展現(xiàn)數(shù)據(jù)實
體、屬性以及他們之間的關(guān)聯(lián)關(guān)系。
.2.2邏輯模型設(shè)計
以概念模型為基礎(chǔ),描述業(yè)務(wù)規(guī)則下邏輯數(shù)據(jù)實體間的關(guān)系,將業(yè)務(wù)概念具象化、結(jié)構(gòu)化,為
模型在數(shù)據(jù)庫中的落地應(yīng)用提供指導(dǎo)。邏輯模型設(shè)計宜遵循以下規(guī)則要求:
a)邏輯模型實體設(shè)計宜遵循第三范式,減少冗余,保障數(shù)據(jù)一致完整;
b)在概念模型的基礎(chǔ)上,準確識別邏輯模型的實體和其屬性;
c)模型中的每個實體、屬性、關(guān)系等都需與實際業(yè)務(wù)信息進行對應(yīng);
d)業(yè)務(wù)對象與邏輯數(shù)據(jù)實體的關(guān)系宜為一對一或一對多,不能出現(xiàn)多對多關(guān)系;
e)模型實體屬性應(yīng)有明確的數(shù)據(jù)標準,包括數(shù)據(jù)類型、長度、值域、是否為空等;
f)邏輯模型設(shè)計應(yīng)充分考慮物理模型的轉(zhuǎn)換率。
.2.3物理模型設(shè)計
3
DB3209/T1320-2025
以邏輯模型為基礎(chǔ)開展設(shè)計,將邏輯數(shù)據(jù)實體、屬性、約束、關(guān)系等,轉(zhuǎn)化為數(shù)據(jù)庫能識別的
物理實體關(guān)系。物理模型設(shè)計宜遵循以下規(guī)則要求:
a)物理模型須與邏輯模型保持一致,確保業(yè)務(wù)需求及業(yè)務(wù)規(guī)則所要求的各項功能得以實現(xiàn),
性能得到保障;
b)宜將邏輯模型實體轉(zhuǎn)換為數(shù)據(jù)庫的表結(jié)構(gòu),將實體屬性轉(zhuǎn)換為表字段,并為每個字段指定
數(shù)據(jù)類型(包括數(shù)據(jù)類型和長度等);
c)物理模型設(shè)計需完成實體關(guān)系的轉(zhuǎn)換,可以根據(jù)業(yè)務(wù)需要分別轉(zhuǎn)換為一張表或多張表;
d)物理模型設(shè)計需根據(jù)業(yè)務(wù)需要選擇合適的數(shù)據(jù)存儲方案,包括數(shù)據(jù)庫和文件系統(tǒng)等。
數(shù)據(jù)模型管理
數(shù)據(jù)模型管理宜從以下幾個方面開展:
a)數(shù)據(jù)管理者應(yīng)按照數(shù)據(jù)模型管理辦法,使用專業(yè)的建模工具,開展數(shù)據(jù)模型標準化管理和
統(tǒng)一管控,根據(jù)業(yè)務(wù)需求變化實時對數(shù)據(jù)模型進行更新,主要負責(zé)數(shù)據(jù)模型設(shè)計、審查和
批準等全過程變更管理;
b)數(shù)據(jù)開發(fā)者運用數(shù)據(jù)建模工具,有序完成數(shù)據(jù)模型的開發(fā)、測試、發(fā)布、實施和性能優(yōu)化
等工作,并定期對數(shù)據(jù)模型與應(yīng)用數(shù)據(jù)庫開展稽核對比工作,保障數(shù)據(jù)模型在設(shè)計與落地
實現(xiàn)過程中的一致性;如果發(fā)現(xiàn)差異,可針對數(shù)據(jù)庫表結(jié)構(gòu)、關(guān)系等方面的差別形成差異
報告,輔助數(shù)據(jù)管理者監(jiān)控數(shù)據(jù)模型質(zhì)量,提升數(shù)據(jù)模型設(shè)計和實施質(zhì)量。
數(shù)據(jù)模型優(yōu)化
數(shù)據(jù)模型優(yōu)化宜從以下幾個方面開展:
a)數(shù)據(jù)管理者需組織專業(yè)團隊定期開展數(shù)據(jù)模型檢查,確保數(shù)據(jù)模型與組織的業(yè)務(wù)架構(gòu)、數(shù)
據(jù)架構(gòu)及IT架構(gòu)保持一致;妥善保存每次數(shù)據(jù)模型檢查結(jié)果,為后續(xù)數(shù)據(jù)模型管理工作
提供重要的參考基準與衡量標準;
b)根據(jù)數(shù)據(jù)模型檢查結(jié)果和使用反饋,數(shù)據(jù)管理者需及時召集數(shù)據(jù)模型管理的相關(guān)利益方,
對模型進行針對性的調(diào)整和優(yōu)化,以進一步提高數(shù)據(jù)模型清晰度,增強數(shù)據(jù)模型的有效
性。
4.1.2數(shù)據(jù)分布
梳理數(shù)據(jù)現(xiàn)狀
.1概述
數(shù)據(jù)現(xiàn)狀梳理通過對應(yīng)用系統(tǒng)中的數(shù)據(jù)資源全面盤點,了解數(shù)據(jù)作用,明確存在的數(shù)據(jù)問題。
.2實施步驟
數(shù)據(jù)現(xiàn)狀梳理主要從以下幾個方面開展:
a)范圍確認:數(shù)據(jù)管理者需組織專業(yè)團隊,依據(jù)公共數(shù)據(jù)平臺的應(yīng)用場景和業(yè)務(wù)領(lǐng)域,確認
數(shù)據(jù)現(xiàn)狀梳理的具體范圍;
b)資源盤點:數(shù)據(jù)管理者需組織團隊對公共數(shù)據(jù)平臺相關(guān)領(lǐng)域的數(shù)據(jù)資源開展全面盤點,摸
清數(shù)據(jù)資源底數(shù),清查各部門自建信息系統(tǒng)、數(shù)據(jù)模型、數(shù)據(jù)總量、數(shù)據(jù)存儲等信息;
c)數(shù)據(jù)探查:數(shù)據(jù)開發(fā)者需運用數(shù)據(jù)探查工具對數(shù)據(jù)情況進行探查,初步掌握數(shù)據(jù)質(zhì)量情
況,包括但不限于數(shù)據(jù)空值率、數(shù)據(jù)存儲大小等關(guān)鍵指標。
梳理數(shù)據(jù)分布關(guān)系
.1概述
數(shù)據(jù)分布關(guān)系梳理應(yīng)依據(jù)已定義的數(shù)據(jù)模型,緊密結(jié)合業(yè)務(wù)流程的梳理成果,定義組織中數(shù)據(jù)
和流程、數(shù)據(jù)和組織機構(gòu)、數(shù)據(jù)和系統(tǒng)的分布關(guān)系。
4
DB3209/T1320—2025
.2實施步驟
數(shù)據(jù)分布關(guān)系主要從以下幾個方面開展梳理工作:
a)交互關(guān)系梳理:數(shù)據(jù)管理者組織團隊根據(jù)數(shù)據(jù)現(xiàn)狀梳理情況,對各領(lǐng)域相關(guān)部門業(yè)務(wù)系統(tǒng)
間的數(shù)據(jù)交互關(guān)系進行梳理,明確數(shù)據(jù)從源頭系統(tǒng)到目標系統(tǒng)的流動路徑,保障數(shù)據(jù)流轉(zhuǎn)
的清晰可溯;
b)規(guī)則梳理:數(shù)據(jù)管理者組織團隊對公共數(shù)據(jù)平臺不同領(lǐng)域或不同領(lǐng)域間的數(shù)據(jù)依賴關(guān)系和
數(shù)據(jù)轉(zhuǎn)換規(guī)則進行梳理,如:對數(shù)據(jù)進行格式轉(zhuǎn)換(如將不同日期格式統(tǒng)一為“YYYY--
DD”)、編碼轉(zhuǎn)換(如將不同部門的行業(yè)代碼統(tǒng)一為標準編碼)等,確保數(shù)據(jù)的一致性和
規(guī)范性。
梳理權(quán)威數(shù)據(jù)源
.1概述
數(shù)據(jù)管理者需組織團隊梳理數(shù)據(jù)的權(quán)威數(shù)據(jù)源進行梳理,針對每類數(shù)據(jù)明確相對合理且唯一的
信息采集和存儲系統(tǒng)。
.2實施步驟
權(quán)威數(shù)據(jù)源梳理主要從以下幾個方面開展:
a)權(quán)威部門明確:結(jié)合公共數(shù)據(jù)的特點和業(yè)務(wù)需求,根據(jù)鹽城市數(shù)據(jù)共享責(zé)任清單,明確數(shù)
據(jù)權(quán)威部門,如:普通住宅公共物業(yè)服務(wù)收費標準的權(quán)威部門為鹽城市發(fā)展和改革委員
會;
b)數(shù)據(jù)源信息明確:根據(jù)鹽城市公共數(shù)據(jù)平臺數(shù)據(jù)歸集、數(shù)據(jù)共享實際情況,明確權(quán)威數(shù)據(jù)
源的數(shù)據(jù)更新方式、共享規(guī)則等,應(yīng)按照數(shù)歸集相關(guān)要求來明確權(quán)威部門數(shù)據(jù)歸集的范圍
和共享方式等,形成數(shù)據(jù)權(quán)威數(shù)據(jù)源清單,見表A.1。
數(shù)據(jù)分布關(guān)系的維護和管理
.1概述
數(shù)據(jù)開發(fā)者負責(zé)對數(shù)據(jù)分布關(guān)系圖進行維護和管理,根據(jù)業(yè)務(wù)流程和系統(tǒng)建設(shè)的實際情況,定
期公共數(shù)據(jù)中的數(shù)據(jù)分布關(guān)系進行維護和更新,確保及時性。
.2實施步驟
.2.1確定分布圖結(jié)構(gòu)
明確數(shù)據(jù)分布圖的層次結(jié)構(gòu),根據(jù)公共數(shù)據(jù)業(yè)務(wù)特性,數(shù)據(jù)分層結(jié)構(gòu)宜分為:業(yè)務(wù)分類、主題
域、業(yè)務(wù)對象、邏輯數(shù)據(jù)實體、業(yè)務(wù)屬性,也可根據(jù)自身業(yè)務(wù)實際情況進行合理調(diào)整。
a)業(yè)務(wù)分類:業(yè)務(wù)分類作為數(shù)據(jù)管理的分級分類,從業(yè)務(wù)角度對數(shù)據(jù)進行分類管理,構(gòu)建有
層級結(jié)構(gòu)的業(yè)務(wù)標簽,實現(xiàn)對數(shù)據(jù)的精細化管理;
b)主題域:主題域是對業(yè)務(wù)分類進行主題細化管理,是同一類業(yè)務(wù)對象的集合,各主題域的
數(shù)據(jù)宜相互獨立、互不重疊;
c)業(yè)務(wù)對象:業(yè)務(wù)對象是業(yè)務(wù)流程中涉及的實體,是各主題域重要的業(yè)務(wù)對象信息,可基于
業(yè)務(wù)活動準確識別業(yè)務(wù)對象;
d)邏輯數(shù)據(jù)實體:邏輯數(shù)據(jù)實體是具有一定邏輯關(guān)系的數(shù)據(jù)屬性集合,用于描述一個業(yè)務(wù)對
象的某方面特征;
e)屬性:屬性是業(yè)務(wù)對象的最小顆粒,描述業(yè)務(wù)對象某個特征的數(shù)據(jù)性質(zhì),包括屬性名稱、
定義、類型、長度、取值范圍等。
.2.2構(gòu)建分布圖
5
DB3209/T1320-2025
數(shù)據(jù)開發(fā)者根據(jù)業(yè)務(wù)需求、數(shù)據(jù)現(xiàn)狀、數(shù)據(jù)分層設(shè)計,構(gòu)建科學(xué)合理的數(shù)據(jù)分布圖見圖1,明
確各業(yè)務(wù)下的主題域、業(yè)務(wù)對象、邏輯數(shù)據(jù)實體和屬性等,以及核心業(yè)務(wù)對象的流向關(guān)系和權(quán)威數(shù)
據(jù)源。
業(yè)務(wù)分類主題域業(yè)務(wù)對象權(quán)威部門
基本登記信息
聯(lián)系信息公安局
基本信息
出生信息
死亡信息民政局
義務(wù)教育
人口庫教育信息高中教育教育局
高等教育
納稅信息稅務(wù)局
就業(yè)社保公積金信息公積金管理中心
就業(yè)情況人社局
………………
圖1數(shù)據(jù)分布圖
.2.3建立更新機制
數(shù)據(jù)管理者建立健全數(shù)據(jù)分布圖更新機制,數(shù)據(jù)開發(fā)者需嚴格按照機制要求定期對數(shù)據(jù)分布關(guān)
系進行維護和更新,確保數(shù)據(jù)分布圖能夠及時、準確地反映公共數(shù)據(jù)平臺的最新數(shù)據(jù)分布狀態(tài)。
4.1.3元數(shù)據(jù)管理
確立元數(shù)據(jù)標準規(guī)范
.1概述
元數(shù)據(jù)標準是一套規(guī)范或約定,用于描述和組織元數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容和格式。數(shù)據(jù)管理者根據(jù)
元數(shù)據(jù)管理范圍,緊密結(jié)合業(yè)務(wù)需求與行業(yè)最佳實踐,嚴格定義元數(shù)據(jù)標準,并明確業(yè)務(wù)元數(shù)據(jù)、
技術(shù)元數(shù)據(jù)以及操作元數(shù)據(jù)之間的內(nèi)在關(guān)系,設(shè)計合適的元數(shù)據(jù)模型,確保元數(shù)據(jù)的統(tǒng)一性、可讀
性、可靠性和安全性。
.2實施步驟
.2.1元數(shù)據(jù)模型
元數(shù)據(jù)模型是描述元數(shù)據(jù)的一套規(guī)范,主要明確模型中所包含的基本元素、元素之間的關(guān)系的
表示。元模型涵蓋的內(nèi)容主要包括但不限于:
6
DB3209/T1320—2025
a)構(gòu)成元素:元模型的構(gòu)成元素,包含但不限于:應(yīng)用系統(tǒng)、數(shù)據(jù)集、數(shù)據(jù)任務(wù)、庫、表、
字段;
b)元素關(guān)系:元模型元素之間的關(guān)系,包含但不限于:數(shù)據(jù)集與應(yīng)用系統(tǒng)之間的歸屬關(guān)系、
表之間的關(guān)聯(lián)關(guān)系、繼承關(guān)系;
c)范圍與格式規(guī)范:需嚴格規(guī)范元數(shù)據(jù)范圍邊界,統(tǒng)一元數(shù)據(jù)的格式與存儲方式。
.2.2業(yè)務(wù)元數(shù)據(jù)
業(yè)務(wù)元數(shù)據(jù)主要聚焦于數(shù)據(jù)的內(nèi)容和條件,同時涵蓋與數(shù)據(jù)治理相關(guān)的詳細信息,是對數(shù)據(jù)實
體和數(shù)據(jù)處理的業(yè)務(wù)化描述。其作用在于幫助數(shù)據(jù)管理者和數(shù)據(jù)使用者理解數(shù)據(jù)的業(yè)務(wù)背景和上下
文。業(yè)務(wù)元數(shù)據(jù)主要包括但不限于:
a)業(yè)務(wù)信息:包含業(yè)務(wù)分類、主題域、業(yè)務(wù)描述、業(yè)務(wù)標簽、業(yè)務(wù)負責(zé)人等重要信息;
b)業(yè)務(wù)指標規(guī)則:涵蓋指標名稱、指標層級、指標口徑、維度信息、計算方式、映射信息、
轉(zhuǎn)換規(guī)則等內(nèi)容;
c)數(shù)據(jù)質(zhì)量信息:包含但不限于:質(zhì)量規(guī)則名稱、質(zhì)量檢核規(guī)則、質(zhì)量監(jiān)控級別。
.2.3技術(shù)元數(shù)據(jù)
技術(shù)元數(shù)據(jù)主要描述數(shù)據(jù)實體和數(shù)據(jù)處理過程中的技術(shù)細節(jié)和處理規(guī)則,能夠協(xié)助數(shù)據(jù)開發(fā)者
明確數(shù)據(jù)存儲、結(jié)構(gòu)、權(quán)限等關(guān)鍵信息,為數(shù)據(jù)開發(fā)和系統(tǒng)集成奠定基礎(chǔ)。技術(shù)元數(shù)據(jù)主要包括但
不限于:
a)數(shù)據(jù)表及其字段信息,包含但不限于:表名稱、表注釋、字段名稱、字段類型、字段長
度、字段注釋、主鍵信息、外鍵信息、索引信息;
b)數(shù)據(jù)存儲信息,包含存儲位置、存儲大小、數(shù)據(jù)源名稱、數(shù)據(jù)源類型等信息;
c)數(shù)據(jù)映射關(guān)系,包含字段血緣、SQL腳本信息、ETL(Extract-Transform-Load)抽取加
載轉(zhuǎn)換信息等。
.2.4操作元數(shù)據(jù)
操作元數(shù)據(jù)是描述數(shù)據(jù)處理日志和運營情況的數(shù)據(jù),幫助數(shù)據(jù)開發(fā)者定位數(shù)據(jù)治理和處理過
程,為數(shù)據(jù)的維護工作和問題排查提供支持。操作元數(shù)據(jù)主要包括但不限于:
a)數(shù)據(jù)處理日志,包含數(shù)據(jù)采集日志、數(shù)據(jù)質(zhì)量檢核日志、數(shù)據(jù)開發(fā)作業(yè)執(zhí)行日志等;
b)數(shù)據(jù)運營情況信息,涵蓋數(shù)據(jù)使用者對數(shù)據(jù)的訪問方式、訪問時間以及數(shù)據(jù)開發(fā)者對數(shù)據(jù)
的查詢、清洗等操作信息。
收集元數(shù)據(jù)
.1概述
數(shù)據(jù)開發(fā)者針對不同類型、不同來源的元數(shù)據(jù),選擇對應(yīng)的適配器和元數(shù)據(jù)模型進行采集。同
時,依據(jù)規(guī)范流程,對變更的元數(shù)據(jù)進行定期或不定期的更新,提供手動采集和自動采集兩種方式。
.2實施步驟
.2.1手動采集
基于元模型構(gòu)建元數(shù)據(jù)導(dǎo)入模板,支持用戶進行手動采集。
.2.2自動采集
使用元數(shù)據(jù)管理工具實現(xiàn)元數(shù)據(jù)自動采集,主要步驟如下:
a)選擇適配器,針對不同的元數(shù)據(jù)來源,選擇相對應(yīng)的適配器及元模型;
b)配置數(shù)據(jù)源,在確定合適適配器的基礎(chǔ)上,配置數(shù)據(jù)源的名稱、連接參數(shù)以及描述等信
息;
7
DB3209/T1320-2025
c)配置采集任務(wù),合理設(shè)置元數(shù)據(jù)采集任務(wù)執(zhí)行調(diào)度計劃,提供單次調(diào)度、周期性調(diào)度等多
種靈活調(diào)度方式。
管理元數(shù)據(jù)
.1概述
對收集的元數(shù)據(jù)進行統(tǒng)一管理,管理內(nèi)容包括:元數(shù)據(jù)的審核、查詢、修改、刪除、版本管理和
權(quán)限管控等。結(jié)合業(yè)務(wù)實際情況,有效實現(xiàn)業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的連接,并通過元數(shù)據(jù)分析,
發(fā)現(xiàn)元數(shù)據(jù)標準設(shè)計、元數(shù)據(jù)收集以及使用過程中的現(xiàn)狀及問題,確保元數(shù)據(jù)的準確性和完整性。
.2實施步驟
管理元數(shù)據(jù)主要從以下幾個方面開展:
a)元數(shù)據(jù)審核:當采集到新的元數(shù)據(jù)時,數(shù)據(jù)管理者需按照元數(shù)據(jù)標準對采集元數(shù)據(jù)進行審
核,審核內(nèi)容包括:元數(shù)據(jù)是否符合元數(shù)據(jù)標準、元數(shù)據(jù)業(yè)務(wù)負責(zé)人是否正確、表和字段
等信息是否合規(guī)等;
b)元數(shù)據(jù)檢索:數(shù)據(jù)管理者、數(shù)據(jù)開發(fā)者、數(shù)據(jù)提供者和數(shù)據(jù)使用者可通過輸入元數(shù)據(jù)名稱
等關(guān)鍵信息對元數(shù)據(jù)進行檢索,檢索后可查看元數(shù)據(jù)的詳細信息,包括但不限于:存儲信
息、字段信息、表注釋、血緣信息;
c)元數(shù)據(jù)修改:當業(yè)務(wù)發(fā)生變化或元數(shù)據(jù)存在質(zhì)量問題時,數(shù)據(jù)開發(fā)者需對技術(shù)元數(shù)據(jù)進行
重新采集更新,并對主題域、標簽等業(yè)務(wù)元數(shù)據(jù)進行維護修改;
d)元數(shù)據(jù)刪除:若元數(shù)據(jù)存在重復(fù)信息或元數(shù)據(jù)信息不再被業(yè)務(wù)所使用時,由數(shù)據(jù)開發(fā)者對
相關(guān)的元數(shù)據(jù)進行刪除操作,并通過短信、郵件等方式及時通知元數(shù)據(jù)相關(guān)使用方;
e)元數(shù)據(jù)版本管理:數(shù)據(jù)管理者對元數(shù)據(jù)進行版本管理,對元數(shù)據(jù)變更進行監(jiān)控,詳細記錄
元數(shù)據(jù)的歷史變更記錄,支持元數(shù)據(jù)的版本對比;同時,支持元數(shù)據(jù)變更通知,通過訂閱
短信、郵件等方式向下游應(yīng)用及時發(fā)送變更的元數(shù)據(jù)詳情;
f)元數(shù)據(jù)訪問權(quán)限控制:元數(shù)據(jù)管理者需嚴格控制和管理用戶對元數(shù)據(jù)的訪問權(quán)限,確保只
有經(jīng)過授權(quán)的用戶才能夠查看和修改元數(shù)據(jù)。
元數(shù)據(jù)應(yīng)用
.1概述
元數(shù)據(jù)應(yīng)用主要包括元數(shù)據(jù)查詢、血緣分析、影響分析和數(shù)據(jù)地圖等。
.2實施步驟
元數(shù)據(jù)應(yīng)用包括但不限于以下內(nèi)容:
a)元數(shù)據(jù)查詢:通過元數(shù)據(jù)名稱、分類等信息檢索查詢,能夠快速定位元數(shù)據(jù),并以樹形導(dǎo)
航、關(guān)系圖等可視化方式直觀展示元數(shù)據(jù)詳情及其關(guān)系;
b)血緣分析:通過追蹤和記錄數(shù)據(jù)的上游信息和處理過程,找到所有元數(shù)據(jù)對象以及這些元
數(shù)據(jù)對象之間的關(guān)系,用于追溯元數(shù)據(jù)的來源和加工過程;數(shù)據(jù)開發(fā)者使用在元數(shù)據(jù)模型
完成元數(shù)據(jù)采集后,通過算法追蹤元數(shù)據(jù)的流程路徑,梳理元數(shù)據(jù)間的血緣關(guān)系(如上
游、父子關(guān)系等),并以圖形化方式對血緣關(guān)系進行可視化呈現(xiàn);
c)影響分析:主要剖析和記錄元數(shù)據(jù)的下游數(shù)據(jù)信息,找到依賴于該對象的處理過程或其他
數(shù)據(jù)對象,用于評估元數(shù)據(jù)變更或刪除時帶來的影響;數(shù)據(jù)開發(fā)者使用元數(shù)據(jù)模型完成元
數(shù)據(jù)采集后,通過算法追蹤元數(shù)據(jù)的流程路徑梳理元數(shù)據(jù)間的依賴關(guān)系(如下游、父子關(guān)
系等),并以圖形化方式對影響分析進行可視化呈現(xiàn);
d)數(shù)據(jù)地圖:元數(shù)據(jù)地圖是一種圖形化的數(shù)據(jù)、管理工具,提供多層次的圖形化展示,以滿
足業(yè)務(wù)使用、數(shù)據(jù)管理、開發(fā)運維等不同應(yīng)用場景的查詢和分析需求,對采集的各類元數(shù)
據(jù)進行梳理并實現(xiàn)關(guān)聯(lián),通過算法溝通元數(shù)據(jù)地圖并以可視化的方式進行展示,主要展示
內(nèi)容為各類元數(shù)據(jù)、元數(shù)據(jù)間的關(guān)系和分布等。
8
DB3209/T1320—2025
4.2數(shù)據(jù)標準
4.2.1標準規(guī)劃
概述
通過數(shù)據(jù)標準調(diào)研、業(yè)務(wù)分析等工作,構(gòu)建契合業(yè)務(wù)實際的數(shù)據(jù)標準體系框架和分類,并制定
出數(shù)據(jù)標準分階段、分步驟的實施路線。
實施步驟
標準規(guī)劃主要從以下幾個方面開展:
a)數(shù)據(jù)調(diào)研規(guī)劃:數(shù)據(jù)管理者需組織相關(guān)管理人員、業(yè)務(wù)專家、技術(shù)專家及數(shù)據(jù)專家等組成
數(shù)據(jù)標準責(zé)任組,該責(zé)任組負責(zé)收集國家、省級和行業(yè)公共數(shù)據(jù)平臺業(yè)務(wù)相關(guān)數(shù)據(jù)標準,
從管理層面、業(yè)務(wù)運行實際狀況以及數(shù)據(jù)現(xiàn)狀等多個維度開展調(diào)研工作,具體調(diào)研內(nèi)容包
括但不限于:現(xiàn)有數(shù)據(jù)業(yè)務(wù)定義、數(shù)據(jù)標準分類、數(shù)據(jù)標準編碼、數(shù)據(jù)元定義和屬性、數(shù)
據(jù)元使用情況以及數(shù)據(jù)模式;
b)職責(zé)明確:數(shù)據(jù)管理者需依據(jù)數(shù)據(jù)標準調(diào)研結(jié)果,結(jié)合公共數(shù)據(jù)平臺業(yè)務(wù)需求和數(shù)據(jù)特
點,明確數(shù)據(jù)標準管理工作涉及的相關(guān)職責(zé);
c)標準申請?zhí)岢雠c審核:各業(yè)務(wù)數(shù)據(jù)責(zé)任人根據(jù)業(yè)務(wù)發(fā)展的實際需求,提出數(shù)據(jù)標準新增、
修改、刪除的申請,并由數(shù)據(jù)管理者組織人員對這些標準進行審核。
4.2.2標準制定
概述
數(shù)據(jù)標準制定是在完成標準分類規(guī)劃的基礎(chǔ)上,定義數(shù)據(jù)標準及相關(guān)規(guī)則。數(shù)據(jù)標準的定義的
關(guān)鍵在于數(shù)據(jù)元及其屬性的確定,且整個過程需嚴格遵循共享性、唯一性、穩(wěn)定性、可擴展性、前
瞻性、可行性六大原則。
實施步驟
標準制定主要從以下幾個方面開展:
a)分析現(xiàn)狀:數(shù)據(jù)標準責(zé)任組需依據(jù)業(yè)務(wù)調(diào)研和信息系統(tǒng)調(diào)研的詳細結(jié)果,深入分析并歸納
數(shù)據(jù)標準現(xiàn)狀與存在的問題,了解數(shù)據(jù)標準在各業(yè)務(wù)應(yīng)用中的作用和存在的問題,同時厘
清數(shù)據(jù)標準對業(yè)務(wù)流程、業(yè)務(wù)協(xié)同的影響;
b)確定數(shù)據(jù)標準及其屬性,形成初稿:基于數(shù)據(jù)標準分類框架,依據(jù)國家、行業(yè)以及省級的
相關(guān)規(guī)定,結(jié)合業(yè)務(wù)應(yīng)用的實際需求,明確數(shù)據(jù)標準的業(yè)務(wù)屬性、技術(shù)屬性、管理屬性等
具體內(nèi)容,主要涵蓋數(shù)據(jù)主題、信息大類、信息小類、信息項、數(shù)據(jù)類型、數(shù)據(jù)長度、數(shù)
據(jù)定義、數(shù)據(jù)規(guī)則、數(shù)據(jù)字典等關(guān)鍵要素,最終形成標準草稿。
4.2.3標準發(fā)布
概述
數(shù)據(jù)標準發(fā)布在標準定義工作初步完成后,需廣泛征詢相關(guān)部門的意見,在完成意見分析和標
準修訂后,正式實施標準發(fā)布。
實施步驟
標準發(fā)布主要分為以下幾個步驟:
a)意見征詢與修訂:數(shù)據(jù)標準制定完成后,數(shù)據(jù)管理者負責(zé)向數(shù)據(jù)提供者、數(shù)據(jù)使用者等各
方廣泛征求意見;數(shù)據(jù)標準責(zé)任組根據(jù)各方反饋的意見進行標準修訂,并將修訂結(jié)果提供
給數(shù)據(jù)管理者進行審議;
b)批準發(fā)布:數(shù)據(jù)標準審議通過后,由數(shù)據(jù)決策者進行批準,隨后正式發(fā)布數(shù)據(jù)標準。
9
DB3209/T1320-2025
4.2.4標準執(zhí)行
概述
數(shù)據(jù)標準執(zhí)行需強化對業(yè)務(wù)和數(shù)據(jù)相關(guān)人員的培訓(xùn)與宣貫工作,將發(fā)布的數(shù)據(jù)標準切實應(yīng)用于
業(yè)務(wù)應(yīng)用和系統(tǒng)建設(shè),消除數(shù)據(jù)不一致問題。
實施步驟
標準執(zhí)行主要從以下幾個方面開展:
a)評估確定落地范圍:數(shù)據(jù)標準責(zé)任組根據(jù)業(yè)務(wù)現(xiàn)狀、數(shù)據(jù)質(zhì)量情況及數(shù)據(jù)使用優(yōu)先級等因
素,確定數(shù)據(jù)標準落地范圍,并提交給數(shù)據(jù)管理者進行審核;
b)制定落地方案:數(shù)據(jù)標準責(zé)任組依據(jù)確定的落地范圍和優(yōu)先級,制定數(shù)據(jù)標準落地方案,
落地方案需明確數(shù)據(jù)標準管理工具的要求、數(shù)據(jù)標準落地的執(zhí)行計劃、數(shù)據(jù)標準落地的責(zé)
任部門及相關(guān)風(fēng)險和應(yīng)對策略等關(guān)鍵內(nèi)容;
c)推動方案執(zhí)行:數(shù)據(jù)管理者按照業(yè)務(wù)條線和技術(shù)條線,組織數(shù)據(jù)標準責(zé)任組對數(shù)據(jù)提供
者、數(shù)據(jù)使用者等相關(guān)方就數(shù)據(jù)標準和其落地方案開展培訓(xùn)和宣講工作;數(shù)據(jù)標準責(zé)任組
組織并分析數(shù)據(jù)標準要求與現(xiàn)狀的實際差異,確定標準執(zhí)行方案和計劃,推動數(shù)據(jù)標準在
相關(guān)業(yè)務(wù)系統(tǒng)中落地;
d)跟蹤評估成效:數(shù)據(jù)管理者制定數(shù)據(jù)標準評估指標體系,數(shù)據(jù)標準責(zé)任組定期組織分析各
業(yè)務(wù)部門對數(shù)據(jù)標準落地的實施成效,跟蹤監(jiān)督標準落地流程的執(zhí)行情況,收集標準修訂
需求,并將存在的問題上報數(shù)據(jù)管理者。
4.2.5標準維護
概述
數(shù)據(jù)標準維護宜涵蓋標準的新增、變更、廢止、版本管理以及定期審查等方面工作。
實施步驟
標準維護主要從以下幾個方面開展:
a)標準維護、更新和定期審查:數(shù)據(jù)管理者常態(tài)化開展數(shù)據(jù)標準定期審核和維護工作,當業(yè)
務(wù)發(fā)展變化或數(shù)據(jù)標準執(zhí)行效果不佳時,由數(shù)據(jù)提供者、數(shù)據(jù)開發(fā)者、數(shù)據(jù)使用者等相關(guān)
數(shù)據(jù)責(zé)任方提出數(shù)據(jù)標準新增和變更申請,數(shù)據(jù)標準責(zé)任組收集變更需求,評估變更的影
響范圍和影響級別,并提交給數(shù)據(jù)管理者,及時對相應(yīng)的數(shù)據(jù)標準進行新增和變更,且標
準新增和變更需遵循標準編制、審核、發(fā)布的相關(guān)規(guī)定;
b)標準復(fù)審、廢止:修訂后的數(shù)據(jù)標準由數(shù)據(jù)管理者進行復(fù)審,數(shù)據(jù)開發(fā)者、數(shù)據(jù)提供者、
數(shù)據(jù)使用者需依據(jù)修訂的數(shù)據(jù)標準開展相關(guān)工作;對復(fù)審結(jié)果為廢止的數(shù)據(jù)標準,數(shù)據(jù)管
理者需依規(guī)予以廢止;
c)標準版本管理:數(shù)據(jù)管理者對數(shù)據(jù)標準的新增、變更等所有修訂進行版本管理,確保數(shù)據(jù)
標準體系的完整性和一致性。
4.3數(shù)據(jù)質(zhì)量
4.3.1數(shù)據(jù)質(zhì)量需求確立
概述
數(shù)據(jù)質(zhì)量需求確立為數(shù)據(jù)管理者度量和管理數(shù)據(jù)質(zhì)量提供明確的目標和依據(jù)。數(shù)據(jù)質(zhì)量需求確
立應(yīng)緊密結(jié)合數(shù)據(jù)治理組織的數(shù)據(jù)管理目標、數(shù)據(jù)使用者的實際業(yè)務(wù)需求以及行業(yè)監(jiān)管的相關(guān)要
求,通過科學(xué)合理的流程和方法,明確數(shù)據(jù)質(zhì)量目標與范圍,構(gòu)建數(shù)據(jù)質(zhì)量評價指標框架,實現(xiàn)對
數(shù)據(jù)質(zhì)量的實時監(jiān)控和定期評估。
實施步驟
10
DB3209/T1320—2025
數(shù)據(jù)質(zhì)量需求確立步驟如下:
a)制定數(shù)據(jù)質(zhì)量目標:數(shù)據(jù)管理者向各數(shù)據(jù)使用部門下發(fā)《數(shù)據(jù)質(zhì)量需求調(diào)研表》(見表
B.1),全面收集各部門對數(shù)據(jù)質(zhì)量的具體需求信息,數(shù)據(jù)管理者與開發(fā)者根據(jù)調(diào)研情
況,結(jié)合當前數(shù)據(jù)質(zhì)量現(xiàn)狀,以提升數(shù)據(jù)質(zhì)量價值為導(dǎo)向共同制定數(shù)據(jù)質(zhì)量目標;數(shù)據(jù)管
理應(yīng)定義數(shù)據(jù)質(zhì)量檢查、質(zhì)量分析、質(zhì)量評估、質(zhì)量提升等各個環(huán)節(jié)的管理流程和規(guī)范,
明確各環(huán)節(jié)的內(nèi)容、職責(zé),并定期對數(shù)據(jù)質(zhì)量管理流程進行評估和優(yōu)化;
b)建立數(shù)據(jù)質(zhì)量管理機構(gòu)和機制:數(shù)據(jù)質(zhì)量管理應(yīng)遵循“誰提供、誰負責(zé),誰使用、誰負
責(zé)”的原則,明確數(shù)據(jù)質(zhì)量管理中各參與方的角色和職責(zé);數(shù)據(jù)治理組織應(yīng)建立健全數(shù)據(jù)
質(zhì)量管理的協(xié)調(diào)機制,定期召開數(shù)據(jù)質(zhì)量會議,及時解決數(shù)據(jù)質(zhì)量管理過程中出現(xiàn)的問
題,確保數(shù)據(jù)質(zhì)量管理工作的順利開展;
c)設(shè)計數(shù)據(jù)質(zhì)量評價體系和規(guī)則庫:數(shù)據(jù)管理者在充分調(diào)研和歸集數(shù)據(jù)提供部門、數(shù)據(jù)使用
部門相關(guān)數(shù)據(jù)質(zhì)量需求的基礎(chǔ)上,圍繞規(guī)范性、完整性、準確性、一致性、有效性和可訪
問性六大維度,針對數(shù)據(jù)庫(表、字段、記錄)、數(shù)據(jù)接口、數(shù)據(jù)文件和數(shù)據(jù)集等評估對
象組織并設(shè)計數(shù)據(jù)質(zhì)量評價體系,構(gòu)建數(shù)據(jù)質(zhì)量規(guī)則庫,并提交數(shù)據(jù)質(zhì)量組織的數(shù)據(jù)決策
者進行評審,確保評價體系全面、科學(xué)、合理。
4.3.2數(shù)據(jù)質(zhì)量檢查
概述
數(shù)據(jù)質(zhì)量檢查是數(shù)據(jù)開發(fā)者根據(jù)數(shù)據(jù)質(zhì)量標準和質(zhì)量規(guī)則庫,制定數(shù)據(jù)質(zhì)量檢查計劃與方案,
對數(shù)據(jù)質(zhì)量情況進行實時、動態(tài)監(jiān)控,以便及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,并迅速向數(shù)據(jù)管理者和數(shù)據(jù)提
供者進行反饋。
實施步驟
.1制定質(zhì)量檢查計劃
在數(shù)據(jù)管理者、提供者和使用者三方密切配合的基礎(chǔ)上,數(shù)據(jù)質(zhì)量開發(fā)者根據(jù)數(shù)據(jù)質(zhì)量需求的
優(yōu)先級、數(shù)據(jù)質(zhì)量標準以及數(shù)據(jù)質(zhì)量規(guī)則要求,針對各業(yè)務(wù)領(lǐng)域制定差異化的數(shù)據(jù)質(zhì)量檢查計劃,
并明確數(shù)據(jù)提供者在數(shù)據(jù)在積累堅持過程中的責(zé)任,對數(shù)據(jù)進行定期的質(zhì)量檢查和評估。
.2明確數(shù)據(jù)質(zhì)量檢查方法
數(shù)據(jù)質(zhì)量檢查方法,包括但不限于:
a)程序自動校驗:應(yīng)用數(shù)據(jù)質(zhì)量管理工具開展自動校核工作,通過制定數(shù)據(jù)質(zhì)量檢核方案,
精準配置數(shù)據(jù)質(zhì)量規(guī)則,制定合理的數(shù)據(jù)質(zhì)量任務(wù)調(diào)度計劃,并實時監(jiān)控質(zhì)量任務(wù)執(zhí)行情
況和狀態(tài),一旦發(fā)現(xiàn)任務(wù)異常情況,及時進行告警和反饋,并將檢核到的問題數(shù)據(jù)記錄到
問題數(shù)據(jù)庫中,主動生成問題數(shù)據(jù)工單,便于問題工單派發(fā)和處理;
b)人工對照校核:主要由數(shù)據(jù)提供者對照數(shù)據(jù)質(zhì)量標準和數(shù)據(jù)質(zhì)量檢核規(guī)則,通過編寫SQL
腳本等人工方式對數(shù)據(jù)中的錯誤和不一致進行識別和記錄;
c)人機交互:數(shù)據(jù)開發(fā)者充分結(jié)合人工檢查和數(shù)據(jù)質(zhì)量工具的優(yōu)勢,通過人工設(shè)置規(guī)則和參
數(shù),先使用工具進行檢查,再由人工對檢查結(jié)果進行審核和確認。
.3管理數(shù)據(jù)質(zhì)量問題
數(shù)據(jù)質(zhì)量問題管理工作需要從以下幾個方面開展:
a)問題識別:通過程序自動校核和人機交互方式,對數(shù)據(jù)進行實時檢查和監(jiān)控,識別數(shù)據(jù)生
命周期各個階段的數(shù)據(jù)質(zhì)量關(guān)鍵因素,包括數(shù)據(jù)采集、存儲、處理、傳輸、使用和銷毀等
環(huán)節(jié);
b)問題登記與分析:對于程序自動校核和人機交互發(fā)現(xiàn)的問題數(shù)據(jù),由數(shù)據(jù)開發(fā)者在數(shù)據(jù)質(zhì)
量問題管理系統(tǒng)中進行登記,同時對登記問題進行初步分析,確定問題的根源和影響范
圍;
11
DB3209/T1320-2025
c)問題整改責(zé)任分配:根據(jù)問題分析結(jié)果,生成問題整改責(zé)任工單,明確整改責(zé)任人、整改
要求和整改期限,對于程序自動校核和人機交互發(fā)現(xiàn)的問題數(shù)據(jù),整改責(zé)任工單應(yīng)派發(fā)給
數(shù)據(jù)提供者進行處理;對于人工檢查發(fā)現(xiàn)的問題數(shù)據(jù),由數(shù)據(jù)提供者自行負責(zé)管理和整
改;
d)問題整改與復(fù)審:數(shù)據(jù)提供者根據(jù)整改責(zé)任工單的要求,對問題數(shù)據(jù)進行整改,并對整改
后的問題進行復(fù)審,復(fù)審?fù)ㄟ^后歸檔,不通過則繼續(xù)進行整改直至審核通過。
4.3.3數(shù)據(jù)質(zhì)量分析
概述
數(shù)據(jù)質(zhì)量分析旨在對數(shù)據(jù)質(zhì)量檢查過程中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題及相關(guān)信息展開全面評估和深入
分析,找出影響數(shù)據(jù)質(zhì)量的根本原因,并合理定義數(shù)據(jù)質(zhì)量問題的優(yōu)先級,從而為數(shù)據(jù)質(zhì)量提升工
作提供參考依據(jù)。數(shù)據(jù)質(zhì)量分析宜遵循“分層分級、持續(xù)度量”的原則,圍繞數(shù)據(jù)質(zhì)量評價指標框
架進行開展。主要涵蓋數(shù)據(jù)質(zhì)量報告的設(shè)計、開展數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量分析結(jié)果等方面。
實施步驟
.1制定評估分析方法與指標
數(shù)據(jù)管理者根據(jù)數(shù)據(jù)質(zhì)量評價指標框架制定組織層面的數(shù)據(jù)質(zhì)量問題評估分析方法,從規(guī)范
性、完整性、準確性、一致性、有效性和可訪問性六個維度制定數(shù)據(jù)質(zhì)量評估指標。具體如下:
a)規(guī)范性(見表2);
表2規(guī)范性評估指標
指標編號指標名稱指標描述
數(shù)據(jù)符合數(shù)據(jù)標準的度量。
注1:評價數(shù)據(jù)質(zhì)量時需要收集數(shù)據(jù)在命名、創(chuàng)建、定義、更新和歸檔時遵循的標
0101數(shù)據(jù)標準準,包括國際標準、國家標準、行業(yè)標準、地方標準或相關(guān)規(guī)定等。
注2:和數(shù)據(jù)歸檔一樣甚至更重要,在一個完整的數(shù)據(jù)規(guī)則中舊數(shù)據(jù)的銷毀一般也
有一個比較詳細且具有可執(zhí)行性的規(guī)定。
數(shù)據(jù)符合數(shù)據(jù)模型的度量。
注1:數(shù)據(jù)模型是一種直觀描述組織數(shù)據(jù)結(jié)構(gòu)的手段,是數(shù)據(jù)表達的規(guī)范。
0102數(shù)據(jù)模型
注2:評價數(shù)據(jù)質(zhì)量時需要檢查是否存在清晰可理解的數(shù)據(jù)模型定義以及這些數(shù)據(jù)
的組織形式。
數(shù)據(jù)符合元數(shù)據(jù)定義的度量。
注:元數(shù)據(jù)標注、描述或刻畫其他數(shù)據(jù)、以使檢索或使用更容易。評價數(shù)據(jù)質(zhì)量
0103元數(shù)據(jù)
時需要檢查是否提供可解讀的元數(shù)據(jù)文檔。
示例:包含各字段名稱、描述、類型值域等內(nèi)容的數(shù)據(jù)字典為一種元數(shù)據(jù)文檔。
數(shù)據(jù)符合業(yè)務(wù)規(guī)則的度量。
注1:業(yè)務(wù)規(guī)則是一種權(quán)威性原則或指導(dǎo)方針,用來描述業(yè)務(wù)交互,并建立行動和
0104業(yè)務(wù)規(guī)則
數(shù)據(jù)行為結(jié)果及完整性的規(guī)則。
注2:評價數(shù)據(jù)質(zhì)量時需要檢查是否存在良好歸檔的業(yè)務(wù)規(guī)則。
參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫、流程、報告及交易記錄和主記錄用來參考
權(quán)威參考數(shù)據(jù)
的數(shù)值集合或分類表。
0105(權(quán)威參考
注:評價數(shù)據(jù)質(zhì)量時需要收集參考數(shù)據(jù)列表。
源)
示例:一張用于一個特定字段的有效值列表為一種參考數(shù)據(jù)類型。
0106安全規(guī)范安全規(guī)范是安全和隱私方面的規(guī)則,包括數(shù)據(jù)權(quán)限管理,數(shù)據(jù)脫敏處理等。
b)完整性(見表3);
表3完整性評估指標
指標編號指標名稱指標描述
0201數(shù)據(jù)元素完整性按照業(yè)務(wù)規(guī)則要求,數(shù)據(jù)集中應(yīng)被賦值的數(shù)據(jù)元素的賦值程度。
0202數(shù)據(jù)記錄完整性按照業(yè)務(wù)規(guī)則要求,數(shù)據(jù)集中應(yīng)被賦值的數(shù)據(jù)記錄的賦值程度。
c)準確性(見表4);
12
DB3209/T1320—2025
表4準確性評估指標
指標編號指標名稱指標描述
0301數(shù)據(jù)內(nèi)容正確性數(shù)據(jù)內(nèi)容是不是預(yù)期數(shù)據(jù)。
數(shù)據(jù)格式(包括數(shù)據(jù)類型、數(shù)值范圍、數(shù)據(jù)長度、精度等)是否滿足預(yù)期要求。
0302數(shù)據(jù)格式合規(guī)性示例:性別一欄不能出現(xiàn)男/女以外的內(nèi)容;身份證號不能出現(xiàn)標點符號;以及
對字符編碼的一些限制,都需要通過規(guī)定內(nèi)容的格式來實現(xiàn)。
0303數(shù)據(jù)重復(fù)率特定字段、記錄、文件或數(shù)據(jù)集意外重復(fù)的度量。
0304數(shù)據(jù)唯一性特定字段、記錄、文件或數(shù)據(jù)集唯一性的度量。
正確字段、記錄、文件或數(shù)據(jù)集之外無效數(shù)據(jù)的度量。
0305臟數(shù)據(jù)出現(xiàn)率
示例:事務(wù)發(fā)生回滾時由于回滾機制不健全或不完善導(dǎo)致可能出現(xiàn)臟數(shù)據(jù)。
d)一致性(見表5);
表5一致性評估指標
指標編號指標名稱指標描述
同一數(shù)據(jù)在不同位置存儲或被不同應(yīng)用或用戶使用時,數(shù)據(jù)的一致性;數(shù)據(jù)發(fā)生變化
0401相同數(shù)據(jù)一致性
時,存儲在不同位置的同一數(shù)據(jù)被同步修改。
0402關(guān)聯(lián)數(shù)據(jù)一致性根據(jù)一致性約束規(guī)則檢查關(guān)聯(lián)數(shù)據(jù)的一致性。
e)有效性(見表6);
表6有效性評估指標
指標編號指標名稱指標描述
基于時間段的正
0501基于日期范圍的記錄數(shù)或頻率分布符合業(yè)務(wù)需求的程度。
確性
基于時間點及時
0502基于時間戳的記錄數(shù)、頻率分布或延遲時間符合業(yè)務(wù)需求的程度。
性
0503時序性數(shù)據(jù)集中同一實體的數(shù)據(jù)元素之間的相對時序關(guān)系。
f)可訪問性(見表7);
表7可訪問性評估指標
指標編號指標名稱指標描述
0601可訪問數(shù)據(jù)在需要時的可獲取性。
0602可用性數(shù)據(jù)在設(shè)定有效生存周期內(nèi)的可使用性。
.2選擇數(shù)據(jù)質(zhì)量工具
數(shù)據(jù)質(zhì)量工具需依據(jù)數(shù)據(jù)質(zhì)量評估指標和分析方法,根據(jù)數(shù)據(jù)質(zhì)量檢查的實際情況和數(shù)據(jù)使用
情況,對各業(yè)務(wù)領(lǐng)域的數(shù)據(jù)質(zhì)量進行綜合評估,并定期生成數(shù)據(jù)質(zhì)量評估報告。數(shù)據(jù)提供者可以依
據(jù)數(shù)據(jù)質(zhì)量評估報告對關(guān)鍵數(shù)據(jù)質(zhì)量問題的根本原因、影響范圍進行分析,并針對性地開展數(shù)據(jù)質(zhì)
量改進工作。
.3構(gòu)建數(shù)據(jù)質(zhì)量知識庫
數(shù)據(jù)管理者與數(shù)據(jù)提供者需高度重視對關(guān)鍵數(shù)據(jù)質(zhì)量問題分析,同時注重知識沉淀,同時積極
維護數(shù)據(jù)質(zhì)量知識庫,逐步形成數(shù)據(jù)質(zhì)量分析案例庫,有效提升數(shù)據(jù)治理各參與方對數(shù)據(jù)質(zhì)量的關(guān)
注度。
4.3.4數(shù)據(jù)質(zhì)量提升
概述
數(shù)據(jù)質(zhì)量提升是對數(shù)據(jù)質(zhì)量問題進行評估分析后,制定并實施數(shù)據(jù)質(zhì)量提升方案,方案主要涵
蓋的內(nèi)容包括:錯誤數(shù)據(jù)整改、業(yè)務(wù)流程優(yōu)化、應(yīng)用系統(tǒng)問題修復(fù)等多個方面。數(shù)據(jù)質(zhì)量提升貫穿
數(shù)據(jù)使用的全流程,通過數(shù)據(jù)質(zhì)量控制確保數(shù)據(jù)質(zhì)量改進的成果發(fā)揮作用。
實施步驟
.1制定提升方案
13
DB3209/T1320-2025
數(shù)據(jù)管理者與數(shù)據(jù)提供者根據(jù)數(shù)據(jù)質(zhì)量評估和分析的結(jié)果,結(jié)合數(shù)據(jù)質(zhì)量問題的影響范圍和嚴
重程度,確定數(shù)據(jù)質(zhì)量問題提升的優(yōu)先級。同時按照數(shù)據(jù)管理要求制定數(shù)據(jù)質(zhì)量提升方案,提升方
案包括:錯誤數(shù)據(jù)更正措施、業(yè)務(wù)流程優(yōu)化策略、信息系統(tǒng)問題修復(fù)計劃、問題責(zé)任人和整改時間
等關(guān)鍵要素。
.2確定整改措施
針對不同的數(shù)據(jù)質(zhì)量問題,制定差異化的數(shù)據(jù)質(zhì)量改進措施。具體如下:
a)針對源頭數(shù)據(jù)質(zhì)量問題,建立源頭數(shù)據(jù)標準與使用數(shù)據(jù)標準的對比機制,由數(shù)據(jù)提供者負
責(zé)數(shù)據(jù)質(zhì)量改進,保障源頭數(shù)據(jù)的準確性和可靠性;
b)針對流程引起的數(shù)據(jù)質(zhì)量問題,建立數(shù)據(jù)流轉(zhuǎn)機制,監(jiān)控流轉(zhuǎn)過程中的數(shù)據(jù)質(zhì)量問題;
c)針對技術(shù)原因造成的數(shù)據(jù)質(zhì)量問題,定位分析數(shù)據(jù)問題產(chǎn)生的環(huán)節(jié),從數(shù)據(jù)采集、存儲、
處理、共享等全生命周期各環(huán)節(jié)進行技術(shù)升級和優(yōu)化;
d)針對人員操作帶來的數(shù)據(jù)質(zhì)量問題,進一步完善數(shù)據(jù)質(zhì)量管理制度,明確工作目標、角色
和職責(zé),優(yōu)化人員配置,加強人員培訓(xùn)和管理,從源頭上進行預(yù)防。
.3問題持續(xù)改進
問題持續(xù)改進宜從以下幾個方面開展:
a)數(shù)據(jù)管理者需根據(jù)數(shù)據(jù)質(zhì)量提升情況,及時開展成果評估和驗收,驗證數(shù)據(jù)質(zhì)量提升的有
效性。對未達到預(yù)期效果的問題數(shù)據(jù),數(shù)據(jù)提供者需進行確認,并及時優(yōu)化整改方案,持
續(xù)改進直至問題關(guān)閉,同時避免同類問題重復(fù)發(fā)生;
b)數(shù)據(jù)管理者和數(shù)據(jù)提供者需積極收集、整理各類數(shù)據(jù)質(zhì)量改進案例、經(jīng)驗和知識,逐步形
成數(shù)據(jù)質(zhì)量知識庫,為數(shù)據(jù)質(zhì)量提升方案的制定、數(shù)據(jù)質(zhì)量問題的預(yù)防提供幫助;
c)數(shù)據(jù)管理者組織并推動建立良好的數(shù)據(jù)質(zhì)量文化,通過開展數(shù)據(jù)質(zhì)量相關(guān)培訓(xùn)、宣貫等活
動,不斷提升各部門的數(shù)據(jù)質(zhì)量意識。
4.3.5數(shù)據(jù)質(zhì)量控制
概述
通過“事前預(yù)防、事中控制、事后補救”的有效策略來實現(xiàn)數(shù)據(jù)質(zhì)量控制
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2026年廣東省韶關(guān)市單招職業(yè)適應(yīng)性測試題庫及完整答案詳解1套
- 2026年鄭州體育職業(yè)學(xué)院單招職業(yè)技能測試題庫參考答案詳解
- 2026年浙江理工大學(xué)單招職業(yè)傾向性考試題庫及參考答案詳解
- 四川省遂寧市射洪中學(xué)2024-2025學(xué)年高二上學(xué)期期中考試地理試題含答案地理答案
- 醫(yī)院筆試面試題目及答案
- 2025年·錦州市部分事業(yè)單位赴高校公開招聘應(yīng)屆畢業(yè)生備考題庫(第二批)及一套答案詳解
- 2026年龍游縣機關(guān)事業(yè)單位編外人員招聘備考題庫及1套完整答案詳解
- 昆明市第十二中學(xué)教育集團2025年12月聘用制教師招聘備考題庫有答案詳解
- 2025年成都市金牛國投人力資源服務(wù)有限公司公開招聘26名網(wǎng)格員備考題庫及1套參考答案詳解
- 中國鐵建投資集團有限公司2026屆校園招聘30人備考題庫完整答案詳解
- 鉆井工程防漏堵漏技術(shù)演示文稿
- GB/T 27806-2011環(huán)氧瀝青防腐涂料
- GB/T 12618.1-2006開口型平圓頭抽芯鉚釘10、11級
- FZ/T 52051-2018低熔點聚酯(LMPET)/聚酯(PET)復(fù)合短纖維
- 設(shè)備吊裝方案編制受力計算
- 食品工程原理概述經(jīng)典課件
- 養(yǎng)老院機構(gòu)組織架構(gòu)圖
- 財經(jīng)法規(guī)與會計職業(yè)道德
- 會計學(xué)本-財務(wù)報表分析綜合練習(xí)
- 傳播學(xué)概論教學(xué)課件
- 《中國傳統(tǒng)文化心理學(xué)》課件第五章 傳統(tǒng)文化與心理治療(修)
評論
0/150
提交評論