ICS35.020DB15內(nèi)蒙古自治區(qū)市場監(jiān)督管理局IDB15/T1873—2020前言 2規(guī)范性引用文件 3術(shù)語和定義 4概述 5數(shù)據(jù)質(zhì)量評價維度 6數(shù)據(jù)接入質(zhì)量技術(shù)要求 7數(shù)據(jù)質(zhì)量評分方法 附錄A（資料附錄）數(shù)據(jù)質(zhì)量評價維度 DB15/T1873—2020本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。本標(biāo)準(zhǔn)由內(nèi)蒙古自治區(qū)大數(shù)據(jù)發(fā)展管理局提出。本標(biāo)準(zhǔn)由內(nèi)蒙古自治區(qū)大數(shù)據(jù)發(fā)展管理局歸口。本標(biāo)準(zhǔn)起草單位：內(nèi)蒙古自治區(qū)大數(shù)據(jù)發(fā)展管理局、新華三技術(shù)有限公司、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、內(nèi)蒙古自治區(qū)大數(shù)據(jù)與云計算標(biāo)準(zhǔn)化委員會、內(nèi)蒙古自治區(qū)標(biāo)準(zhǔn)化院、內(nèi)蒙古銀保監(jiān)局、內(nèi)蒙古自治區(qū)地圖院、內(nèi)蒙古自治區(qū)電子信息產(chǎn)品質(zhì)量檢驗院、內(nèi)蒙古大學(xué)、浪潮軟件集團(tuán)有限公司、內(nèi)蒙古躍晨科技有限公司、北京東方金信科技有限公司、北京東方國信科技股份有限公司、天帆創(chuàng)新（北京）科技發(fā)展有限公司、同方知網(wǎng)（北京）技術(shù)有限公司、內(nèi)蒙古縱橫云技術(shù)有限公司。本標(biāo)準(zhǔn)主要起草人：張建軍、崔連偉、孫衛(wèi)、石彥龍、周佳琪、李向前、石建軍、鞏韶飛、顧君、武茂春、衛(wèi)鳳林、馬學(xué)彬、徐小強(qiáng)、萬磊、張曉磊、王楠、李建文、劉玉坤、馮國忠。DB15/T1873—20201大數(shù)據(jù)平臺數(shù)據(jù)接入質(zhì)量規(guī)范本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)平臺數(shù)據(jù)接入過程中數(shù)據(jù)質(zhì)量保障的規(guī)范及技術(shù)要求。本標(biāo)準(zhǔn)適用于內(nèi)蒙古自治區(qū)各數(shù)據(jù)提供單位接入大數(shù)據(jù)平臺過程中的數(shù)據(jù)質(zhì)量保障工作。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件；GB/T5271.1信息技術(shù)詞匯第1部分：基本術(shù)語GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評價指標(biāo)3術(shù)語和定義GB/T5271.1、GB/T36344和SY/T6227-2005界定的術(shù)語和定義適用于本文件。為了便于使用，以下重復(fù)列出以上標(biāo)準(zhǔn)的一些術(shù)語和定義。3.1數(shù)據(jù)data信息的可再解釋的形式化表示，以適用于通信、解釋或處理。[GB/T5271.1-2000，定義01.01.02]3.2元數(shù)據(jù)metadata關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問權(quán)限和數(shù)據(jù)易變性的數(shù)據(jù)。[GB/T5271.1-2000，定義17.06.05]3.3數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求程度。[GB/T36344-2018，定義2.3]DB15/T1873—202023.4原始數(shù)據(jù)rawdata終端用戶所存儲使用的各種未經(jīng)過處理或簡化的數(shù)據(jù)。注：原始數(shù)據(jù)有多種存在形式，如文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)[GB/T36344-2018，定義2.4]3.5數(shù)據(jù)生命周期datalifecycle將原始數(shù)據(jù)轉(zhuǎn)化為可用于行動的知識的一組過程。[GB/T36344-2018，定義2.5]3.6數(shù)據(jù)集dataset具有一定主題，可以標(biāo)識并可以被計算機(jī)化處理的數(shù)據(jù)集合。[GB/T36344-2018，定義2.6]3.7數(shù)據(jù)標(biāo)準(zhǔn)datastandard數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值規(guī)范方面的規(guī)則和基準(zhǔn)。[GB/T36344-2018，定義2.8]3.8檢核任務(wù)inspectiontask數(shù)據(jù)核查的最小調(diào)度單位。4概述大數(shù)據(jù)平臺支持結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等異構(gòu)數(shù)據(jù)源采集數(shù)據(jù)，實現(xiàn)各類離線為各數(shù)據(jù)使用單位提供優(yōu)質(zhì)的數(shù)據(jù)服務(wù)。5數(shù)據(jù)質(zhì)量評價維度數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)應(yīng)用和提供優(yōu)質(zhì)數(shù)據(jù)服務(wù)的基礎(chǔ)，數(shù)據(jù)質(zhì)量的評估標(biāo)準(zhǔn)主要包括八個維度：完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性、時效性、可訪問性，本標(biāo)準(zhǔn)從以上八個維度評價數(shù)據(jù)質(zhì)量，詳細(xì)請參考附錄A。DB15/T1873—202036數(shù)據(jù)接入質(zhì)量技術(shù)要求大數(shù)據(jù)平臺為了保障數(shù)據(jù)質(zhì)量，須從四個層面進(jìn)行數(shù)據(jù)質(zhì)量控制，數(shù)據(jù)標(biāo)準(zhǔn)體系質(zhì)量控制、數(shù)據(jù)采集質(zhì)量控制、數(shù)據(jù)存儲質(zhì)量控制、數(shù)據(jù)使用質(zhì)量控制進(jìn)行全流程數(shù)據(jù)質(zhì)量管控。數(shù)據(jù)接入質(zhì)量整體框架圖見圖1：圖1整體流程圖6.1數(shù)據(jù)標(biāo)準(zhǔn)體系質(zhì)量控制6.1.1數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)標(biāo)準(zhǔn)的制定按照數(shù)據(jù)標(biāo)準(zhǔn)管理的業(yè)務(wù)分類和定義規(guī)范指導(dǎo)要求，基于行業(yè)數(shù)據(jù)管控需求，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的制定,要求大數(shù)據(jù)平臺按照該標(biāo)準(zhǔn)規(guī)范進(jìn)行統(tǒng)一的數(shù)據(jù)管理。數(shù)據(jù)標(biāo)準(zhǔn)制定包括數(shù)據(jù)標(biāo)準(zhǔn)的編制、數(shù)據(jù)標(biāo)準(zhǔn)的審核、數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。數(shù)據(jù)標(biāo)準(zhǔn)化管理組織將數(shù)據(jù)標(biāo)準(zhǔn)以正式發(fā)文的方式在內(nèi)部進(jìn)行發(fā)布，并在發(fā)布后將數(shù)據(jù)標(biāo)準(zhǔn)、版本說明保存?zhèn)浒?。最終將發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)更新至數(shù)據(jù)標(biāo)準(zhǔn)管理模塊中，數(shù)據(jù)標(biāo)準(zhǔn)制定流程見圖2：DB15/T1873—20204數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)標(biāo)準(zhǔn)審查數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)送審稿征求意見數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者數(shù)據(jù)標(biāo)準(zhǔn)初稿數(shù)據(jù)標(biāo)提供數(shù)據(jù)屬性信息數(shù)據(jù)標(biāo)準(zhǔn)變更數(shù)據(jù)標(biāo)準(zhǔn)、版本發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)屬性收集整理數(shù)據(jù)標(biāo)準(zhǔn)管理決策者準(zhǔn)管理執(zhí)行者圖2數(shù)據(jù)標(biāo)準(zhǔn)制定流程數(shù)據(jù)標(biāo)準(zhǔn)制定流程描述如下：a)數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者組織數(shù)據(jù)提供者和執(zhí)行者參與數(shù)據(jù)標(biāo)準(zhǔn)屬性的收集和整理工作，并按照協(xié)商一致的原則形成數(shù)據(jù)標(biāo)準(zhǔn)初稿；b)數(shù)據(jù)標(biāo)準(zhǔn)初稿進(jìn)行多次的討論和豐富后，形成數(shù)據(jù)標(biāo)準(zhǔn)送審稿提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者；6.1.2數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行c)經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)管理決策者的討論審核后，由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者再次進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的修改完善，并完成數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。6.1.2數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管理決策者據(jù)標(biāo)準(zhǔn)管理執(zhí)行流程見圖3。標(biāo)準(zhǔn)執(zhí)行效果數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者數(shù)據(jù)標(biāo)準(zhǔn)發(fā)數(shù)據(jù)標(biāo)準(zhǔn)錄數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)布入控數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行結(jié)果制定數(shù)據(jù)標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行結(jié)果準(zhǔn)接口理圖3數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行流程DB15/T1873—2020數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行的流程步驟描述如下：a)數(shù)據(jù)標(biāo)準(zhǔn)制定發(fā)布后，將數(shù)據(jù)標(biāo)準(zhǔn)錄入到數(shù)據(jù)標(biāo)準(zhǔn)管理模塊；b)數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者按照發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)，制定和發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)接口；c)數(shù)據(jù)標(biāo)準(zhǔn)管理模塊將標(biāo)準(zhǔn)要求提供給數(shù)據(jù)質(zhì)量管理，根據(jù)已錄入系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)形成稽查規(guī)則，對數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者制定和發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)接口中的內(nèi)容進(jìn)行相關(guān)的標(biāo)準(zhǔn)稽核監(jiān)控；d)將標(biāo)準(zhǔn)稽核結(jié)果發(fā)送給數(shù)據(jù)標(biāo)準(zhǔn)管理模塊，并反饋給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者和數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)的維護(hù)指數(shù)據(jù)標(biāo)準(zhǔn)建立后，根據(jù)業(yè)務(wù)需求的發(fā)展變化或外部數(shù)據(jù)標(biāo)準(zhǔn)要求不一致時，對數(shù)數(shù)據(jù)標(biāo)準(zhǔn)的維護(hù)指數(shù)據(jù)標(biāo)準(zhǔn)建立后，根據(jù)業(yè)務(wù)需求的發(fā)展變化或外部數(shù)據(jù)標(biāo)準(zhǔn)要求不一致時，對數(shù)數(shù)據(jù)標(biāo)準(zhǔn)管理的內(nèi)容進(jìn)行變更和版本管理，見圖4：在變更需求審批表中簽署意見數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)數(shù)據(jù)標(biāo)準(zhǔn)變更需求匯總數(shù)據(jù)標(biāo)準(zhǔn)變數(shù)據(jù)標(biāo)準(zhǔn)、更版本發(fā)布審議數(shù)據(jù)標(biāo)準(zhǔn)變更項數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者發(fā)起數(shù)據(jù)標(biāo)準(zhǔn)變更需求圖4數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程描述如下：a)對執(zhí)行的相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行變更請求的申請，組織該數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)執(zhí)行層和各數(shù)據(jù)運(yùn)維者進(jìn)行討論和變更需求匯總；b)由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)機(jī)構(gòu)進(jìn)行標(biāo)準(zhǔn)變更的審核；c)討論審議數(shù)據(jù)標(biāo)準(zhǔn)項的變更內(nèi)容，并形成標(biāo)準(zhǔn)變更需求審批表提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策層進(jìn)行d)決策層將審批結(jié)果反饋給標(biāo)準(zhǔn)管理組織協(xié)調(diào)者，并由其進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布及版本維護(hù)。6.1.4數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控為后期數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理提供依據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)的監(jiān)控通過數(shù)據(jù)標(biāo)準(zhǔn)管理和元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理協(xié)同實現(xiàn)落地。6DB15/T1873—20206.2數(shù)據(jù)采集質(zhì)量控制為了保證數(shù)據(jù)質(zhì)量，根據(jù)數(shù)據(jù)倉庫建設(shè)的總體目標(biāo)和設(shè)計對數(shù)據(jù)的采集階段提出嚴(yán)格、明確的質(zhì)量要求及必要的標(biāo)準(zhǔn)，具體要求如下：a)待采集數(shù)據(jù)字段長度、精度、類型等應(yīng)優(yōu)先遵循遵循國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)的約定；b)采集過程支持元數(shù)據(jù)的保留，包含技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)；c)支持對元數(shù)據(jù)的監(jiān)控，控制數(shù)據(jù)庫和表結(jié)構(gòu)的異常修改，保證數(shù)據(jù)質(zhì)量；d)支持采集階段初步數(shù)據(jù)檢核；采集階段具體流程圖見圖5：實時采集實時采集定時采集 結(jié)束全量采集增量采集源數(shù)據(jù)標(biāo)準(zhǔn)層初步質(zhì)量檢核源數(shù)據(jù)緩沖區(qū)數(shù)據(jù)源接入開始圖5采集階段流程6.3數(shù)據(jù)存儲質(zhì)量控制在數(shù)據(jù)存儲階段需通過多種檢核規(guī)則及任務(wù)調(diào)度方式對數(shù)據(jù)進(jìn)行檢核，數(shù)據(jù)存儲階段要求如下：a)支持從5個維度、7種檢核規(guī)則和自定義檢核規(guī)則對數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢核；1)5個維度包含完整性、規(guī)范性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性；2)7種檢核規(guī)則包含空值校驗、值域校驗、格式校驗、長度校驗、精度校驗、唯一性約束校驗、主外鍵校驗；3)自定義檢核規(guī)則指根據(jù)具體業(yè)務(wù)場景，用戶可以通過自定義SQL語句的方式完成對數(shù)據(jù)質(zhì)量的檢核；b)支持檢核任務(wù)的創(chuàng)建，檢核規(guī)則的設(shè)定；c)支持檢核任務(wù)的創(chuàng)建和檢核任務(wù)調(diào)度方式的設(shè)定；d)檢核任務(wù)調(diào)度支持自動調(diào)度和手動調(diào)度；e)支持對數(shù)據(jù)質(zhì)量報告的查看的下載；f)支持?jǐn)?shù)據(jù)的全生命周期管理；g)支持對元數(shù)據(jù)的版本管理?；跈z核規(guī)則對數(shù)據(jù)檢核流程圖見圖6：7DB15/T1873—2020檢核對象綁定開始數(shù)據(jù)源接入檢核方案創(chuàng)建檢核任務(wù)創(chuàng)建規(guī)則綁定任務(wù)調(diào)度結(jié)束數(shù)據(jù)質(zhì)量報告任務(wù)日志任務(wù)執(zhí)行圖6數(shù)據(jù)檢核質(zhì)量檢核流程說明：a)接入待檢核數(shù)據(jù)源；b)創(chuàng)建檢核方案；長度校驗、精度校驗、唯一性約束校驗、主外鍵校驗；針對自定義檢核規(guī)則，通過自定義sql語句實現(xiàn)檢核規(guī)則；2)確定待檢核的對象，即選取待檢核的數(shù)據(jù)庫、待檢核的表以及字段；c)關(guān)聯(lián)檢核方案，創(chuàng)建檢核任務(wù)；d)配置檢核任務(wù)的調(diào)度方式，可通過定時器實現(xiàn)自動調(diào)度，亦可通過人為實現(xiàn)手工調(diào)度；e)任務(wù)被調(diào)度后是查看任務(wù)執(zhí)行日志；f)支持生成數(shù)據(jù)質(zhì)量報告并提供下載功能，基于質(zhì)量報告可實現(xiàn)異常數(shù)據(jù)發(fā)現(xiàn)并處理。6.4數(shù)據(jù)使用質(zhì)量控制數(shù)據(jù)使用要求如下：a)支持對數(shù)據(jù)進(jìn)行監(jiān)控，明確數(shù)據(jù)的來源和去向；b)支持?jǐn)?shù)據(jù)地圖、血緣分析、影響分析等方式的數(shù)據(jù)展現(xiàn)；c)支持對數(shù)據(jù)資產(chǎn)的安全性管控；d)支持對操作日志以及用戶登錄、退出的日志審計；e)支持?jǐn)?shù)據(jù)質(zhì)量報告分析的查看及下載；f)支持問題數(shù)據(jù)的告警；g)支持對問題數(shù)據(jù)進(jìn)行整改分析。數(shù)據(jù)使用階段流程圖見圖7：DB15/T1873—20208血緣分析質(zhì)量報告數(shù)據(jù)數(shù)據(jù)采集數(shù)據(jù)存儲整改分析數(shù)據(jù)告警整改分析數(shù)據(jù)告警開始結(jié)束影響分析開始結(jié)束版本管理質(zhì)量評分權(quán)限控制系統(tǒng)審計圖7數(shù)據(jù)全流程監(jiān)控流程圖數(shù)據(jù)使用階段流程說明：a)在數(shù)據(jù)采集和數(shù)據(jù)存儲基礎(chǔ)上，實現(xiàn)血緣分析、數(shù)據(jù)地圖、影響分析、版本管理、質(zhì)量報告、問題數(shù)據(jù)整改分析、數(shù)據(jù)告警、質(zhì)量評分；b)使用階段支持?jǐn)?shù)據(jù)及功能的權(quán)限控制；c)支持系統(tǒng)審計，包含操作日志審計和登錄登出日志審計；7數(shù)據(jù)質(zhì)量評分方法7.1規(guī)則評分*(100-W)……（1）式中：R——每個檢核規(guī)則得分；I——數(shù)據(jù)集D上被檢核出的異常數(shù)據(jù)總量；D——需要進(jìn)行檢核的數(shù)據(jù)集，對于關(guān)系型數(shù)據(jù)庫來說，一個數(shù)據(jù)集由若干條記錄組成；W——規(guī)則對應(yīng)權(quán)重值，需人工設(shè)置每個規(guī)則的權(quán)重。7.2任務(wù)評分 ……（2）式中：T——檢核任務(wù)評分；I——數(shù)據(jù)集D上被檢核出的異常數(shù)據(jù)總量；W——規(guī)則對應(yīng)權(quán)重值，需人工設(shè)置每個規(guī)則的權(quán)重；D——需要進(jìn)行檢核的數(shù)據(jù)集，對于關(guān)系型數(shù)據(jù)庫來說，一個數(shù)據(jù)集由若干條記錄組成；n——條檢核任務(wù)中檢核規(guī)則的個數(shù)。DB15/T1873—202097.3績效評分=(1-錯誤數(shù)據(jù)總量/檢核數(shù)據(jù)總量)*=(1-錯誤數(shù)據(jù)表數(shù)量/檢核數(shù)據(jù)表數(shù)量)*=(1-錯誤數(shù)據(jù)表數(shù)量/照管數(shù)據(jù)表數(shù)量)*P=()/4…………（3）式中：——評分計算指標(biāo)之?dāng)?shù)據(jù)問題評分；——評分計算指標(biāo)----數(shù)據(jù)問題權(quán)重；——評分計算指標(biāo)之檢核指標(biāo)問題評分；——評分計算指標(biāo)----檢查指標(biāo)問題權(quán)重；——評分計算指標(biāo)之指標(biāo)問題評分；——評分計算指標(biāo)----指標(biāo)問題權(quán)重；P——照管人對應(yīng)數(shù)據(jù)庫評分；——評分計算指標(biāo)之自定義評分。DB15/T1873—2020附錄A（資料性附錄）數(shù)據(jù)質(zhì)量評價維度A.1完整性能借鑒的價值會大大降低，完整性是數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)的基礎(chǔ)。A.1A.2能借鑒的價值會大大降低，完整性是數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)的基礎(chǔ)。A.1A.2規(guī)范性數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)或權(quán)威參考數(shù)據(jù)的程度