DB15內(nèi)蒙古自治區(qū)市場監(jiān)督管理局發(fā)布I II 1 1 1 2 2 3 8 10躍晨科技有限公司、北京東方金信科技有限公司、北京東方國信科技股份有限公司、天科技發(fā)展有限公司、同方知網(wǎng)（北京）技術有限公司、內(nèi)蒙古縱橫云技術有限公司。大數(shù)據(jù)平臺數(shù)據(jù)接入質量規(guī)范本標準適用于內(nèi)蒙古自治區(qū)各數(shù)據(jù)提供單位接入大數(shù)據(jù)平臺過程中的數(shù)據(jù)質量保障工GB/T5271.1信息技術詞匯第1部分：GB/T36344信息技術數(shù)據(jù)質量評GB/T5271.1、GB/T36344和SY/T6227-2005界定的術語和定義適用于本文件。為了便于使用，以12圖1整體流程圖6.1數(shù)據(jù)標準體系質量控制數(shù)據(jù)標準更新至數(shù)據(jù)標準管理模塊中，數(shù)據(jù)標準制定流程3數(shù)據(jù)標準編制數(shù)據(jù)標準發(fā)布數(shù)據(jù)標準送審稿征求意見數(shù)據(jù)標準屬性收集整理數(shù)據(jù)標準變更數(shù)據(jù)標準初稿數(shù)據(jù)標準管理決策者數(shù)據(jù)標準、數(shù)據(jù)標準管理組織協(xié)調(diào)者版本發(fā)布數(shù)據(jù)標準編制數(shù)據(jù)標準發(fā)布數(shù)據(jù)標準送審稿征求意見數(shù)據(jù)標準屬性收集整理數(shù)據(jù)標準變更數(shù)據(jù)標準初稿數(shù)據(jù)標準管理決策者數(shù)據(jù)標準、數(shù)據(jù)標準管理組織協(xié)調(diào)者版本發(fā)布數(shù)據(jù)標準審查數(shù)據(jù)標準管理執(zhí)行者提供數(shù)據(jù)屬性信息圖2數(shù)據(jù)標準制定流程b)數(shù)據(jù)標準初稿進行多次的討論和豐富后，數(shù)據(jù)標準管理決策者標準執(zhí)行效果數(shù)據(jù)標準管理組織協(xié)調(diào)者數(shù)據(jù)標準發(fā)布數(shù)據(jù)標準錄入數(shù)據(jù)標準監(jiān)控數(shù)據(jù)標準管理執(zhí)行者制定數(shù)據(jù)標準接口數(shù)據(jù)質量管理數(shù)據(jù)標準執(zhí)行結果圖3數(shù)據(jù)標準執(zhí)行流程4在變更需求審批表中簽署意見數(shù)據(jù)標準變數(shù)據(jù)標準變更需求匯總數(shù)據(jù)標準變更版本發(fā)布 準變更項執(zhí)行者發(fā)起數(shù)據(jù)標準變更需求審議數(shù)據(jù)標 準變更項執(zhí)行者發(fā)起數(shù)據(jù)標準變更需求審議數(shù)據(jù)標圖4數(shù)據(jù)標準維護流程b)由數(shù)據(jù)標準管理組織協(xié)調(diào)機構進行標準變更的審核；d)決策層將審批結果反饋給標準管理組織5c)支持對元數(shù)據(jù)的監(jiān)控，控制數(shù)據(jù)庫和表結構的異常修改，數(shù)據(jù)源接入實時采集定時采集全量采集增量采集數(shù)據(jù)源接入實時采集定時采集全量采集增量采集開始結束初初步質量檢核源源數(shù)數(shù)據(jù)據(jù)緩標沖準區(qū)層圖5采集階段流程基于檢核規(guī)則對數(shù)據(jù)檢核流程圖見圖6：6檢核對象綁定檢核對象綁定數(shù)據(jù)源接入檢核任務創(chuàng)建開始檢核方案創(chuàng)建數(shù)據(jù)源接入檢核任務創(chuàng)建開始檢核方案創(chuàng)建任務調(diào)度規(guī)則綁定任務調(diào)度規(guī)則綁定任務執(zhí)行結束任務日志數(shù)據(jù)質量報告任務執(zhí)行結束任務日志數(shù)據(jù)質量報告圖6數(shù)據(jù)檢核2)確定待檢核的對象，即選取待檢核的數(shù)據(jù)庫、待檢核的表f)支持生成數(shù)據(jù)質量報告并提供下載功能，基于質量報告可實現(xiàn)異常數(shù)據(jù)發(fā)現(xiàn)a)支持對數(shù)據(jù)進行監(jiān)控，明確數(shù)據(jù)的來b)支持數(shù)據(jù)地圖、血緣分析、影響分析等方式的數(shù)據(jù)展現(xiàn)；7開始結束開始結束數(shù)數(shù)據(jù)采集數(shù)數(shù)據(jù)存儲血緣分析數(shù)據(jù)地圖影響分析版本管理質量報告血緣分析數(shù)據(jù)地圖影響分析版本管理質量報告整改分析整改分析數(shù)據(jù)告警數(shù)據(jù)告警質量評分質量評分權限控制權限控制系統(tǒng)審計系統(tǒng)審計圖7數(shù)據(jù)全流程監(jiān)控流程圖b)使用階段支持數(shù)據(jù)及功能的權限控制；D——需要進行檢核的數(shù)據(jù)集，對于關系型數(shù)據(jù)庫來說，一個數(shù)據(jù)集由若干條記錄組成；W——規(guī)則對應權重值，需人工設置每個規(guī)則的權重。W——規(guī)則對應權重值，需人工設置每個規(guī)則的權重；n——條檢核任務中檢核規(guī)則的個數(shù)。89能借鑒的價值會大大降低，完整性是數(shù)據(jù)質量評估標12A.2規(guī)范性1注2：和數(shù)據(jù)歸檔一樣甚至更重要，在一個完整的數(shù)據(jù)規(guī)A=滿足數(shù)據(jù)標準要求的數(shù)據(jù)集中B=被評價的數(shù)據(jù)集中元素個數(shù)2注1：數(shù)據(jù)模型是一種直觀描述組織數(shù)據(jù)結構的手段，是A=滿足數(shù)據(jù)模型要求的數(shù)據(jù)集中B=被評價的數(shù)據(jù)集中元素個數(shù)3注1：元數(shù)據(jù)標注、描述或刻畫其他數(shù)據(jù)、以使檢索或使A=滿足元數(shù)據(jù)定義的數(shù)據(jù)集中元B=被評價的數(shù)據(jù)集中元素個數(shù)4注1：業(yè)務規(guī)則是一種權威性原則或業(yè)務方針，用來描述注2：評價數(shù)據(jù)質量時需要檢查是否存在良好歸檔的業(yè)務A=滿足業(yè)務規(guī)則的數(shù)據(jù)集中元素B=被評價的數(shù)據(jù)集中元素個數(shù)5據(jù)A=滿足參考數(shù)據(jù)規(guī)則的數(shù)據(jù)集中B=被評價的數(shù)據(jù)集中元素個數(shù)6A=滿足安全規(guī)范的數(shù)據(jù)集中元素B=被評價的數(shù)據(jù)集中元素個數(shù)據(jù)集合是否保持了統(tǒng)一的格式。數(shù)據(jù)質量的一致性主要體現(xiàn)在數(shù)據(jù)1同一數(shù)據(jù)在不同位置存儲或被在不同位置的數(shù)據(jù)的同一數(shù)據(jù)B=被評價的數(shù)據(jù)集中元素個數(shù)；2根據(jù)一致性約束規(guī)則檢查關聯(lián)B=被評價的數(shù)據(jù)集中元素個數(shù)；1A=滿足數(shù)據(jù)正確性要求的數(shù)據(jù)集中元素的個B=被評價的數(shù)據(jù)集中元素個數(shù)；2B=被評價的數(shù)據(jù)集中元素個數(shù)；3A=重復數(shù)據(jù)集中元素的個數(shù)B=被評價的數(shù)據(jù)集中元素個數(shù)；4B=被評價的數(shù)據(jù)集中元素個數(shù)；5B=被評價的數(shù)據(jù)集中元素個數(shù)；數(shù)據(jù)唯一不重復。即唯一性是指度量哪些數(shù)據(jù)是重復數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重a)查找到的信息和主題不完全一致，但確是其中某一方面b)查找到的信