DBXX/XXXXX—XXXX目??次目??次 I前??言 II政務數(shù)據(jù)質量評估規(guī)范 11范圍 12規(guī)范性引用文件 13術語和定義 13.1 13.2 13.3 14數(shù)據(jù)質量評估模型 14.1數(shù)據(jù)質量六性評估模型 24.2數(shù)據(jù)質量五級評級模型 25數(shù)據(jù)質量六性評估 25.1指標編碼規(guī)則 35.2數(shù)據(jù)及時性 35.3數(shù)據(jù)可用性 35.4數(shù)據(jù)完整性 45.5數(shù)據(jù)規(guī)范性 45.6數(shù)據(jù)準確性 55.7數(shù)據(jù)一致性 56數(shù)據(jù)質量五級評級 66.1數(shù)據(jù)質量評分 66.2質量等級判定 67數(shù)據(jù)質量評估程序 7參?考?文?獻 8前??言本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。本文件由北京市政務服務和數(shù)據(jù)管理局提出并歸口。本文件由北京市政務服務和數(shù)據(jù)管理局組織實施。本文件起草單位：北京市政務服務和數(shù)據(jù)管理局、北京市大數(shù)據(jù)中心。本文件主要起草人：政務數(shù)據(jù)質量評估規(guī)范范圍本文件規(guī)定了政務數(shù)據(jù)的質量評估管理規(guī)范，規(guī)定了數(shù)據(jù)的及時性、可用性、完整性、規(guī)范性、準確性和一致性六個維度的評估指標，描述了一種“五級六性”數(shù)據(jù)質量評估模型和數(shù)據(jù)質量評估指標，給出了數(shù)據(jù)質量評級方法。本文件適用于政務數(shù)據(jù)匯聚、治理、共享過程中對數(shù)據(jù)質量的評估管理。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。術語和定義下列術語和定義適用于本文件。政務數(shù)據(jù)governmentdata各級政務部門及其支撐單位在履行職責過程中依法采集、生成、存儲、管理的各類數(shù)據(jù)資源。[來源：GB/T38664.1—2020,3.1，有修改]數(shù)據(jù)質量dataquality基于對數(shù)據(jù)使用的預期，在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來源：GB/T36344-2018,2.3，有修改]數(shù)據(jù)質量等級dataqualitylevel依據(jù)數(shù)據(jù)質量評估指標對數(shù)據(jù)進行質量評估的結果。數(shù)據(jù)質量評估模型質量評估模型包括數(shù)據(jù)質量六性評估和數(shù)據(jù)質量五級等級，其中數(shù)據(jù)質量六性評估主要從數(shù)據(jù)及時性、可用性、完整性、規(guī)范性、準確性和一致性6個維度進行了定義，數(shù)據(jù)質量5級評級用于評價數(shù)據(jù)的質量情況，具體如下：數(shù)據(jù)質量六性評估模型數(shù)據(jù)質量六性評估模型見圖1。數(shù)據(jù)質量六性評估模型數(shù)據(jù)質量評估管理，包括數(shù)據(jù)及時性、可用性、完整性、規(guī)范性、準確性和一致性6個維度。數(shù)據(jù)及時性：指數(shù)據(jù)更新周期是否符合業(yè)務邏輯及數(shù)據(jù)的獲取是否及時，評估政務部門數(shù)據(jù)是否能夠按照合理的更新周期及時更新數(shù)據(jù)。數(shù)據(jù)可用性：指獲取的數(shù)據(jù)是否能夠有效的被使用。如結構化數(shù)據(jù)的數(shù)據(jù)描述文檔是否存在，政務部門是否能夠直接共享結構化數(shù)據(jù)等。數(shù)據(jù)完整性：指數(shù)據(jù)是否完整，以及數(shù)據(jù)的描述性要素、要素屬性及要素關系是否存在，主要包括實體缺失、屬性缺失、記錄缺失的內容。數(shù)據(jù)規(guī)范性：主要用于評估數(shù)據(jù)內容與標準數(shù)據(jù)元的值域、格式符合度情況，衡量數(shù)據(jù)是否符合數(shù)據(jù)標準。數(shù)據(jù)準確性：描述數(shù)據(jù)是否與其對應的客觀實體的特征相一致。任何字段的數(shù)據(jù)都應該符合特定的值。準確性用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是沒有可用含義的，準確性指標無法滿足，那提供的數(shù)據(jù)會缺乏實際的業(yè)務使用價值。數(shù)據(jù)一致性：主要用于描述數(shù)據(jù)類型、數(shù)據(jù)含義、以及數(shù)據(jù)內容是否一致，數(shù)據(jù)的值是否存在信息含義上的沖突。數(shù)據(jù)質量五級評級模型數(shù)據(jù)質量評估等級，分為A、B、C、D、E五個級別，用于評價數(shù)據(jù)的質量情況，具體如下：A級：數(shù)據(jù)質量高。B級：數(shù)據(jù)質量較高。C級：數(shù)據(jù)質量存在輕微問題。D級：數(shù)據(jù)質量存在一般問題。E級：數(shù)據(jù)質量存在重大問題。數(shù)據(jù)質量六性評估指標編碼規(guī)則指標編號是政務數(shù)據(jù)質量評估的唯一性編號，由一級指標、二級指標共4位數(shù)字組成，編碼規(guī)則見圖2。數(shù)據(jù)質量六性評估指標編碼規(guī)則一級指標由2位數(shù)字組成，01代表數(shù)據(jù)及時性指標、02代表數(shù)據(jù)可用性指標、03代表數(shù)據(jù)完整性指標、04代表數(shù)據(jù)規(guī)范性指標、05代表數(shù)據(jù)準確性指標、06代表數(shù)據(jù)一致性指標。二級指標由2位數(shù)字組成順序碼，范圍為01-99。數(shù)據(jù)及時性數(shù)據(jù)及時性指標定義及評分方式見表1。數(shù)據(jù)質量六性評估數(shù)據(jù)及時性指標指標編號指標名稱指標描述示例評分方式評分標準0101更新周期合理性描述數(shù)據(jù)資源的更新周期是否符合業(yè)務上數(shù)據(jù)實際產生周期情況。規(guī)范政務部門把數(shù)據(jù)匯聚周期設置在合理的范圍。示例：門診就診記錄數(shù)據(jù)更新周期為1天。年報類數(shù)據(jù)的更新周期應為1年。定性評分根據(jù)數(shù)據(jù)的業(yè)務屬性來判定數(shù)據(jù)更新周期是否更新1、若數(shù)據(jù)更新周期合理，該數(shù)據(jù)資源得分為X=100×權重；2、若數(shù)據(jù)更新周期不合理，該數(shù)據(jù)資源得分X=0。0102更新及時率描述數(shù)據(jù)資源按照提交的更新周期進行更新。規(guī)范政務部門能夠按時進行數(shù)據(jù)的更新。示例：政務部門設置資源數(shù)據(jù)更新為1月，則需要每月更新數(shù)據(jù)定性評分根據(jù)數(shù)據(jù)是否及時按照更新周期更新，來判斷數(shù)據(jù)是否及時更新。1、若數(shù)據(jù)是按時更新或未到更新時間，該數(shù)據(jù)資源得分X=100×權重；2、若數(shù)據(jù)未按時更新或無法判斷是否更新，該數(shù)據(jù)資源得分X=0。數(shù)據(jù)可用性數(shù)據(jù)可用性指標定義及評分方式見表2。數(shù)據(jù)質量六性評估數(shù)據(jù)可用性指標指標編號指標名稱指標描述示例評分方式評分標準0201可直接利用性描述數(shù)據(jù)資源的可直接使用程度。如果源端是數(shù)據(jù)庫類型，可直接通過數(shù)據(jù)庫表的方式共享，增強數(shù)據(jù)的可用性。示例：源端是數(shù)據(jù)庫表直接通過數(shù)據(jù)庫表對接實現(xiàn)。定性評分1、若原始數(shù)據(jù)為庫表格式的結構化數(shù)據(jù)，則該數(shù)據(jù)資源得分X=100×權重；2、若原始數(shù)據(jù)為非結構化數(shù)據(jù)或者未入庫的數(shù)據(jù)，則該數(shù)據(jù)資源得分X=0。0202數(shù)據(jù)可理解性（數(shù)據(jù)描述文檔）指數(shù)據(jù)庫表中的英文字段要有中文描述（如數(shù)據(jù)字典、碼表等），描述要準確，便于更好的理解數(shù)據(jù)。示例：數(shù)據(jù)庫表字段CSRQ，有了中文描述才能理解是“出生日期”的含義定性評分1、若數(shù)據(jù)資源表有字段的中文描述，則該數(shù)據(jù)資源得分X=100×權重；2、若數(shù)據(jù)資源表存在無注釋的字段導致無法理解該表的具體業(yè)務含義，則該資源得分X=0.6×100×權重。數(shù)據(jù)完整性數(shù)據(jù)完整性指標定義及評分方式見表3。數(shù)據(jù)質量六性評估數(shù)據(jù)完整性指標指標編號指標名稱指標描述示例評分方式評分標準0301字段完整性描述實際匯聚數(shù)據(jù)資源的字段是否與資源目錄注冊的字段數(shù)量、描述保持一致。定性評分1、若保持一致，則該資源得分X=100×權重；2、若不一致，則該數(shù)據(jù)資源得分X=0。0302空值校驗業(yè)務主鍵或重要字段等必填項的數(shù)據(jù)值不能為空值。示例：涉人數(shù)據(jù)資源的姓名、身份證號等重要字段數(shù)據(jù)值不能為空。定量評分稽核表指定稽核列在限定范圍內的空值數(shù)量為B，該稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。0303數(shù)據(jù)記錄完整性校驗按照業(yè)務規(guī)則要求，驗證當前稽核表中滿足過濾條件的數(shù)據(jù)記錄數(shù)范圍是否滿足預先設定規(guī)則，包括時間維度和空間維度。示例：某數(shù)據(jù)資源實際業(yè)務產生時間為1966年，而實際匯聚數(shù)據(jù)只有2000年后的數(shù)據(jù)，那此數(shù)據(jù)資源不滿足數(shù)據(jù)記錄完整性要求定性評分1、若滿足，則該資源得分X=100×權重；2、若不滿足，則該數(shù)據(jù)資源得分X=0。0304核心字段完整性數(shù)據(jù)的核心關鍵字段內容應完整有效。示例：涉人數(shù)據(jù)中證件號碼、涉企數(shù)據(jù)中統(tǒng)一社會信用代碼等唯一標識字段數(shù)據(jù)內容應完整。定量評分稽核表中指定稽核列在限定范圍內核心字段內容缺失的數(shù)據(jù)數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。數(shù)據(jù)規(guī)范性數(shù)據(jù)規(guī)范性指標定義及評分方式見表4。數(shù)據(jù)質量六性評估數(shù)據(jù)規(guī)范性指標指標編號指標名稱指標描述示例評分方式評分標準0401格式校驗數(shù)據(jù)屬性值必須滿足數(shù)據(jù)標準或數(shù)據(jù)字典中定義的展現(xiàn)格式約束示例：日期字段必須定義為日期類的格式定量評分稽核表指定稽核列在限定范圍內的不符合格式的數(shù)據(jù)數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。0402參照性校驗-單項校驗稽核數(shù)據(jù)與參照數(shù)據(jù)進行比較校驗，判斷指定稽核列中不符合參照列內數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記性別數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：男性01、參照性校驗，即人口登記數(shù)據(jù)的性別必須為01或02，不應出現(xiàn)其他代碼。定量評分稽核表指定稽核列在限定范圍內的不符合參照數(shù)據(jù)的數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。0403參照性校驗-雙向校驗稽核數(shù)據(jù)與參照數(shù)據(jù)進行比較校驗，判斷指定稽核列中不符合參照列內數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：男性01、女性02，要求人口登記數(shù)據(jù)的性別既有男又有女，若性別中只有01或只有02是錯誤的。定性評分1、結果正確，則該資源得分X=100×權重；2、結果錯誤，則該數(shù)據(jù)資源得分X=0。0404業(yè)務規(guī)則校驗稽核數(shù)據(jù)符合業(yè)務規(guī)則的程度示例：身份證號字段要符合身份證的編碼規(guī)則。定量評分稽核表指定稽核列在限定范圍內的不符合業(yè)務規(guī)則的數(shù)據(jù)質量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。數(shù)據(jù)準確性數(shù)據(jù)準確性指標定義及評分方式見表5。指標編號指標名稱指標描述示例評分方式評分標準0501重復校驗檢查單列或者多列數(shù)據(jù)組合是否存在重復記錄。示例：每個人的身份證號碼只能對應一個人。定量評分稽核表指定稽核列在限定范圍內的重復數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。0502值域校驗描述數(shù)據(jù)是否與其對應的客觀實體的特征相一致。示例：年齡的取值范圍應該在0-200歲之間。定量評分稽核表指定稽核列在限定范圍內的不符合值域范圍數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。0502數(shù)據(jù)內容可靠性校驗描述數(shù)據(jù)內容是否真實可靠，是否為無效的數(shù)據(jù)。示例：企業(yè)注冊資金為-100萬，因注冊資金不能為負值，此項數(shù)據(jù)內容無效。定量評分稽核表指定稽核列在限定范圍內的數(shù)據(jù)內容為無效的數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。數(shù)據(jù)質量六性評估數(shù)據(jù)準確性指標數(shù)據(jù)一致性數(shù)據(jù)一致性指標定義及評分方式見表6。數(shù)據(jù)質量六性評估數(shù)據(jù)一致性指標指標編號指標名稱指標描述示例評分方式評分標準0601邏輯校驗檢驗數(shù)據(jù)的邏輯性或邏輯關系。示例：入學時間應當早于畢業(yè)時間。定性評分1、結果正確，則該資源得分X=100×權重；2、結果不正確，則該數(shù)據(jù)資源得分X=0。0602一致性校驗稽核表內數(shù)據(jù)，或表間數(shù)據(jù)是否相等。示例1：單表單行，身份證號碼的7—14位要與出生日期一致；示例2：雙表單行，同一個身份證號碼在多個表中對應的姓名要一致。定量評分稽核表指定稽核列中不符合一致性約束記錄數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100×權重。數(shù)據(jù)質量五級評級數(shù)據(jù)質量評分政務數(shù)據(jù)質量評分，主要采用權重法計算質量評分。對數(shù)據(jù)質量評估的六性分配權重，通過加權求和的方式得到最終評分。數(shù)據(jù)質量評估六性評分計算如下：數(shù)據(jù)及時性得分計算XX式中：X1———數(shù)據(jù)及時性得分；X1i———數(shù)據(jù)及時性二級指標得分；W1i———數(shù)據(jù)及時性二級指標權重。數(shù)據(jù)可用性得分計算X式中：X2———數(shù)據(jù)可用性得分；X2i———數(shù)據(jù)可用性二級指標得分；W2i———數(shù)據(jù)可用性二級指標權重。數(shù)據(jù)完整性得分計算XX式中：X3———數(shù)據(jù)完整性得分；X3i———數(shù)據(jù)完整性二級指標得分；W3i———數(shù)據(jù)完整性二級指標權重。數(shù)據(jù)規(guī)范性得分計算XX式中：X4———數(shù)據(jù)規(guī)范性得分；X4i———數(shù)據(jù)規(guī)范性二級指標得分；W4i———數(shù)據(jù)規(guī)范性二級指標權重。數(shù)據(jù)準確性得分計算XX式中：X5———數(shù)據(jù)準確性得分；X5i———數(shù)據(jù)準確性二級指標得分；W5i———數(shù)據(jù)準確性二級指標權重。數(shù)據(jù)一致性得分計算XX式中：X6———數(shù)據(jù)一致性得分；X6i———數(shù)據(jù)一致性二級指標得分；W6i———數(shù)據(jù)一致性二級指標權重。數(shù)據(jù)各維度的指標權重可根據(jù)數(shù)據(jù)實際使用場景自行設定。因對于不同的數(shù)據(jù)資源來說，并不是每個評估指標均適用，對不適用的指標權重應配置為0。對數(shù)據(jù)質量進行整體評分定級時，需根據(jù)數(shù)據(jù)實際應用情況對數(shù)據(jù)質量評估的六性評分設置不同的權重。數(shù)據(jù)是否準確、完整，能否被有效使用，是數(shù)據(jù)應用的基礎，因此，數(shù)據(jù)的準確性評分和完整性評分需配置較高的權重。如若在某些特定場景需求下對數(shù)據(jù)時效性要求高，則應當將數(shù)據(jù)及時性評分配置較高的權重。根據(jù)數(shù)據(jù)六性質量評分和配置的權重，最終得到數(shù)據(jù)質量評分：SS式中：X1———數(shù)據(jù)及時性得分；X2———數(shù)據(jù)可用性得分；X3———數(shù)據(jù)完整性得分；X4———數(shù)據(jù)規(guī)范性得分；X5———數(shù)據(jù)準確性得分；X6———數(shù)據(jù)一致性得分；W1———數(shù)據(jù)及時性權重；W2———數(shù)據(jù)可用性權重；W3———數(shù)據(jù)完整性權重；W4———數(shù)據(jù)規(guī)范性權重；W5———數(shù)據(jù)準確性權重；W6———數(shù)據(jù)一致性權重。質量等級判定數(shù)據(jù)質量評估分為A、B、C、D、E共5個等級，每個等級的描述及分值范圍見表7。注2：對數(shù)據(jù)質量進行等級評定時，分值范圍可參考表7，不做強制要求，數(shù)據(jù)各維度的指標權重可根據(jù)各部門業(yè)務數(shù)據(jù)實際使用場景自行設定。數(shù)據(jù)質量5級評級等級描述及可應用情況質量