ZGCMCADataelements—Guidelinesfordataqualityass2025-04-12發(fā)布I 2 2 2 2 2 2 2 2 2 2 4 6 6 6 6 8 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。認(rèn)證有限責(zé)任公司、北京國(guó)信鈞元科技有限公司、河北數(shù)港科技有限公司、中國(guó)軟件評(píng)測(cè)中心(工業(yè)和信息化部軟件與集成電路促進(jìn)中心)、聯(lián)通(上海)產(chǎn)業(yè)互聯(lián)網(wǎng)有限公司、北京清訊咨詢有限公司、國(guó)幀科技有限公司、中標(biāo)政聯(lián)（北京）標(biāo)準(zhǔn)化技術(shù)院、中標(biāo)1數(shù)據(jù)要素?cái)?shù)據(jù)質(zhì)量評(píng)價(jià)指南），在指定條件下使用時(shí)，數(shù)據(jù)的特性滿足明確的和隱含的要求的數(shù)據(jù)服務(wù)質(zhì)量dataservice），），數(shù)據(jù)質(zhì)量評(píng)價(jià)dataqualityas24評(píng)價(jià)原則4.1科學(xué)性4.2嚴(yán)謹(jǐn)性4.3可操作性評(píng)價(jià)可行、操作便捷，主要指評(píng)價(jià)指標(biāo)可量化、易獲取、度量4.4保密性商業(yè)秘密、個(gè)人隱私，以及與數(shù)據(jù)處理者簽署的保密協(xié)議中約定的保密信4.5動(dòng)態(tài)調(diào)整指標(biāo)應(yīng)能夠根據(jù)行業(yè)特點(diǎn)和業(yè)務(wù)需求進(jìn)行動(dòng)態(tài)調(diào)整，以適應(yīng)不斷變化的環(huán)5.1評(píng)價(jià)團(tuán)隊(duì)的構(gòu)成成的背景信息、數(shù)據(jù)收集的方法和過(guò)程等，幫助理解數(shù)據(jù)的初始質(zhì)量和可能存在數(shù)據(jù)質(zhì)量的專業(yè)評(píng)價(jià)機(jī)構(gòu)基于專業(yè)的數(shù)據(jù)產(chǎn)品質(zhì)量檢測(cè)工具并組織行業(yè)專家對(duì)數(shù)據(jù)產(chǎn)品質(zhì)量進(jìn)行a)數(shù)據(jù)分析師：專注于數(shù)據(jù)的分析與數(shù)據(jù)，利用專業(yè)技術(shù)方法或技術(shù)識(shí)別數(shù)據(jù)中的模式、趨勢(shì)3b)數(shù)據(jù)科學(xué)家：運(yùn)用數(shù)據(jù)科學(xué)方法與分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行深入分析，識(shí)別數(shù)據(jù)處理潛在的問(wèn)題c)技術(shù)工程師：負(fù)責(zé)技術(shù)支持和維護(hù)工作，確保在數(shù)據(jù)評(píng)價(jià)過(guò)程中技術(shù)難題得以解決；d)業(yè)務(wù)分析師：了解數(shù)據(jù)收集者或數(shù)據(jù)提供者業(yè)務(wù)流程，從業(yè)務(wù)視角進(jìn)一步分析數(shù)據(jù)質(zhì)量；e)質(zhì)量保證專員：制定數(shù)據(jù)質(zhì)量檢查的標(biāo)準(zhǔn)與流程，推動(dòng)數(shù)據(jù)質(zhì)量評(píng)價(jià)的實(shí)數(shù)據(jù)接收方或客戶通過(guò)反饋機(jī)制提供的信息幫助評(píng)價(jià)團(tuán)隊(duì)了解數(shù)據(jù)在實(shí)際應(yīng)用中5.2評(píng)價(jià)團(tuán)隊(duì)的能力可以評(píng)估潛在的法律風(fēng)險(xiǎn)、提出相應(yīng)的防范措施，并制定恰當(dāng)?shù)臄?shù)據(jù)質(zhì)量評(píng)a)定性評(píng)價(jià)。定性評(píng)價(jià)通過(guò)對(duì)用戶的訪談、觀察、行業(yè)分析等對(duì)數(shù)據(jù)進(jìn)行描述性分析，以非數(shù)b)定量評(píng)價(jià)。定量評(píng)價(jià)通過(guò)數(shù)據(jù)體量、行業(yè)規(guī)模等客觀數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)來(lái)量化a)性質(zhì)特征判斷。當(dāng)關(guān)注的數(shù)據(jù)質(zhì)量方面?zhèn)戎赜谛再|(zhì)、特征等難以用具體數(shù)值直接衡量的屬性b)初步評(píng)價(jià)需求。在數(shù)據(jù)質(zhì)量評(píng)價(jià)的初期階段，旨在快速獲取一個(gè)大致的、方向性的判斷時(shí)，可運(yùn)用定性評(píng)價(jià)方式來(lái)初步了解數(shù)據(jù)質(zhì)量概況，如對(duì)新收集的數(shù)據(jù)來(lái)源的可靠性進(jìn)行初步核查，宜通過(guò)查看數(shù)據(jù)提供方的資質(zhì)、收集方法的合理性等定性因素來(lái)形成初a)精確衡量需求。若能夠獲取可量化的數(shù)據(jù)指標(biāo)，且需要精確衡量數(shù)據(jù)質(zhì)量各維度的水平，例如準(zhǔn)確統(tǒng)計(jì)數(shù)據(jù)記錄中的錯(cuò)誤率來(lái)衡量準(zhǔn)確性、計(jì)算缺失值數(shù)量占總數(shù)據(jù)量的比例以評(píng)估完整性、通過(guò)平均更新周期量化數(shù)據(jù)的時(shí)效性等情況時(shí)，宜選用定量b)對(duì)比與跟蹤需求。在需要對(duì)不同數(shù)據(jù)集的數(shù)據(jù)質(zhì)量進(jìn)行橫向?qū)Ρ确治?，或者跟蹤同一?shù)據(jù)集的數(shù)據(jù)質(zhì)量隨時(shí)間變化的縱向情況，以及依據(jù)具體數(shù)值設(shè)定數(shù)據(jù)質(zhì)量改進(jìn)目標(biāo)并衡量改進(jìn)成4例如數(shù)據(jù)的權(quán)威性、邏輯性契合程度等，則更宜采用定性評(píng)a)完全評(píng)價(jià)。完全評(píng)價(jià)適用于評(píng)價(jià)對(duì)象規(guī)模相對(duì)較小時(shí)，對(duì)評(píng)b)抽樣評(píng)價(jià)。抽樣檢查適用于評(píng)價(jià)對(duì)象規(guī)模相對(duì)較大時(shí)，先對(duì)評(píng)價(jià)對(duì)象進(jìn)行采樣，然后評(píng)價(jià)數(shù)據(jù)產(chǎn)品質(zhì)量，以樣本數(shù)據(jù)質(zhì)量代表整體數(shù)據(jù)產(chǎn)品質(zhì)量。評(píng)價(jià)團(tuán)隊(duì)可根據(jù)數(shù)據(jù)總體規(guī)模以及評(píng)價(jià)精度的要求，選擇簡(jiǎn)單隨機(jī)抽樣、分層抽樣、系統(tǒng)抽樣、整群抽樣等在數(shù)據(jù)質(zhì)量評(píng)價(jià)的過(guò)程中，完全評(píng)價(jià)可適用以下幾種a)數(shù)據(jù)規(guī)模較小。當(dāng)待評(píng)價(jià)的數(shù)據(jù)總體規(guī)模相對(duì)較小，在人力、時(shí)間、計(jì)算資源等條件允許的情況下，對(duì)全部數(shù)據(jù)進(jìn)行評(píng)價(jià)不會(huì)造成過(guò)高成本和b)高風(fēng)險(xiǎn)決策依據(jù)。若數(shù)據(jù)質(zhì)量的評(píng)價(jià)結(jié)果將作為高風(fēng)險(xiǎn)決策的核心依據(jù)，需要確保對(duì)數(shù)據(jù)質(zhì)量有絕對(duì)精準(zhǔn)、全面的把控，不容許存在因抽樣可能帶來(lái)的偏差，此時(shí)宜采用完全采用完全評(píng)價(jià)也能更直觀、簡(jiǎn)單地獲取全面且準(zhǔn)在數(shù)據(jù)質(zhì)量評(píng)價(jià)的過(guò)程中，抽樣評(píng)價(jià)可適用以下幾種且從實(shí)際操作可行性角度來(lái)看幾乎難以實(shí)現(xiàn)全面檢測(cè)，此時(shí)抽樣評(píng)價(jià)是更為可行的b)資源與時(shí)間限制。當(dāng)在人力、時(shí)間、資金等資源方面存在明顯限制，無(wú)法支持對(duì)全部數(shù)據(jù)進(jìn)行逐一評(píng)價(jià)，而又需要在規(guī)定時(shí)間內(nèi)獲取數(shù)據(jù)質(zhì)量的大致結(jié)論時(shí)，可采用抽5數(shù)據(jù)質(zhì)量評(píng)價(jià)共有7個(gè)一級(jí)指標(biāo)，20個(gè)二級(jí)指標(biāo)，見(jiàn)圖1。數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)描述見(jiàn)附錄A。在數(shù)據(jù)境等多方面因素綜合考量、合理確定，以實(shí)現(xiàn)科學(xué)有效的數(shù)據(jù)質(zhì)量評(píng)價(jià)，參6根據(jù)評(píng)價(jià)對(duì)象具體情況，設(shè)計(jì)適宜于待評(píng)價(jià)數(shù)據(jù)的7——數(shù)據(jù)需方提出的評(píng)價(jià)需求變更，如評(píng)價(jià)主體變更、指標(biāo)方案變更等；根據(jù)附錄A中各指標(biāo)計(jì)算公式和評(píng)價(jià)方案中確定的各指標(biāo)權(quán)重比例，將各指標(biāo)的得分相加，最后的得分大于等于0.8，即為合格。根據(jù)評(píng)價(jià)方法，利用人工或工具對(duì)數(shù)據(jù)產(chǎn)品質(zhì)量每個(gè)指標(biāo)進(jìn)行測(cè)評(píng)，根據(jù)每個(gè)度量下各評(píng)價(jià)指標(biāo)的評(píng)價(jià)結(jié)果綜合得到待評(píng)價(jià)a)數(shù)據(jù)質(zhì)量達(dá)到合格要求時(shí)，可直接生成合格數(shù)據(jù)質(zhì)量評(píng)價(jià)報(bào)告。b)如數(shù)據(jù)質(zhì)量未達(dá)到合格要求，評(píng)價(jià)團(tuán)隊(duì)需要指出發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題及相關(guān)信息，出具整改報(bào)告，判斷數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的原因及影響范圍。不合格的數(shù)據(jù)可經(jīng)整改后再次進(jìn)行評(píng)價(jià)，8級(jí)指標(biāo)規(guī)范性數(shù)據(jù)標(biāo)準(zhǔn)b）完全A=實(shí)際符合數(shù)據(jù)模型A=實(shí)際符合數(shù)據(jù)管理b）對(duì)數(shù)據(jù)訪問(wèn)和操作權(quán)限進(jìn)行管理，確保只有授權(quán)A=實(shí)際符合9完整性數(shù)據(jù)元素價(jià)A=實(shí)際符合數(shù)據(jù)日志價(jià)A=實(shí)際符合準(zhǔn)確性數(shù)據(jù)客觀b)數(shù)據(jù)值是否正確反映了真實(shí)情況，沒(méi)有錯(cuò)誤、遺價(jià)A=實(shí)際符合來(lái)源可靠A=實(shí)際符合可信存A=實(shí)際符合證致性數(shù)據(jù)校驗(yàn)價(jià)A=實(shí)際符合數(shù)據(jù)邏輯A=實(shí)際符合時(shí)效性數(shù)據(jù)記錄價(jià)A=實(shí)際符合數(shù)據(jù)有效價(jià)A=實(shí)際符合更新頻率價(jià)A=實(shí)際符合可訪問(wèn)性數(shù)據(jù)可取得價(jià)A=實(shí)際符合數(shù)據(jù)價(jià)穩(wěn)定A=實(shí)際符合數(shù)據(jù)可利用b）數(shù)據(jù)在需要時(shí)能夠被安全、快速地訪問(wèn)和使用，A=實(shí)際符合處理速度價(jià)A=實(shí)際符合安全性數(shù)據(jù)控制價(jià)A=實(shí)際符合數(shù)據(jù)保密A=實(shí)際符合隱私保護(hù)A=實(shí)際符合景在一般性的數(shù)據(jù)管理和應(yīng)用場(chǎng)景中，各個(gè)指標(biāo)都比較重要，沒(méi)有哪一項(xiàng)具有絕對(duì)突當(dāng)數(shù)據(jù)主要是用于為重要決策提供支持時(shí)，準(zhǔn)確性顯得尤為關(guān)鍵，因?yàn)殄e(cuò)誤的數(shù)據(jù)可能導(dǎo)致嚴(yán)重的決策失誤，所以賦予較高權(quán)重；一致性也很重要，不同來(lái)源或不同環(huán)節(jié)的數(shù)據(jù)若不一致會(huì)干擾對(duì)整體情況的判斷；時(shí)效性保障決策依據(jù)是最新的，所以也給到相對(duì)較高權(quán)重；而規(guī)范性只要符合基本的格式要求即可，可訪問(wèn)性在有相應(yīng)權(quán)限管理等常規(guī)設(shè)置下通常不是影響如果數(shù)據(jù)要面向外部合作伙伴進(jìn)行共享或者用于對(duì)外提供服務(wù)，應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)和格式要求，方便外部用戶準(zhǔn)確理解和使用數(shù)據(jù)，所以權(quán)重相對(duì)提高。完整性、準(zhǔn)確性同樣關(guān)乎數(shù)據(jù)價(jià)值的正常發(fā)揮，也賦予較高權(quán)重。可訪問(wèn)性只要求保障授權(quán)用戶正常獲取數(shù)據(jù)，相對(duì)來(lái)說(shuō)重要性稍次，在以大數(shù)據(jù)分析和挖掘?yàn)橹饕獞?yīng)用方向