數(shù)據(jù)質(zhì)量管理方法論實(shí)戰(zhàn)“熵”是熱力學(xué)第二定律的核心概念，熵其實(shí)就是指的“混亂程度”，簡(jiǎn)單來(lái)說熵是衡量我們這個(gè)世界中事物混亂程度的一個(gè)指標(biāo)。在一個(gè)孤立系統(tǒng)中它的總混亂度（熵）是不會(huì)減小的，也就是說如果不做任何管控，事物往往會(huì)不斷的向無(wú)序發(fā)展。

其實(shí)數(shù)據(jù)也是一個(gè)不斷熵增的過程，隨著時(shí)間的推移會(huì)出現(xiàn)無(wú)效數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、冗余數(shù)據(jù)、不規(guī)范數(shù)據(jù)、相沖突數(shù)據(jù)等。如果不好好進(jìn)行管控，去減少我們數(shù)據(jù)中的“熵”，我們最后會(huì)得到一些無(wú)序低價(jià)值的數(shù)據(jù)。

如何化“熵增”為“熵減”，數(shù)據(jù)質(zhì)量管理尤為重要。

下定義：解讀數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是對(duì)數(shù)據(jù)從計(jì)劃、獲取、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其終極目標(biāo)是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價(jià)值，并最終為企業(yè)贏得經(jīng)濟(jì)效益。

所以，數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)應(yīng)用的基礎(chǔ)，而要評(píng)估數(shù)據(jù)是否達(dá)到預(yù)期設(shè)定的質(zhì)量要求，需要有專業(yè)權(quán)威的評(píng)價(jià)標(biāo)準(zhǔn)來(lái)約束。目前為止，最權(quán)威的標(biāo)準(zhǔn)是由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出的數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)（GB/T36344-2018ICS35.24.01），它包含以下幾個(gè)方面：

理框架：數(shù)據(jù)質(zhì)量管理系統(tǒng)框架

數(shù)據(jù)質(zhì)量很重要，我們知道數(shù)據(jù)存在的問題，我們也知道數(shù)據(jù)質(zhì)量要符合6大評(píng)價(jià)標(biāo)準(zhǔn)，但是我們要怎么系統(tǒng)化建設(shè)和管理呢？數(shù)據(jù)質(zhì)量管理一般以數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)檢核依據(jù)，以元數(shù)據(jù)為數(shù)據(jù)檢核對(duì)象，將質(zhì)量評(píng)估、質(zhì)量檢核、質(zhì)量整改與質(zhì)量報(bào)告等工作環(huán)節(jié)進(jìn)行流程整合，形成完整的數(shù)據(jù)質(zhì)量管理閉環(huán)?！鴶?shù)據(jù)質(zhì)量管理架構(gòu)圖

方法論：數(shù)據(jù)質(zhì)量管理的四個(gè)階段

然而，我們需要按照什么流程來(lái)對(duì)數(shù)據(jù)質(zhì)量進(jìn)行有效的管控，從而提升數(shù)據(jù)質(zhì)量，釋放數(shù)據(jù)價(jià)值？一般來(lái)講，數(shù)據(jù)質(zhì)量控制流程分為4個(gè)階段：?jiǎn)?dòng)、執(zhí)行、檢查、處理。在管控過程中這4個(gè)階段需不斷循環(huán)，螺旋上升。第一階段：?jiǎn)?dòng)在這個(gè)階段我們需要根據(jù)所在機(jī)構(gòu)的現(xiàn)行組織架構(gòu)和工作規(guī)范基礎(chǔ)上，建立一套質(zhì)量管控流程和規(guī)范，如建立質(zhì)量管控委員會(huì)、制定質(zhì)量管控辦法等。質(zhì)量管控委員會(huì)不必是全職，可由現(xiàn)有組織中如信息中心相關(guān)人員兼任。

而關(guān)于數(shù)據(jù)質(zhì)量管控辦法則應(yīng)明確質(zhì)量管控的角色、職責(zé)，建立可執(zhí)行的工作流程、可量化的工作評(píng)估方法，同時(shí)也應(yīng)具備績(jī)效考核、沖突解決與管控方式等。

有了流程和規(guī)范后，相應(yīng)的責(zé)任人就應(yīng)明確本輪質(zhì)量管控的目標(biāo)。如：數(shù)據(jù)質(zhì)量提升范圍，或是滿足一些業(yè)務(wù)的預(yù)期。目標(biāo)制定完成后我們就可以進(jìn)入下一個(gè)執(zhí)行階段。第二階段：執(zhí)行進(jìn)入執(zhí)行階段，我們就要開始具體的質(zhì)量管控工作，整個(gè)工作應(yīng)該圍繞啟動(dòng)階段制定的目標(biāo)進(jìn)行。適當(dāng)引入一些質(zhì)量管控工具可幫助我們更高效的完成工作。第一步、數(shù)據(jù)剖析首先應(yīng)該進(jìn)行已知數(shù)據(jù)問題的評(píng)估，這里評(píng)估的范圍也應(yīng)控制本輪管控的目標(biāo)范圍內(nèi)。其次，通過對(duì)數(shù)據(jù)進(jìn)行剖析，發(fā)現(xiàn)數(shù)據(jù)問題，具體規(guī)則又可通過標(biāo)準(zhǔn)或業(yè)務(wù)調(diào)研進(jìn)行提取。

1）根據(jù)標(biāo)準(zhǔn)，提出標(biāo)準(zhǔn)規(guī)則比如，我們可以根據(jù)標(biāo)準(zhǔn)，提煉出如下圖所示的編碼規(guī)則，并進(jìn)行檢驗(yàn)。

2）調(diào)研業(yè)務(wù)，提取業(yè)務(wù)規(guī)則接著，我們可以從業(yè)務(wù)調(diào)研中提取規(guī)則，如金融業(yè)的大中小微企業(yè)貸款當(dāng)年累放額計(jì)算口徑：大中小微企業(yè)貸款當(dāng)年累計(jì)發(fā)放額=大型企業(yè)貸款當(dāng)年累計(jì)發(fā)放額+中型企業(yè)貸款當(dāng)年累計(jì)發(fā)放額+小型企業(yè)貸款當(dāng)年累計(jì)發(fā)放額+微型企業(yè)貸款當(dāng)年累計(jì)發(fā)放額+個(gè)人經(jīng)營(yíng)性貸款當(dāng)年累計(jì)發(fā)放額，這樣的指標(biāo)計(jì)算規(guī)則，并進(jìn)行檢查管控。

當(dāng)然業(yè)務(wù)規(guī)則也可以是圍繞我們既定的業(yè)務(wù)預(yù)期展開。目標(biāo)不同，業(yè)務(wù)剖析的方向也應(yīng)隨之調(diào)整。第二步、設(shè)計(jì)數(shù)據(jù)質(zhì)量控制操作程序獲得已知數(shù)據(jù)問題后，就應(yīng)設(shè)計(jì)數(shù)據(jù)質(zhì)量控制操作程序。主要包括以下3個(gè)方面：

1）制定檢查和監(jiān)控的頻率及方式2）制定質(zhì)量問題評(píng)估方式和整改方式3）制定質(zhì)量報(bào)告內(nèi)容及對(duì)象第三步、定義數(shù)據(jù)質(zhì)量需求

根據(jù)剖析的質(zhì)檢規(guī)則和控制操作程序，對(duì)數(shù)據(jù)質(zhì)量需求進(jìn)行定義，這里又可拆分成以下三步。

1）梳理數(shù)據(jù)模型梳理數(shù)據(jù)模型的主要工作是確定檢查對(duì)象實(shí)體之間的關(guān)系，如關(guān)鍵字、主外鍵關(guān)系梳理、字段類型、長(zhǎng)度等。

2）建立質(zhì)量規(guī)則這一步是將我們剖析的數(shù)據(jù)檢驗(yàn)業(yè)務(wù)規(guī)則，轉(zhuǎn)化成可執(zhí)行、有結(jié)果的技術(shù)規(guī)則。

3）建立質(zhì)檢方案將可以同時(shí)評(píng)價(jià)且主責(zé)部門劃分一致的規(guī)則集合起來(lái)，建立質(zhì)檢方案。也可根據(jù)業(yè)務(wù)或者評(píng)價(jià)規(guī)范再對(duì)規(guī)則進(jìn)行細(xì)分并建立方案。

第四步、確定數(shù)據(jù)質(zhì)量水平數(shù)據(jù)質(zhì)量需求定義完畢之后，我們就需要確定在此需求下，目前數(shù)據(jù)質(zhì)量的水平處于什么位置。明確反應(yīng)質(zhì)量水平的并最直觀的就是錯(cuò)誤數(shù)據(jù)的詳情情況，如下圖所示。

根據(jù)匯報(bào)的對(duì)象不同，一般也需要出具質(zhì)檢情況的統(tǒng)計(jì)報(bào)告。

第五步、管理數(shù)據(jù)質(zhì)量問題問題找到，下一步我們就應(yīng)該進(jìn)行問題的管理了。根據(jù)不同的質(zhì)量問題，進(jìn)行不同的質(zhì)量整改方案。一般方式有以下4種：

1）源頭修改，即問題數(shù)據(jù)生產(chǎn)系統(tǒng)中進(jìn)行修改。2）補(bǔ)錄，即在數(shù)據(jù)中心，建立一個(gè)新的倉(cāng)庫(kù)，針對(duì)數(shù)據(jù)問題進(jìn)行補(bǔ)充錄入，一般情況為源系統(tǒng)升級(jí)或其他原因?qū)е聼o(wú)法從源系統(tǒng)進(jìn)行修改，而采取的變通方案。3）技術(shù)修復(fù)，即通過如ETL工具等技術(shù)手段，對(duì)問題數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換。

4）遺留問題管控，即對(duì)一些無(wú)法修復(fù)處理的數(shù)據(jù)進(jìn)行特殊處理，一般情況下進(jìn)行標(biāo)記或者例外處理。

第三階段：檢查檢查階段，主要是對(duì)執(zhí)行階段的成果進(jìn)行檢查并分析原因，包括以下3個(gè)方面。

1）確定整改質(zhì)量對(duì)處理后的數(shù)據(jù)進(jìn)行再次質(zhì)檢，出具數(shù)據(jù)質(zhì)量的報(bào)告。

2）對(duì)比整改效果對(duì)比處理前后效果，總結(jié)改進(jìn)措施。

3）檢查數(shù)據(jù)質(zhì)量是否合格，分析不合格原因在這輪管控中檢查數(shù)據(jù)質(zhì)量是否合格，并找到不合格的原因，在下一輪管控中進(jìn)行技術(shù)上或者操作程序上的改進(jìn)。第四階段：處理1）監(jiān)控?cái)?shù)據(jù)質(zhì)量，控制管理程序和績(jī)效根據(jù)既定的操作程序，對(duì)質(zhì)量管控過程中各個(gè)環(huán)節(jié)參與者進(jìn)行績(jī)效評(píng)估。還可以根據(jù)不同時(shí)期的重點(diǎn)制定不同的評(píng)分標(biāo)準(zhǔn)，有針對(duì)性的進(jìn)行評(píng)價(jià)和管控，如整改初期數(shù)據(jù)缺失嚴(yán)重，則可對(duì)完整性規(guī)則權(quán)重調(diào)大，以期更快看到成效或者達(dá)到更好的效果。

2）建立質(zhì)量控制意識(shí)與文化在這一步中溝通與推廣是重點(diǎn)，要讓所有參與者了解數(shù)據(jù)質(zhì)量問題和其實(shí)質(zhì)影響，宣貫系統(tǒng)化的數(shù)據(jù)質(zhì)量管控方法，同時(shí)挖掘各個(gè)環(huán)節(jié)參與者的價(jià)值，尤其是業(yè)務(wù)方，傳達(dá)一種“數(shù)