1、數(shù)據(jù)管控解決方案,2013.10,目錄,數(shù)據(jù)管控系統(tǒng)實(shí)施目標(biāo),數(shù)據(jù)管控系統(tǒng)實(shí)施是為解決企業(yè)所面臨的數(shù)據(jù)標(biāo)準(zhǔn)問題、數(shù)據(jù)質(zhì)量問題、元數(shù)據(jù)管理問題。,數(shù)據(jù)管控體系建設(shè)原則,數(shù)據(jù)管控系統(tǒng)實(shí)施步驟,目錄,元數(shù)據(jù)定義,元數(shù)據(jù)分類,元數(shù)據(jù)范圍,元數(shù)據(jù)關(guān)聯(lián)性,元數(shù)據(jù)系統(tǒng)應(yīng)用模型,元數(shù)據(jù)管理系統(tǒng)功能構(gòu)成圖,技術(shù)架構(gòu)圖,龐大的數(shù)據(jù)資產(chǎn)如何管理？,形態(tài)萬(wàn)千、散落在企業(yè)各處的數(shù)據(jù)資產(chǎn)如何管理？,數(shù)據(jù)資產(chǎn)之間的關(guān)系怎樣？,如何讓數(shù)據(jù)資產(chǎn)正確、有效的被使用 并產(chǎn)生價(jià)值？,enterprise ASSET,元數(shù)據(jù)管理-現(xiàn)狀分析,企業(yè)數(shù)據(jù)資產(chǎn)管理的困惑,對(duì)元數(shù)據(jù)的概念理解不清或者不一致,到底哪些數(shù)據(jù)可以納入到元數(shù)據(jù)管理范疇之

2、內(nèi),元數(shù)據(jù)管理能帶來什么價(jià)值,元數(shù)據(jù)管理的工作內(nèi)容都是什么,元數(shù)據(jù)管理-元數(shù)據(jù)的意義,元數(shù)據(jù)到底是什么,需要借助元數(shù)據(jù)管理來解決理想和現(xiàn)實(shí)之間的差異問題!,元數(shù)據(jù)能夠輔助管理企業(yè)的各類數(shù)據(jù)資產(chǎn)； 元數(shù)據(jù)可以如實(shí)向用戶反映企業(yè)的數(shù)據(jù)資產(chǎn)信息； 元數(shù)據(jù)管理的工作內(nèi)容包括人員組織搭建、管理流程的梳理、基礎(chǔ)技術(shù)平臺(tái)的實(shí)施； 元數(shù)據(jù)的解決方案回答了如何讓元數(shù)據(jù)管理產(chǎn)生價(jià)值的問題。,解決之道,元數(shù)據(jù)系統(tǒng)-解決方案,定位： 元數(shù)據(jù)管理是對(duì)數(shù)據(jù)平臺(tái)數(shù)據(jù)信息的梳理、組織和再現(xiàn)，幫助用戶更好的理解現(xiàn)有系統(tǒng)的建設(shè)現(xiàn)狀，支撐用戶對(duì)數(shù)據(jù)平臺(tái)的管理工作作出更合理的決策，但不能過分夸大元數(shù)據(jù)管理的工作范圍，它并不能替代現(xiàn)有

3、數(shù)據(jù)平臺(tái)開發(fā)和管理工具的角色，也不能徹底改變現(xiàn)有數(shù)據(jù)平臺(tái)的管理模式。,元數(shù)據(jù)系統(tǒng)-元數(shù)據(jù)管理定位,元數(shù)據(jù)管理的應(yīng)用價(jià)值 元數(shù)據(jù)管理的應(yīng)用價(jià)值主要體現(xiàn)在：,對(duì)數(shù)據(jù)再組織并形成全局性的視圖； 幫助用戶更好的理解各環(huán)節(jié)的數(shù)據(jù)和系統(tǒng)的建設(shè)現(xiàn)狀； 是保障企業(yè)數(shù)據(jù)質(zhì)量的基礎(chǔ)； 支持企業(yè)信息化的知識(shí)傳承； 提升數(shù)據(jù)平臺(tái)建設(shè)和管理水平。,元數(shù)據(jù)系統(tǒng)-價(jià)值,元數(shù)據(jù)管理-整合,統(tǒng)一的全局視圖,元數(shù)據(jù)管理-數(shù)據(jù)地圖,元數(shù)據(jù)解決方案-元數(shù)據(jù)應(yīng)用信息,元數(shù)據(jù)解決方案-信息檢索,元數(shù)據(jù)解決方案-數(shù)據(jù)字典,元數(shù)據(jù)解決方案-版本管理,元數(shù)據(jù)解決方案-影響分析,元數(shù)據(jù)解決方案-數(shù)據(jù)管控,元數(shù)據(jù)實(shí)施-總體規(guī)劃,元數(shù)據(jù)實(shí)施-組織機(jī)

4、構(gòu),元數(shù)據(jù)實(shí)施-管理辦法和流程,目錄,數(shù)據(jù)標(biāo)準(zhǔn)管理,數(shù)據(jù)標(biāo)準(zhǔn)管理應(yīng)用場(chǎng)景,數(shù)據(jù)標(biāo)準(zhǔn)工具邏輯架構(gòu)圖,數(shù)據(jù)標(biāo)準(zhǔn)是企業(yè)級(jí)的業(yè)務(wù)規(guī)范，用于指導(dǎo)各業(yè)務(wù)系統(tǒng)及數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，而元數(shù)據(jù)是系統(tǒng)級(jí)的描述手段，更多的反映系統(tǒng)建設(shè)情況； 數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)系統(tǒng)建設(shè)的成果可以通過元數(shù)據(jù)來反映； 系統(tǒng)的建設(shè)反過來促進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)的完善；,數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)關(guān)系,目錄,數(shù)據(jù)質(zhì)量問題產(chǎn)生原因,數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因,歸納分析后可以總結(jié)為4個(gè)領(lǐng)域： 信息問題域、技術(shù)問題域、流程問題域、管理問題域,數(shù)據(jù)質(zhì)量管理工具介紹,由于對(duì)數(shù)據(jù)本身的描述、理解及其度量標(biāo)準(zhǔn)的偏差而造成的數(shù)據(jù)質(zhì)量問題。產(chǎn)生這類數(shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯(cuò)誤

5、、數(shù)據(jù)度量的各種性質(zhì)得不到保證、變化頻度不恰當(dāng)?shù)取?元數(shù)據(jù)描述及理解錯(cuò)誤中的相關(guān)元數(shù)據(jù)主要包括： 業(yè)務(wù)元數(shù)據(jù)主要包括業(yè)務(wù)描述、業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)指標(biāo)口徑等； 技術(shù)元數(shù)據(jù)主要包括接口規(guī)范、執(zhí)行順序、依賴關(guān)系、ETL轉(zhuǎn)換、數(shù)據(jù)建模和工具等方面的內(nèi)容。 數(shù)據(jù)度量和變化頻度提供了衡量數(shù)據(jù)質(zhì)量好壞的手段。數(shù)據(jù)度量主要包括完整性、唯一性、一致性、準(zhǔn)確性、合法性。變化頻度主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)的變化周期和實(shí)體數(shù)據(jù)的刷新周期。,數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因分析信息域,數(shù)據(jù)質(zhì)量管理工具介紹,由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)異常所造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實(shí)現(xiàn)上的某種缺陷。技術(shù)類數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)主

6、要包括：數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳遞、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等方面： 數(shù)據(jù)創(chuàng)建質(zhì)量問題主要包括：創(chuàng)建數(shù)據(jù)默認(rèn)值使用不當(dāng)和數(shù)據(jù)錄入的校驗(yàn)規(guī)則不當(dāng)，導(dǎo)致指標(biāo)統(tǒng)計(jì)結(jié)果不一致、數(shù)據(jù)無效、記錄重復(fù)等； 數(shù)據(jù)傳遞質(zhì)量問題主要包括：接口數(shù)據(jù)及時(shí)率低、接口數(shù)據(jù)漏傳、網(wǎng)絡(luò)傳輸過程不可靠，如包丟失、文件傳輸方式錯(cuò)誤、傳輸技術(shù)問題、協(xié)議使用不當(dāng)導(dǎo)致的數(shù)據(jù)不完整等； 數(shù)據(jù)裝載質(zhì)量問題主要包括：數(shù)據(jù)清洗算法、數(shù)據(jù)轉(zhuǎn)換算法和數(shù)據(jù)加載算法的錯(cuò)誤；,數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因分析技術(shù)域,數(shù)據(jù)質(zhì)量管理工具介紹,由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程

7、、維護(hù)流程等各環(huán)節(jié)： 創(chuàng)建流程質(zhì)量問題主要指操作員數(shù)據(jù)錄入時(shí)缺乏審核流程； 傳遞流程質(zhì)量問題主要指通信流程溝通不暢； 裝載流程質(zhì)量問題主要指清洗流程缺乏/不當(dāng)、調(diào)度流程邏輯錯(cuò)誤、數(shù)據(jù)加載流程邏輯錯(cuò)誤及數(shù)據(jù)轉(zhuǎn)換流程邏輯錯(cuò)誤； 使用流程質(zhì)量問題主要指數(shù)據(jù)使用流程缺乏流程管理； 維護(hù)流程質(zhì)量問題主要指缺乏變更維護(hù)流程、缺乏錯(cuò)誤數(shù)據(jù)維護(hù)流程、缺乏數(shù)據(jù)測(cè)試流程以及對(duì)人工后臺(tái)調(diào)整數(shù)據(jù)沒有嚴(yán)格的流程監(jiān)控；,數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因分析流程域,數(shù)據(jù)質(zhì)量管理工具介紹,由于人員素質(zhì)及管理機(jī)制方面的 原因 造成的數(shù)據(jù)質(zhì)量問題如： 數(shù)據(jù)庫(kù)設(shè)計(jì)原則不嚴(yán)謹(jǐn)，數(shù)據(jù)使用不規(guī)范導(dǎo)致的業(yè)務(wù)數(shù)據(jù)重復(fù)，數(shù)據(jù)不一致。 人員培訓(xùn)所產(chǎn)生的質(zhì)量問題主要指對(duì)數(shù)據(jù)質(zhì)量相關(guān)人員缺少長(zhǎng)期培訓(xùn)計(jì)劃。 沒有建立管理數(shù)據(jù)質(zhì)量的專門機(jī)構(gòu)，出現(xiàn)數(shù)據(jù)質(zhì)量問題后無專人負(fù)責(zé) 沒有明確的數(shù)據(jù)質(zhì)量目標(biāo)； 缺少管理數(shù)據(jù)質(zhì)量的管理辦法等。,數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因分析管理域,數(shù)據(jù)質(zhì)量管理工具介紹,質(zhì)量管理模型和功能匹配,數(shù)據(jù)質(zhì)量管理工具介紹,數(shù)據(jù)質(zhì)量管理工具介紹,數(shù)據(jù)質(zhì)量管理工具介紹,數(shù)據(jù)質(zhì)量管理工具流程圖,數(shù)據(jù)質(zhì)量管理工具介紹,數(shù)據(jù)質(zhì)量管理開發(fā)功能清單,元數(shù)據(jù)側(cè)重于展現(xiàn)表結(jié)構(gòu)化的信息，數(shù)據(jù)質(zhì)量側(cè)重展現(xiàn)表