數(shù)據(jù)質(zhì)量-培訓(xùn)2024/3/28數(shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityorinconsistentdatacausesdefectsinthevaluechainandisamomentumkillerforDataAlignment,SynchronisationandCollaborationCustomerServiceLevelOOSFailedATPCosttoServeLogisticsCallCentrePriceNegotiationsInventorieslevelsEmergencyStockReturnsRetiredproducts數(shù)據(jù)質(zhì)量培訓(xùn)日程什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量的重要性影響數(shù)據(jù)質(zhì)量問題的因素如何才能獲取高質(zhì)量數(shù)據(jù)Informatica平臺(tái)如何解決數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量培訓(xùn)什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個(gè)涵蓋面很廣的術(shù)語(yǔ)，涉及某條或某組數(shù)據(jù)的準(zhǔn)確性、完備性、一致性、符合性和時(shí)效性以及數(shù)據(jù)如何進(jìn)入并在整個(gè)企業(yè)內(nèi)流動(dòng)。不同的企業(yè)對(duì)數(shù)據(jù)質(zhì)量有著不同的定義和要求，但是數(shù)據(jù)質(zhì)量最終可歸結(jié)為“符合要求的數(shù)據(jù)”。并且數(shù)據(jù)質(zhì)量是個(gè)持續(xù)的過程。數(shù)據(jù)質(zhì)量培訓(xùn)什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲(chǔ)的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實(shí)來(lái)源還是可驗(yàn)證的來(lái)源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時(shí)效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？域級(jí)（字段）域之間業(yè)務(wù)邏輯數(shù)據(jù)傳遞，比如etl過程數(shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項(xiàng)目成功的最大障礙76%的數(shù)據(jù)集成項(xiàng)目或完全的失敗，或嚴(yán)重延遲主要的問題是缺乏對(duì)數(shù)據(jù)和數(shù)據(jù)質(zhì)量的理解平均來(lái)看,需要10個(gè)左右的迭代過程來(lái)分析數(shù)據(jù)質(zhì)量，并糾正存在的問題低質(zhì)量的數(shù)據(jù)影響決策的制定和執(zhí)行低質(zhì)量的數(shù)據(jù)影響對(duì)市場(chǎng)的反應(yīng)效率低質(zhì)量的數(shù)據(jù)導(dǎo)致不恰當(dāng)?shù)臎Q策投資沒價(jià)值的產(chǎn)品線關(guān)注無(wú)價(jià)值的客戶現(xiàn)代企業(yè)管理是數(shù)據(jù)質(zhì)量需求的催化劑知識(shí)工作者正在強(qiáng)烈的意識(shí)到數(shù)據(jù)是他們工作中最重要的資產(chǎn)全球化的組織和全球化的數(shù)據(jù)分布，使得數(shù)據(jù)集成變得愈發(fā)重要合規(guī)性的要求使得對(duì)數(shù)據(jù)管理的粗心不能再被容忍高質(zhì)量數(shù)據(jù)有利于提高客戶滿意度在與客戶交互環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題更應(yīng)該得到充分的關(guān)注正確的拼寫客戶的名字、性別和Title最新的產(chǎn)品信息最新的價(jià)格信息CRM，CallCenter系統(tǒng)中精確的客戶數(shù)據(jù)有利于幫助組織提升提供更佳的客戶服務(wù)提升交叉銷售和向上銷售的有效性將更多的機(jī)會(huì)轉(zhuǎn)化為真正客戶確保法規(guī)遵從高質(zhì)量的數(shù)據(jù)幫助實(shí)現(xiàn)Sarbanes-OxleyandBASELII等法規(guī)的控制要求和對(duì)業(yè)務(wù)績(jī)效的精確報(bào)告.在法規(guī)遵從方面都要求數(shù)據(jù)是可信賴的，并且是可審計(jì)的低質(zhì)量的數(shù)據(jù)造成資源、成本的耗費(fèi)TDWI估算由于客戶數(shù)據(jù)質(zhì)量問題，造成全美國(guó)$6111億美元的人力資源，打印，郵寄等成本的浪費(fèi)數(shù)據(jù)質(zhì)量培訓(xùn)影響數(shù)據(jù)質(zhì)量問題的因素?cái)?shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題源數(shù)據(jù)信息不正確源數(shù)據(jù)信息不完整源數(shù)據(jù)信息不一致標(biāo)準(zhǔn)代碼問題缺乏一致、完整的標(biāo)準(zhǔn)代碼，如產(chǎn)品代碼沒有可執(zhí)行的規(guī)范，或者有書面規(guī)范但執(zhí)行不力等代碼直接寫在程序中，沒有代碼表維護(hù)ETL產(chǎn)生的質(zhì)量問題技術(shù)性問題非技術(shù)性問題（如業(yè)務(wù)規(guī)則理解錯(cuò)誤）數(shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)和業(yè)務(wù)規(guī)則不符數(shù)據(jù)產(chǎn)生不嚴(yán)謹(jǐn)手工錄入不規(guī)范新舊系統(tǒng)的切換數(shù)據(jù)的孤立修改造成系統(tǒng)之間數(shù)據(jù)不一致數(shù)據(jù)使用和加工環(huán)節(jié)數(shù)據(jù)抽取錯(cuò)誤或遺漏數(shù)據(jù)的時(shí)間段錯(cuò)誤數(shù)據(jù)的重復(fù)抽取數(shù)據(jù)生成的時(shí)間點(diǎn)錯(cuò)誤數(shù)據(jù)加載轉(zhuǎn)換規(guī)則錯(cuò)誤數(shù)據(jù)質(zhì)量培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評(píng)估數(shù)據(jù)數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)數(shù)據(jù)質(zhì)量策略選擇和實(shí)施上游策略下游策略數(shù)據(jù)質(zhì)量培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評(píng)估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)，以了解隱藏的數(shù)據(jù)質(zhì)量問題完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲(chǔ)的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實(shí)來(lái)源還是可驗(yàn)證的來(lái)源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時(shí)效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？數(shù)據(jù)質(zhì)量培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)對(duì)數(shù)據(jù)的內(nèi)容和質(zhì)量有了一個(gè)清晰的了解之后，下一步是進(jìn)行規(guī)劃和項(xiàng)目計(jì)劃，以糾正當(dāng)前錯(cuò)誤和防止將來(lái)出現(xiàn)錯(cuò)誤。有效的計(jì)劃可以解決企業(yè)現(xiàn)有應(yīng)用程序庫(kù)中的數(shù)據(jù)質(zhì)量問題，并且能夠確保新的應(yīng)用程序從開始就融入數(shù)據(jù)質(zhì)量原則。數(shù)據(jù)質(zhì)量培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實(shí)施采用企業(yè)范圍內(nèi)的、反復(fù)的持續(xù)性方法解決數(shù)據(jù)質(zhì)量問題。與此同時(shí)，無(wú)法一次性解決所有數(shù)據(jù)質(zhì)量問題。要確保為企業(yè)提供準(zhǔn)確、一致和及時(shí)的數(shù)據(jù)，唯一途徑是通過可最終涵蓋所有公司數(shù)據(jù)的階段性數(shù)據(jù)質(zhì)量管理程序?qū)崿F(xiàn)。選擇用于解決長(zhǎng)期數(shù)據(jù)質(zhì)量問題的策略要求根據(jù)每個(gè)數(shù)據(jù)質(zhì)量方案產(chǎn)生的影響平衡方案的成本。常用的策略類型有兩種：在企業(yè)中的輸入點(diǎn)解決數(shù)據(jù)質(zhì)量問題的方法稱為“上游策略”，而在消耗來(lái)自操作系統(tǒng)（如數(shù)據(jù)倉(cāng)庫(kù)）的數(shù)據(jù)的應(yīng)用程序中實(shí)施則稱為“下游策略”。數(shù)據(jù)質(zhì)量培訓(xùn)上游策略上游策略將檢驗(yàn)現(xiàn)有應(yīng)用程序的邏輯、數(shù)據(jù)和流程，以便獲得通過探查來(lái)處理未覆蓋的異常情況的機(jī)會(huì)。這可能包括更改應(yīng)用程序邏輯、增添更好的表單驗(yàn)證、改進(jìn)與數(shù)據(jù)輸入相關(guān)的流程，而且會(huì)要求對(duì)準(zhǔn)備好的數(shù)據(jù)進(jìn)行清洗。它還可能強(qiáng)迫在應(yīng)用程序自身融入數(shù)據(jù)質(zhì)量功能，例如，在數(shù)據(jù)進(jìn)入企業(yè)時(shí)根據(jù)已知示例對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證。由于此方法可以在源頭上解決數(shù)據(jù)質(zhì)量問題，因此它對(duì)每個(gè)從該來(lái)源提取數(shù)據(jù)的應(yīng)用程序和每個(gè)將來(lái)會(huì)從該來(lái)源提取數(shù)據(jù)的應(yīng)用程序大有裨益。但是，上游策略耗費(fèi)高。它們可能要求對(duì)應(yīng)用程序、其邏輯和數(shù)據(jù)進(jìn)行更改。企業(yè)在更改現(xiàn)有解決方案時(shí)可能會(huì)遇到阻礙。要成功實(shí)施上游策略，項(xiàng)目需要明確的所有權(quán)、共識(shí)和來(lái)自其它團(tuán)隊(duì)的員工的支持。數(shù)據(jù)質(zhì)量培訓(xùn)下游策略下游策略在目標(biāo)應(yīng)用程序或數(shù)據(jù)倉(cāng)庫(kù)中解決數(shù)據(jù)質(zhì)量問題，而不是在數(shù)據(jù)源。由于可以迅速修改數(shù)據(jù)，因此策略可以在流程中得到改進(jìn)，這通常是通過數(shù)據(jù)轉(zhuǎn)換、清洗和查找驗(yàn)證來(lái)實(shí)現(xiàn)的。下游策略只對(duì)正在使用目標(biāo)應(yīng)用程序或數(shù)據(jù)倉(cāng)庫(kù)的使用者有益，但是相比上游策略，下游策略實(shí)施起來(lái)要容易得多并且耗費(fèi)更低。數(shù)據(jù)質(zhì)量培訓(xùn)Informatica平臺(tái)如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管理流程探查和分析

多個(gè)來(lái)源數(shù)據(jù)集成將來(lái)源映射至目標(biāo)結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)構(gòu)建企業(yè)數(shù)據(jù)

質(zhì)量規(guī)則部署規(guī)則交互/

批量/實(shí)時(shí)報(bào)告數(shù)據(jù)

質(zhì)量指標(biāo)結(jié)構(gòu)分析和映射對(duì)數(shù)據(jù)質(zhì)量進(jìn)行持續(xù)清洗和監(jiān)控維持監(jiān)控實(shí)施（一次性）維持（持續(xù)不斷）清洗分析提取將問題報(bào)告

發(fā)送回來(lái)源維持（持續(xù)不斷）來(lái)源DQ

報(bào)告和管理來(lái)源DQ

報(bào)告和管理源數(shù)據(jù)檢查員企業(yè)數(shù)據(jù)檢查員數(shù)據(jù)檢查員糾正的數(shù)據(jù)和

改進(jìn)的數(shù)據(jù)質(zhì)量123345數(shù)據(jù)質(zhì)量培訓(xùn)Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容、一致性和數(shù)據(jù)結(jié)構(gòu)的有效途徑來(lái)自PhilipRussom’sTDWI報(bào)告…所有的數(shù)據(jù)質(zhì)量項(xiàng)目都必須從數(shù)據(jù)質(zhì)量探查起步基于工具的數(shù)據(jù)探查比手工的方法具有更高的生產(chǎn)力數(shù)據(jù)質(zhì)量探查不是一次性的工作數(shù)據(jù)探查,數(shù)據(jù)集成,數(shù)據(jù)質(zhì)量是數(shù)據(jù)管理最佳實(shí)踐的三個(gè)親密兄弟

Source:TakingDataQualitytotheEnterprisethroughDataGovernance–TDWIReport,March2006byPhilipRussom數(shù)據(jù)質(zhì)量培訓(xùn)ApplicationsDatabasesFlatfilesMainframe

問題分類完整性Conformity一致性準(zhǔn)確性重復(fù)的數(shù)據(jù)數(shù)據(jù)相關(guān)性數(shù)據(jù)清理規(guī)格說(shuō)明書數(shù)據(jù)轉(zhuǎn)換規(guī)格說(shuō)明書數(shù)以千計(jì)的數(shù)據(jù)屬性數(shù)以百萬(wàn)的紀(jì)錄DiscoverDiscoverStep1:數(shù)據(jù)質(zhì)量探查所有發(fā)現(xiàn)的問題都應(yīng)該向數(shù)據(jù)源系統(tǒng)的責(zé)任人進(jìn)行報(bào)告數(shù)據(jù)質(zhì)量培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標(biāo)僅僅知道“我的數(shù)據(jù)質(zhì)量有問題”對(duì)數(shù)據(jù)質(zhì)量項(xiàng)目來(lái)說(shuō)是不夠的需要了解，那些數(shù)據(jù)有問題？這些問題是如何產(chǎn)生的？定義數(shù)據(jù)質(zhì)量度量度量必須和業(yè)務(wù)目標(biāo)一致（綁定）在沒有綁定之前，不要啟動(dòng)項(xiàng)目設(shè)定改進(jìn)目標(biāo)Howwillyouknowwhenyouaredone?數(shù)據(jù)質(zhì)量培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標(biāo)一旦完成初步的數(shù)據(jù)質(zhì)量探查，需要馬上設(shè)定改進(jìn)的目標(biāo)針對(duì)特定的系統(tǒng)，制定有針對(duì)性，“足夠好”的改進(jìn)計(jì)劃定義100%滿足，不一定是利用資源的最佳方式數(shù)據(jù)質(zhì)量培訓(xùn)Step3:設(shè)計(jì)&建立數(shù)據(jù)質(zhì)量規(guī)則

Standardize,Correct,andEnrich數(shù)據(jù)標(biāo)準(zhǔn)化糾正/補(bǔ)全有問題的數(shù)據(jù)數(shù)據(jù)增強(qiáng)“Onceinthesystem,poordataqualitycancostorganizationsvastsumsinlostrevenues.Defectivedataleadstobreakdownsinthesupplychain,poorbusinessdecisions,andinferiorcustomerrelationshipmanagement.”InformaticaVelocity數(shù)據(jù)質(zhì)量培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻

CRMFinanceSupplyChainLegacyExternalSystemsDataQualityFireWall

OperationalDataStoreLoadTransformExtractDataQuality

ETLReconciliationFuzzyMatchingScorecardingCleansingEnrichment

DataWarehouseERPCustomerHubProductHubSupplierHub

SingleViewOfProductSingleViewofCustomerDQReportingDQScorecardingReportingBaselIIIASSOXDataMining數(shù)據(jù)質(zhì)量培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時(shí)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)質(zhì)量檢測(cè)，例如：在數(shù)據(jù)錄入時(shí)進(jìn)行數(shù)據(jù)匹配和清理這個(gè)活動(dòng)可以有效地阻止有問題的數(shù)據(jù)進(jìn)入系統(tǒng)數(shù)據(jù)質(zhì)量培訓(xùn)Step5管理過程包含:常規(guī)的基準(zhǔn)設(shè)定監(jiān)控質(zhì)量變化趨勢(shì)保持和業(yè)務(wù)發(fā)現(xiàn)一致Step5:監(jiān)控?cái)?shù)據(jù)質(zhì)量Vs.目標(biāo)數(shù)據(jù)質(zhì)量培訓(xùn)CustomerObjectMaterialsObjectVendorObjectAssetObjectStep5:監(jiān)控?cái)?shù)據(jù)質(zhì)量Vs.目標(biāo)數(shù)據(jù)質(zhì)量培訓(xùn)Step5:監(jiān)控?cái)?shù)據(jù)質(zhì)量Vs.目標(biāo)

ProgressOverTime數(shù)據(jù)質(zhì)量培訓(xùn)數(shù)據(jù)質(zhì)量管理過程管理

Analyze1.ProfiletheData2.EstablishMetricsandDefineTargets3.Design&BuildQualityRules5.MonitorDataQualityVersusTargetsEnhanceImplementAuditControls4.BuildaDQFirewallTargetApplicationXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeSources數(shù)據(jù)質(zhì)量培訓(xùn)如何保證數(shù)據(jù)使用和加工環(huán)節(jié)的數(shù)據(jù)質(zhì)量詳細(xì)的ETL設(shè)計(jì)文檔測(cè)試：根據(jù)實(shí)際情況選擇測(cè)試是貫穿整個(gè)開發(fā)過程還是在全部開發(fā)工作完成以后進(jìn)行，并確定測(cè)試的順序，此任務(wù)需在項(xiàng)目的開始階段就進(jìn)行考慮元數(shù)據(jù)管理：通過InformaticaMetadataManager，用戶可以清晰的了解到數(shù)據(jù)源是什么，中間做了什么轉(zhuǎn)換，即可了解：此數(shù)據(jù)來(lái)自何處？此結(jié)果是如何計(jì)算的？它的可靠程度如何？如何使用？我們的結(jié)果是否一致并具有合規(guī)性？數(shù)據(jù)質(zhì)量培訓(xùn)元數(shù)據(jù)管理SourcesTargetsBusinessIntelligenceMetadataMetadataMetadataCustomMetadataDataModel