1、數(shù)據(jù)管理，演講者：部門：職位：數(shù)據(jù)管理，目標(biāo)1 :安全訪問安全存儲安全目標(biāo)2 :準(zhǔn)確的數(shù)據(jù)準(zhǔn)確目標(biāo)3 :正常負(fù)載效率異常負(fù)載效率、數(shù)據(jù)管理目標(biāo)、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理難點(diǎn)和重點(diǎn)、數(shù)據(jù)本身數(shù)據(jù)質(zhì)量數(shù)據(jù)完整性：數(shù)據(jù)完整性數(shù)據(jù)自主的數(shù)據(jù)并不是獨(dú)立地存在的，并且在數(shù)據(jù)之間通常存在描述數(shù)據(jù)關(guān)聯(lián)的各種約束。 數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，不能相互矛盾。 數(shù)據(jù)質(zhì)量的概念、數(shù)據(jù)的真實(shí)性、完整性、自我接觸性是數(shù)據(jù)本身應(yīng)具有的屬性，被稱為數(shù)據(jù)的絕對質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。 除了數(shù)據(jù)的絕對質(zhì)量之外，還有我們在利用數(shù)據(jù)保存過程中生成的數(shù)據(jù)質(zhì)量。 其中包括使用質(zhì)量、保存質(zhì)量和傳輸質(zhì)量，稱為過程質(zhì)量。 數(shù)據(jù)

2、的過程質(zhì)量數(shù)據(jù)的使用質(zhì)量：數(shù)據(jù)的使用質(zhì)量是指正確使用數(shù)據(jù)。 更正確的數(shù)據(jù)如果被錯(cuò)誤地使用，則不能得出正確的結(jié)論。 數(shù)據(jù)記憶質(zhì)量：表示數(shù)據(jù)安全地存儲在適當(dāng)?shù)慕橘|(zhì)中。 所謂安全性，就是采用適當(dāng)?shù)姆桨负图夹g(shù)抵抗外來因素，保護(hù)數(shù)據(jù)免受破壞，備份是我們經(jīng)常使用的技術(shù)，例如異地備份和雙機(jī)備份等，保存在適當(dāng)?shù)拿襟w上，在需要數(shù)據(jù)時(shí)能夠立即方便地獲取在現(xiàn)代信息社會，異地之間的數(shù)據(jù)傳輸正在增加，保證傳輸過程中的效率和準(zhǔn)確性非常重要。 數(shù)據(jù)質(zhì)量的概念，關(guān)系建設(shè)體系的成敗是由于許多數(shù)據(jù)倉庫的應(yīng)用程度不高或最后失敗，結(jié)果數(shù)據(jù)質(zhì)量不高所致。 數(shù)據(jù)質(zhì)量的好壞隨著結(jié)果是否與預(yù)期一致而下降數(shù)據(jù)質(zhì)量經(jīng)常與開發(fā)的系統(tǒng)和用戶的預(yù)期大

3、不相同，確定數(shù)據(jù)質(zhì)量是正確的保障數(shù)據(jù)信息是企業(yè)的重要戰(zhàn)略資源， 合理有效地使用正確的數(shù)據(jù)指導(dǎo)企業(yè)領(lǐng)導(dǎo)做出正確的決定，如果不合理地使用不正確的數(shù)據(jù)(也就是數(shù)據(jù)質(zhì)量差)，可能導(dǎo)致決策失敗，正好差的毫分，可以說是錯(cuò)誤的千里。 數(shù)據(jù)質(zhì)量是長期困擾開發(fā)的難題，數(shù)據(jù)質(zhì)量不高對困擾著這些項(xiàng)目的開發(fā)者和用戶來說是一個(gè)嚴(yán)重的問題。 數(shù)據(jù)質(zhì)量的重要性、數(shù)據(jù)質(zhì)量不高的主要原因、數(shù)據(jù)質(zhì)量分類、數(shù)據(jù)質(zhì)量示例、數(shù)據(jù)質(zhì)量管理方法、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理方法、數(shù)據(jù)源檢驗(yàn)方法、數(shù)據(jù)源檢驗(yàn)是對HDS的源表的數(shù)據(jù)質(zhì)量檢驗(yàn)。 數(shù)據(jù)源檢驗(yàn)可分為時(shí)效性檢驗(yàn)和準(zhǔn)確性檢驗(yàn)兩大類，其中準(zhǔn)確性檢驗(yàn)可分為完整性檢驗(yàn)、原則性檢驗(yàn)和邏輯性檢驗(yàn)。 在數(shù)

4、據(jù)源檢查方法、時(shí)效性檢查判斷約定的時(shí)間內(nèi)， 數(shù)據(jù)源中的數(shù)據(jù)按時(shí)完整性檢查HDS數(shù)據(jù)表和代碼表的完整性檢查HDS數(shù)據(jù)表記錄數(shù)檢查原則性檢查HDS數(shù)據(jù)表中字段的數(shù)值是合法的區(qū)間內(nèi)邏輯檢查表或多個(gè)表內(nèi)字段之間的邏輯關(guān)系的檢查完整性檢查規(guī)則3:HDS數(shù)據(jù)表包括日期類型字段，可以確定記錄數(shù)的范圍，必須進(jìn)行記錄數(shù)檢查。 原則檢查規(guī)則4:hds數(shù)據(jù)表中可以決定取值范圍的字段必須進(jìn)行原則檢查。 邏輯檢查規(guī)則5 :單個(gè)表或多個(gè)表內(nèi)的字段具有相同的業(yè)務(wù)意義，具有不同的統(tǒng)一口徑，有摘要關(guān)系。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。規(guī)則6 :本表字段與其他表字段的業(yè)務(wù)語義統(tǒng)一修訂口徑相同。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。

5、 規(guī)則7 :單個(gè)表或多個(gè)表內(nèi)的字段具有不同的業(yè)務(wù)意義，以相同的統(tǒng)一訂正口徑，業(yè)務(wù)上邏輯公式成立。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。 數(shù)據(jù)檢查方法、數(shù)據(jù)檢查是應(yīng)用直接用于DDS數(shù)據(jù)庫前臺的關(guān)聯(lián)表的檢查。 數(shù)據(jù)檢驗(yàn)分為時(shí)效性檢驗(yàn)和準(zhǔn)確性檢驗(yàn)兩大類，其中準(zhǔn)確性檢驗(yàn)分為完整性檢驗(yàn)、原則性檢驗(yàn)、模糊性檢驗(yàn)、邏輯性檢驗(yàn)。 數(shù)據(jù)檢查方法、 時(shí)效性檢查的判斷是在約定的時(shí)間內(nèi)前臺直接使用的相關(guān)表按時(shí)檢查一致性DDS事實(shí)表和維表的一致性檢查DDS事實(shí)表記錄數(shù)檢查原則檢查DDS事實(shí)表的單一字段的數(shù)值在正當(dāng)?shù)膮^(qū)間內(nèi)同一表內(nèi)字段間邏輯關(guān)系的檢查模糊性檢查判斷字段比率是否在合理的區(qū)間內(nèi)進(jìn)行邏輯檢查，編輯關(guān)系的檢查，應(yīng)用于

6、數(shù)據(jù)檢查的規(guī)則，時(shí)效性檢查規(guī)則1 :時(shí)效性檢查應(yīng)用于DDS中的所有維表和事實(shí)表。 一致性檢查規(guī)則2 :包含外鍵字段的DDS中的事實(shí)表必須進(jìn)行代碼一致性檢查。 規(guī)則3:DDS事實(shí)表(包括日期類型字段，可以確定記錄數(shù)的范圍)必須進(jìn)行記錄數(shù)檢查。 原則性的檢查規(guī)則4 :表中的字段可以決定取值的范圍，同時(shí)可以判斷這個(gè)范圍以外的數(shù)據(jù)一定是錯(cuò)誤的。 要滿足這個(gè)條件必須進(jìn)行原則性的檢查。 規(guī)則5 :具有與表內(nèi)多個(gè)字段相同的業(yè)務(wù)意義、不同的統(tǒng)一口徑，有統(tǒng)一訂正關(guān)系時(shí)，必須進(jìn)行原則性的檢查。 規(guī)則6 :同表內(nèi)多個(gè)場域間具有不同業(yè)務(wù)意義，同一統(tǒng)一訂正口徑，業(yè)務(wù)上邏輯公式成立時(shí)，必須進(jìn)行原則性檢查。 適用于數(shù)據(jù)檢查

7、的規(guī)則、模糊性檢查規(guī)則7 :不能進(jìn)行完整性、原則性檢查時(shí)，必須進(jìn)行模糊性檢查。 規(guī)則8 :規(guī)則7不成立時(shí)，根據(jù)系統(tǒng)的重要度決定是否進(jìn)行模糊性檢查。 系統(tǒng)的重要性和哪些系統(tǒng)進(jìn)行模糊性檢查由客戶決定。 邏輯檢驗(yàn)規(guī)則9 :本表的字段與其他表的字段具有相同的業(yè)務(wù)意義，具有不同的統(tǒng)一口徑、聚合關(guān)系，而且兩個(gè)表的數(shù)據(jù)不在同一數(shù)據(jù)源加工。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。 規(guī)則10 :此表中的字段與其他表中字段的業(yè)務(wù)含義、統(tǒng)一口徑相同，兩個(gè)表中的數(shù)據(jù)不在同一數(shù)據(jù)源中加工。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。 規(guī)則11 :本表字段與其他表字段具有不同的業(yè)務(wù)意義，相同的統(tǒng)一口徑，業(yè)務(wù)邏輯公式成立，且兩個(gè)表的數(shù)據(jù)不

8、在同一數(shù)據(jù)源加工。 要滿足這個(gè)條件需要邏輯上的驗(yàn)證。數(shù)據(jù)質(zhì)量檢驗(yàn)的順序、1、數(shù)據(jù)源的完整性檢驗(yàn)如果數(shù)據(jù)源的完整性檢驗(yàn)報(bào)告異常則停止ETL加載過程，然后的檢驗(yàn)2、數(shù)據(jù)源的原則檢驗(yàn)如果數(shù)據(jù)源的原則檢驗(yàn)報(bào)告異常則停止ETL加載過程。 后續(xù)檢查3、不需要數(shù)據(jù)檢查完整性檢查數(shù)據(jù)檢查的完整性檢查報(bào)告異常時(shí)，應(yīng)停止ETL加載過程；后續(xù)檢查4、不需要數(shù)據(jù)檢查原則性檢查數(shù)據(jù)檢查的原則性檢查報(bào)告異常時(shí)，應(yīng)停止ETL加載過程。 后續(xù)檢驗(yàn)5、數(shù)據(jù)源時(shí)效性檢驗(yàn)、數(shù)據(jù)源邏輯檢驗(yàn)、數(shù)據(jù)檢驗(yàn)時(shí)效性檢驗(yàn)、數(shù)據(jù)檢驗(yàn)?zāi)：詸z驗(yàn)、數(shù)據(jù)檢驗(yàn)邏輯檢驗(yàn)5種檢驗(yàn)方法不需要報(bào)告異常時(shí)，ETL裝載可以正常進(jìn)行，但需要提出警告提示、數(shù)據(jù)管理、數(shù)據(jù)

9、質(zhì)量檢驗(yàn)的案例步驟關(guān)聯(lián)的表確定后，全國煙草市場分類銷售狀況表(分價(jià)類)在DDS中直接使用的表是與app _ jjyx.t _ ft _ jjyx _ jyscflxlqk _ JL對應(yīng)的HDS中的來源表。 因此，以下的檢查規(guī)則主要是針對這兩個(gè)表制定的。 然后，步驟2確定數(shù)據(jù)源的時(shí)效性檢驗(yàn)規(guī)則，并且基于表EII recv.EII recv _ tz _ bs _ y _ q _ m _ sell detail中的數(shù)據(jù)到達(dá)規(guī)則將該表的每個(gè)月的最晚到達(dá)日期定義為8天。 第三步：確定數(shù)據(jù)源完整性檢查規(guī)則，基于數(shù)據(jù)源檢查應(yīng)用規(guī)則的規(guī)則2，3:1，在EII recv.EII recv _ tz _ bs

10、_ y _ q _ m _ sell detail中包含外鍵字段i_的I _ prove 機(jī)構(gòu)代碼對應(yīng)代碼表DM.T_DM_GJJ_ZZJG中的ZZJGDM。 支持標(biāo)準(zhǔn)的代碼表T_DM_GJJ_JY中的THTXBS。 此表符合規(guī)則2的檢查條件，需要代碼完整性檢查。 2 .此表包含日期型字段y、m，但每月記錄條數(shù)不確定，因此不符合規(guī)則3，無法檢查記錄條數(shù)。 步驟4確定數(shù)據(jù)源的原則檢驗(yàn)規(guī)則，根據(jù)數(shù)據(jù)源檢驗(yàn)應(yīng)用該規(guī)則的規(guī)則4:1，將數(shù)據(jù)字段sell (根據(jù)系統(tǒng)外業(yè)務(wù)經(jīng)驗(yàn)， 數(shù)據(jù)源檢查應(yīng)用規(guī)則5:1，數(shù)據(jù)源檢查應(yīng)用規(guī)則5:1，數(shù)據(jù)源檢查應(yīng)用規(guī)則5:1。 在包含字段Out_Sell_Retail_Amo

11、unt的EII recv.EII recv _ tz _ bs _ y _ q _ m _ basic表中，也包含字段Out_Sell_Retail_Amount、out_sell EII recv.EII recv _ tz _ bs _ y _ q _ m _ sell detail表收集商業(yè)企業(yè)分類煙草標(biāo)準(zhǔn)的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫存數(shù)據(jù)。 因此，eiirecv.eiirecv_tz_bs_ y _ q _ m _銷售詳細(xì)信息表中業(yè)務(wù)公司規(guī)范的匯總數(shù)據(jù)必須等于表EII recv.EII recv _ tz _ bs _。 步驟5確定數(shù)據(jù)源的邏輯檢驗(yàn)規(guī)則，并且根據(jù)數(shù)據(jù)源檢

12、驗(yàn)應(yīng)用該規(guī)則的規(guī)則6，7:1，EII recv.EII recv _ tz _ bs _ y _ q _ m _ selldetaill表包含字段和其他表2、EII recv.EII recv _ tz _ bs _ y _ q _ m _ selldetaill表格中包含字段sell (系統(tǒng)外總銷售量)、out_sell_reel。具有不同的業(yè)務(wù)意義、相同的統(tǒng)一訂正口徑， 存在業(yè)務(wù)邏輯關(guān)系： ratio _ stock _ sell=end _ store _ amount/sell sell=out _ sell _ re Taal表app _ jjyx.t _ ft _ jjyx _ j

13、yscflxlqk _ JL中使用的索引步驟7確定數(shù)據(jù)完整性檢查規(guī)則，基于數(shù)據(jù)檢查應(yīng)用規(guī)則的規(guī)則2，3:1，因?yàn)閍pp_jjyx_jyscflxlqk_jl不包含外鍵字段，所以不需要2 .此表顯示日期類型字段然后，在步驟8，確定數(shù)據(jù)的原則檢查規(guī)則，根據(jù)數(shù)據(jù)檢查來應(yīng)用規(guī)則4:1，并且確定在表app _ jjyx.t _ ft _ jjyx _ jyscflxlqk _ JL中包含字段BY_SYXL和by的可取值的范圍BY_JL1、BY_JL2、BY_JL3、BY_JL4和BY_JL50。 LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL50。步驟8確定數(shù)據(jù)的原則檢驗(yàn)規(guī)則，根據(jù)數(shù)據(jù)檢驗(yàn)應(yīng)用規(guī)則的規(guī)則5、6:1，app_jjyx_jyscflxlqk_jl中存在同一業(yè)務(wù)含義、不同的統(tǒng)一口徑，其中市場類型為全國的2、app _ jjyx.t _ ft _ jjyx _ jyscflxlqk _ JL中不包含的場所具有不同的業(yè)務(wù)意義，在相同的統(tǒng)一口徑下，存在業(yè)務(wù)上業(yè)務(wù)邏輯式。 因此，它不滿足數(shù)據(jù)驗(yàn)證規(guī)則6。 然后，在表7、8:1和表app _ jjyx.t _ ft _ jjyx _ jyscflxlqk _ JL中包含字段BY_SYXL、BY_HCY和lj，以確定步驟9中對數(shù)據(jù)的模糊性