第二章數(shù)據(jù)預處理◆2.1數(shù)據(jù)驗證◆22數(shù)據(jù)清理23數(shù)據(jù)轉(zhuǎn)換24小結(jié)第二章數(shù)據(jù)預處理12.1數(shù)據(jù)驗證◆為避免數(shù)據(jù)冗余,在數(shù)據(jù)被加載到數(shù)據(jù)倉庫之前,必須對數(shù)據(jù)進行有效性檢查?！羧绻麤]有進行必要的有效性檢查,就有可能破壞依賴于數(shù)據(jù)倉庫商業(yè)分析的完整性,幫助檢查數(shù)據(jù)的有效性的最好方法是源系統(tǒng)的專家。源系統(tǒng)的專家包括具有技術專業(yè)知識和非技術知識的人士2.1數(shù)據(jù)驗證2數(shù)據(jù)驗證(續(xù))令在多維數(shù)據(jù)集的處理過程中,AnalysisServices并不驗證數(shù)據(jù)庫的參照完整性?！羧绻嗑S數(shù)據(jù)集的事實數(shù)據(jù)表包含的外碼值不在相應的維度表的主碼值范圍內(nèi),則不處理包含這些值的事實數(shù)據(jù)行◆處理不會給出錯誤信息,但是多維數(shù)據(jù)集卻包含了不完整的數(shù)據(jù),從而導致數(shù)據(jù)分析的不準確。數(shù)據(jù)驗證(續(xù))3驗證示例憑證編號借款合同編號客產(chǎn)門黃款性質(zhì)分頭貨款期限好關借全額貨款線分類擔保方式借21320191132221974..11款憑證表1120193120.1329195413120190.13102050.132:2333..122222800.0010500,.13000.1302319..283120500.13050.10:5636..14041性方丈傳瑪擔保方丈代碼名稱擔方丈明妞代方式明妞代名稱擔保方式表不在此甲其它可轉(zhuǎn)讓的利驗證示例4驗證方式令查找SELECTDISTINCT擔保方式FRoM借款憑證表WHERE擔保方式NOTINSELECT擔保方式明細代碼FROM擔保方式表)處理INSERTINTO擔保方式表VALUES(4','質(zhì)押',"404"質(zhì)押-金融債券')INSERTINTO擔保方式表VALUES(4,'質(zhì)押',410’,′質(zhì)押-外匯保函’)驗證方式52.2數(shù)據(jù)清理從源系統(tǒng)中采集到的數(shù)據(jù)來源眾多、種類繁雜以及錄入不規(guī)范,因此可能導致某些數(shù)據(jù)值定義不完整、值缺失、數(shù)據(jù)冗余等情況。會影響多維分析結(jié)果的正確性。因此,在將這些數(shù)據(jù)加載到數(shù)據(jù)倉庫或者數(shù)據(jù)集市之前必須對其進行清理。冗余數(shù)據(jù)的處理空值的處理不規(guī)范數(shù)據(jù)的處理2.2數(shù)據(jù)清理6冗余數(shù)據(jù)的處理☆1.重復行數(shù)據(jù)的清理技術◆數(shù)據(jù)表中的重復行數(shù)據(jù)是指由于企業(yè)數(shù)據(jù)庫系統(tǒng)設計上的缺陷等原因,使數(shù)據(jù)表中存在數(shù)據(jù)值完全相同的記錄?！魧χ貜托袛?shù)據(jù)進行處理時要考慮兩種情況:第一種是直接在原始表中刪除重復行數(shù)據(jù);第二種是在刪掉重復行數(shù)據(jù)的同時將這些被刪除的重復行數(shù)據(jù)保留在另一張表中,這樣便于分析者査看有哪些重復行數(shù)據(jù)。冗余數(shù)據(jù)的處理7重復行數(shù)據(jù)示例行號代碼名稱利率開胎日明500109年五車期政債券和uL5011單位活其存5001100單位活存款70100NULL45m+m單位活款99Q-07-01-00:00.06NU5500100單位活存歌1807010000NUL6」510單位活其掌單位活具存款93191020單位活其素5.32019102300mNu9」12同存一1971020UNUu:50102某某銀行債券科率104120190101-00-+ttt116419570110000NUuL357197010000Mu總行金融簧券9719901000AUL重復行數(shù)據(jù)示例8(1)直接在表中刪除重復行數(shù)據(jù)◆步驟1查詢有重復行數(shù)據(jù)的表中的全部數(shù)據(jù)并去掉重復行,將不包含重復行數(shù)據(jù)的結(jié)果保存到一個新的臨時表中;◆步驟2刪除有重復行數(shù)據(jù)的表中的全部數(shù)據(jù);令步驟3將臨時表中的數(shù)據(jù)寫回到原表中。(1)直接在表中刪除重復行數(shù)據(jù)9清理代碼CREATEPROCEDUREP_HandleRedundanceRowDataTABNAMEVARCHAR(100)處理有重復行數(shù)據(jù)的表名ASDECLARESQLNVARCHAR(300)IFEXISTS(SELECTFROMTEMPDB.SYSOBJECTSWHERESUBSTRING(NAME,1,4=##TBANDXTYPE=U)DROPTABLE=:=TB將去掉重復行的數(shù)據(jù)插入到一個臨時表中SETSQL=SELECTDISTINCT*INTO##TBFROM+TABNAMEEXEC(SQLEXEC(TRUNCATETABLE+TABNAMESETSQL=INSERTINTO+TABNAMESELECTFROM###tBEXEC(OSQLEXEC(DROPTABLE##TB)清理代碼10數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件11數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件12數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件13數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件14數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件15數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件16數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件17數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件18數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件19數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件20數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件21數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件22數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件23數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件24數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件25數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件26數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件27數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件28數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件29數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件30數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件31數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件32數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件33數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件34數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件35數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件36數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件37數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件38數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件39數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件40數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件41數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件42數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件43數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件44數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件45數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件46數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件47第二章數(shù)據(jù)預處理◆2.1數(shù)據(jù)驗證◆22數(shù)據(jù)清理23數(shù)據(jù)轉(zhuǎn)換24小結(jié)第二章數(shù)據(jù)預處理482.1數(shù)據(jù)驗證◆為避免數(shù)據(jù)冗余,在數(shù)據(jù)被加載到數(shù)據(jù)倉庫之前,必須對數(shù)據(jù)進行有效性檢查?！羧绻麤]有進行必要的有效性檢查,就有可能破壞依賴于數(shù)據(jù)倉庫商業(yè)分析的完整性,幫助檢查數(shù)據(jù)的有效性的最好方法是源系統(tǒng)的專家。源系統(tǒng)的專家包括具有技術專業(yè)知識和非技術知識的人士2.1數(shù)據(jù)驗證49數(shù)據(jù)驗證(續(xù))令在多維數(shù)據(jù)集的處理過程中,AnalysisServices并不驗證數(shù)據(jù)庫的參照完整性?！羧绻嗑S數(shù)據(jù)集的事實數(shù)據(jù)表包含的外碼值不在相應的維度表的主碼值范圍內(nèi),則不處理包含這些值的事實數(shù)據(jù)行◆處理不會給出錯誤信息,但是多維數(shù)據(jù)集卻包含了不完整的數(shù)據(jù),從而導致數(shù)據(jù)分析的不準確。數(shù)據(jù)驗證(續(xù))50驗證示例憑證編號借款合同編號客產(chǎn)門黃款性質(zhì)分頭貨款期限好關借全額貨款線分類擔保方式借21320191132221974..11款憑證表1120193120.1329195413120190.13102050.132:2333..122222800.0010500,.13000.1302319..283120500.13050.10:5636..14041性方丈傳瑪擔保方丈代碼名稱擔方丈明妞代方式明妞代名稱擔保方式表不在此甲其它可轉(zhuǎn)讓的利驗證示例51驗證方式令查找SELECTDISTINCT擔保方式FRoM借款憑證表WHERE擔保方式NOTINSELECT擔保方式明細代碼FROM擔保方式表)處理INSERTINTO擔保方式表VALUES(4','質(zhì)押',"404"質(zhì)押-金融債券')INSERTINTO擔保方式表VALUES(4,'質(zhì)押',410’,′質(zhì)押-外匯保函’)驗證方式522.2數(shù)據(jù)清理從源系統(tǒng)中采集到的數(shù)據(jù)來源眾多、種類繁雜以及錄入不規(guī)范,因此可能導致某些數(shù)據(jù)值定義不完整、值缺失、數(shù)據(jù)冗余等情況。會影響多維分析結(jié)果的正確性。因此,在將這些數(shù)據(jù)加載到數(shù)據(jù)倉庫或者數(shù)據(jù)集市之前必須對其進行清理。冗余數(shù)據(jù)的處理空值的處理不規(guī)范數(shù)據(jù)的處理2.2數(shù)據(jù)清理53冗余數(shù)據(jù)的處理☆1.重復行數(shù)據(jù)的清理技術◆數(shù)據(jù)表中的重復行數(shù)據(jù)是指由于企業(yè)數(shù)據(jù)庫系統(tǒng)設計上的缺陷等原因,使數(shù)據(jù)表中存在數(shù)據(jù)值完全相同的記錄。◆對重復行數(shù)據(jù)進行處理時要考慮兩種情況:第一種是直接在原始表中刪除重復行數(shù)據(jù);第二種是在刪掉重復行數(shù)據(jù)的同時將這些被刪除的重復行數(shù)據(jù)保留在另一張表中,這樣便于分析者査看有哪些重復行數(shù)據(jù)。冗余數(shù)據(jù)的處理54重復行數(shù)據(jù)示例行號代碼名稱利率開胎日明500109年五車期政債券和uL5011單位活其存5001100單位活存款70100NULL45m+m單位活款99Q-07-01-00:00.06NU5500100單位活存歌1807010000NUL6」510單位活其掌單位活具存款93191020單位活其素5.32019102300mNu9」12同存一1971020UNUu:50102某某銀行債券科率104120190101-00-+ttt116419570110000NUuL357197010000Mu總行金融簧券9719901000AUL重復行數(shù)據(jù)示例55(1)直接在表中刪除重復行數(shù)據(jù)◆步驟1查詢有重復行數(shù)據(jù)的表中的全部數(shù)據(jù)并去掉重復行,將不包含重復行數(shù)據(jù)的結(jié)果保存到一個新的臨時表中;◆步驟2刪除有重復行數(shù)據(jù)的表中的全部數(shù)據(jù);令步驟3將臨時表中的數(shù)據(jù)寫回到原表中。(1)直接在表中刪除重復行數(shù)據(jù)56清理代碼CREATEPROCEDUREP_HandleRedundanceRowDataTABNAMEVARCHAR(100)處理有重復行數(shù)據(jù)的表名ASDECLARESQLNVARCHAR(300)IFEXISTS(SELECTFROMTEMPDB.SYSOBJECTSWHERESUBSTRING(NAME,1,4=##TBANDXTYPE=U)DROPTABLE=:=TB將去掉重復行的數(shù)據(jù)插入到一個臨時表中SETSQL=SELECTDISTINCT*INTO##TBFROM+TABNAMEEXEC(SQLEXEC(TRUNCATETABLE+TABNAMESETSQL=INSERTINTO+TABNAMESELECTFROM###tBEXEC(OSQLEXEC(DROPTABLE##TB)清理代碼57數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件58數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件59數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件60數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件61數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件62數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件63數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件64數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件65數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件66數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件67數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件68數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件69數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件70數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件71數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件72數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件73數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件74數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件75數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件76數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件77數(shù)據(jù)倉庫-數(shù)據(jù)預處理課件7