數(shù)據(jù)的轉換方法學習目標2知識目標●數(shù)據(jù)的轉換●數(shù)據(jù)轉換和加工的方法能力目標●了解數(shù)據(jù)的轉換●掌握數(shù)據(jù)轉換的方法學習任務3初步探索數(shù)據(jù)的轉換初步探索數(shù)據(jù)轉換的方法初步探索數(shù)據(jù)加工的方法總結數(shù)據(jù)轉換的方法數(shù)據(jù)轉換和加工的方法數(shù)據(jù)的轉換4目錄5數(shù)據(jù)的轉換數(shù)據(jù)轉換是指對業(yè)務系統(tǒng)中抽取的數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求，進行數(shù)據(jù)的轉化處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)具有一致性和完整性，并按要求裝入數(shù)據(jù)倉庫。數(shù)據(jù)轉換的任務主要進行不一致的數(shù)據(jù)轉換、數(shù)據(jù)粒度的轉換，以及一些商務規(guī)則的計算。6數(shù)據(jù)的轉換不一致的數(shù)據(jù)轉換這個過程是一個整合的過程，將不同業(yè)務系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，比如同一個供應商在結算系統(tǒng)的編碼是XX0001,而在CRM中編碼是YY0001，這樣在抽取過來之后統(tǒng)一轉換成一個編碼。7數(shù)據(jù)的轉換數(shù)據(jù)粒度的轉換業(yè)務系統(tǒng)一般存儲非常明細的數(shù)據(jù)，而數(shù)據(jù)倉庫中數(shù)據(jù)是用來分析的，不需要非常明細的數(shù)據(jù)。一般情況下，會將業(yè)務系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進行聚合。8數(shù)據(jù)的轉換商務規(guī)則的計算不同的企業(yè)有不同的業(yè)務規(guī)則、不同的數(shù)據(jù)指標，這些指標有的時候不是簡單的加加減減就能完成，這個時候需要在ETL中將這些數(shù)據(jù)指標計算好了之后存儲在數(shù)據(jù)倉庫中，以供分析使用。9數(shù)據(jù)轉換和加工的方法從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取出的數(shù)據(jù)進行數(shù)據(jù)轉換和加工。數(shù)據(jù)的轉換和加工可以在ETL引擎中進行，也可以在數(shù)據(jù)抽取過程中利用關系數(shù)據(jù)庫的特性同時進行。10數(shù)據(jù)轉換和加工的方法ETL引擎中的數(shù)據(jù)轉換和加工ETL引擎中一般以組件化的方式實現(xiàn)數(shù)據(jù)轉換。常用的數(shù)據(jù)轉換組件有字段映射、數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)替換、數(shù)據(jù)計算、數(shù)據(jù)驗證、數(shù)據(jù)加解密、數(shù)據(jù)合并、數(shù)據(jù)拆分等。這些組件如同一條流水線上的一道道工序，它們是可插拔的，且可以任意組裝，各組件之間通過數(shù)據(jù)總線共享數(shù)據(jù)。同時ETL工具還提供了腳本支持，使得用戶可以以一種編程的方式定制數(shù)據(jù)的轉換和加工行為。相比在數(shù)據(jù)庫中加工，性能較高，但不容易進行修改和清晰辨認。11數(shù)據(jù)轉換和加工的方法在數(shù)據(jù)庫中進行數(shù)據(jù)加工關系數(shù)據(jù)庫本身已經提供了強大的SQL、函數(shù)來支持數(shù)據(jù)的加工，如在SQL查詢語句中添加where條件進行過濾，查詢中重命名字段名與目的表進行映射，substr函數(shù)，case條件判斷等等。12數(shù)據(jù)轉換和加工的方法數(shù)據(jù)的轉換方法（1）在數(shù)據(jù)抽取過程中進行數(shù)據(jù)處理。（2）使用異步數(shù)據(jù)裝載，以文件的方式進行處理。（3）在數(shù)據(jù)裝載過程中進行數(shù)據(jù)處理。（4）進入數(shù)據(jù)倉庫以后再進行數(shù)據(jù)處理。13數(shù)據(jù)轉換和加工的方法相比在ETL引擎中進行數(shù)據(jù)轉換和加工，直接在SQL語句中進行轉換和加工更加簡單清晰；但依賴S