第2章

數(shù)據(jù)倉庫02ETL處理過程什么是ETLETL的實現(xiàn)方法數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清洗數(shù)據(jù)加載什么是ETL異構(gòu)數(shù)據(jù)庫數(shù)據(jù)倉庫抽取轉(zhuǎn)換、清洗加載ETL（Extract-Transform-Load）是將聯(lián)機事務(wù)處理系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。ETL是構(gòu)建數(shù)據(jù)倉庫的重要過程。ETL的實現(xiàn)有多種方法，常用的有三種：ETL工具實現(xiàn)、SQL方式實現(xiàn)、ETL工具結(jié)合SQL方式實現(xiàn)。實現(xiàn)方法優(yōu)點缺點ETL工具速度快、難度低靈活度低、運行效率低SQL方式靈活度高、運行效率高編碼復(fù)雜、技術(shù)要求高ETL工具+SQL方式開發(fā)速度和效率高ETL的實現(xiàn)方法數(shù)據(jù)倉庫是面向主題的，并非所有源數(shù)據(jù)庫的數(shù)據(jù)都是有用的，因此在把數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉庫之前，需要先確定該數(shù)據(jù)庫中哪些數(shù)據(jù)是與決策相關(guān)的。1.確定數(shù)據(jù)源的數(shù)據(jù)及其含義2.確定數(shù)據(jù)的抽取范圍3.確定數(shù)據(jù)的抽取頻率4.確定外部數(shù)據(jù)的導(dǎo)入方式5.確定抽取異常的處理方式6.確定輸出目的地和格式具體流程和主要工作：數(shù)據(jù)抽取數(shù)據(jù)倉庫的數(shù)據(jù)通常來源于多個異構(gòu)的數(shù)據(jù)庫，因此源數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前，需要對數(shù)據(jù)進行一定的數(shù)據(jù)轉(zhuǎn)換，以保證數(shù)據(jù)的一致性。1.不一致數(shù)據(jù)的轉(zhuǎn)換2.數(shù)據(jù)粒度的轉(zhuǎn)換3.商務(wù)規(guī)則的計算數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認是否過濾掉還是由業(yè)務(wù)單位修正之后再進行抽取。數(shù)據(jù)的清洗是一個循環(huán)反復(fù)的過程。清洗重復(fù)的數(shù)據(jù)清洗錯誤的數(shù)據(jù)清洗不完整的數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換、清洗結(jié)束后，需要把數(shù)據(jù)裝載到數(shù)據(jù)倉庫中，數(shù)據(jù)的裝載有三種方式。數(shù)據(jù)裝載初始裝載增量裝載完全刷新數(shù)據(jù)加載1.進行數(shù)據(jù)倉庫構(gòu)建的過程中需要使用到ETL技術(shù)，那么ETL具體指的是（）A、抽取，轉(zhuǎn)換和清洗，加載B、抽取，加載，轉(zhuǎn)換和清洗C、轉(zhuǎn)換和清洗，加載，抽取D、轉(zhuǎn)換和清洗，抽取，加載小試牛刀搶答加分環(huán)節(jié)單選2.對數(shù)據(jù)進行清洗、數(shù)據(jù)轉(zhuǎn)換、清洗結(jié)束后，需要把數(shù)據(jù)存儲到數(shù)據(jù)倉庫中，通常會使用到的數(shù)據(jù)裝載