ETL數(shù)據(jù)預(yù)處理技術(shù)主講人：王浩任務(wù)6-2增量加載01.目錄增量加載案例CONTENTS增量加載是指目標(biāo)表僅加載源數(shù)據(jù)表中新增和發(fā)生變化的數(shù)據(jù)。優(yōu)秀的增量加載機制不但能夠?qū)I(yè)務(wù)系統(tǒng)中的變化數(shù)據(jù)按一定的頻率準(zhǔn)確地捕獲到并加載到目標(biāo)表中，同時還不會對業(yè)務(wù)系統(tǒng)造成太大的壓力，也不會影響現(xiàn)有業(yè)務(wù)。通過Kettle工具將數(shù)據(jù)表incremental_source中的數(shù)據(jù)增量加載到數(shù)據(jù)表incremental_target中。案例介紹數(shù)據(jù)準(zhǔn)備假設(shè)，現(xiàn)有兩張數(shù)據(jù)表，分別為incremental_source和incremental_target_copy，其中incremental_source為源數(shù)據(jù)表，incremental_target為目標(biāo)數(shù)據(jù)表。數(shù)據(jù)表incremental_source和incremental_target_copy的表結(jié)構(gòu)、數(shù)據(jù)都是相同的，具體如圖所示。數(shù)據(jù)表incremental_source數(shù)據(jù)表incremental_target創(chuàng)建轉(zhuǎn)換1使用Kettle工具，創(chuàng)建一個轉(zhuǎn)換incremental_load，并添加表輸入控件、插入/更新控件以及Hop跳連接線，具體如圖所示。2配置表輸入控件雙擊“表輸入”控件，進入“表輸入”配置界面，單擊【新建】按鈕，配置數(shù)據(jù)庫連接，配置完成后單擊【確認】按鈕。MySQL數(shù)據(jù)庫連接的配置，具體如圖所示。2配置表輸入控件在SQL框中編寫查詢數(shù)據(jù)表incremental_source的SQL語句，然后單擊【預(yù)覽】按鈕，查看數(shù)據(jù)表incremental_source的數(shù)據(jù)是否成功從MySQL數(shù)據(jù)庫中抽取到表輸入流中。3配置插入/更新控件雙擊“插入/更新”控件，進入“插入/更新”配置界面，單擊【新建】按鈕，配置數(shù)據(jù)庫連接，配置完成后單擊【確認】按鈕。MySQL數(shù)據(jù)庫連接的配置，具體如圖所示。3配置插入/更新控件單擊目標(biāo)表處的【瀏覽】按鈕，彈出“數(shù)據(jù)庫瀏覽器”窗口，選擇目標(biāo)表incremental_target_copy，具體如圖所示。3配置插入/更新控件單擊【獲取字段】按鈕，用來指定查詢數(shù)據(jù)所需要的關(guān)鍵字，這里通過比較數(shù)據(jù)表incremental_target的字段id與輸入流里的字段id是否一致為關(guān)鍵條件，更新數(shù)據(jù)表中的其它字段數(shù)據(jù)；單擊【獲取和更新字段】按鈕，用來指定需要更新的字段，具體如圖所示。4修改數(shù)據(jù)表incremental_source中的數(shù)據(jù)在數(shù)據(jù)表incremental_source中新增一條id為6、name為Mary、age為24的數(shù)據(jù)；對數(shù)據(jù)表incremental_source中id為2的數(shù)據(jù)進行修改，即將這條數(shù)據(jù)的年齡（age）改為25。修改后的數(shù)據(jù)表incremental_source中的數(shù)據(jù)內(nèi)容如圖所示。5運行轉(zhuǎn)換incremental_load單擊轉(zhuǎn)換工作區(qū)頂部的按鈕，運行創(chuàng)建的轉(zhuǎn)換incremental_load，實現(xiàn)將數(shù)據(jù)表incremental_source中的數(shù)據(jù)增量加載到數(shù)據(jù)表incremental_target中，如圖所示。6查看數(shù)據(jù)表incremental_target中的數(shù)據(jù)通過SQLyog工具，查看數(shù)據(jù)表in