kettle應(yīng)用實(shí)例Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的縮寫(xiě)，這意味著它被設(shè)計(jì)用來(lái)幫助你實(shí)現(xiàn)你的ETTL需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)。軟件版本:pdi-ce-4.1.0-stable，官方網(wǎng)址：/應(yīng)用需求在SqlServer數(shù)據(jù)庫(kù)中有一些數(shù)據(jù)表，數(shù)據(jù)的增加和修改都有相應(yīng)的時(shí)間字段來(lái)標(biāo)示，要求定時(shí)提取增量數(shù)據(jù)，然后更新到Oracle數(shù)據(jù)庫(kù)的相應(yīng)表中，以達(dá)到數(shù)據(jù)的同步。設(shè)計(jì)思路我們將每個(gè)需要同步的數(shù)據(jù)表叫做一個(gè)數(shù)據(jù)接口，每個(gè)接口都給定一個(gè)接口編號(hào)，設(shè)計(jì)一個(gè)配置表來(lái)存放接口的相關(guān)信息。每次運(yùn)行時(shí)先根據(jù)接口編號(hào)從配置表中取出需要抽取數(shù)據(jù)的時(shí)間段。按照特定時(shí)間段從源表提取增量數(shù)據(jù)，然后更新到目標(biāo)數(shù)據(jù)庫(kù)的相應(yīng)表中。實(shí)現(xiàn)步驟增加接口配置表表結(jié)構(gòu)和數(shù)據(jù)實(shí)例如下，設(shè)計(jì)通用提取時(shí)間的Transformation先更改接口配置表的結(jié)束時(shí)間點(diǎn)到當(dāng)前系統(tǒng)時(shí)間updateetl_interface_configcsetc.eic_end_time=casewhenc.eic_order_id=1then(sysdate-c.eic_delay_minute/1440)else(selects.eic_end_timefrometl_interface_configswherec.eic_group_id=s.eic_group_idands.eic_order_id=1)endwherec.eic_interface_code='${InterfaceCode}'提取時(shí)間段selectto_char(eic_begin_time,'yyyy-mm-ddhh24:mi:ss')asStartTime,to_char(eic_end_time,'yyyy-mm-ddhh24:mi:ss')asEndTimefrometl_interface_configwhereeic_interface_code='${InterfaceCode}'設(shè)置變量，供JOB使用設(shè)計(jì)抽取和裝載的Transformation數(shù)據(jù)的提取，連接SqlServer，采用SQL語(yǔ)句，也是一個(gè)TableInput，重點(diǎn)看看時(shí)間的用法。此處的數(shù)據(jù)轉(zhuǎn)換主要用來(lái)實(shí)現(xiàn)SqlServer的bit型到Oracle的int型的轉(zhuǎn)換，否則提取到的數(shù)據(jù)值將是Y和N。數(shù)據(jù)的更新操作，使用Insert/Update設(shè)計(jì)Job先定義接口編號(hào)參數(shù)InterfaceCode獲取時(shí)間，傳送數(shù)據(jù)更新接口配置表的時(shí)間updateetl_interface_configseteic_begin_time=eic_end_timewhereeic_interface_code='${InterfaceCode}'執(zhí)行此軟件的非企業(yè)版不提供Schedule功能，可以使用操作系統(tǒng)的計(jì)劃任務(wù)功能實(shí)現(xiàn)定時(shí)調(diào)度。Job的Windows調(diào)用參考以下命令，D:\pdi-ce-4.1.0-stable\data-integration\Kitchen.bat-rep:"etl"-dir:"/"-user:"admin"-pass:"admin"-job:"Inter_I01004_Message"個(gè)人建議1.設(shè)計(jì)文件路徑的時(shí)候盡量采用某個(gè)盤(pán)符根目錄下的文件夾,這樣會(huì)給遷移帶來(lái)方便2.建立方案、數(shù)據(jù)庫(kù)連接、文件存放路徑等信息的時(shí)候，盡量采用相同的名稱(chēng)，這樣會(huì)給后面的遷移維護(hù)