Kettle基礎(chǔ)培訓(xùn)

（一）KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第1頁。目錄一、Kettle介紹二、Kettle的要求環(huán)境（JDK版本）、安裝、基本操作。三、Kettle的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）四、基于表對表的同步五、基于文件到表的同步六、基于表到文件的同步七、JAVASCRIPT的基本應(yīng)用八、文件FTP下載、上傳。九、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。十、啟動(dòng)腳本說明。十一、JAVA調(diào)用作業(yè)、轉(zhuǎn)換十二、使用原則KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第2頁。簡介ETLETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（BusinessIntelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實(shí)施數(shù)據(jù)倉庫的重要步驟。如果說數(shù)據(jù)倉庫的模型設(shè)計(jì)是一座大廈的設(shè)計(jì)藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個(gè)項(xiàng)目中最難部分是用戶需求分析和模型設(shè)計(jì)，而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的，約占整個(gè)項(xiàng)目的60%～80%，這是國內(nèi)外從眾多實(shí)踐中得到的普遍共識。ETL是數(shù)據(jù)抽?。‥xtract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第3頁。簡介KettleKettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中文名稱叫水壺，該項(xiàng)目的主程序員MATT希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。Kettle這個(gè)ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件，transformation和job，transformation工作流的控制。完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第4頁。KETTLE的要求環(huán)境（JDK版本）、安裝、基本操作KETTLE要求先安裝JDK1.5版本或以上無需安裝下載后直接運(yùn)行spoon.bat即可5KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第5頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）Kettle中有兩種腳本文件，transformation（轉(zhuǎn)換，后綴為.ktr）和job（作業(yè),后綴為.kjb），transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，好比工廠里的生產(chǎn)流水線，每個(gè)組件相當(dāng)于一個(gè)員工；job則完成整個(gè)工作流的控制，好比工廠里的管理。如果用記事本打開文件可發(fā)現(xiàn)轉(zhuǎn)換和作業(yè)都是xml類型文件。6KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第6頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）7作業(yè)：分串行執(zhí)行和并行執(zhí)行，串行執(zhí)行是先執(zhí)行完其中一條線再執(zhí)行另一條線，并行是兩條線同時(shí)執(zhí)行，同一條線上的兩個(gè)步聚會(huì)先執(zhí)行前面的再執(zhí)行后面的，每個(gè)步驟執(zhí)行結(jié)果分兩種：true(成功)/false(失敗),根據(jù)返回結(jié)果可以控制流程走向。KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第7頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）8作業(yè)流程圖說明KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第8頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）9轉(zhuǎn)換：一傳遞分復(fù)制和分發(fā)兩種模式。開始所有步驟同時(shí)運(yùn)行，記錄會(huì)從最前端的步驟向后傳遞，傳遞到相應(yīng)步驟則該記錄被該步驟作相應(yīng)處理，處理完成再把記錄往后傳遞，記錄KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第9頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）10復(fù)制：把一份數(shù)據(jù)復(fù)制成多份，后面步驟各占一份。分發(fā)：把一份數(shù)據(jù)平均分配給后面步驟。KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第10頁?；诒韺Ρ淼耐?1表對表同步是最基本的同步方式之一實(shí)現(xiàn)步驟：一、建立源庫連接和目標(biāo)庫連接二、使用表輸入組件進(jìn)行源表數(shù)據(jù)讀取三、對記錄進(jìn)行適配整理四、使用表輸出組件輸出到目標(biāo)表KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第11頁。KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）12新建一個(gè)轉(zhuǎn)換：文件－＞新建－＞轉(zhuǎn)換KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第12頁?；诒韺Ρ淼耐?3KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第13頁。基于表對表的同步14KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第14頁?；诒韺Ρ淼耐?5KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第15頁。基于表對表的同步16KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第16頁?；谖募奖淼耐?7新建一個(gè)轉(zhuǎn)換流程：從文件讀取記錄插入到數(shù)據(jù)庫中KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第17頁?；谖募奖淼耐?8KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第18頁?；谖募奖淼耐?9KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第19頁。基于文件到表的同步20KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第20頁?；诒淼轿募耐?1新建一個(gè)轉(zhuǎn)換實(shí)現(xiàn)從表里讀取記錄生成文件KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第21頁?；诒淼轿募耐?2KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第22頁。基于表到文件的同步23KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第23頁。基于表到文件的同步24KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第24頁。JAVASCRIPT的基本應(yīng)用25KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第25頁。文件FTP下載、上傳26作業(yè)：FTP下載從FTP上下載相應(yīng)文件到指定目錄下KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第26頁。文件FTP下載、上傳27KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第27頁。文件FTP下載、上傳28KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第28頁。文件FTP下載、上傳29作業(yè)：FTP上傳上傳本地文件到相應(yīng)FTP指定目錄上KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第29頁。文件FTP下載、上傳30KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第30頁。作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換31文件－＞新建－＞作業(yè)作業(yè)可以調(diào)用作業(yè)，這樣方便流程控制。KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第31頁。作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換32KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第32頁。作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換33作業(yè)也可以調(diào)用轉(zhuǎn)換KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第33頁。作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換34KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第34頁。啟動(dòng)腳本說明35KETTLE程序啟動(dòng)分兩種，一種是作業(yè)、一種是轉(zhuǎn)換。作業(yè)調(diào)用啟動(dòng)腳本：kitchen.sh（kitchen.bat）轉(zhuǎn)換調(diào)用啟動(dòng)腳本：pan.sh（pan.bat)KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第35頁。啟動(dòng)腳本說明36kitchen.sh（span.sh）說明KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第36頁。啟動(dòng)腳本說明37Kitchen.bat(span.bat)說明KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第37頁。啟動(dòng)腳本說明38WINDOWS系統(tǒng)下的作業(yè)啟動(dòng)腳本寫法/file作業(yè)入口路徑/level日志輸出等級/logfile日志輸出文件KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第38頁。啟動(dòng)腳本說明39LINUX系統(tǒng)下的啟動(dòng)腳本寫法KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第39頁。啟動(dòng)腳本說明40轉(zhuǎn)換調(diào)動(dòng)腳本寫法WINDOWS和LINUX系統(tǒng)的啟動(dòng)腳本的寫法基本一樣，就是pan.sh/pan.bat的區(qū)別KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第40頁。Java調(diào)用引用Kettlejar包KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第41頁。Java調(diào)用JOB傳入變量JOB文件設(shè)置變量：變量傳遞：Variablesubstitution選中KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第42頁。Java調(diào)用JOB調(diào)用JOBJobMetajobMeta=

newJobMeta(jobPath,null);JVM設(shè)置變量：System.getProperties().setProperty(key,value);Jobjob=newJob(null,jobMeta);job.start();job.waitUntilFinished();KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第43頁。Java調(diào)用KTR傳入變量KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第44頁。Java調(diào)用KTR調(diào)用ktrTransMetalocalTransMeta=localTransMeta=newTransMeta(ktrPath);設(shè)置變量localTransMeta.setVariable(key,value)Transtran=newTrans(localTransMeta)tran.execute(null);tran.waitUntilFinished();KETTLE基礎(chǔ)培訓(xùn)資料全文共46頁，當(dāng)前為第45頁。使用原則可以使用sql來做的一些操作盡量用sql；

Group,merge,streamlookup,splitfield這些操作都是比較慢的，想辦法避免它們.能用sql就用sql盡量避免使用update,delete操作，尤其是update,如果可以把update變成先delete,

后insert.盡量不要用kettle的calculate計(jì)算步驟，能用數(shù)據(jù)庫本身的sql就用sql,不能用sql就盡量想辦法用proce