Kettle培訓(xùn)

飛牛運營部商務(wù)智能朱勝整理pptKettle培訓(xùn)內(nèi)容Kettle功能與產(chǎn)品介紹Kettle控件介紹Kettle案例演示Kettle調(diào)度整理pptKettle介紹Kettle是一款開源的、元數(shù)據(jù)驅(qū)動的ETL工具集，是開源ETL工具里功能比較強大的一個。Kettle是〞KettleE.T.T.L.Envirnonment〞只取首字母的縮寫，這意味著它被設(shè)計用來幫助你實現(xiàn)你的ETTL需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)；翻譯成中文名稱應(yīng)該叫水壺，名字的起源正如該工程的主程序員MATT在一個論壇里說的哪樣：希望把各種數(shù)據(jù)放到一個壺里然后以一種指定的格式流出。整理pptPentaho產(chǎn)品線Pantaho產(chǎn)品線Reporting：可集成Jasper和BIRTDataMining:WekaAnalysis:MondrianDashboards：DataIntegration:Kettle整理pptKettle家族Kettle5.0家族目前包括幾個產(chǎn)品：Spoon—轉(zhuǎn)換(transform)設(shè)計工具(GUI方式)Pan—轉(zhuǎn)換(transform)執(zhí)行器(命令行方式)Kitchen—工作(job)執(zhí)行器(命令行方式)Carte—基于Jetty的，監(jiān)聽Http請求Encr—用戶加密密碼

整理pptKettle四大家族Spoon允許你通過圖形界面來設(shè)計ETL轉(zhuǎn)換過程〔Transformation〕和作業(yè)。例如，從一個SAP系統(tǒng)抽取數(shù)據(jù)，并把這些數(shù)據(jù)存儲到一個文件里的轉(zhuǎn)換任務(wù)如下：Pan允許批量運行由Spoon設(shè)計的ETL轉(zhuǎn)換〔例如使用時間調(diào)度器〕。Pan是一個后臺執(zhí)行的程序，沒有圖形界面。Kitchen允許批量使用由Chef設(shè)計的任務(wù)〔例如使用一個時間調(diào)度器〕。KITCHEN是一個后臺運行程序。Job和Transformation的差異：Transformation專注于數(shù)據(jù)的ETL，而Job的范圍比較廣，可以是Transformation，也可以是Mail、SQL、Shell、FTP等，甚至可以是另外一個Job。

整理pptKettle的安裝要運行此工具你必須安裝Sun公司的JAVA運行環(huán)境1.4或者更高版本，相關(guān)資源你可以到網(wǎng)絡(luò)上搜索JDK進行下載綠色免安裝，解壓即可用。在不同的平臺上運行Spoon所支持的腳本：Spoon.bat:在windows平臺運行Spoon。Spoon.sh:在Linux、AppleOSX、Solaris平臺運行Spoon。整理pptKettle轉(zhuǎn)化功能介紹1Kettle中有兩種腳本文件，transformation(.ktr)和job(.kjb)，transformation完成針對數(shù)據(jù)的根底轉(zhuǎn)換，job那么完成整個工作流的控制。所有功能支持控件化，使用簡單支持多樣化數(shù)據(jù)源類型：根本的文本文件Access、Excel、XML、Property文件格式MDX查詢語言、Cube文件、StreamingXML數(shù)據(jù)流自動產(chǎn)生空記錄或者行從XBase類型文件(DBF)讀取數(shù)據(jù)關(guān)系型數(shù)據(jù)庫獲取系統(tǒng)信息如文件名稱、系統(tǒng)時間等整理pptKettle轉(zhuǎn)化功能介紹2特殊目標(biāo)數(shù)據(jù)源支持把數(shù)據(jù)寫入到Cube把數(shù)據(jù)寫入XML支持多種查詢調(diào)用數(shù)據(jù)庫存儲過程根本的數(shù)據(jù)庫查詢判斷表以及列、操作系統(tǒng)文件是否存在從URL接收查詢使用Web效勞查詢信息使用數(shù)據(jù)流中的值作為參數(shù)來執(zhí)行一個數(shù)據(jù)庫查詢流查詢：從轉(zhuǎn)換中其他流里查詢值轉(zhuǎn)換功能值映射、分組、去重、拆分字段、行列轉(zhuǎn)換復(fù)制行整理pptKettle轉(zhuǎn)化功能介紹３支持的腳本JS腳本SQL腳本正那么表達式支持漸變維度更新批量加載：GreenplumBulkLoaderOracleBulkLoaderMSSQLBulkLoaderMYSQLBulkLoaderPostgreSQLBulkLoader支持分區(qū)表和集群整理pptKettle作業(yè)功能介紹1可以執(zhí)行操作系統(tǒng)命令和操作：Ping主機寫日志發(fā)送郵件從POPServer獲取郵件并保存在本地比較文件夾、文件創(chuàng)立、復(fù)制、移動、刪除、壓縮文件從HTTP獲取或者上傳文件操作延遲等待整理pptKettle作業(yè)功能介紹2判斷文件是否存在執(zhí)行JavaScript、SQL、Shell腳本支持平安FTP獲取、上傳文件刪除遠程文件支持SSH2上傳下載整理ppt數(shù)據(jù)庫連接類型和訪問類型支持的數(shù)據(jù)庫連接類型，截圖如下，有些數(shù)據(jù)庫類型需要完善jar包，以確保數(shù)據(jù)庫能夠正確連接整理ppt訪問類型數(shù)據(jù)庫訪問類型支持如下幾種：JDBCOCIODBCJNDI整理pptKettle實施步驟雙擊運行kettle文件夾下的Kettle文件，出現(xiàn)kettle歡送界面。創(chuàng)立資料庫(可省略)創(chuàng)立數(shù)據(jù)庫連接創(chuàng)立轉(zhuǎn)換創(chuàng)立Jobs，進行流程化控制整理pptKettle案例案例描述：把文本文件中的格式化數(shù)據(jù)導(dǎo)入到oracle數(shù)據(jù)庫的指定表中整理ppt翻開Kettle選擇沒有資料庫整理ppt創(chuàng)立數(shù)據(jù)庫連接創(chuàng)立數(shù)據(jù)庫連接整理ppt輸入數(shù)據(jù)源連接名稱，選擇數(shù)據(jù)源類型和訪問方式整理ppt輸入效勞器主機名和數(shù)據(jù)庫名稱整理ppt輸入數(shù)據(jù)表空間和索引表空間名稱整理ppt輸入用戶名和密碼整理ppt測試數(shù)據(jù)庫連接整理ppt數(shù)據(jù)源建立成功整理ppt右擊轉(zhuǎn)換，新建出現(xiàn)如下界面創(chuàng)立轉(zhuǎn)換整理ppt從左側(cè)輸入欄目中選擇文本文件輸入控件，拖拽到右側(cè)工作空間中整理ppt從輸出欄目拖拽表輸出控件到左側(cè)工作區(qū)整理ppt選中兩個控件，在其中一個控件上右擊，選擇新建節(jié)點連接整理ppt選擇起始步驟整理ppt雙擊文本文件輸入控件，進行編輯整理ppt文本文件“內(nèi)容〞標(biāo)簽編輯整理ppt點擊獲取字段按鈕，可自動獲取字段名稱，然后編輯相關(guān)屬性，預(yù)覽記錄。整理ppt編輯輸出表控件屬性整理ppt然后點擊綠色按鈕，啟動轉(zhuǎn)換整理ppt保存轉(zhuǎn)換整理ppt可以查看執(zhí)行結(jié)果整理ppt可以參加執(zhí)行SQL腳本整理ppt在核心對象中有很多控件可用來實現(xiàn)數(shù)據(jù)的ETL功能。整理ppt創(chuàng)立作業(yè)從左側(cè)通用欄目中拖拽兩個控件整理ppt雙擊Transformation1進行編輯整理ppt整理ppt保存jobs后執(zhí)行任務(wù)整理pptKettle調(diào)度利用Kitchen工具實現(xiàn)作業(yè)的調(diào)用Kitchen.bat/fil