本系列文章主要索引如下：

一、ETL利器Kettle實(shí)戰(zhàn)應(yīng)用解析系列一【Kettle使用介紹】

二、ETL利器Kettle實(shí)戰(zhàn)應(yīng)用解析系列二 【應(yīng)用場景和實(shí)戰(zhàn)DEMO下載】

三、ETL利器Kettle實(shí)戰(zhàn)應(yīng)用解析系列三 【ETL后臺(tái)進(jìn)程執(zhí)行配置方式】

本文主要閱讀目錄如下：

1、Kettle概念

2、下載和部署

3、Kettle環(huán)境配置

4、Kettle使用及組件介紹

ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程），對于企業(yè)或行業(yè)應(yīng)用來說，我們經(jīng)常會(huì)遇到各種數(shù)據(jù)的處理，轉(zhuǎn)換，遷移，所以了解并掌握一種etl工具的使用，必不可少，這里我介紹一個(gè)我在工作中使用了3年左右的ETL工具Kettle,本著好東西不獨(dú)享的想法，跟大家分享碰撞交流一下！在使用中我感覺這個(gè)工具真的很強(qiáng)大，支持圖形化的GUI設(shè)計(jì)界面，然后可以以工作流的形式流轉(zhuǎn)，在做一些簡單或復(fù)雜的數(shù)據(jù)抽取、質(zhì)量檢測、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)過濾等方面有著比較穩(wěn)定的表現(xiàn)，其中最主要的我們通過熟練的應(yīng)用它，減少了非常多的研發(fā)工作量，提高了我們的工作效率，不過對于我這個(gè).net研發(fā)者來說唯一的遺憾就是這個(gè)工具是Java編寫的。

1、Kettle概念

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項(xiàng)目的主程序員MATT 希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。

Kettle這個(gè)ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。

2、下載和部署

3、Kettle環(huán)境配置(有Java環(huán)境的直接忽略此章節(jié))

3、1 安裝java JDK

1）首先到官網(wǎng)上下載對應(yīng)JDK包，JDK1.5或以上版本就行；

2）安裝JDK；

3）配置環(huán)境變量,附配置方式：

安裝完成后，還要對它進(jìn)行相關(guān)的配置才可以使用，先來設(shè)置一些環(huán)境變量，對于Java來說，最需要設(shè)置的環(huán)境變量是系統(tǒng)路徑變量path。

（1）要打開環(huán)境變量的設(shè)置窗口。右擊“我的電腦”，在彈出的快捷菜單中選擇“屬性”選項(xiàng)，進(jìn)入“系統(tǒng)屬性”對話框，如圖所示。選擇“高級(jí)”標(biāo)簽，進(jìn)入“高級(jí)”選項(xiàng)卡，再單擊“環(huán)境變量”按鈕，進(jìn)入“環(huán)境變量”對話框，如圖所示：

（2）在“Administrator的用戶變量”列表框中，選擇變量PATH，待其所在行變高亮后，單擊“編輯”按鈕，如圖所示。

（3）在彈出的“編輯系統(tǒng)變量”對話框中，將JDK安裝路徑下的bin目錄路徑設(shè)置到Path變量中，如圖所示。

編輯完后，單擊“確定”按鈕，進(jìn)行保存,環(huán)境變量Path的設(shè)置就正式完成。

注意：設(shè)置Path變量的路徑，必須是JDK安裝目錄中的bin目錄，有時(shí)候在JDK安裝目錄的同一層會(huì)有JRE的安裝目錄，因此請謹(jǐn)慎選取相關(guān)路徑，避免將路徑設(shè)置成JRE目錄下的bin目錄。

3、2 測試JDK配置是否成功

設(shè)置好環(huán)境變量后，就可以對剛設(shè)置好的變量進(jìn)行測試，并檢測Java是否可以運(yùn)行。

（1）單擊“開始”按鈕，選擇“運(yùn)行”選項(xiàng)，在“運(yùn)行”對話框中輸入cmd命令。

（2）之后單擊“確定”按鈕，打開命令行窗口。

（3）在光標(biāo)處輸入：javac命令，按下Enter鍵執(zhí)行，即可看到測試結(jié)果

3、3 運(yùn)行Kettle

	Main Tree菜單列出的是一個(gè)transformation中基本的屬性，可以通過各個(gè)節(jié)點(diǎn)來查看。   DB連接：顯示當(dāng)前transformation中的數(shù)據(jù)庫連接，每一個(gè)transformation的數(shù)據(jù)庫連接都需要單獨(dú)配置。   Steps：一個(gè)transformation中應(yīng)用到的環(huán)節(jié)列表   Hops：一個(gè)transformation中應(yīng)用到的節(jié)點(diǎn)連接列表
	Core Objects菜單列出的是transformation中可以調(diào)用的環(huán)節(jié)列表，可以通過鼠標(biāo)拖動(dòng)的方式對環(huán)節(jié)進(jìn)行添加。   Input：輸入環(huán)節(jié) Output：輸出環(huán)節(jié) Lookup：查詢環(huán)節(jié) Transform：轉(zhuǎn)化環(huán)節(jié) Joins：連接環(huán)節(jié) Scripting：腳本環(huán)節(jié)

 

 

每一個(gè)環(huán)節(jié)可以通過鼠標(biāo)拖動(dòng)來將環(huán)節(jié)添加到主窗口中。

并可通過shift+鼠標(biāo)拖動(dòng)，實(shí)現(xiàn)環(huán)節(jié)之間的連接。

轉(zhuǎn)換常用環(huán)節(jié)介紹

類別	環(huán)節(jié)名稱	功能說明
Input	文本文件輸入	從本地文本文件輸入數(shù)據(jù)
	表輸入	從數(shù)據(jù)庫表中輸入數(shù)據(jù)
	獲取系統(tǒng)信息	讀取系統(tǒng)信息輸入數(shù)據(jù)
Output	文本文件輸出	將處理結(jié)果輸出到文本文件
	表輸出	將處理結(jié)果輸出到數(shù)據(jù)庫表
	插入/更新	根據(jù)處理結(jié)果對數(shù)據(jù)庫表機(jī)型插入更新，如果數(shù)據(jù)庫中不存在相關(guān)記錄則插入，否則為更新。會(huì)根據(jù)查詢條件中字段進(jìn)行判斷
	更新	根據(jù)處理結(jié)果對數(shù)據(jù)庫進(jìn)行更新，若需要更新的數(shù)據(jù)在數(shù)據(jù)庫表中無記錄，則會(huì)報(bào)錯(cuò)停止
	刪除	根據(jù)處理結(jié)果對數(shù)據(jù)庫記錄進(jìn)行刪除，若需要?jiǎng)h除的數(shù)據(jù)在數(shù)據(jù)庫表中無記錄，則會(huì)報(bào)錯(cuò)停止
Lookup	數(shù)據(jù)庫查詢	根據(jù)設(shè)定的查詢條件，對目標(biāo)表進(jìn)行查詢，返回需要的結(jié)果字段
	流查詢	將目標(biāo)表讀取到內(nèi)存，通過查詢條件對內(nèi)存中數(shù)據(jù)集進(jìn)行查詢
	調(diào)用DB存儲(chǔ)過程	調(diào)用數(shù)據(jù)庫存儲(chǔ)過程
Transform	字段選擇	選擇需要的字段，過濾掉不要的字段，也可做數(shù)據(jù)庫字段對應(yīng)
	過濾記錄	根據(jù)條件對記錄進(jìn)行分類
	排序記錄	將數(shù)據(jù)根據(jù)某以條件，進(jìn)行排序
	空操作	無操作
	增加常量	增加需要的常量字段
Scripting	Modified Java Script Value	擴(kuò)展功能，編寫JavaScript腳本，對數(shù)據(jù)進(jìn)行相應(yīng)處理
Mapping	映射（子轉(zhuǎn)換）	數(shù)據(jù)映射
Job	Sat Variables	設(shè)置環(huán)境變量
	Get Variables	獲取環(huán)境變量

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.3 Job任務(wù)介紹

 

	Main Tree菜單列出的是一個(gè)Job中基本的屬性，可以通過各個(gè)節(jié)點(diǎn)來查看。   DB連接：顯示當(dāng)前Job中的數(shù)據(jù)庫連接，每一個(gè)Job的數(shù)據(jù)庫連接都需要單獨(dú)配置。   Job entries：一個(gè)Job中引用的環(huán)節(jié)列表
	Job entries菜單列出的是Job中可以調(diào)用的環(huán)節(jié)列表，可以通過鼠標(biāo)拖動(dòng)的方式對環(huán)節(jié)進(jìn)行添加。   每一個(gè)環(huán)節(jié)可以通過鼠標(biāo)拖動(dòng)來將環(huán)節(jié)添加到主窗口中。   并可通過shift+鼠標(biāo)拖動(dòng)，實(shí)現(xiàn)環(huán)節(jié)之間的連接。

　　　　　　

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

常用環(huán)節(jié)介紹

類別	環(huán)節(jié)名稱	功能說明
Job entries	START	開始
	DUMMY	結(jié)束
	Transformation	引用Transformation流程
	Job	引用Job流程
	Shell	調(diào)用Shell腳本
	SQL	執(zhí)行sql語句
	FTP	通過FTP下載
	Table exists	檢查目標(biāo)表是否存在，返回布爾值
	File exists	檢查文件是否存在，返回布爾值
	Javascript	執(zhí)行JavaScript腳本
	Create file	創(chuàng)建文件
	Delete file	刪除文件
	Wait for file	等待文件，文件出現(xiàn)后繼續(xù)下一個(gè)環(huán)節(jié)
	File Compare	文件比較，返回布爾值
	Wait for	等待時(shí)間，設(shè)定一段時(shí)間，kettle流程處于等待狀態(tài)
	Zip file	壓縮文件為ZIP包

大家如果感興趣可以繼續(xù)閱讀系列：二、ETL利器Kettle實(shí)戰(zhàn)應(yīng)用解析系列二 【應(yīng)用場景和實(shí)戰(zhàn)DEMO下載】

REFERENCE FROM : http://www.cnblogs.com/limengqiang/archive/2013/01/16/kettleapply1.html