有刪除，有增加，有更新
首先你需要判斷你是否在處理一個(gè)維表，如果是一個(gè)維表的話(huà)，那么這可能是一個(gè)SCD情況，可以使用Kettle的Dimension Lookup 步驟來(lái)解決這個(gè)問(wèn)題，如果你要處理的是事實(shí)表，方法就可能有所不同，它們之間的主要區(qū)別是主鍵的判斷方式不一樣。
事實(shí)表一般都數(shù)據(jù)量很大，需要先確定是否有變動(dòng)的數(shù)據(jù)處在某一個(gè)明確的限定條件之下，比如時(shí)間上處在某個(gè)特定區(qū)間，或者某些字段有某種限定條件，盡量最大程度的先限定要處理的結(jié)果集，然后需要注意的是要先根據(jù)id 來(lái)判斷記錄的狀態(tài)，是不存在要插入新紀(jì)錄，還是已存在要更新，還是記錄不存在要?jiǎng)h除，分別對(duì)于id 的狀態(tài)來(lái)進(jìn)行不同的操作。
處理刪除的情況使用Delete步驟，它的原理跟Insert / Update 步驟一樣，只不過(guò)在找到了匹配的id之后執(zhí)行的是刪除操作而不是更新操作，然后處理Insert / Update 操作，你可能需要重新創(chuàng)建一個(gè)轉(zhuǎn)換過(guò)程，然后在一個(gè)Job 里面定義這兩個(gè)轉(zhuǎn)換之間的執(zhí)行順序。
如果你的數(shù)據(jù)變動(dòng)量比較大的話(huà)，比如超過(guò)了一定的百分比，如果執(zhí)行效率比較低下，可以適當(dāng)考慮重新建表。
另外需要考慮的是維表的數(shù)據(jù)刪除了，對(duì)應(yīng)的事實(shí)表或其他依賴(lài)于此維表的表的數(shù)據(jù)如何處理，外鍵約束可能不太容易去掉，或者說(shuō)一旦去掉了就可能再加上去了，這可能需要先處理好事實(shí)表的依賴(lài)數(shù)據(jù)，主要是看你如何應(yīng)用，如果只是簡(jiǎn)單的刪除事實(shí)表數(shù)據(jù)的話(huà)還比較簡(jiǎn)單，但是如果需要保留事實(shí)表相應(yīng)記錄，可以在維表中增加一條記錄，這條記錄只有一個(gè)主鍵，其他字段為空，當(dāng)我們刪除了維表數(shù)據(jù)后，事實(shí)表的數(shù)據(jù)就更新指向這條空的維表記錄。

定時(shí)執(zhí)行增量更新
可能有時(shí)候我們就是定時(shí)執(zhí)行更新操作，比如每天或者一個(gè)星期一次，這個(gè)時(shí)候可以不需要在目標(biāo)表中增加一個(gè)時(shí)間戳字段來(lái)判斷ETL進(jìn)行的最大時(shí)間，直接在取得原數(shù)據(jù)庫(kù)的時(shí)間加上限定條件比如：
Startdate > ? and enddate < ?
或者只有一個(gè)startdate
Startdate > ?   (昨天的時(shí)間或者上個(gè)星期的時(shí)間)
這個(gè)時(shí)候需要傳一個(gè)參數(shù)，用get System Info 步驟來(lái)取得，而且你還可以控制時(shí)間的精度，比如到天而不是到秒的時(shí)間。
當(dāng)然，你也需要考慮一下如果更新失敗了怎么處理，比如某一天因?yàn)槟撤N原因沒(méi)有更新，這樣可能這一天的記錄需要手工處理回來(lái)，如果失敗的情況經(jīng)?？赡馨l(fā)生，那還是使用在目標(biāo)數(shù)據(jù)庫(kù)中增加一個(gè)時(shí)間字段取最大時(shí)間戳的方式比較通用，雖然它多了一個(gè)很少用的字段。

執(zhí)行效率和復(fù)雜度
刪除和更新都是一項(xiàng)比較耗費(fèi)時(shí)間的操作，它們都需要不斷的在數(shù)據(jù)庫(kù)中查詢(xún)記錄，執(zhí)行刪除操作或更新操作，而且都是一條一條的執(zhí)行，執(zhí)行效率低下也是可以預(yù)見(jiàn)的，盡量可能的縮小原數(shù)據(jù)集大小。減少傳輸?shù)臄?shù)據(jù)集大小，降低ETL的復(fù)雜程度

時(shí)間戳方法的一些優(yōu)點(diǎn)和缺點(diǎn)
優(yōu)點(diǎn):  實(shí)現(xiàn)方式簡(jiǎn)單，很容易就跨數(shù)據(jù)庫(kù)實(shí)現(xiàn)了，運(yùn)行起來(lái)也容易設(shè)計(jì)
缺點(diǎn)： 浪費(fèi)大量的儲(chǔ)存空間，時(shí)間戳字段除ETL過(guò)程之外都不被使用，如果是定時(shí)運(yùn)行的，某一次運(yùn)行失敗了，就有可能造成數(shù)據(jù)有部分丟失.

其他的增量更新辦法：
增量更新的核心問(wèn)題在與如何找出自上次更新以后的數(shù)據(jù)，其實(shí)大多數(shù)數(shù)據(jù)庫(kù)都能夠有辦法捕捉這種數(shù)據(jù)的變化，比較常見(jiàn)的方式是數(shù)據(jù)庫(kù)的增量備份和數(shù)據(jù)復(fù)制，利用數(shù)據(jù)庫(kù)的管理方式來(lái)處理增量更新就是需要有比較好的數(shù)據(jù)庫(kù)管理能力，大多數(shù)成熟的數(shù)據(jù)庫(kù)都提供了增量備份和數(shù)據(jù)復(fù)制的方法，雖然實(shí)現(xiàn)上各不一樣，不過(guò)由于ETL的增量更新對(duì)數(shù)據(jù)庫(kù)的要求是只要數(shù)據(jù)，其他的數(shù)據(jù)庫(kù)對(duì)象不關(guān)心，也不需要完全的備份和完全的stand by 數(shù)據(jù)庫(kù)，所以實(shí)現(xiàn)方式還是比較簡(jiǎn)單的.，只要你創(chuàng)建一個(gè)與原表結(jié)構(gòu)類(lèi)似的表結(jié)構(gòu)，然后創(chuàng)建一個(gè)三種類(lèi)型的觸發(fā)器，分別對(duì)應(yīng)insert , update , delete 操作，然后維護(hù)這個(gè)新表，在你進(jìn)行ETL的過(guò)程的時(shí)候，將增量備份或者數(shù)據(jù)復(fù)制停止，然后開(kāi)始讀這個(gè)新表，在讀完之后將這個(gè)表里面的數(shù)據(jù)刪除掉就可以了，不過(guò)這種方式不太容易定時(shí)執(zhí)行，需要一定的數(shù)據(jù)庫(kù)特定的知識(shí)。如果你對(duì)數(shù)據(jù)的實(shí)時(shí)性要求比較高可以實(shí)現(xiàn)一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)復(fù)制方案，如果對(duì)實(shí)時(shí)性的要求比較低，用增量備份會(huì)比較簡(jiǎn)單一點(diǎn)。

幾點(diǎn)需要注意的地方：
1.觸發(fā)器
無(wú)論是增量備份還是數(shù)據(jù)復(fù)制，如果原表中有觸發(fā)器，在備份的數(shù)據(jù)庫(kù)上都不要保留觸發(fā)器，因?yàn)槲覀冃枰牟皇且粋€(gè)備份庫(kù)，只是需要里面的數(shù)據(jù)，最好所有不需要的數(shù)據(jù)庫(kù)對(duì)象和一些比較小的表都不用處理。
2.邏輯一致和物理一致
數(shù)據(jù)庫(kù)在數(shù)據(jù)庫(kù)備份和同步上有所謂邏輯一致和物理一致的區(qū)別，簡(jiǎn)單來(lái)說(shuō)就是同一個(gè)查詢(xún)?cè)趥浞輸?shù)據(jù)庫(kù)上和主數(shù)據(jù)庫(kù)上得到的總的數(shù)據(jù)是一樣的，但是里面每一條的數(shù)據(jù)排列方式可能不一樣，只要沒(méi)有明顯的排序查詢(xún)都可能有這種情況（包括group by , distinct , union等 ），而這可能會(huì)影響到生成主鍵的方式，需要注意在設(shè)計(jì)主鍵生成方式的時(shí)候最好考慮這一點(diǎn)，比如顯式的增加order 排序. 避免在數(shù)據(jù)出錯(cuò)的時(shí)候，如果需要重新讀一遍數(shù)據(jù)的時(shí)候主鍵有問(wèn)題.

總結(jié)
    增量更新是ETL中一個(gè)常見(jiàn)任務(wù)，對(duì)于不同的應(yīng)用環(huán)境可能采用不同的策略，本文不可能覆蓋所有的應(yīng)用場(chǎng)景，像是多個(gè)數(shù)據(jù)源匯到一個(gè)目標(biāo)數(shù)據(jù)庫(kù)，id生成策略，業(yè)務(wù)主鍵和代理主鍵不統(tǒng)一等等，只是希望能給出一些思路處理比較常見(jiàn)的情況，希望能對(duì)大家有所幫助。

相關(guān)文章：
開(kāi)源ETL工具kettle系列之建立緩慢增長(zhǎng)維
http://tech.cms.it168.com/db/2008-03-21/200803211716994.shtml
開(kāi)源ETL工具kettle系列之動(dòng)態(tài)轉(zhuǎn)換
http://tech.cms.it168.com/o/2008-03-17/200803171550713.shtml
開(kāi)源ETL工具kettle系列之在應(yīng)用程序中集成
http://tech.it168.com/db/2008-03-19/200803191510476.shtml
開(kāi)源ETL工具kettle系列之常見(jiàn)問(wèn)題
http://tech.it168.com/db/2008-03-19/200803191501671.shtml