開源etl工具kettle可以進行非常復雜的數(shù)據(jù)處理，性能非常的優(yōu)越，可以有效的提升您的工作效率！支持多種應(yīng)用場景，整個工作流程非常的完善，數(shù)據(jù)處理結(jié)果穩(wěn)定且精準，歡迎前來下載使用！

kettle軟件介紹

Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。純Java編寫，可以在Windows、Linux、Unix上運行，數(shù)據(jù)抽取高效穩(wěn)定。

軟件功能

1、集群允許轉(zhuǎn)換以及轉(zhuǎn)換中的步驟在多個服務(wù)器上并發(fā)執(zhí)行；

2、數(shù)據(jù)處理功能也很強大，非常適合于各種數(shù)據(jù)處理功能；

3、可以用來實現(xiàn)數(shù)據(jù)的剖析、清洗、校驗、抽取、轉(zhuǎn)換和加載等各類常見的ETL類工作；

kettle教程

清理數(shù)據(jù)庫連接的方法

1：清理shared.xml中的不用的數(shù)據(jù)庫連接。（他的保存位置一般在用戶主目錄下邊的.kettle目錄中）

2：用文本編輯軟件打開kjb，ktr文件刪除用戶到的connection項，保存。

使用方法

Kettle自己有三個主要組件：Spoon，Kitchen，Pan。其中Spoon是一個圖形化的界面，用于windows的時候，先設(shè)置環(huán)境變量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其實就是你的java安裝目錄，1.6以上即可。windows下雙擊Spoon.bat就可以了，界面如下：

這里我建立了資源庫，其實可以用文件形式存儲，存儲的結(jié)構(gòu)都是xml，但是我還是覺得建立一個資源庫比較好，以后看job等情況也比較簡單，因為數(shù)據(jù)表的可讀性比xml要好得多。建立資源庫和文件資源庫只需要把右上角的小加號點一下，就會出現(xiàn)如下如的界面：

選擇第一個就是建立數(shù)據(jù)庫版的資源庫，之后：

之后：

測試通過之后點擊OK就回到最開始的界面，這時候選擇test數(shù)據(jù)庫連接，然后出入你的工程（我是這么叫的）ID和name，這里要記住，因為以后kitchen調(diào)度的時候要輸入這個參數(shù)。

在接下來彈出的框中都點“是”，然后會出現(xiàn)這個界面：

這步會在你的用戶下建立很多表，所以最好單獨給資源庫建立一個用戶，當然這是在oracle下，mysql下和DB2下最好也采用同樣的方式，把資源庫和其他庫分開。

檢查一下：

SQL> conn wings/wings@prism

已連接。

SQL> select count(1) from r_repository_log;

COUNT(1)

----------

0

SQL>

表已經(jīng)建好了。回到最開始的界面，選擇test，點擊確定，然后就會出現(xiàn)登錄對話框，用戶密碼默認都是admin，以后可以自己改。

接下來就可以開始用這個工具了。

相關(guān)介紹

ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程）。該工具支持圖形化的GUI設(shè)計界面，可以以工作流的形式流轉(zhuǎn)，做一些簡單或者復雜的數(shù)據(jù)抽取、質(zhì)量檢測、數(shù)據(jù)清洗、數(shù)據(jù)過濾等方面有著穩(wěn)定的表現(xiàn)，其中最主要的是可以通過熟練的應(yīng)用減少非常多的研發(fā)工作量，提高工作效率。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。作為Pentaho的一個重要組成部分，2020年在國內(nèi)項目應(yīng)用上逐漸增多。