Kettle的简单入门实战

wrkd35

Kettle简介

  • Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

  • Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

  • Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

  • Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

  • Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)。

前期准备要配置java环境。(附B站的学习视频:点击前往

1. 下载Kettle  点击前往

下载好了以后,无需安装,只要解压就好了,非常方便。

2. 启动Kettle

双击目录下的 Spoon.bat 即可。

打开的界面:

3. 简单实战:把源数据库表中的数据处理想移植的字段到目标数据库的表中,并且建立定时执行的作业。

注意:在数据库链接的过程中,可能会报某个数据库连接找不到的异常。是因为没有对应的数据库链接驱动,所以先把对应驱动放入kettle的lib文件夹。

    a. 创建一个新的转换

    b. 配置DB连接(转换——>转换1——> DB连接)

我们配置两个DB连接,分别是源数据库和目标数据库,如下图所示:

         以MySQL为例,前两个方框为必填项,填写完毕以后,可以点击最后的 测试 按钮,查看是否能正确连接。

        c. 新建表输入(核心对象——>输入——>表输入) 拖入到右侧的工作区中,并且双击它

选择数据库连接,编写sql,点击预览,查看是否有正确执行,这样表输入就体验了。

                    

         d. 新建插入/更新(核心对象——>输出——>插入/更新) 拖入到右侧的工作区中

         按shift键,点击表输入,然后拉到 插入/更新 使它们建立连接顺序。如下图所示

选择数据库和目标表等等后,就配置好了。

         e. 点击运行按钮,查看目标表里是否数据有写入,这样,简单实战的转换部分已经完成。 

         执行结果:

        f. 新建一个作业, 把start,转换和成功拖入到右边,并且建立连接。如下图所示:

        g. 双击start 配置执行策略,以下面为例,我配置了每五秒钟执行一次。

        h. 双击转换,可以导入我们上面的转换文件。

        i. 点击运行按钮,查看日志。至此,简单实战已经完成了。

         执行结果:

阅读 1.1k
16 声望
0 粉丝
0 条评论
16 声望
0 粉丝
宣传栏