kettle的增量导入

1. 下载安装包

地址：http://www.kettle.net.cn/

2.选择压缩包并解压

注意:解压后无需安装即可使用

                                         图解压成功后的文件

                                        双击spoon运行kettle程序

3.找到.bat批处理文件Spoon双击运行,运行过程中会出现命令提示符,运行成功后如下图所示

4. 主程序启动成功后可能出现如下窗口,无需理会,点击"关闭"按钮即可

5. 双击"转换"

6.点击页签"核心对象",展开"输入"列表将"表输入"模块拖入右侧空白区域

 

7.双击"表输入"模块,点击"数据库连接"旁的"新建..."按钮配置需转换的数据库(我这里是mysql数据库,其他数据库同理)

8.在"新建数据库连接""选项卡中选择连接类型和连接方式,并依次填入主机名称,数据库名称,端口号,用户名和密码,如下图,输入完成后点击"测试"按钮以测试能否正确连接数据库

9.一般第一次点击"测试"按钮会出现如下错误,主要原因是缺少连接数据库的驱动(我这里是mysql驱动),将相关数据库驱动包放入kettle安装目录下的lib文件夹内并重启kettle程序

10.将包导入lib文件夹重启程序后再点击"测试"按钮即可看到连接成功提示(如果你相关配置参数没有写错的话),如下图

11.表输入配置完成,展开左侧"转换列表",将"增加常量"拖入右侧空白区域,将"输入"列表中的"获取系统信息"拖入右侧空白区域以增加状态字段和系统时间,最后在"输出"列表下将"表输出"拖入右侧空白区域,按住Shift按键将四个模块依次连接起来,如下图

12.双击"表输出"模块以配置目标数据库及目标表,配置过程和配置"表输入"的导入数据库过程相似,如下图

 

13.点击选项设置编码格式，命名参数：characterEncoding

值：utf8 如下图：

 

14.目标数据库配置成功后在转换之前需先在目标数据库中建立空白的目标表

15.建好空白目标表后回到"表输出"选项卡中,在数据库连接中选择刚配置的目标数据库,目标模式根据目标表的模式一般为默认模式,目标表选择刚刚在mySQL中建立的空白表,将"指定数据库字段"选项框的的√打上,点击"数据库字段页签",点击"获取字段"以对比导入表和目标表的字段名是否匹配,如下图

16.配置好后即可进行转换,点击右侧空白处左上角的三角按钮,在弹出的对话框中点击启动按钮,如果过程顺利则模块右上角都会出现"√"图标,说明转换成功,如下图

 

17.新建转换,在输出模块中将"插入/更新"拖入工作区,,从转换列表中将"值映射"模块拖入右侧工作区,如下

18.由于原表和目标表的字段名不同,所以在插入更新界面需点击"编辑映射"手动更新配置列名映射,如下图

19.将映射配置完成后运行转换,若成功则保存转换配置文件,之后新建工作,拖入两个转换模块及"START"模块和"成功模块"并进行连接,如下图

20.将临时表的配置文件载入第一个模块中,需要增量处理的主表配置文件载入第二个模块中，其中一个配置文件的加载至转换模块的过程如下图

21,配置成功后运行,若没有发生错误则保存kjb文件以备以后使用,如下图