数据预处理之文件转换kettle：基于触发器的CDC--delete

【实验目的】

利用Kettle的“表输入”，“表输入出”，”删除”，“插入/更新”组件，实现数据更新。

【实验原理】

通过“表输入”对mySQL表格的数据读入，然后通过“删除”删除数据，再通过“插入更新”改变处理标志为“已处理”。

【实验环境】

操作系统：Windows10 

kettle版本：7.0.1或以上版本

【实验步骤】

一、创建转换

1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。

2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好组件。主要组件为Table input ,删除，插入/更新，组件名称支持自定义。

二、可视化编程

1. “表输入”的配置：

数据库的链接配置如下图，当然，需要提取在数据库中创建“cdcdelete”的数据库。

 

2．“删除”的配置：

3.“插入/更新”的配置：

 

 

三．运行程序：

点击开始运行程序，在弹出的对话框中，选择运行该程序。

运行结果：

四．实验结果

输入数据

(1) student表.

 

删除一条数据

DELETE FROM `student` WHERE sno = '23243565';

删除后：

“student_history”表数据

启动ETL后：

“student_cdc”表数据：

“student_history”表数据：