kettle完成一个数据库到另一个数据的整体迁移
问题：在做不同数据库的迁移时候，单个的表还很好操作如果是多个数据库的表呢。如果是一个个的去创建那简直太麻烦了。
解决办法: 读取数据库中表->创建表->表数据抽取
整个抽取过程包括一个job和两个trans，先来看看整个job吧：
job的start和success就没什么可说的了，两个脚本是关键，接下来一步一步来。
1、首先是数据库的表名抽取trans：作用是读取数据库的表名并以此记录。
1.1配置表输入。可以查看到mysql的所有的表名已经获取。
mysql : show tables oracle : select table_name from user_tables
1.2配置 字段选择，把获取的字段修改成为制定的字段tablename。
1.3 复制记录到结果，直接连接就行。
2表名称传给变量
2.1从结果获取记录
2.2设置环境变量
这个trans的作用是提取表名并放入结果集中，表输入是用一段SQL语句将表名输出，字段选择是将SQL输出的那个含有表名的字段提取出来并重新命名，最后含有表名的记录复制到结果集中，方便下一个步骤的使用。
接下来设置变量的脚本：
var prevRow=previous_result.getRows();//获取上一个传递的结果集
if (prevRow == null &&(prevRow.size()=0))
{
false;
}else{
parent_job.setVariable("tables", prevRow);//ArrayList存储表名变量
parent_job.setVariable("size", prevRow.size());//存储执行表的总数量
parent_job.setVariable("i", 0);//循环控制变量
parent_job.setVariable("TABLENAME", prevRow.get(0).getString("tablenames",""));
true;
}
1
2
3
4
5
6
7
8
9
10
11
12
先获取上一个步骤的结果集，并将表名以ArrayList格式存储在tables这个变量中，将表的数量放入size这个变量中，定义i变量方便稍后控制循环，最后，将这个结果集中的第一个表名取出来并放入到TABLENAME这个变量中。
这个脚本的作用是将你要用的表名放到一个变量中，然后再设置另一个变量遍历取表名，这是很重要的一步。因为在job中有设置变量的这个选项，但是设置变量后，所有的表名都会在这一个变量中，如果你在下一步骤直接取用该变量的值，你得到的不是一个一个的表名，而是闪闪发光的红色报错。
没有表传入是条件判断false后的结果。
接下来就是这个抽取的核心了，
首先是条件判断：
接着就是数据抽取：
最后就是遍历下一个表名：
var list_Tables =parent_job.getVariable("tables").replace(" ","").replace("[","").replace("]","").split(",");
var size = new Number(parent_job.getVariable("size"));
var i = new Number(parent_job.getVariable("i"))+1;
if(i<size){
parent_job.setVariable("TABLENAME", list_Tables[i]);
}
parent_job.setVariable("i",i);
true;
1
2
3
4
5
6
7
8
条件判断简洁后就是if i<size，然后对取出的表名进行抽取工作，很简单，一个表输入，一个表输出，就是一个表的抽取trans，只不过里面用的不是常量表名，而是变量表名select * from ${TABLENAME}（记得勾选替换变量哦）。最后的脚本密密麻麻的一坨，其实就是取出变量TABLENAME中的下一个表名，并且i++，这一步在我看来是最难的，因为不会写啊！
打完收工！
。。。。。还没完呢
总结一下：
目的：减少重复造*，那就是造一个模具
难点：在kettle中没有循环这个组件，想要实现就得自己动手实现循环
关键点：利用两个脚本来实现变量的设置和变量的遍历，再用一个检验字段的值实现条件判断，辛辛苦苦只是为了实现一行代码for（i=0;i<size;i++)
未解决的困难：在抽取表数据的时候发现，如果表中有clob字段并且存的数据很大的话，会抽取失败，原因是
> Clob 太大, 无法存储在 Java 字符串中
这个问题也再网上找过答案，但是木有找到解决的方法，如果网友有解决方法，敬请留下，感激不尽
1
2
后续：这个抽取数据的过程有个前提，那就是两个库里都有相同的表和对应的表结构，所以我在上述中也没有写到判断有没有表存在，下一步希望能够实现自动动态创建表，然后加到上述的job中，那就完美了。
打完收工
2016.11.29
总结4已解决：
经排查，上述的clob太大，无法存储的问题是因为有一个clob的字段的字符长度为31800，然后其余的字段都低于1800，将字符长度为31800的字段剔除后，能正常的抽取数据，可见是因为clob的字符长度过长引起的无法存储。
————————————————
版权声明：本文为CSDN博主「飞羽喂马」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35318838/article/details/53322530