kettle解决数据灌输时数据叠加问题
1.删除上次记录,重新抽取
加入sql脚本
truncate from table
2.插入/更新(解决不了删除)
3.数据同步(可以解决任何操作)
第四个方法是添加时间戳,按照时间戳的前后更新时间来同步。例如时间戳设为一天,那么今天只会同步昨天修改的数据。明天只会同步今天修改的数据,这样每次同步都会是最新的数据且不会重复。
1.删除上次记录,重新抽取
加入sql脚本
truncate from table
2.插入/更新(解决不了删除)
3.数据同步(可以解决任何操作)
第四个方法是添加时间戳,按照时间戳的前后更新时间来同步。例如时间戳设为一天,那么今天只会同步昨天修改的数据。明天只会同步今天修改的数据,这样每次同步都会是最新的数据且不会重复。