kettle解决数据灌输时数据叠加问题

1.删除上次记录,重新抽取

加入sql脚本

truncate from table

kettle解决数据灌输时数据叠加问题

 

2.插入/更新(解决不了删除)

kettle解决数据灌输时数据叠加问题

kettle解决数据灌输时数据叠加问题

 

 

 

3.数据同步(可以解决任何操作)

kettle解决数据灌输时数据叠加问题

kettle解决数据灌输时数据叠加问题

 

kettle解决数据灌输时数据叠加问题

kettle解决数据灌输时数据叠加问题

第四个方法是添加时间戳,按照时间戳的前后更新时间来同步。例如时间戳设为一天,那么今天只会同步昨天修改的数据。明天只会同步今天修改的数据,这样每次同步都会是最新的数据且不会重复。