Canal 集群部署+kafka实现跨平台数据实时同步

场景: 建设数据中台时mysql业务数据每天有新增和状态的修改 ,新增数据确保同步到es搜索系统上来,后台管理平台会根据业务需求修改数据状态。

未使用canal 解决方案: 每天晚上1点定时调度 

造成的问题: 调度之后的数据在后台管理平台修改状态后 es 集群上的该数据状态没有实时改变

使用 canal 集群解决方案:  

Canal 集群部署+kafka实现跨平台数据实时同步

canal 配置 : default-instance.xml  支持HA  canal.delployer1.1.4 版本