Flink学习笔记(十):容错机制与状态一致性
1.Flink容错机制
上图的含义:假如输入是1、2、3这样的连续数字,按顺序输入,sum_even子任务计算偶数的和,sum_odd子任务计算奇数的和。如果在数字5被处理完成后做了一次checkpoint,那么input的偏移量5、偶数之和6、奇数之和9共同组成一个快照一起checkpoint。
如果这个时间input已经消费到7,偶数求和已经得出结果12,基数在求和时出现故障,那么这个时间点能做checkpoint吗?显然是不能的。
其实flink的checkpoint并不是基于时间的在某一个时刻做检查点,而是基于数据在所有任务处理完某一条数据后做检查点。
检查点的详细配置
配置完checkpoint后,还要选择一个状态后端,并配置重启策略。
2.状态一致性
更详细介绍,看这里。