Flink学习笔记(十):容错机制与状态一致性

1.Flink容错机制

Flink学习笔记(十):容错机制与状态一致性
上图的含义:假如输入是1、2、3这样的连续数字,按顺序输入,sum_even子任务计算偶数的和,sum_odd子任务计算奇数的和。如果在数字5被处理完成后做了一次checkpoint,那么input的偏移量5、偶数之和6、奇数之和9共同组成一个快照一起checkpoint。
Flink学习笔记(十):容错机制与状态一致性
如果这个时间input已经消费到7,偶数求和已经得出结果12,基数在求和时出现故障,那么这个时间点能做checkpoint吗?显然是不能的。
其实flink的checkpoint并不是基于时间的在某一个时刻做检查点,而是基于数据在所有任务处理完某一条数据后做检查点。

Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
检查点的详细配置
Flink学习笔记(十):容错机制与状态一致性
配置完checkpoint后,还要选择一个状态后端,并配置重启策略。
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性

2.状态一致性

Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
Flink学习笔记(十):容错机制与状态一致性
更详细介绍,看这里