Flink流处理的演变
-
第一代流式处理架构
统计计算是乱序的,不能保证处理的结果是正确的,所以就有第二代架构。 -
lambda 架构(第二代流式处理架构)
用两套系统,同时保证低延迟和结果准确
上下两层,
Batch Layer 批处理层(结果更准确)
Speed Layer 流处理层(实时性) -
Serving Layer 服务层,汇总批处理层和快速处理层的结果,最后把数据进行合并,得到结果!
-
Flink(第三代流式处理架构)
第一代流式处理架构
统计计算是乱序的,不能保证处理的结果是正确的,所以就有第二代架构。
lambda 架构(第二代流式处理架构)
用两套系统,同时保证低延迟和结果准确
上下两层,
Batch Layer 批处理层(结果更准确)
Speed Layer 流处理层(实时性)
Serving Layer 服务层,汇总批处理层和快速处理层的结果,最后把数据进行合并,得到结果!
Flink(第三代流式处理架构)