Apache Flink 学习之 Flink strom SparkStreaming 对比及如何选择(2)

一.基本介绍

实时计算引擎相对于批处理计算引擎领域选择技术方案有很多,主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCompute、Hadoop等等。

二.对比

Apache Flink 学习之 Flink strom SparkStreaming 对比及如何选择(2)

 三.如何选择

  • 需要关注流数据是否需要进行状态管理
  • At-least-once或者Exectly-once消息投递模式是否有特殊要求
  • 对于小型独立的项目,并且需要低延迟的场景,建议使用storm
  • 如果你的项目已经使用了spark,并且秒级别的实时处理可以满足需求的话,建议使用sparkStreaming
  • 要求消息投递语义为 Exactly Once 的场景;数据量较大,要求高吞吐低延迟的场景;需要进行状态管理或窗口统计的场景,建议使用Flink

参考博客 https://blog.csdn.net/qq_32447301/article/details/104729011