Flink--实时流处理框架

Flink--实时流处理框架
上图是flink的工作流程
首先,flink从source中获取数据,source是流入flink数据的来源,日常对接的source端有kafka,rabbitMQ等消息队列
然后,获取到的数据流(dataStream) 按需来进行代码运算
最后,将上一步运算的结果数据sink到落地的模块中,模块可以是数据库,也可以是服务(用户预警报警模板)。


1、为何选择flink?
flink是流处理模式,数据会以流stream的形式在flink中存在并处理,source来源可以选择flume+kafka,这样,数据来源到了flink,就会流动起来处理,从而不需要考虑数据的储存(中间数据放到collection)以及取用逻辑(分页取数或者范围取数),实时性也比较高