Flink入门教程--Component Stack
作为一个软件解决方案,Flink是一个分层系统。不同层次之间彼此构建,并提高他们接受的程序表现的抽象级别:
- 在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。
- DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ,DataStream API使用stream builder,来确定程序的最佳执行方式。
- JobGraph根据Flink中可用的各种部署选项(例如本地,远程,YARN等)来执行程序 。
- 使用与Flink捆绑在一起的Libraries 和API生成DataSet或DataStream API程序,这些程序是用于查询的逻辑表、Flink机器学习、和用于图形处理的Gelly。