基于Flink实时数仓的完整链路

整理中

一,架构


 

二,整体流程

简单的举个案例:

mysql binlog -->canal --> kafka -->Flink ods -->Flink dwd -->doris 

中间有zeppelin可以提交Flink任务,执行脚本,查询doris结果

调度器:apache dolphinscheduler(国产)

三,过程

实时数仓就是Flink+kafka,doris的作用是去重存储,相同key聚合

基于Flink实时数仓的完整链路

四,后端开发

期望封装之后后端达到的效果(参考),都是平台填写参数,然后封装。

基于Flink实时数仓的完整链路