基于Flink实时数仓的完整链路
整理中
一,架构
二,整体流程
简单的举个案例:
mysql binlog -->canal --> kafka -->Flink ods -->Flink dwd -->doris
中间有zeppelin可以提交Flink任务,执行脚本,查询doris结果
调度器:apache dolphinscheduler(国产)
三,过程
实时数仓就是Flink+kafka,doris的作用是去重存储,相同key聚合
四,后端开发
期望封装之后后端达到的效果(参考),都是平台填写参数,然后封装。