数仓可视化，低代码开发平台

                                                       

需要把数仓整个生命周期进行统一管理，基于元数据驱动的自动化、可视化的平台，实现低代码开发。

• 功能模块

开发平台主要包括以下模块：

需求管理，源系统管理，数据探查，业务总线矩阵，维度建模，ETL管理，作业管理，BI应用管理，数据标准管理，元数据管理。

需求管理：统一管理各部门的需求文档，定义需求文档标准格式，管理需求的生命周期。提高开发人员和业务的沟通效率。

系统管理：主要管理各个系统的元数据信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过录入的源系统信息自动导入源系统的数据库元数据，为上层提供数据支持。数据仓库系统可以执行自动生成的建表语句。作业调度系统可以发布自动生成的调度任务脚本，执行调度任务。报表系统维护每个报表和报表系统的关系。

数据探查：初步评估源系统的数据质量。

业务总线矩阵：调研源系统涉及哪些主题和业务过程，每个业务过程涉及哪些维度实体。业务过程和维度实体组成总线结构，统一管理每个源系统的业务总线。

维度建模：根据总线矩阵设计高层模型，根据命名规范进行物理模型和映射关系设计，保证命名的统一。

ETL管理：根据物理模型自动生成各层的建表脚本，根据查询脚本自动生成ETL程序脚本。

作业管理：配置作业信息，根据元数据生成依赖关系。进行作业调度和监控。

应用管理：统一管理指标体系，报表和物理表的映射关系。

数据标准管理：统一管理代码命名规范，数据类型映射关系，建表模板，ETL程序模板。

元数据管理：在上述过程中，会存储各种元数据信息，可以根据这些元数据进行代码规范检查、血缘分析、数据异常监控。

• 平台架构