数据仓库主要功能?

  • 数据仓库主要功能?
    ETL设计:数据的抽取同步、数据清洗、数据转换。涉及关系型数据库(mysql、mariadb、oracle等),文档型数据库(mongodb、elasticsearch等)。
    数据分层:一般划分为ODS层、CM层、ML层。ODS层表示未进行加工的数据。CM层表示清洗合并层的数据。
    数据初步建模:对应数据分层ML层,一般采用关系模型(雪花模型)或星型模型,形成宽表对外提供数据支持。
    涉及技术:HDFS、HIVE、HBASE、MR、SPARK、YARN等。

  • 数据集市的主要功能?
    目前有些公司将数据集市归并到数据仓库中。我这里单独列出。考虑到数据集市不是在数据的维度上建模,更多的应是在业务层次上建模。
    数据建模:从业务角度出发对建模更深层次的考虑。涉及数据模型星型模型、雪花模型、数据立方体等。

  • 数据仓库架构
    下图为工作中参考很多公司的数据架构规划出的数据架构,仅供参考。
    数据仓库主要功能?
    更多大数据相关问题、或者互联网金融相关问题可以咨询我,免费解答,或者添加我的微信号18310801089