数据仓库的实现与使用
数据仓库的实现与使用
一、创建数据仓库
通过编写DDL(数据定义语言)语句来实现。
建模:使用专门的建模软件进行ER建模、关系建模、维度建模
实现:Hive/Spark SQL
二、ETL
实质:从各个数据源提取数据,对数据进行转换,并最终加载填充数据到数据仓库维度建模后的表中。
1. 抽取(Extract)
根据数仓主题、主题域确定需要从应用数据库中提取的数据。
2. 转换(Transform)
对提取好的数据的结构进行转换,以满足目标数仓模型的过程。转换过程也负责数据质量工作,也称为数据清洗。
3. 加载(Load)
将已经提取好、转换后保证了数据质量的数据加载到目标数仓。
- 首次加载:大量数据
- 刷新加载:微批量式加载
三、OLAP/BI工具
四、数据立方体(Data Cube)
数据分析的对象就是这个逻辑概念上的数据立方体。
OLAP工具使用者工作流程:先配置好维表、事实表;然后每次在查询的时候告诉OLAP需要展示的维度、事实字段和操作类型即可。
cube常见五大操作*:
1. 切片和切块(Slice Dice)
切片:在数据立方体的某一维度上选定一个维成员的操作叫切片
切块:对两个或多个维执行选择则叫做切块。
主要是对WHERE语句做更改
2. 旋转(Pivot)
旋转:就是指改变报表或页面的展示方向。
改变SELECT后面字段的顺序
3. 上卷和下钻(Rol-up and Drill-down)
上卷:可理解无视为“”某些维度
下钻:将某些维度进行细分
参考博文