数据仓库hive(简介与应用)

数据仓库概念:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库hive(简介与应用)

hive简介:
  •Hive是一个构建于Hadoop顶层的数据仓库工具
  •支持大规模数据存储、分析,具有良好的可扩展性
  •某种程度上可以看作是用户编程接口,本身不存储和处理数据
  •依赖分布式文件系统HDFS存储数据
  •依赖分布式并行计算模型MapReduce处理数据
  •定义了简单的类似SQL 的查询语言——HiveQL
  •用户可以通过编写的HiveQL语句运行MapReduce任务
  •可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上
  •是一个可以提供有效、合理、直观组织和使用数据的分析工具
由于是构建于hadoop平台上的,由此它的底层数据存储是通过HDFS实现的,并依赖于MapReduce处理数据(把HiveQL语句转换为MapReduce任务进行),通过HBase提供实时的数据访问,支持批量插入。


Hive在企业大数据分析平台中的应用:

数据仓库hive(简介与应用)