HIVE

一。基本组成

Ø 用户接口包括 CLI、JDBC/ODBC、WebGUI。

Ø 元数据存储通常是存储在关系数据库如 mysql , derby

Ø 解释器、编译器、优化器、执行器

二。体系结构

HIVE

三。HIVE优化

•解决数据倾斜问题

•减少job数(合并MapReduce,用Multi-group by)

设置合理的map reducetask数,能有效提升性能。

•数据量较大的情况下,慎用count(distinct)

•对小文件进行合并,针对文件数据源。