HIVE
一。基本组成
Ø 用户接口:包括 CLI、JDBC/ODBC、WebGUI。
Ø 元数据存储:通常是存储在关系数据库如 mysql , derby中。
Ø 解释器、编译器、优化器、执行器。
二。体系结构
三。HIVE优化
•解决数据倾斜问题
•减少job数(合并MapReduce,用Multi-group by)
•设置合理的map reduce的task数,能有效提升性能。
•数据量较大的情况下,慎用count(distinct)。
•对小文件进行合并,针对文件数据源。