hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

 hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

hive的优化、调优

总之:

1、使用本地模式(设置为local模式)

2、提高并行度(SQL语句)

3、查询的时候,用where+分区(加上分区限制)

4、排序的时候,使用sort+limit限制输出

5、避免使用笛卡尔积,用join  on(在where中加有效的链接条件)

6、大表小表联合的时候,将小表写在前

7、尽量在map端做预聚合

8、设置限制map和reduce的数量