hive的优化、调优
总之:
1、使用本地模式(设置为local模式)
2、提高并行度(SQL语句)
3、查询的时候,用where+分区(加上分区限制)
4、排序的时候,使用sort+limit限制输出
5、避免使用笛卡尔积,用join on(在where中加有效的链接条件)
6、大表小表联合的时候,将小表写在前
7、尽量在map端做预聚合
8、设置限制map和reduce的数量
总之:
1、使用本地模式(设置为local模式)
2、提高并行度(SQL语句)
3、查询的时候,用where+分区(加上分区限制)
4、排序的时候,使用sort+limit限制输出
5、避免使用笛卡尔积,用join on(在where中加有效的链接条件)
6、大表小表联合的时候,将小表写在前
7、尽量在map端做预聚合
8、设置限制map和reduce的数量