Hive MapReduce异常Job initialization failed: java.io.IOException: Split metadata size exceeded

namenode： HDFS的文件元信息，包括位置、大小、分块信息等，保存在NameNode的内存中的，每个对象大约占用150个字节。

问题描述：hive计算时，数据输入文件的索引总量超过集群限制（10M），导致无法进行计算，job抛错

源码剖析：hive.index.compact.query.max.entries： 使用压缩索引查询时能读到的最大索引项数， 默认是10000000；负值代表无穷大；

 

问题示例：                                          

报错截图：MapReduce异常Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded

                                           

原因解析：需要查询近180天中间表(源表:edw.tableA)数据，数据量180个分区，每个分区720个文件，每个文件大小256G，共计180*720=129600个文件  占用namenode内存 129600*150≈18.5M   已超过hive默认配置

解决办法：

1. 输入合并。即在Map前合并小文件

配置map输入合并（因中间表已经生成，所以采取输入前合并）

-- 每个Map最大输入大小，决定合并后的文件数
set mapred.max.split.size=512000000;
-- 一个节点上split的至少的大小 ，决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000;
-- 一个交换机下split的至少的大小，决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000;
-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

添加参数后文件数量减半  占用namenode内存小于10M，任务正常启动，调试成功。

 

2. 输出合并。即在输出结果的时候合并小文件（本次未做实践）参考参数如下：

set hive.merge.mapfiles = true #默认false， true时在MapReduce的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-only的任务结束时合并小文件，map阶段Hive自动对小文件合并。
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge