hive import 数据报错问题
一、故障现象
经反馈,租户在hive使用 import导入数据的时候出现报错现象
1. 报错的语句:
import table $db_user.$table_name partition($p_partition) from '/files/ftp2/zhihui2061/qianyi/$table_name';
2. 报错截图:
FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.CopyTask. org/apache/hadoop/tools/DistCpOptions
3. 经排查,批量import的情况下小表导入成功,但是大表都导入失败,所以我打算debug测试一下
hive -hiveconf hive.root.logger=DEBUG,console
执行语句:
import table OPEN_087_DWD.DWD_V_M_ACC_AL_CHARGE partition(p_month = '202004') from '/files/ftp2/zhihui2061/qianyi/DWD_V_M_ACC_AL_CHARGE';
通过日志中发现报错出现在:
我们可以猜到是由于数据量超过一定限额导致,这个限额就是32M
二、解决
hive 最后移动数据的时候,需要调用hadoop-distcp-X.X.X.jar 我们的hive客户端下lib目录中没有这个jar包
解决方法:只需要把$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-x.x.x.jar 拷贝到 $HIVE_HOME/lib下面解决
三、总结
当然,如果hive表在HDFS上面存储的文件只要不超过33554432字节(也就是32M),就不需要使用到 org/apache/hadoop/tools/DistCpOptions 类,那么就不用把hadoop-distcp-x.x.x.jar 架包拷贝到hive的lib目录。这也是上面报错 INFO common.FileUtils: [main]: Source is 38132604 bytes. (MAX: 33554432) 的原因。
同理,export的时候也会有相关报错