hive MapReduce Timed out after 600 secs

hive MapReduce Timed out after 600 secs

  • mapred.task.timeout 参数说明
     
    该参数默认为 600秒(60000 ms) 。 如果map或reduce方法在600秒内没有返回或,TaskTracker将认为相应的task已经死亡。 并向JobTracker汇报错误。JobTracker会kill 当前task,并在其他节点上重新执行它。如果多次尝试均失败,那整个job就失败返回

可以调节该参数在当前任务中的数值,set mapred.task.timeout=1800000;   (60000*30) 300min

也有可能是数据发生倾斜导致的,设置  set hive.groupby.skewindata=true;