解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题

在运行pig的pig -x mapreduce 时,总是在load的时候失败,提示Failed to read data from “hdfs://ip:port/XXXX”↓

解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题

尝试了很多办法都没有成功,比如更改pig的版本、修改文件的权限等等,查了很多网站都没有解决方法。

后来无意间发现了yarn日志里有这么一句话:↓

解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题

处于好奇,查了一下这句话意味着什么,有人说yarn中对用户有白名单和黑名单,用户id低于1000就属于黑名单,所以我赶紧检查了CM里面的yarn配置,发现确实我的用户在yarn的黑名单中:↓(原本我的用户hdfs在禁止的系统用户中)

解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题

将其进行了更改后运行pig的load命令,成功!↓

解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题