hadoop3.1.3项目中get HDFS文件到本地出错

解决方法网上很多,可能以下相关操作已经设置,但结果仍不尽人意,这个时候也许你需要重启idea

idea maven hadoop项目中,get hdfs文件出错如下:
HADOOP_HOME and hadoop.home.dir
或者是
Could not locate Hadoop executable: —\bin\winutils.exe
解决方法:

1.配置本地hadoop,未配置报错:HADOOP_HOME and hadoop.home.dir

  • 下载hadoop安装包并解压到windows中,解压可能有错,无视即可
    hadoop3.1.3项目中get HDFS文件到本地出错hadoop3.1.3项目中get HDFS文件到本地出错

  • 配置环境变量:HADOOP_HOME && PATH

hadoop3.1.3项目中get HDFS文件到本地出错
hadoop3.1.3项目中get HDFS文件到本地出错

2.此时重启idea运行程序,会报错:Could not locate Hadoop executable: —\bin\winutils.exe

  • 下载winutils.exe相关文件(6M左右)

GitHub:https://github.com/steveloughran/winutils
网盘:https://pan.baidu.com/s/1JtBFL3elXwBMaFSsgsppLg 提取码: vdag

  • 解压并选择相应版本,3.x统一使用3.0的

hadoop3.1.3项目中get HDFS文件到本地出错

  • 复制你需要的版本中的bin文件夹,替换掉你HADOOP_HOME中的bin
  • 重启idea