eclipse集成Hadoop开发

eclipse集成Hadoop开发的准备工作如下:

  1. 把”hadoop-eclipse-plugin-1.0.0.jar”放到Eclipse的目录 的”plugins”中,然后重新Eclipse即可生效。

  2. 下载hadoop-2.8.1.tar,并解压到本地目录下

  3. 配置hadoop地址及端口
    eclipse集成Hadoop开发
    eclipse集成Hadoop开发

  4. 保存并刷新左侧的DFS Locations
    eclipse集成Hadoop开发

  5. 其它配置
    5.1解决权限问题
    修改windows用户名为hadoop
    环境变量添加 HADOOP_USER_NAME=hadoop
    HADOOP_HOME=hadoop解压路径
    PATH=%HADOOP_HOME%/bin
    创建的目录赋权限hadoop dfs -chmod 777 /目录

    5.2 解决执行mapreduce报错org.apache.hadoop.io.nativeio.NativeIO
    下载winutils.exe、hadoop.dll到本地hadoop的bin目录***意版本匹配)