eclipse hadoop plugin 安装和使用

系统:windows10
eclipse版本:neon.3
hadoop 版本:ambari 2.5.1 安装下的 hdp 2.6.1 对应hadoop版本 2.7.3
plugin版本:2.7.3
下载目录:http://pan.baidu.com/s/1jIeIqxC

1.将hadoop-eclipse-plugin-2.7.3.jar存入/eclipse/dropins目录下

2.重启eclipse

3.切换到map/reduce界面 window–>perspective–>Other perspective–>other

eclipse hadoop plugin 安装和使用

4.在eclipse下方Map/Reduce Locations中右击新建hadoop location填入map redeuce master和dfs master的主机地址和端口号

eclipse hadoop plugin 安装和使用
这两个参数的位置可以通过两种方式查看:
1.yarn的资源管理器图像化界面一般是:8088(这个端口号可以在 /etc/hadoop/**/yarn-site.xml中查看yarn.resourcemanager.webapp.address的value;)
eclipse hadoop plugin 安装和使用
*选择Tools–>Configuration 搜索:mapreduce.jobhistory.address 即为map/reduce master地址;搜索fs.defaultFS 即为DFS master位置
*注意:实际上hadoop 2.x后没有m/r master这个概念了
2.在ambari中直接搜索(that’s why we use ambari hhh)

5.完成后我们就可以在左侧DFS Locations下 右击集群名选择reconnect后,看到Hdfs system

eclipse hadoop plugin 安装和使用
如果出现perimission denied情况 可以通过修改hdfs-site.xml 中的dfs.permissions.enable为false即可(或ambari直接修改)