eclipse_luna 配置服务器hadoop 集群

 

hadoop-eclipse插件：hadoop-eclipse-plugin-2.7.2.jar （neon 不能用，若选用neon，可试试2.6版本插件）

Eclipse ：Eclipse-luna

Hadoop：hadoop-2.7.3（解压即可）

 

 

1、将hadoop-eclipse-plugin-2.7.2.jar 放入E:\Eclipse_luna\eclipse\plugins目录下：

2、下载hadoop-2.7.3,放入相应目录，解压即可。

 

 

下载hadoop.dll,winutils.exe 放入hadoop下面bin目录，配置环境变量，增加用户变量HADOOP_HOME，值是下载的zip包解压的目录，然后在系统变量path里增加$HADOOP_HOME\bin即可。

 

3、启动/重启Eclipse,windows  >>  Preferences  >> Hadoop Map/Reduce,配置"Hadoop installation directory"，指向hadoop安装目录。注意：此处并非是linux上真实的hadoop的安装目录，而是直接将hadoop安装包拷贝到当前系统的某个目录下，解压即可。

 

 

4、Windows  >> show view  >>  other  >>  Map/Reduce Locations  >>  ok 。

 

 

5、Map/Reduce Locations  点击右边的”大象”标志，新建。6666

 

 

1：location name随便填；

2：host填写hadoop集群的master所在的IP；

3：Port填写mapred-site.xml里定义的端口；

4：Port填写里core-site.xml定义的端口；

5：User name随便填。

 

 

6、重启eclipse，我们可以看到左侧资源管理器里的DFS Locations视图，右击可以进行上传、下载、删除、刷新等操作（考虑权限问题）。

 

 

7、File  >> new >> other >> Map/Reduce Project >> Project name: TestHadoop >>finish。

 

 

 

 

 

 

Src 下创建包，加入测试文件WordCount.java

 

 

 

项目名右击，Run as  >>  Run Configurations  >>  Arguments  >>  Program arguments:

hdfs://192.168.1.141:9011/usr/input

hdfs://192.168.1.141:9011/usr/output2 （该文件将会执行在usr下，新建”output2”文件夹，如果存在改文件会报异常）。 >>  run .

 

 

 

 

 

程序执行成功，刷新DFS Locations 新增output2文件夹。

 

 

 

安装：http://blog.****.net/zhangerqing/article/details/42805039；

疑问：http://blog.****.net/congcong68/article/details/42043093。