eclipse添加hadoop插件
分类:
文章
•
2024-09-15 10:10:28
- 下载hadoop-eclipse-plugin-2.6.5.jar,并将其添加到eclipse的plugins目录下
- 重启eclipse
- 关闭hdfs服务器的防火墙,修改相应配置文件使之能够通过IP加端口访问
- 在windows上下载hadoop,并解压到一个目录
- 在window-->Preferences-->Hadoop Map/Reduce下边,选择刚刚解压的hadoop目录,提交并关闭
- window-->Show View-->Map/Reduce Locations,建立新的hdfs连接
- Map/Reduce Master的Port一般默认填8032,DFS Master的Port默认填写9000
- 创建hadoop工程,在工程下边可以先跑一个WordCount Demo,来测试是否正确连接hadoop,并能够成功开展工作
- 若出现异常,可能的原因是配置错误,缺少动态库,缺少权限。
- 首先将linux下的hadoop的配置复制到windows上的hadoop上(个人感觉没影响,windows上只是给eclipse提供一个环境,如果运行出现异常没有办法解决可以试试该步骤)
- 首先在环境变量中添加 HADOOP_USER_NAME == hadoop
- 下载winutils.ext放到hadoop的bin目录下,下载hadoop.dll放在c:\windows\system32下
- 下载地址:https://github.com/SweetInk/hadoop-common-2.7.1-bin