myeclipse 本地远程连接hadoop 并创建maven项目
下载hadoop-eclipse-plugin-2.5.2.jar的jar包放到myeclipse 的plugin文件夹下 ,不同hadoop对应不同版本,这个jar包也可以自己编译
解压hadoop-2.5.0 tar.gz压缩包到windows本地,winrar可能解压不开,可以使用好压或者360压缩软件解压
打开myeclipse ,点开工具栏window-preferences 搜索hadoop,在右边选择hadoop解压的文件夹
启动hadoop集群,点击window-perspective-open perspective-other-Mapreduce
在控制台窗口选择Map/Reduce Locations
在空白处右键新建一个location,根据配置文件填写主机名和端口号,然后确认
此时界面最左边项目栏显示hdfs上文件夹以及文件,连接成功!
点开工具栏window-preferences 搜索maven,选择installations,可以选择myeclipse默认的maven版本,也可以自己自行安装,这里我使用默认版本
创建maven项目
选择quickstart
填写id,然后完成
修改pom.xml,增加hadoop jar包
此时项目栏会出现maven依赖jar包和jre
修改jre,右键项目 bulid path-configure build path 选中libraries
双击jre system library 选择1.7或者1.8 ,点击完成
右键项目创建resource folder ,在src/main 下创建resouce 目录
将linux hadoop文件夹下 etc/hadoop中的core-site.xml 和log4j-properties文件拷贝至src/main/resource文件夹下
从网上搜索hadoop.dll和winutils.exe 并下载,将hadoop.dll放到C:\Windows\System32 下,再将hadoop.dll和winutils.exe 放到windows本地hadoop文件夹下bin目录下,重启myeclipse,**winutils.exe
测试mapreduce程序
运行成功!
容易遇到的问题以及解决方法
1、 如果pom.xml 修改完成,maven没有自动加载,可以右键项目maven-update project 勾选强制更新,然后会自动下载所需jar包
2、 新建maven项目myelipse 报错 Aninternal error occurred during: "Retrieving archetypes:". Java heapspace,可修改myeclipse安装目录下myeclipse.ini文件,将Xms256m改为Xms512m
3、运行mapreduce报错
Could not locateexecutable null\bin\winutils.exe in the Hadoop binaries.
必须配置hadoop环境变量,然后重启myeclipse
4、 不支持jdk9以上版本,请安装jdk8以下版本
5、maven可以使用本地压缩包安装
选择user settings,选择maven 文件夹 conf文件夹下setting.xml文件