myeclipse 本地远程连接hadoop 并创建maven项目

下载hadoop-eclipse-plugin-2.5.2.jarjar包放到myeclipse plugin文件夹下 ,不同hadoop对应不同版本,这个jar包也可以自己编译

解压hadoop-2.5.0 tar.gz压缩包到windows本地,winrar可能解压不开,可以使用好压或者360压缩软件解压

myeclipse 本地远程连接hadoop 并创建maven项目


打开myeclipse ,点开工具栏window-preferences 搜索hadoop,在右边选择hadoop解压的文件夹

myeclipse 本地远程连接hadoop 并创建maven项目

myeclipse 本地远程连接hadoop 并创建maven项目


启动hadoop集群,点击window-perspective-open perspective-other-Mapreduce

myeclipse 本地远程连接hadoop 并创建maven项目

在控制台窗口选择Map/Reduce Locations

myeclipse 本地远程连接hadoop 并创建maven项目

在空白处右键新建一个location,根据配置文件填写主机名和端口号,然后确认

myeclipse 本地远程连接hadoop 并创建maven项目


此时界面最左边项目栏显示hdfs上文件夹以及文件,连接成功!

myeclipse 本地远程连接hadoop 并创建maven项目


点开工具栏window-preferences 搜索maven,选择installations,可以选择myeclipse默认的maven版本,也可以自己自行安装,这里我使用默认版本

myeclipse 本地远程连接hadoop 并创建maven项目


创建maven项目

myeclipse 本地远程连接hadoop 并创建maven项目


选择quickstart

myeclipse 本地远程连接hadoop 并创建maven项目


填写id,然后完成

myeclipse 本地远程连接hadoop 并创建maven项目


修改pom.xml,增加hadoop jar

myeclipse 本地远程连接hadoop 并创建maven项目

此时项目栏会出现maven依赖jar包和jre

myeclipse 本地远程连接hadoop 并创建maven项目


修改jre,右键项目 bulid path-configure build path 选中libraries

myeclipse 本地远程连接hadoop 并创建maven项目


双击jre system library  选择1.7或者1.8 ,点击完成

myeclipse 本地远程连接hadoop 并创建maven项目


右键项目创建resource folder ,在src/main 下创建resouce 目录

myeclipse 本地远程连接hadoop 并创建maven项目


linux   hadoop文件夹下 etc/hadoop中的core-site.xml log4j-properties文件拷贝至src/main/resource文件夹下

myeclipse 本地远程连接hadoop 并创建maven项目


从网上搜索hadoop.dllwinutils.exe 并下载,hadoop.dll放到C:\Windows\System32 下,再将hadoop.dllwinutils.exe 放到windows本地hadoop文件夹下bin目录下,重启myeclipse,**winutils.exe

myeclipse 本地远程连接hadoop 并创建maven项目


测试mapreduce程序

myeclipse 本地远程连接hadoop 并创建maven项目


运行成功!

myeclipse 本地远程连接hadoop 并创建maven项目

myeclipse 本地远程连接hadoop 并创建maven项目


容易遇到的问题以及解决方法

1、  如果pom.xml 修改完成,maven没有自动加载,可以右键项目maven-update project 勾选强制更新,然后会自动下载所需jar

myeclipse 本地远程连接hadoop 并创建maven项目


2、 新建maven项目myelipse 报错 Aninternal error occurred during: "Retrieving archetypes:". Java heapspace,可修改myeclipse安装目录下myeclipse.ini文件,将Xms256m改为Xms512m

myeclipse 本地远程连接hadoop 并创建maven项目


3、运行mapreduce报错

Could not locateexecutable null\bin\winutils.exe in the Hadoop binaries.

必须配置hadoop环境变量,然后重启myeclipse


4、  不支持jdk9以上版本,请安装jdk8以下版本


5、maven可以使用本地压缩包安装

myeclipse 本地远程连接hadoop 并创建maven项目

选择user settings,选择maven 文件夹 conf文件夹下setting.xml文件

myeclipse 本地远程连接hadoop 并创建maven项目