eclipse配置本地连接 hadoop

首先下载需要的jar包
下载官网网站: http://archive.cloudera.com/cdh5/cdh/5/ 下载jar包tz
下载hadoop所需要的jar包,后缀加上.tar.gz即可下载
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 即可下载
下载 hadoop-eclipse-plugin-2.6.0.jar
提取码 mqu9
https://pan.baidu.com/s/19tsObCwrWl4if1CedFiBGA
提取码 mqu9
eclipse配置本地连接 hadoop

  1. 将hadoop-2.6.0-cdh5.9.3/tar.gz进行解压 放到某盘的目录下

  2. 将网盘下载的这两个文件拖到 hadoop-2.6.0/bin 的目录下
    eclipse配置本地连接 hadoop

  3. 配置hadoop环境 在桌面此电脑——》 属性 ——》高级系统设置——》环境变量
    新建一个配置hadoop环境
    eclipse配置本地连接 hadoop

  4. 在path下设置 bin 和sbin
    eclipse配置本地连接 hadoop

  5. 设置完以后在cmd窗口 输入 hadoop vesion 查看是否配置成功
    eclipse配置本地连接 hadoop

  6. 在桌面找到eclipse点击属性打开文件所在的位置,将hadoop-eclipse-plugin-2.6.0.jar 拖到plugins 中

  7. 打开eclipse ——打开window —preferences ——hadoop Map/Reduce
    eclipse配置本地连接 hadoop

8.打开window ——show view ——other
eclipse配置本地连接 hadoop
eclipse配置本地连接 hadoop
eclipse配置本地连接 hadoop

9.连接成功以后显示hdfs文件
eclipse配置本地连接 hadoop

10.配置完重启一下机器
11.有的同学配置设置完以后不显示左边的DFS, 点击 window——》perspective——》——》Open perspective——》点击Map/Reduce 小蓝象
eclipse配置本地连接 hadoop
即可
12.安装配置中遇到的一些问题
1)首先在发现错误的时候,先重启eclipse机器或电脑
2)首先查看环境是否配好,磁盘是否有权限,如果是window7系统,配置环境的时候把path里边用%%括起来
eclipse配置本地连接 hadoop
3)当运行代码报这个错的时候需要改底层代码org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
1.在代码中 ctrl+shift +t 找到 NativeIO 底层代码
eclipse配置本地连接 hadoop
2.ctrl+f 找到axxess0 这个类

eclipse配置本地连接 hadoop
eclipse配置本地连接 hadoop
eclipse配置本地连接 hadoop

3.在工程下新建一个与底层代码相同的包,相同的类
eclipse配置本地连接 hadoop
还有一个错就是我找了好久才解决的错误
eclipse配置本地连接 hadoop
明明自己有文件,却报找不到文件或目录,后来经过研究才知道是因为权限的问题
就是在我hadoop-2.6.0这个放文件的磁盘没有权限,解决方案如下:

比如:文件在C盘下发那个的 : 点开c盘 右键属性
eclipse配置本地连接 hadoop
点开安全 编辑属性 设置为完全控制以后重启eclipse 问题解决了