使用Java操作HDFS ----- 配置开发环境

目录

1、下载winutils的windows版本https://github.com/SweetInk/hadoop-common-2.7.1-bin

2、解压 hadoop-2.7.1.tar.gz 到windows指定的目录。如（D:\java\hadoop-2.7.1）

3、配置环境变量

4、压缩包（hadoop-common-2.7.1-bin-master.zip）里的hadoop.dll，并拷贝到c:\windows\system32目录中。

5、在eclipse环境中创建一个maven项目，并引入依赖。

6、将本地库中jar包拷给学生

2 HDFS控制（Java）

---

本开发环境基于windows操作系统来配置的，使用的HDFS版本是hadoop2.7.1

1、下载winutils的windows版本https://github.com/SweetInk/hadoop-common-2.7.1-bin

2、解压 hadoop-2.7.1.tar.gz 到windows指定的目录。如（D:\java\hadoop-2.7.1）

3、配置环境变量

第一步

第二步

第三步

4、压缩包（hadoop-common-2.7.1-bin-master.zip）里的hadoop.dll，并拷贝到c:\windows\system32目录中。

5、在eclipse环境中创建一个maven项目，并引入依赖。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.1</version>
</dependency>

6、将本地库中jar包拷给学生

2 HDFS控制（Java）

hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中，这些api能够支持的操作包含：打开文件，读写文件，删除文件等。

FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：

static FileSystem get(Configuration conf);