Win7 安装hadoop并配置hadoop环境

阅读本文前,请先安装并配置好JAVA环境,具体步骤可百度,或者我后续有时间会出攻略

 

  1. 首先,去官网下载hadoop,网址:http://hadoop.apache.org/

Win7 安装hadoop并配置hadoop环境

点击 Download 进入下载界面,我下载的是 2.8.4 binary。

 

  1. 下载完成后解压,我解压的目录为 D:\hadoop\hadoop-2.8.4

Win7 安装hadoop并配置hadoop环境

 

3、配置环境变量

(1)计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME

Win7 安装hadoop并配置hadoop环境

 

(2)Path环境变量下配置【%HADOOP_HOME%\bin;】变量

Win7 安装hadoop并配置hadoop环境

 

注:关于系统变量和用户变量,我个人喜好配置系统变量,因为搜索时先搜索系统变量,后搜索用户变量,而且我电脑也就我一个人使用。用户变量与系统变量的区别是:系统变量对于所有人生效,用户变量仅对当前登录用户生效。

 

4、hadoop环境测试:

 

起一个cmd窗口,起到hadoop/bin下,hadoop version,显示如下:

Win7 安装hadoop并配置hadoop环境

 

5、hadoop基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下

 

core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml (四个文件的详细左右请百度,或者后期有时间我会单独补充)

(1)、core-site.xml

Win7 安装hadoop并配置hadoop环境

(2)、hdfs-site.xml

Win7 安装hadoop并配置hadoop环境

 

(3)、mapred-site.xml

Win7 安装hadoop并配置hadoop环境

(4)、yarn-site.xml

Win7 安装hadoop并配置hadoop环境

 

5、格式化系统文件:

 

hadoop/bin下执行 hdfs namenode -format

 

待执行完毕即可,不要重复format。

 

格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop

 

访问:http://localhost:50070  网页类似下面这样

 

注:这步可能会有两个地方导致报错,一个是没有Win7 安装hadoop并配置hadoop环境这两个文件,可以百度下载,或者如果大家需要可以私信我,我放网盘。另一个是文件存储路径,由于我这篇是在纯 win7 环境下装的,所有路径有所不同,大家可仔细看前面的 xml 文件配置,存在盘符路径 /d:/。、

 

6、在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理

Win7 安装hadoop并配置hadoop环境

 

7、运行hadoop提供的demo,计算单词数量

 

(1)、在你电脑任意位置创建一个文本文件如D:\hadoop\hadoop_test.txt

Win7 安装hadoop并配置hadoop环境

(2)、用dfs创建一个文件夹,名字任意

Win7 安装hadoop并配置hadoop环境

 

(3)、把hadoop_test.txt上传到dfs,并查看

 

-put 是上传命令

 

-ls是查看命令

 

如图:已经上传成功

Win7 安装hadoop并配置hadoop环境

 

Win7 安装hadoop并配置hadoop环境

 

(4)、然后运行hadoop 提供的demo,计算单词数

Win7 安装hadoop并配置hadoop环境

 

运行结果在dfs中的/test/output文件夹下,可用命令查看

Win7 安装hadoop并配置hadoop环境

 

至此我们的hadoop环境搭建工作就已经全部结束啦~

 

Win7 安装hadoop并配置hadoop环境