Windows下hadoop搭建手册
一、 搭建hadoop所需材料:
hadoop-2.7.7.tar
hadooponwindows-master
jdk1.8
win10系统
附上百度盘链接:
链接: https://pan.baidu.com/s/1YCUhrbR-RUzKqp6V8lsAKQ .
提取码:aauv
二、 配置环境变量
1、安装jdk、解压hadoop-2.7.7.tar、hadooponwindows-master后配置环境变量(注:配置HADOOP_HOME时,Hadoop-2.7.7的安装地址不能有空格)。
Path中添%HADOOP_HOME%\bin、%JAVA_HOME%\bin
三、 修改配置文件
1、使用编辑器打开…\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路径 把set JAVA_HOME改为jdk的位置
注意”D:\Program Files”用引号括起来(如果jdk默认装在C盘,红线部分改为C:\PROGRA~1\Java\jdk1.8.0_151 ,其中PROGRA~1代表Program Files),不然后续过程会报错。
2、修改 …\hadoop-2.7.7/etc/hadoop/hdfs-site.xml文件,将dfs.namenode.name.dir、dfs.namenode.data.dir的value改为如下所示:
四、 新建文件夹
1、在…\hadoop-2.7.7目录下新建data、tem文件夹。
2、在data文件夹中新建datanode、namenode文件夹。
3、将bin目录下的hadoop.dll文件复制到C:\Windows\System32下。
五、 管理员身份运行cmd.
1、输入hdfs namenode –format,显示如下信息即成功。
2、进入…\hadoop-2.7.7 下的sbin目录:
3、输入start-dfs.cmd,显示如下信息即成功
4、接着继续输入start-yarn.cmd,显示如下信息即成功
5、期间命令行会产生如下提示,不用在意。
6、输入jps - 可以查看运行的所有节点。
六、 测试访问
1、 访问localhost:50070,访问hadoop的web界面,如下界面即访问成功。
2、 访问localhost:8088,访问yarn的web界面,如下界面就表明已经成功。
七、总结
由于电脑只有C、D盘,所以我把jdk撞到了D盘下,上述教程对于jdk在C盘下的同学可能会有出入,而且第四步的教程是我参考网上的,具体步骤意义是什么我也不太清楚,所以此教程还是仅供选择性参考叭。