大数据 HDFS搭建

刚接触hadoop不久，这里回顾一下hdfs的搭建

把hadoop文件放在了/usr/local/hadoop目录下面，各位同学可以根据实际需求存放目录

首先进入/usr/local/hadoop/hadoop-2.7.1/etc/hadoop文件夹,

1.找到  hadoop-env.sh 文件,用vim 编辑器打开,配置java_home

2.配置core-site.xml

temp目录关注一下，这个是namenode存储地方，如果有问题，建议rm -rf ,然后重新格式化。

3.修改一下文件名 mv mapred-site.xml.template mapred-site.xml，指定mapred 运行在yarn上面

4.配置 yarn-site.xml。

5.配置/etc/profile文件

添加 hadoop_home和path,然后 source /etc/profile  让文件配置生效

6.格式化namenode hdfs namenode -format (hadoop namenode -format)

注意这一步，这里我才过坑，如果后面start-dfs.sh 启动时少了一个namenode ,多半是这一步有问题，建议删掉core-site.xml里面配置的文件夹，然后重新格式化一遍就好了

7.进入sbin 文件夹，分别启动start-dfs.sh和start-yarn.sh这两个文件

 

8.校验

  hadoop checknative -a

 

基本上就完成了