hadoop伪分布式搭建

第一次写博客，记录下hadoop伪分布式搭建的过程，请大佬多多指教
centOS6，hadoop2.7.2伪分布式搭建
Linux系统 ，jdK，hadoop等安装教程请参考别人的;
伪分布式：一个节点;
完全分布式：3个及以上的实体机或者虚拟机组件的集群;
看了以上两点相信你已经明白了，“用vm多装几个centOS虚拟机配置完全分布式，然后做实验”这是完全可行的。
如果你要开发基于Hadoop的分布式程序，伪分布式足够实验了
启动HDFS并运行MapReduce程序
配置文件位置：在hadoop目录下/etc/hadoop/下

配置hadoop-env.sh
linux系统中获取jdk的安装 路径 ;

修改JAVA_HOME路径

配置core-site.xml

配置hdfs-site.xml

启动集群
1，格式化NameNode
（2）启动集群
（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -format
（b）启动NameNode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（c）启动DataNode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

查看 集群是否成功
[[email protected] hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps
jps是jdk的命令

web端查看 hdfs文件系统
http://hadoop101:50070/dfshealth.html#tab-overview

操作集群
在hdfs文件系统上创建 一个input文件夹

将测试文件上传到文件系统上

查看 上传的文件是否正解

运行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user2/chance/input/ /user2/chance/output
查看 输出结果
命令行查看 ：

浏览器查看

将测试文件下载到本地1

将测试内容下载到本地2
[[email protected] hadoop-2.7.2]# hdfs dfs -get /user2/chance/output/part-r-00000 ./wcoutput

在hdfs文件系统上删除

启动YARN并运行MapReduce程序;

1配置yarn-env.sh的JAVA_HOME

2配置yarn-site.xml

3配置mapred-env.sh的JAVA_HOME

4配置mapred-site.xml
(对mapred-site.xml.template重命名为mapred-site.xml),命令mv

启动集群
（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager

集群操作
（a）YARN的浏览器页面查看，如图2-35所示
http://hadoop101:8088/cluster

删除文件系统上的output
[[email protected] hadoop-2.7.2]# bin/hdfs dfs -rm -R /user2/chance/output

执行mapreduce程序
[[email protected] hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user2/chance/input /user2/chance/output

查看 运行结果

================
好了，历史服务器下次再写;
写这点东西花了将近4个小时;
文本格式也没处理，将就看吧;
今天就写到这里;
2018/11/21 15:53

===================
查看 linux系统的防火墙状态命令
service iptables status