伪分布式——启动YARN并运行MapReduce程序（包括配置）

执行步骤     

       （1）配置集群

              （a）配置yarn-env.sh

                      将yarn-env.sh里面的JAVA_HOME路径改为自己的路径，如：export JAVA_HOME=/opt/module/jdk1.8.0_144

              （b）配置yarn-site.xml

<!-- Reducer获取数据的方式 -->

<property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

</property>

 

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

              （c）配置：mapred-env.sh

                       将mapred-env.sh里面的JAVA_HOME路径改为自己的路径，如：export JAVA_HOME=/opt/module/jdk1.8.0_144

              （d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

                       [[email protected] hadoop]$ mv mapred-site.xml.template mapred-site.xml

                       [[email protected] hadoop]$ vi mapred-site.xml

 

（2）启动集群

              （a）启动前必须保证NameNode和DataNode已经启动

              （b）启动ResourceManager

                    [[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

              （c）启动NodeManager

                    [[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

（3）集群操作

              （a）YARN的浏览器页面查看，如图所示

                       http://hadoop01:8088/cluster

 

              （b）删除文件系统上的output文件

                       [[email protected] hadoop-2.7.2]$ bin/hdfs dfs -rm -R （你的路径）

              （c）执行MapReduce程序

                      [[email protected] hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input  /user/atguigu/output（注意要将路径修改为你的路径）

              （d）查看运行结果，如图所示

                     [[email protected] hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*