YARN的log日志分析以及MR JOB运行案例
1、log日志分析
生产出错，找准日志文件内容
- hadoop-hadoop-datanode-hadoop001.log
- hadoop-hadoop-namenode-hadoop001.log
- hadoop-hadoop-secondarynamenode-hadoop001.log
- yarn-hadoop-nodemanager-hadoop001.log
- yarn-hadoop-resourcemanager-hadoop001.log
1.1 tail -F hadoop-hadoop-datanode-hadoop001.log 实时监控这个日志产生的行为。
：hadoop进程名称
- hadoop-用户-进程名称-机器名称
2、如何进行排错
进入到log日志下，/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/logs
(1) 使用vi编辑器查看相应的log日志，进入尾行模式，/error进行搜索。
(2) tail -200f hadoop-hadoop-datanode-hadoop001.log 查看近200行的日志（另外的窗口重启进程，为了复现error）。
(3)sz 下载文件到本地目录，再用editplus打开查看，标红处为下载路径位置。3、运行MR JOB案例
map:映射
reduce：规约
运行如下命令搜索有哪些案例：
[[email protected] hadoop-2.6.0-cdh5.7.0]$ find ./ -name ‘example.jar’
运行这个命令：hadoop jar +需要运行的jar包
（1）计算圆周率：hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10
（2）词频统计案例：
1、编辑两个文件后进行上传
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ vi a.log
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ vi b.log
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -put a.log /wordcount/input
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -ls /wordcount/input
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /wordcount/input /wordcount/output
- [[email protected] hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -cat /wordcount/output/part-r-00000
如下图为打印出的词频统计内容，/wordcount/output文件由它运算时自动生成，若之前已经存在，则不会运行程序。
扩展：将mapreduce跑完的内容下载到当前目录并进行打印
[[email protected] hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -get /wordcount/output/part-r-00000 ./
[[email protected] hadoop-2.6.0-cdh5.7.0]$ ll
[[email protected] hadoop-2.6.0-cdh5.7.0]$ cat part-r-00000