hadoop job 日志的查看

一般有几个地方可以查看：

1、通过本地日志目录查看对应container日志文件，默认在hadoop的安装目录下的/logs/userlogs/：直接用查看文件命令查看即可

该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地，然后再给聚合到文件系统中(配置聚合日志功能)。

2、浏览器查看,默认在/yarn/logs/${user}/logs：需要找对应的applicationId，甚至contaninerId

如：

[[email protected] ~]$ hdfs dfs -cat /yarn/logs/hadoop/logs/application_1523430872525_0002/hadoop01_60127

Log内容省略：

注：

${user} 是启动yarn模块服务的用户，比如我的是hadoop用户启动的，所以我的目录为:/yarn/logs/hadoop/logs。

该种方式需要配置聚合日志功能

该种方式需要启动jobhistoryserver服务

3、使用命令查看：可用yarn logs 加回车键查看其帮助

查看application的日志：

[[email protected] ~]$ yarn logs -applicationId application_1523430872525_0002 

查看具体某一个container的日志：

[[email protected] ~]$ yarn logs -applicationId application_1523430872525_0002 -containerId container_1523191604137_0016_02_000001 -nodeAddress hadoop01:60127

log日志省略：

4、当然查看具体日志方式有很多，还可以使用浏览器中直接点击查看，比如http://hadoop:19888  或者http://hadoop01:8088 中的链接去查看其日志内容

如：

等等的方式，出啦具体的错误你就会想尽一切办法找其具体日志信息来定位错误。。。。。。