ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

启动命令：

在主节点spark_home/sbin

./start-history-server.sh

注意：4040端口显示的是正在运行的spark任务，一旦任务运行完成或者没有任务运行，4040端口是无法访问的

ip:18080无法访问时spark history server未启动

spark history server可以查看所有的运行完成的spark任务的详情

Spark History Server配置

修改spark-env.sh

spark.eventLog.enabled true

spark.eventLog.dir hdfs://master:9000/spark-logs

spark.eventLog.compress true

 

2、在HDFS中建立存放目录。

hdfs dfs -mkdir /spark-logs

之后的历史记录都会被存放到这里。

3、配置spark-env.sh文件。

在之前的配置项后面

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

属性说明

(1) spark.history.ui.port

WebUI的端口号。默认为18080，也可以自行设置。

(2) spark.history.retainedApplications

设置缓存Cache中保存的应用程序历史记录的个数，默认50，如果超过这个值，旧的将被删除。

注：缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取，速度稍有差别。

(3) spark.history.fs.logDirectory

存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

启动

 

[[email protected] sbin]# ./start-history-server.sh 

如果提示文件目录无效，可以直接使用下面的命令指定目录：

[[email protected] sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

启动后的效果如下（此时尚未运行程序，没有记录显示出来）：

master:可以改为对应的机器ip

显示效果

如果无任务运行4040端口无法访问。