启动spark任务报错:ERROR SparkUI: Failed to bind SparkUI

启动spark任务报错:ERROR SparkUI: Failed to bind SparkUI

       当启动一个spark任务的时候,就会占用一个端口,默认为4040,从日志可以看到当端口被占用时,它会默认依次增加16次到4056,如果还是失败的话,就会报错退出。

解决方法:

1. 使用spark-submit提交任务时,在脚本中加配置:--conf spark.port.maxRetries=128(亲测有效)

2. 在代码中初始化SparkConf时,设置conf.set(“spark.port.maxRetries”,“128”) (未测)

3. 在全局的spark-defaults.conf中添加spark.port.maxRetries 128 , 对所有的application起作用(未测)