spark任务找错方法

ps:spark要是主从切换的配置,需要把两个master都启动了(比如说节点1是alive,2是standby)

启动的步骤是 在节点1 spark的sbin目录下 start-all.sh 后,还需要在点2的sbin下启动 start-master.sh

 

每次运行的spark任务

都会在 spark目录下,有个worker的目录中

找到相对于时间段的日志查看

spark任务找错方法

spark任务找错方法