为我的Spark Streaming应用程序设置执行程序的数量

Question

我在Yarn集群模式下运行Spark Streaming应用程序。我想限制执行者的数量只有一个节点？如何在Spark中做到这一点？

Answer 1

您可以通过两种方式来控制执行器的数量：

Option 1:直接与星火发布命令：

spark-submit -class ClassName --num-executors 1 .... other parameters 

Option 2:里面的conf标志星火发布命令：

spark-submit --class ClassName --conf "spark.executor.instances=1" .... other parameters. 

你可以得到m矿石的详细信息从Submitting Applications。