动态分配设置为true时手动分配内核数量
问题描述：
我们有一个3节点的集群。每个节点有20个核心和100GB内存。我们将动态资源分配设置为true。动态分配设置为true时手动分配内核数量
我想根据我的意愿调整资源。
例如：
- 只使用1芯。默认情况下，它选取4-6个核心。
- 我想为每个运行的spark-submit设置它。
我该如何达到我的要求。
答
spark.dynamicAllocation.enabled是应用程序的一个属性。它可以设置在每个提交，使用以下之一：
- 通过
--conf选项来提交Spark。 - 设置
spark.dynamicAllocation.enabled对SparkConf对象。使用config方法SparkSessionBuilder。