Spark执行器,驱动程序,执行程序核心,执行程序内存的值
问题描述:
我对Spark执行程序,驱动程序,执行程序核心,执行程序内存的值有一些疑问。Spark执行器,驱动程序,执行程序核心,执行程序内存的值
- 如果有一个集群上运行,如果你提交一个工作是什么将采取星火执行人,执行人核心,执行内存的默认值没有应用程序?
- 如果我们想要计算您想要提交的作业所需的Spark执行程序,执行程序核心,执行程序内存的值,您将如何执行此操作?
答
如果有一个集群上运行,如果你提交一个工作是什么将采取星火执行人,执行人核心,执行内存的默认值没有应用程序?
默认值被存储在spark-defaults.conf
在安装火花在群集中。所以你可以验证这些值。通常默认值是。
检查默认值。请参阅本document
如果我们要计算星火执行人,执行人核心,所需要的要提交作业执行内存的值,你将如何做呢?
取决于以下几件事
它是什么类型你有工作,即洗牌密集或只图操作。如果是洗牌,你可能需要更多的记忆。
数据大小,更大的数据大小更大的存储器使用
群集约束。你能承受多少内存?
根据你需要开始与一些数字,然后看着你需要了解的瓶颈,增加或减少内存占用的火花UI这些因素。
由于JVM GC变慢,因此执行程序内存超过40G的一个注意事项可能会使生产率提高。也有太多的内核可能会放慢进程。