Apache Spark：MesosClusterDispatcher可以在Docker容器中运行执行程序吗？

Question

我正在构建一个运行Apache Spark的Mesos集群。我更喜欢为我的Spark执行者使用Docker容器，我可以使用spark-submit的客户端模式（使用--master mesos://mesosmaster:5050和--conf spark.mesos.executor.docker.image=myimage:latest）执行此操作，但我希望能够在集群模式下执行相同的操作。

我有MesosClusterDispatcher运行，并可以提交作业（与--master mesos://clusterdispatcher:7077 --mode cluster --supervised），但是当我指定一个docker镜像供执行者使用时，它似乎像调度员忽略参数并尝试直接在Mesos沙箱。

实际上是否可以将集群调度程序与spark.mesos.executor.docker.image结合？我希望尽可能地从Mesos中断开Spark，以便它们可以独立升级，但显然如果集群调度程序不能使用docker镜像，我必须重新考虑我的策略。

谢谢！

Answer 1

检查了这一点 https://github.com/wangqiang8511/docker-spark-mesos

它看起来像它应该工作，虽然可以采用更大群集上部署时，我与它的问题。