星火提交到远程纱

Question

我有两个clodera hadoop集群（prod和dev）和一台客户机。此客户机配置为prod群集的网关节点。
从这个我用

spark-submit --master yarn job_script.py 

现在我想同样的工作，从该客户机提交给我的dev群集我能提交一个火花的工作，我的督促集群。
我尝试使用

spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py 

但是这似乎并没有工作，我的工作还是会被提交给集群督促。我怎么能告诉​​提交作业到开发集群资源管理器，而不是产品集群。

Answer 1

为dev群集创建包含所有Hadoop XML的目录，并在​​之前覆盖HADOOP_CONF_DIR环境变量。