用于自动终止EMR集群的AWS数据管道选项

Question

我已经使用数据管道设置了EMR集群，但集群在我的步骤功能状态显示完成后终止。我在我的step函数中执行一个python脚本，在后台产生一个spark工作。

如何在使用数据管道服务在EMR上运行成功的步进功能后使群集可用？

Answer 1

使用terminateAfter指定处理完成后您想要等待的小时数。

参考：

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

希望它能帮助。