带有火花的AWS DataPipeline EMR集群

Question

我已经使用EMR模板创建了AWS DataPipeline，但未在EMR集群上安装Spark。我需要为此设置任何特殊的操作吗？ 我看到一些bootstrapaction是需要火花安装，但这也不起作用。

Answer 1

install-spark bootstrap动作仅适用于3.x AMI版本。如果您使用的是releaseLabel（emr-4.x或更高版本），则要以不同的方式指定要安装的应用程序。

当您创建管道时，单击底部的“在Architect中编辑”或在管道主页上编辑您的管道，然后您可以单击EmrCluster节点并从“添加可选字段.. 。“ 落下。这是你可以添加Spark的地方。