如何在Bluemix下为Spark服务创建批处理作业
问题描述:
如何在Bluemix下为Spark服务创建批处理作业。如何在Bluemix下为Spark服务创建批处理作业
我需要在文本文件中处理十亿条记录,每条记录需要通过Java API进行处理。我希望通过在集群上分发工作来执行此操作。
答
敬请期待,应该可以在测试期间在Bluemix Apache Spark服务上运行批处理作业。还没有。
Randy,是否有可能提供一些更多的见解,我可以期待的服务的当前状态,是否只有基于交互式火花外壳的脚本才能完成? – Gaurav
对不起Gaurav!你应该期望做批处理和交互。 –
感谢Randy的回复,由于某种原因,我无法理解如何去批处理,我才知道最近Spark服务已经对GA做出了,可能我需要看看它,以防万一能够帮助我。 – Gaurav