阿里云E-mapreduce 如何提交自己的jar包并运行

源起

租用了E-mapreduce服务器,如何运行自己的spark程序。

参考官方文档:点spark作业配置, 我只是更详细的描述一下操作步骤。

操作步骤

一、创建作业

阿里云E-mapreduce 如何提交自己的jar包并运行

1. 作业

2. 创建作业

3. 输入你平常在虚拟机提交任务时的指令,并做以下修改:

  1)只保留“spark-submit”之后的内容 (因为在后台提交时,它会自动加上这句话)

  2)jar包的路径 是存在oss的buket中的,选择“选择OSS路径”找到自己上传的jar包,并把oss协议改成ossref协议

 3)其他的参数涉及到路径的,比如输入输出文件的位置,直接用“选择OSS路径”选择文件,自动生成路径即可

二、执行计划

阿里云E-mapreduce 如何提交自己的jar包并运行


选择执行计划,创建执行计划,根据提示向下做即可

三、查看执行结果

1.可以做执行计划->管理->执行记录中,查看执行状态可执行结果

阿里云E-mapreduce 如何提交自己的jar包并运行

2. 也可以通过hadoop的8088端口查看执行结果

阿里云E-mapreduce 如何提交自己的jar包并运行