阿里云E-mapreduce 如何提交自己的jar包并运行
源起
租用了E-mapreduce服务器,如何运行自己的spark程序。
参考官方文档:点spark作业配置, 我只是更详细的描述一下操作步骤。
操作步骤
一、创建作业
1. 作业
2. 创建作业
3. 输入你平常在虚拟机提交任务时的指令,并做以下修改:
1)只保留“spark-submit”之后的内容 (因为在后台提交时,它会自动加上这句话)
2)jar包的路径 是存在oss的buket中的,选择“选择OSS路径”找到自己上传的jar包,并把oss协议改成ossref协议
3)其他的参数涉及到路径的,比如输入输出文件的位置,直接用“选择OSS路径”选择文件,自动生成路径即可
二、执行计划
选择执行计划,创建执行计划,根据提示向下做即可
三、查看执行结果
1.可以做执行计划->管理->执行记录中,查看执行状态可执行结果
2. 也可以通过hadoop的8088端口查看执行结果