您的位置: 首页 > 文章 > 大数据之MR Job案例 大数据之MR Job案例 分类: 文章 • 2024-07-01 11:24:16 1 创建运行MapReduce作业的文件目录 2 将input文件发送到到分布式文件系统中并检查是否成功 3 测试案例 在生产上，map和reduce是分步运行的，map运行到50%时reduce开始运行，对于小的数据文件，map运行到100%reduce才开始运行。在资源不够的情况下会报错，会尝试提交其他资源，重新上传资源，其每次输出的文件夹都不一样，因为系统不会覆盖原来的输出文件，这时候会给输出文件重新命名以区分开来，不然的话会出错的。 4 从分布式文件系统复制output到本地并测试
