Hadoop之MapReduce

分而治之,将一个大任务分成若干个小任务(map)并行执行后,合并结果(reduce)

1.MapReduce体系结构

JobTracker的角色:

  • 作业调度
  • 分配任务、监控任务执行进度
  • 监控TaskTracker的状态

TaskTracker的角色:

  • 执行任务
  • 向JobTracker汇报任务状态

Hadoop之MapReduce

2.MapReduce的作业执行过程

Hadoop之MapReduce

3.MapReduce容错机制

  • 重复执行
  • 推测执行