Hadoop之MapReduce
分而治之,将一个大任务分成若干个小任务(map)并行执行后,合并结果(reduce)
1.MapReduce体系结构
JobTracker的角色:
- 作业调度
- 分配任务、监控任务执行进度
- 监控TaskTracker的状态
TaskTracker的角色:
- 执行任务
- 向JobTracker汇报任务状态
2.MapReduce的作业执行过程
3.MapReduce容错机制
- 重复执行
- 推测执行
分而治之,将一个大任务分成若干个小任务(map)并行执行后,合并结果(reduce)
JobTracker的角色:
TaskTracker的角色: