大数据开发面试部分:Hadoop 如何应对某些节点运行较慢的问题(大数据开发面试)

Hadoop 中通过拆分任务到多个节点运行来实现并行计算,但某些节点运行较慢会拖慢整个任务的运行,Hadoop  采用何种机制应对这个情况?

 

推测执行机制是 Hadoop 对“拖后腿”的任务的一种优化机制,当一个作业的某些任务运行速度明显慢于同作业的其他任务时,Hadoop 会在另一个节点 上为“慢任务”启动一个备份任务,这样两个任务同时处理一份数据,而 Hadoop 最终会将优先完成的那个任务的结果作为最终结果,并将另一个任务杀掉。

大数据开发面试部分:Hadoop 如何应对某些节点运行较慢的问题(大数据开发面试)