Map Reduce中的Shuffle大致流程
在mapreduce中,shuffle指把map输出转化为reduce的输入的过程
shuffle官方流程图,其中黑线部分为shuffle:
shuffle运行步骤:
1.map输出后会先经过一个圆形内存缓冲区,用于存储输出的键值对
(默认大小100MB,mapreduce.task.io.sort.mb调整),一旦达到阈值(默认0.8,mapreduce.task.io.sort.percent调整)一个后台线程把内容写到(spill)磁盘指定目录下(mapred.local.dir)的新建的一个溢写文件
2.执行溢出写(发生在溢写之前),进行分区(Partition),排序(Sort),合并(Combine)
3.fetch阶段,将对应分区的数据copy到相应的reduce中(默认线程数为5,mapreduce.reduce.shuffle.parallelcopies调整)
4.merge阶段,根据fetch来的数据量排序后进行循环合并
5.reduce输出output
对文章感兴趣?试试关注我的公众号