treeReduce和reduce

尽量使用treeReduce而不使用reduce

treeReduce和reduce

理解1:

简单的解释就是treeReduce 是在excutor 端把脏活儿累活给做完了,必须要在单节点做的时候才返回,reduce是什么都不管,我返回数据到单节点,什么都要你单节点的来做

理解2:
treeReduce是该reduce的时候,先在自己的分区,把key合并一下,然后在传到drive节点统一,相当于预计算了,reduce是该reduce的时候,全部数据不合并key直接返回给driver,然后统一

treeReduce和reduce

treeReduce和reduce

暂时不清楚先放在这里