【大数据】MapReduce原理(2)

MapReduce中自定义传递对象

自定义传递对象:
1. 自定义key传递对象需要实现WritableComparable接口。
【大数据】MapReduce原理(2)
注意:这里定义类必须有无参构造函数,否则会报错。
2. 自定义key传递对象需要实现Writable接口。
这两种实现区别在于:MapReduce在map阶段会对结果按key进行排序,所以需要实现Comparable的比较方法:
【大数据】MapReduce原理(2)
同时还要重写序列化的方法(map传递到reduce的时候需要将key和value序列化,所以这里需要重写序列化方法):
【大数据】MapReduce原理(2)

MapReduce的JavaAPI杂记

  • 获取当前切片文件名。
    【大数据】MapReduce原理(2)