【大数据】MapReduce原理(2)
MapReduce中自定义传递对象
自定义传递对象:
1. 自定义key传递对象需要实现WritableComparable接口。
注意:这里定义类必须有无参构造函数,否则会报错。
2. 自定义key传递对象需要实现Writable接口。
这两种实现区别在于:MapReduce在map阶段会对结果按key进行排序,所以需要实现Comparable的比较方法:
同时还要重写序列化的方法(map传递到reduce的时候需要将key和value序列化,所以这里需要重写序列化方法):
MapReduce的JavaAPI杂记
- 获取当前切片文件名。