Hadoop序列化与Java序列化的区别

hadoop权威指南5.4.3

什么时候需要序列化?

当 Java 对象需要在网络上传输 或者 持久化存储到文件中时,就需要对
Java 对象进行序列化处理。

什么是序列化?

序列化是指将结构化对象转化成字节流,以便在网络上传输,或是将结构化对象写入本地磁盘的过程。

反序列化是指将字节流转回结构化对象的逆序列化操作

为什么hadoop不用Java提供的序列化?

hadoop不使用Java的序列化(object serialization) 是因为Java的序列化太过重量级,输出结果太复杂,他会输出非常多的信息,包括包名,类名,数据的类型等等,在数据量庞大的hadoop框架是不合适的。

Java objectserialization实现的序列化
????Java中的序列化结果
Hadoop序列化与Java序列化的区别

Hadoop序列化的优点:

紧凑:充分利用网络带宽

快速:节省网络带宽,减少序列化反序列化开销

可扩展:支持通信协议升级

互操作:支持多语言交互

Writable接口

序列化与反序列化通过在自定义数据中实现Writable接口来实现

Writable接口封装了两个方法

write(写入DataOutput二进制流)和readFields(读取DataOutput二进制流)