Hadoop序列化与Java序列化的区别
hadoop权威指南5.4.3
什么时候需要序列化?
当 Java 对象需要在网络上传输 或者 持久化存储到文件中时,就需要对
Java 对象进行序列化处理。
什么是序列化?
序列化是指将结构化对象转化成字节流,以便在网络上传输,或是将结构化对象写入本地磁盘的过程。
反序列化是指将字节流转回结构化对象的逆序列化操作
为什么hadoop不用Java提供的序列化?
hadoop不使用Java的序列化(object serialization) 是因为Java的序列化太过重量级,输出结果太复杂,他会输出非常多的信息,包括包名,类名,数据的类型等等,在数据量庞大的hadoop框架是不合适的。
Java objectserialization实现的序列化
????Java中的序列化结果
Hadoop序列化的优点:
紧凑:充分利用网络带宽
快速:节省网络带宽,减少序列化反序列化开销
可扩展:支持通信协议升级
互操作:支持多语言交互
Writable接口
序列化与反序列化通过在自定义数据中实现Writable接口来实现
Writable接口封装了两个方法
write(写入DataOutput二进制流)和readFields(读取DataOutput二进制流)