将Scala对象写入Parquet的最佳方式是什么?
问题描述:
我有一个从JSON创建的Scala案例类,比如case class Person(age:Int,name:String)。我知道我无法将JSON写入Parquet。将Scala对象写入Parquet的最佳方式是什么?
我可以直接将案例类写入Parquet吗?还是需要使用另一种格式,如Scrooge/Thrift或Avro?哪些API最适合用于此目的?
答
我认为你需要实现ParquetWriteSupport类来编写你的自定义类。