导出熊猫数据框,同时保留模式
问题描述:
我正在处理一个数据框,其每一行由不同的python字典组成。我希望能够将这些数据存储到磁盘并移动这些数据,但将数据保存为.csv文件格式会使格式化信息消失。有没有可以导出数据框而不丢失其模式的任何格式?导出熊猫数据框,同时保留模式
我可以用.parquet格式在pyspark中做类似的事情。熊猫支持有什么等价物吗?
答
我认为你可以使用DataFrame.to_pickle
和pandas.read_pickle
:
df = pd.DataFrame({'a':[{'A':1,'B':2}, {'C':7}],
'b':[{'D':7}, {'A':8,'C':3}]})
print (df)
a b
0 {'A': 1, 'B': 2} {'D': 7}
1 {'C': 7} {'A': 8, 'C': 3}
print (df.applymap(type))
a b
0 <class 'dict'> <class 'dict'>
1 <class 'dict'> <class 'dict'>
df.to_pickle('data.pkl')
df = pd.read_pickle('data.pkl')
print (df)
a b
0 {'A': 1, 'B': 2} {'D': 7}
1 {'C': 7} {'A': 8, 'C': 3}
print (df.applymap(type))
a b
0 <class 'dict'> <class 'dict'>
1 <class 'dict'> <class 'dict'>
+0
谢谢!解决了我的问题 – user3591675
+0
超级,这是好消息;)请点击'✓'undex'1'接受。谢谢。 – jezrael
感谢的人!这工作。 – user3591675