如何将带有标题的数据框另存为文本？

Question

我从csv文件加载数据框，我处理dataframe.describe()操作，我想将结果保存为文本文件。

这里是我的代码：

data = spark.read.csv("iris.csv", header=True, sep=',') 
    df = data.describe() 
    df.rdd.map(lambda r: ",".join([str(c) for c in r])).coalesce(1).saveAsTextFile('describeResult') 

的问题是，当过程saveAsTextfile opeartion文件收到没有数据帧头部。我如何解决它以保存包括其头文件在内的整个数据帧？

Answer 1

csv数据帧写入程序也能够写入标题。

https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.DataFrameWriter

df.write.option("header", "true").csv(...)

需要注意的是，如果你的数据框为空，标题将不会被写入。