如何使用Pandas获取csv文件的最后一个块?
问题描述:
假设我有一个包含5行的csv文件。如何使用Pandas获取csv文件的最后一个块?
现在我使用的2
data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2)
假设我这样做对这个数据块的一些魔术和追加到另一个csv文件一CHUNKSIZE遍历这个文件。
processed_data.to_csv(fname, index=None, mode="a")
问题:最后一行不写入。
我不知道如何解决这个问题。有人可以帮忙吗?
我需要使用块,因为我没有足够的RAM。
我不能使用chunksize=1
,因为打开/关闭文件太耗时。
必须有你的“魔”中的某处是一个问题。您将能够使用此方法遍历所有行。也许你应该更新你的答案,以显示你如何从数据到processed_data的例子。 – AlexG