使用熊猫在python中读取大型CSV文件
问题描述:
我正在尝试读取大型CSV文件(大约650兆字节)并将其转换为numpy数组并使用大熊猫读取文件,然后打印numpy数组。使用熊猫在python中读取大型CSV文件
这里是我的代码:
import numpy as np
import pandas as pd
csv = pd.read_csv("file.csv", header=None)
csv = np.array(csv)
print(csv)
运行这段代码坠毁我的电脑我最后一次尝试。任何建议如何运行它,而不会崩溃我的电脑?
这里是我的笔记本电脑规格:
CPU:Intel酷睿i7 6500U
RAM:12 GB LPDDR4
GPU:的GeForce 940MX
编辑:没关系,我不得不做的就是添加low_memory = false
加载CSV文件时。
答
只是不打印所有的内容,只打印你想要的行,这将帮助你不会使计算机崩溃。将它转换为numpy数组是大部分资源的使用。
为什么你的计算机崩溃(内存不足/ cpu /?) – thebjorn
另外,如果'pd.read_csv'工作成功......你在使用'np.array'做什么?熊猫在下面使用numpy - 它只是具有更高级别的API,所以你已经有了numpy数组(#)... –
我不知道它为什么会崩溃我的电脑。它只是冻结,我不得不强制重新启动它。另外感谢告诉我,熊猫使用numpy。少一行代码... – semicolon