使用熊猫在python中读取大型CSV文件

问题描述:

我正在尝试读取大型CSV文件(大约650兆字节)并将其转换为numpy数组并使用大熊猫读取文件,然后打印numpy数组。使用熊猫在python中读取大型CSV文件

这里是我的代码:

import numpy as np 
import pandas as pd 

csv = pd.read_csv("file.csv", header=None) 
csv = np.array(csv) 
print(csv) 

运行这段代码坠毁我的电脑我最后一次尝试。任何建议如何运行它,而不会崩溃我的电脑?

这里是我的笔记本电脑规格:
CPU:Intel酷睿i7 6500U
RAM:12 GB LPDDR4
GPU:的GeForce 940MX

编辑:没关系,我不得不做的就是添加low_memory = false加载CSV文件时。

+1

为什么你的计算机崩溃(内存不足/ cpu /?) – thebjorn

+1

另外,如果'pd.read_csv'工作成功......你在使用'np.array'做什么?熊猫在下面使用numpy - 它只是具有更高级别的API,所以你已经有了numpy数组(#)... –

+0

我不知道它为什么会崩溃我的电脑。它只是冻结,我不得​​不强制重新启动它。另外感谢告诉我,熊猫使用numpy。少一行代码... – semicolon

只是不打印所有的内容,只打印你想要的行,这将帮助你不会使计算机崩溃。将它转换为numpy数组是大部分资源的使用。