pd.read_csv指定数据类型是非常重要的
指定数据类型的情况下:
不指定数据类型的情况下:
内存爆满,出现异常
分析原因:
由于使用默认的参数设置,数据类型会选64位的,导致内存不够用;
数据虽然只有2G多。读取进内存后,数据类型选择不当,17个G都不够用;
指定数据类型的情况下:
不指定数据类型的情况下:
内存爆满,出现异常
分析原因:
由于使用默认的参数设置,数据类型会选64位的,导致内存不够用;
数据虽然只有2G多。读取进内存后,数据类型选择不当,17个G都不够用;