从数据库读取数据并写入本地驱动器,大数据
问题描述:
我想从netezza databse获取5 GB的数据并将其写入本地驱动器。我试过以下:从数据库读取数据并写入本地驱动器,大数据
pd.concat([chunk for chunk in (pd.read_sql("""SELECT * FROM table""",conn,chunksize=10000))]).to_sql('table1',conn1)
这需要大量的时间,几乎一天。任何人都可以建议一个替代方案来快速完成这个过程,所以我可以处理25GB的更大数据?
答
如果只从DB驱动器,那么你可以用它来存储数据的要求以下选项 -
nzsql -u user -pw pwd -db database -o abc.dat -c "sql"
或者
nzsql -u用户-pw PWD -db数据库-c “SQL” > abc.dat
答
我推荐使用transient external table。
CREATE EXTERNAL TABLE 'c:\localFileName.dat' USING (RemoteSource 'ODBC' delim '|')
as SELECT * FROM table;