从Redshift加载大于内存数据到bcolz中

Question

我想在本地保存红移查询的输出。我一直在使用blaze/odo尝试，但与尝试写作，并试图流中的数据会引发其他错误之前加载所有的数据到内存的默认设置，描述了另一个问题：Streaming results with Blaze and SqlAlchemy

因为这个问题没有任何答案，我寻找替代方法来做到这一点。

什么是简单，可靠和合理有效的方式加载大于内存查询结果到Redshift bcolz？

Answer 1

我看到这是一个老问题，但我会回答它，以帮助有同样问题的人偶然发现它。我假设你使用Blaze来访问Redshift。你必须对一些列的分区表，并做反复，像这样：

import blaze as bz 
table = bz.Data('postgresql://[email protected]::table_name') 
val_list = bz.odo(table['column_name'].distinct(), list) 
np_dtype = table.schema[0].to_numpy_dtype() 
for val in val_list: 
    table_partition = table[table['column_name'] == val] 
    partition_len = int(table_partition.count()) 
    bcolz.fromiter(table_partition, np_dtype, partition_len, 
        rootdir='rootdir_for_partition', mode='w', 
        cparams=compression_params) 

，比使用bcolz.walk到结果迭代。