从压缩的CSV文件上传数据到数据存储？

问题描述：

我有一个非常大的gzip csv文件（大约500GB），我需要使用批量加载工具在数据存储中导入。有没有必要先解压缩它？如果是的话，我如何配置我的bulkload.yaml文件？从压缩的CSV文件上传数据到数据存储？

transformers: 

- kind: Client 
    connector: csv 
    connector_options: 
     encoding: zip?

答

如何使用命名管道。

mkfifo --mode=0666 /tmp/namedPipe 
gzip --stdout -d file.gz > /tmp/namedPipe

然后在另一个终端或如果分离与来自http://en.wikipedia.org/wiki/Named_pipe

由于塞巴斯蒂安采取&

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND

例gzip命令。我今天学到了一些东西。 – Charles 2012-07-25 16:01:23