复制大BigQuery表格到谷歌云存储和随后的本地下载
我的目标是在本地保存一个BigQuery资料表,以便能够进行一些分析。为了在本地保存,我尝试将它作为csv文件导出到Google云端存储。唉数据集太大,将其移动作为一个文件,因此它被分裂成许多不同的文件,看起来像这样:复制大BigQuery表格到谷歌云存储和随后的本地下载
exampledata.csv000000000000
exampledata.csv000000000001
...
有没有办法把它们重新结合在一起在谷歌云存储的方式?甚至可能将格式更改为csv?
我的方法是下载并尝试手动更改。点击它不起作用,因为它会将它保存为BIN.file并且非常耗时。此外,我不知道如何将它们组装在一起。
我也试图通过gsutil命令得到它,我能够将它们保存在我的机器上,但作为压缩文件。当用WinRar解压时,它给了我exampleData.out文件,我不知道该怎么做。此外,我很无能如何把它们放回到一个文件中。
如何将表格作为一个文件并作为csv?
我在Ubuntu运行使用的计算机,但我需要有一个谷歌虚拟机的数据,使用Windows Server 2012
尝试使用下面的所有文件合并成一个从车窗命令提示符
copy *.cs* merged.csv
建议您将文件保存为文件.GZIP,那么你就可以从谷歌云轻松地下载它作为BIN文件。如果你BigQuery中的这些splited文件如下: 导出表 - > csv格式,压缩为GZIP,URI:FILE_NAME * 然后,你可以通过执行步骤如下结合他们回来:
在Windows中:
在末尾添加.ZIP所有这些文件。
使用7-Zip解压缩第一.zip文件,名称为” ... 000000000000" ,那么它会自动检测所有的休息.zip文件。这就像解压缩分割的.zip文件的正常方式一样。
在Ubuntu中:
我没有解压文件下面,我可以在网上找到的方法。如果我知道答案,会更新答案。
是格式化为CSV的exampledata文件? –
@ DarylWenman-Bateson我用7zip解压缩了它们。当用记事本打开时,它似乎有一个csv.file结构。 –
你很可能会在你的特定问题上得到很少的答案。但请记住 - 您的问题背后的动机(即“本地保存BigQuery表以便能够执行某些分析”)没有多大意义!您可能需要重新考虑将BigQuery中的数据存储在BigQuery中但试图在本地进行分析的方法。 –