如何将多个文件(相同模式)加载到BigQuery中的表中?

问题描述:

我有我想要加载到BigQuery资料表具有相同的架构CSV文件的文件夹。如何将多个文件(相同模式)加载到BigQuery中的表中?

有没有给文件夹路径作为输入到BQ命令加载到BigQuery资料表的选项?我很想知道是否可以在迭代文件或合并源文件中的输入文件的情况下完成。

如果使用云存储是一种选择,你可以把他们都在一个共同的前缀水桶和例如使用通配符gs://my_bucket/some/path/files*可快速指定具有多个输入的单个加载作业。

+0

感谢。这样可行。如果文件在子文件夹内怎么办?我们可以设置递归加载子文件夹数据的选项吗? – user1311888

+0

GCS在这方面不是文件系统,路径实际上只是二进制对象的关键。换句话说,只要你的字符串前缀只匹配你想要的CSV文件,那么无论在gs://路径中有多少斜杠。 – shollyman

+0

是否有必要通过谷歌云存储上传大量文件(数千个文件)?我只看到使用GCS的答案,但这是非常间接的,也许更昂贵。 – Jeff