在HDFS中创建zip表格

问题描述：

我试图创建不是这样的zip表格。在HDFS中创建zip表格

CREATE TABLE example_table (| a BIGINT, b BIGINT, v STRING, d TINYINT ) STORED AS TEXTFILE LOCATION /path/to/directory/

这不是拉链表。我还想创建带有zip的新表以获取此表的历史记录。我怎样才能创建一个zip表？

'存储TEXTFILE'没有被压缩，没有。你为什么不使用不同的存储格式？ –

答

第一组下面的属性

SET hive.exec.compress.output=true; 
SET mapred.output.compression.type=BLOCK; 
set mapred.output.compress=true; 
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

现在将数据插入备份表

INSERT INTO backup_table select * from example_table

现在的数据将转换成gzip格式

所以之后，所有的表将被压缩？我应该在插入任何表之前总是写下它吗？ –

所有的数据文件将被压缩成gz，你需要在每个会话中设置一次这些属性，如果你退出会话并再次启动新会话，在将数据插入备份表之前再次设置它们 –

最后一个问题是我应该在蜂巢中插入数据还是也可以通过黑斑羚插入？并可以在你的答案下面添加一个关于该问题的链接。感谢回复 –

在HDFS中创建zip表格

相关推荐