如何实现镶木地板格局的变化
问题描述:
只是我们面临的一个设计问题。如何实现镶木地板格局的变化
我有镶木格式的蜂巢外部表列如下:
describe payments_user
col_name,data_type,comment
('amount_hold', 'int', '')
('id', 'int', '')
('transaction_id', 'string', '')
('recipient_id', 'string', '')
('year', 'string', '')
('month', 'string', '')
('day', 'string', '')
('', None, None)
('# Partition Information', None, None)
('# col_name ', 'data_type ', 'comment ')
('', None, None)
('year', 'string', '')
('month', 'string', '')
('day', 'string', '')
我们得到了我们摄取到动态分区,这是年,月,日,每天的基础上的数据。 因此,如果要更改源端的数据并添加新列并发送批处理文件,我们如何获取数据。我知道avro有这种能力,但为了减少返工,这怎么可能在镶木地板上实现呢?
如果avro是什么程序?