Sqoop进口蜂巢ORC
问题描述:
所有,Sqoop进口蜂巢ORC
我有sqooping问题,我sqooping左右为一个表数据的2TB,然后需要写ORC表机智h上。什么是实现
1)sqoop Dir1中的所有文本数据和写HQL加载到ORC表,其中的脚本在卡盘和处理失败的顶点问题
2)sqoop数据并追加到蜂巢表最好的方法(你有没有这样做呢?)
3)sqoop蜂巢进口写所有的数据蜂巢ORC表
这是最好的办法吗?
答
选项三会更好,因为您不需要创建配置单元表并再次将数据加载到该表中并以orc格式存储该数据,这对于2tb数据来说是一个漫长的过程,因此它最好在sqoop中给出,以便它可以直接将数据推送到采用orc格式的配置单元表中,但是当您将配置单元表中的数据返回给rdbms时,必须使用sqoopserde
请问Google。 SO不是推荐网站! –