Ambari-将多个文件导入到Hive

问题描述:

我有一个python脚本,用于为要导入到Hive的目录中的文件生成模式,删除表和加载表命令。然后我可以在Ambari中运行这些文件来导入文件。可以执行多个'create table'命令,但是当上传文件以将其导入各自的Hive表格时,我一次只能上传一个文件。Ambari-将多个文件导入到Hive

有没有办法可能把这些命令放在一个文件中并一次全部执行它们,以便创建所有表并将相关文件随后上传到它们各自的表中?

我也尝试导入文件到HDFS,然后通过Linux使用'hdfs dfs -copyFromLocal/home/ixroot/Documents/ImportToHDFS/hadoop/hdfs'命令将它们发送到Hive,但出现'no这样的目录'与'hadoop/hdfs'有关。我已经尝试使用chmod更改权限,但这些似乎也不是有效的。

如果有人能告诉我哪一条路线更有效地将多个文件导入到它们各自的Hive表中,我将不胜感激。

1)有没有办法将这些命令放在一个文件中并一次全部执行,以便创建所有表并将相关文件随后上传到它们各自的表中?

你可以给一个.hql文件中的所有疑问,像test.hql和运行hive -f test.hql在一个执行所有指令拍摄

2)错误,如“没有这样的目录”

hadoop fs -mkdir -p /hadoop/hdfs然后键入hadoop fs -copyFromLocal /home/ixroot/Documents/ImportToHDFS /hadoop/hdfs

编辑:许可

hadoop fs -chmod -R 777/user/ixroot

+0

Thanks Nirmal,我试过了,但是与其他相关的命令一样,我得到以下错误:'线程中的异常'main'java.lang.RuntimeException:org。 apache.hadoop.security.AccessControlException:权限被拒绝:user = ixroot,access = WRITE,inode =“/ user/ixroot”:hdfs:hdfs:drwxr-xr-x' – badoop

+0

我试过chmod命令,它们似乎改变了在执行'ls -al'时读/写属性,但似乎对导入文件没有任何影响。 – badoop

+0

你可以分享chmod命令 –