从Navicat导出oracle建表语句,应用sqoop将oracle中的表数据导入到hive
ORACLE库的操作
首先选择navicat作为这个文件的工具,作为数据库表结构的导入和导出工具。
导出的时候 会连结构和数据都导出来,会形成一个sql文件 也可以只倒视图或者表都可以的。
但是以导出的这个文件导入的时候 会有这样的问题。就是在导入的时候,在视图导入的时候 会有问题,就是很多视图会有依赖关系 这样就需要在导入库的时候 先创建有依赖的视图,然后再运行就可以了,有很多视图会有视图依赖 所以不要一下子都运行 这样就不知道是不是先创建的视图。
用sqoop从oracle的表导入到hive中的命令
sqoop import --hive-import --connect "jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.87.116)(PORT=1521)))(LOAD_BALANCE=yes)(CONNECT_DATA=(SERVICE_NAME=bonc)))" --table LZS --hive-table TEST.LZS --username dm --password dm --verbose -m 1
注意 在倒出的时候 oracle在那台机器上,就在那台机器上执行这个命令 否则会报错,如图
Oracle库在172.16.87.116上 在hadoop111上没有相适应的库
成功了 !!!!!
刚开始会报一个错 什么outputformat file directory have already exists 如果有报错有这个文件 那么可以在hdfs 上先把这个文件删除了 再执行一边即可 如果在50070界面看的话 会因为权限不足而无法查看, 所以得用命令来看 hadoop fs –ls / 找到你要找的文件 它报错会像这个样子 hdfs://nameservice1/user/root/** z 这个样子的 而你执行命令的时候 类似与这样 例如 hadoop fs –ls /user/root/ 就能看到 already exsist 这个文件了 ,然后执行 hadoop fs -rm -r /user/root/LZS/ 删除它 再次执行。
Hadoop fs –ls +路径 查看文件
Hadoop fs –rm –r 路径 级联删除文件