大数据实训04--Sqoop应用

sqoop

Sqoop是一款开源的工具，主要用于 在Hadoop(Hive)与传统的数据库 (mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例 如 ： MySQL ,Oracle ,Postgres等） 中的数据导进到Hadoop的HDFS中， 也可以将HDFS的数据导进到关系型数据库中。
 

数据库<---->文件系统    主要用于进行数据转移

用sqoop来查看mysql的数据库和表

sqoop list-databases --connect jdbc:mysql://192.168.228.100:3306 --username root --password root

用sqoop来查看mysql某数据库下的某个表 

sqoop list-tables --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root

 

 从mysql导入hdfs实现持久化

sqoop import --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user --target-dir '/user/hive/warehouse/user'

 

将hdfs中的文件导出到mysql的表中 

sqoop export --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user1 --export-dir 'user/hive/warehouse/user'

 

事先准备好带有字段的t_user1空表 ，导出文件数据后可以看到表中填充了记录