大数据【八十六】Sqoop【一】-- 概述/ 原理/ 安装配置/ Sqoop的导入和导出
一、Sqoop简介
（一）简介
Sqoop于2012年3月孵化出来，现在是一个*的Apache项目。
Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。【可以理解为一种数据搬运工具】
Sqoop(发音：skup)是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
（二）出现背景
Apache框架Hadoop是一个越来越通用的分布式计算环境，主要用来处理大数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具，可以在Hadoop和关系型数据库之间转移大量数据。
（三）核心的功能
参考：https://www.cnblogs.com/qingyunzong/p/8807252.html
核心功能有两个：【导入、迁入】和【导出、迁出】。
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。
（四）sqoop和hive的区别
参考：https://www.cnblogs.com/qingyunzong/p/8807252.html
sqoop：
工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序
hive
工具，本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序
（五）版本问题
1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。
二、Sqoop原理
将导入或导出命令翻译成 MapReduce 程序来实现， 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。
三、Sqoop安装
（一）前提概述
安装Sqoop的前提是已经具备Java和Hadoop的环境。
参考：https://www.cnblogs.com/qingyunzong/p/8807252.html
1. 将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？
HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL
2. sqoop就是一个工具， 只需要在一个节点上进行安装即可。
3. 如果你的sqoop工具将来要进行hive或者hbase等等的系统和MySQL之间的交互，你安装的SQOOP软件的节点一定要包含以上你要使用的集群或者软件系统的安装包
4. 将来要使用的azakban这个软件 除了会调度 hadoop的任务或者hbase或者hive的任务之外， 还会调度sqoop的任务。azkaban这个软件的安装节点也必须包含以上这些软件系统的客户端。
（二）下载并解压
1) 最新版下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/software/
3) 解压sqoop安装包到指定目录，如：
|
$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/ |
（三）修改配置文件
Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。
1) 重命名配置文件
|
$ mv sqoop-env-template.sh sqoop-env.sh $ mv sqoop-site-template.xml sqoop-site.xml 此行不用做 |
2) 修改配置文件
sqoop-env.sh
|
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.8.4 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.8.4 export HIVE_HOME=/opt/module/hive export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10 export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf |
（四）拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下，如：
|
$ cp -a mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib |
（五）验证Sqoop
我们可以通过某一个command来验证sqoop配置是否正确：
$ bin/sqoop help
|
出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出： Available commands: codegen Generate code to interact with database records create-hive-table Import a table definition into Hive eval Evaluate a SQL statement and display the results export Export an HDFS directory to a database table help List available commands import Import a table from a database to HDFS import-all-tables Import tables from a database to HDFS version Display version information ····· |
注:注释掉bin/configure-sqoop文件的 134行到143行的内容，内容如下
|
134 ## Moved to be a runtime check in sqoop. 135 #if [ ! -d "${HCAT_HOME}" ]; then 136 # echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail." 137 # echo 'Please set $HCAT_HOME to the root of your HCatalog installation.' 138 #fi 139 # 140 #if [ ! -d "${ACCUMULO_HOME}" ]; then 141 # echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail." 142 # echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.' 143 #fi |
（六）测试Sqoop是否能够成功连接数据库
$ bin/sqoop list-databases --connect jdbc:mysql://bigdata111:3306/ --username root --password 000
|
出现如下输出： information_schema metastore mysql performance_schema |
四、Sqoop的简单使用案例
（一）导入数据
在Sqoop中，“导入”概念指：
从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
过滤条件
- –where “age>18” 【从关系数据库导入数据时的查询条件】
- –columns “name,age” 【指定要导入的字段值/ 指定列】
- –query ‘select * from people where age>18 and $CONDITIONS’ 【从查询结果中导入数据。不能 –table 一起使用。该参数使用时必须指定
–target-dir或者–hive-table，在查询语句中一定要有where条件且在where条件中需要包含\$CONDITIONS】
- 其他参数
- --direct 【直接导入模式，使用的是关系数据库自带的导入导出工具】
- --connect <jdbc-uri> jdbc 连接地址
- --driver <class-name> 驱动类
1、RDBMS到HDFS
1) 确定Mysql服务开启正常
2) 在Mysql中新建一张表并插入一些数据
|
$ mysql -uroot -p000 mysql> create database company; mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255)); mysql> insert into company.staff(name, sex) values('Thomas', 'Male'); mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale'); |
3) 导入数据
（1）全部导入
|
$ bin/sqoop import \ |
- --connect jdbc:mysql://bigdata111:3306/company 【连接数据库，company是mysql的库名】
- table staff 【staff 是关系数据库表名，数据从该表中获取】
- target-dir /user/company \ 【导入到hdfs路径：/user/company 】
- delete-target-dir \ 【如果原来有/user/company，删除原来的文件夹】
- --fields-terminated-by "\t" 【设定每个字段是以什么符号作为结束的】
- --lines-terminated-by "\n"
（2）查询导入
|
$ bin/sqoop import \ |
尖叫提示：must contain '$CONDITIONS' in WHERE clause. 注：CONDITIONS 翻译‘条件’
尖叫提示：如果query后使用的是双引号，则$CONDITIONS前必须转义符，防止shell识别为自己的变量。
（3）导入指定列
|
$ bin/sqoop import \ |
尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格
（4）使用sqoop关键字筛选查询导入数据
|
$bin/sqoop import \ |
尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。
2. RDBMS到Hive
过程
- mysql表导入到HDFS的当前用户目录下(相当于临时文件，在在HDFS当前用户目录【/user/root】下生成)
- 再从上面的临时文件复制到到指定的hive表的目录下
- 最后删除临时目录
参数
- --table staff 【在HDFS当前用户目录【/user/root】下生成 staff，这个staff表必须在mysql数据库company下存在】
- --hive-import 【必须参数，指定导入hive（没有这个条件导入到hdfs中）】
- --create-hive-table 【默认是false，如果目标表已经存在了，那么创建任务会失败】
--hive-table staff_hive 1 【会自动创建这个表】
--hive-overwrite【覆盖掉在Hive表中已经存在的数据】
--fields-terminated-by 【hive的分隔符】
注意
- sqoop会自动创建hive的表。 但是不会自动创建不存在的库
相当于先把数据从RDBMS导入HDFS，然后再load到Hive。
|
$ bin/sqoop import \ |
尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库
尖叫提示：从MYSQL到Hive，本质时从MYSQL => HDFS => load To Hive
看日志输出可以看出 在执行map任务之后 又执行了load data
（二）导出数据
在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。
1、HIVE/HDFS到RDBMS
注意：
- 导出到mysql中的表要是存在的，而且和hive/hdfs的表创建结构相同。
参数：
- --export-dir 【导出的目录】
- --table 【mysql的表名】
|
在mysql中创建abc表 create table abc(id int,name VARCHAR(50),sex VARCHAR(50)); |
|
$ bin/sqoop export \ |
尖叫提示：Mysql中如果表不存在，不会自动创建,自行根据表结构创建
思考：数据是覆盖还是追加 答案：追加
（三）脚本打包
使用opt格式的文件打包sqoop命令，然后执行
1) 创建一个.opt文件
|
$ touch job_HDFS2RDBMS.opt |
|
在mysql的Andy数据库中创建aca表 create table abc(id int,name VARCHAR(50),sex VARCHAR(50)); |
2) 编写sqoop脚本
|
$ vi ./job_HDFS2RDBMS.opt #以下命令是从staff_hive1中追加导入到mysql的aca表中
export |
3) 执行该脚本
|
$ bin/sqoop --options-file job_HDFS2RDBMS.opt |