CentOS7下sqoop搭建

CentOS下sqoop安装

1.在官网找到适合 hadoop2.X 的sqoop进行下载

2.输入 mkdir /usr/local/sqoop 建立sqoop目录

3.将下载好的tar包放到该目录

4.进入该目录，输入解压命令，解压tar包

5.输入 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 修改文件名，这里不修改也可以，主要是文件名太长了，改短点好看

6.输入 vi /etc/profile 修改环境变量，加入以下内容，保存并退出

SQOOP_HOME=/usr/local/sqoop/sqoop1.4.6

 

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

7.输入 . /etc/profile 使配置文件生效

8.进入sqoop的conf目录，输入 cp sqoop-env-template.sh sqoop-env.sh 复制并重命名配置文件，接着输入 vi sqoop-env.sh 修改配置文件

9.根据自己的安装目录，配置3个环境变量，具体如下，这里以hive为例，hbase就不再配置，保存并退出

export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoop-2.7.3/

export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoop-2.7.3/

export HBASE_HOME=/usr/local/hbase/hbase-1.2.4/

export HIVE_HOME=/usr/local/hive/apache-hive-0.13.0-bin/             

10.进入sqoop的bin目录，输入 vi configure-sqoop 修改配置

11.注释掉几个没有配置的选项，防止启动报错，保存并退出

12.将mysql的驱动jar包放到sqoop的lib目录下

13.输入 sqoop list-databases --connect jdbc:mysql://192.168.88.16:3306/ --username root --password Admin=123! 通过sqoop查看mysql数据库中的所有表，标红部门需要修改，IP和mysql数据库的密码根据自己电脑的设置进行修改

14.进入hadoop的sbin目录，输入 ./start-all.sh 启动hadoop

15.任意位置输入 hive --service metastore 开启hive数据仓库，若卡住不动如下，其实已经开启了数据仓库，直接打开另一个shell窗口操作即可（例如右键CRT的IP，点击克隆会话）

16.任意位置输入 hive cli 进入hive客户端，再输入 show tables 查看hive中的所有表

17.输入 exit; 退出hive客户端

18.任意位置输入 mysql -u root -p 进入mysql

19.输入 create database it; 创建一个名为it的库

20.输入 use it; 切换到it库

21.输入 create table spark(id int,name varchar(10)); 创建一张用于测试sqoop的表

22.输入 exit 退出mysql数据库

23.任意位置输入 sqoop import --connect jdbc:mysql://192.168.88.16:3306/it --username root --password Admin=123! --table spark --hive-import -m 1 --driver com.mysql.jdbc.Driver 将mysql的mysql库中的user表通过sqoop导入hive，注意标红位置根据自己的IP和mysql密码修改，标蓝部分为mysql的库和表

24.任意位置输入 hive cli 进入hive客户端，然后输入 show tables; 查看hive中的表，此时多出一张spark表，这是在mysql的it库中创建的spark表。成功完成了通过使用sqoop，将mysql中的表迁移到hive