Sqoop轻松部署

环境准备

–Java

–Hadoop(Hdfs/Yarn)

l下 载 Sqoop http://sqoop.apache.org/

http://archive.apache.org/dist/sqoop/1.4.6/

http://archive.apache.org/dist/sqoop/1.4.7/

http://archive-primary.cloudera.com/cdh5/cdh/5/

版本要对应：hadoop是2.6了，那么sqoop也是2.0以上的。

安装部署sqoop

---下载并解压sqoop(tar -zxvf)

---修改配置文件sqoop-env.sh

---配置环境变量/etc/profile

---将mysql的jar包放到sqoop lib目录下

---测试运行

这里用了 1.4.6版本安装

1、解压文件

放在/home/hadoop/app目录下：

[[email protected] app]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

[[email protected] app]# rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

[[email protected] app]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

2、修改配置文件

[[email protected] conf]# cp sqoop-env-template.sh sqoop-env.sh

修改/home/hadoop/app/sqoop/conf/sqoop-env.sh文件

[[email protected] conf]# vi sqoop-env.sh

3、配置环境变量

[[email protected] sqoop]# vi /etc/profile

[[email protected] sqoop]# source /etc/profile

4、测试 Sqoop

sqoop version

5、mysql的jar包放到sqoop lib目录下

需要mysql的导入导出，需要mysql的驱动包。

 

6、启动sqoop

启动的sqoop前提，是需要hadoop集群的正常运行。

我这里是用了root用户搭建，如果你想使用hadoop用户使用sqoop

需要授权限

[[email protected] app]# chown -R hadoop:hadoop sqoop

会变成hadoop用户

我这里不用hadoop用户，所以不用授权限。

其实sqoop就没有启动这回事，只要以上步骤配置好之后，直接执行命令即可咯！！！！！！

但是 hadoop集群一定是正常运行的