解决sqoop中出现的某些问题

安装sqoop出现的问题

我本人用导sqoop去导入mysql数据并存到hdfs上,安装过程中:
使用这篇博客来进行安装,

http://www.linuxidc.com/Linux/2016-09/135129.htm

  • 出现如下问题
  • 1.报错各种set问题,说缺少设置一些东西,例如:

解决sqoop中出现的某些问题

解决方法也很简单
把sqoop/bin/configure-sqoop里面的如下两段内容注释掉就可以了。

解决sqoop中出现的某些问题

  • 2.其实我个人认为安装sqoop.env.sh中他所罗列的去配置:

解决sqoop中出现的某些问题

  • 3我们在使用这个sqoop去连接mysql过程中报了个错

指令如下:
sqoop import –connect jdbc:mysql://192.168.10.124:3306/mytestdb –username root –password 123456 –table tasks –target-dir /tmp/sqoop/ -m 4

报错信息如下:

解决sqoop中出现的某些问题

当然这可不是你密码账号错误,而是你的mysql数据库没有给除了主机之外的节点远程访问权限而导致,解决方式如下:
进入msql数据库并且使用以下指令:
GRANT ALL PRIVILEGES ON . TO ‘myuser’@’192.168.10.124’ IDENTIFIED BY ‘mypassword’ WITH GRANT OPTION;

有多少个节点,就使用多少次,
GRANT ALL PRIVILEGES ON . TO ‘myuser’@’192.168.10.125’ IDENTIFIED BY ‘mypassword’ WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON . TO ‘myuser’@’192.168.10.126’ IDENTIFIED BY ‘mypassword’ WITH GRANT OPTION;

再次使用这个导入hdfs指令就显示成功!
解决sqoop中出现的某些问题

解决sqoop中出现的某些问题

到这里其实已经结束了!我们再去看我们的hdfs已经有数据了!

如图所示:我是放在/tmp/sqoop目录下

解决sqoop中出现的某些问题

大家可以从hdfs放到本地打开看一下,使用,隔开的方式,这里就不做演示了!希望新手能够看到,——-少走弯路!