使用Sqoop将数据加载到HDFS

问题描述：

我正在寻找将数据移动到HDFS系统的方法，想知道Apache Sqoop是否可用于从外部REST服务中提取/提取数据？使用Sqoop将数据加载到HDFS

答

Sqoop是被设计为Hadoop和关系数据库之间传输数据的一种工具。您可以使用Sqoop将关系数据库管理系统（RDBMS）（如MySQL或Oracle）的数据导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的数据，然后将数据导出回RDBMS。

因此它不支持从REST服务导入数据。

答

我最喜欢的方式，从REST服务提取数据：

卷曲的http：// | hdfs -put -/my/hdfs/directory