执行Sqoop进口后加入MySQL表到蜂巢表

Question

您好大师的嵌套JSON格式，

我们开始MySQL的数据迁移到NOSQLs，我们要迁移所有的表格格式数据嵌套JSON格式。 在某些情况下，我们将执行连接来获取数据（应该保存为嵌套数组或结构格式），那么我们应该如何将这些数据嵌套到json格式中。我们需要对此提出建议。 我们正在尝试用sqoop，hive，pig等hadoop工具的帮助来构建这个解决方案。

请您提出建议，我们可以实现这一目标的可能方式。

我们试着用下面sqoop导入命令： sqoop进口--username * --password * --connect '的jdbc：mysql的：//realstart.abc：3306/retail_db' --query“选择订单。 order_id，customers.customer_id AS“customers.customer_id”，customers.customer_fname AS“customers.customer_fname”FROM订单LEFT JOIN客户ON orders.order_order_id = customers.customer_id WHERE $ CONDITIONS'--hcatalog-database default --hcatalog-table命令--split-通过ORDER_ID

我们使用下面的查询创建hcat表： hcat -e “CREATE TABLE命令（ORDER_ID INT，客户结构）行格式SERDE 'org.openx.data.jsonserde.JsonSerDe'”

但不知道如何在sqoop导入的--query中匹配hcat模式的模式。

感谢&问候，马亨德拉

Answer 1

我认为最好的办法是使用Hadoop地图降低课程和编写自定义的工作，以创建嵌套的JSON输出或从MySQL数据库做dump和转换数据。可以查看自定义作业文档在Hadoop中或猪：

• http://joshualande.com/read-write-json-apache-pig
• A way to read table data from Mysql to Pig

我觉得没有任何“准备使用”中Sqoop选项创建JSON输出。