执行Sqoop进口后加入MySQL表到蜂巢表
您好大师的嵌套JSON格式,执行Sqoop进口后加入MySQL表到蜂巢表
我们开始MySQL的数据迁移到NOSQLs,我们要迁移所有的表格格式数据嵌套JSON格式。 在某些情况下,我们将执行连接来获取数据(应该保存为嵌套数组或结构格式),那么我们应该如何将这些数据嵌套到json格式中。我们需要对此提出建议。 我们正在尝试用sqoop,hive,pig等hadoop工具的帮助来构建这个解决方案。
请您提出建议,我们可以实现这一目标的可能方式。
我们试着用下面sqoop导入命令: sqoop进口--username * --password * --connect '的jdbc:mysql的://realstart.abc:3306/retail_db' --query“选择订单。 order_id,customers.customer_id AS“customers.customer_id”,customers.customer_fname AS“customers.customer_fname”FROM订单LEFT JOIN客户ON orders.order_order_id = customers.customer_id WHERE $ CONDITIONS'--hcatalog-database default --hcatalog-table命令--split-通过ORDER_ID
我们使用下面的查询创建hcat表: hcat -e “CREATE TABLE命令(ORDER_ID INT,客户结构)行格式SERDE 'org.openx.data.jsonserde.JsonSerDe'”
但不知道如何在sqoop导入的--query中匹配hcat模式的模式。
感谢&问候,马亨德拉
我认为最好的办法是使用Hadoop地图降低课程和编写自定义的工作,以创建嵌套的JSON输出或从MySQL数据库做dump和转换数据。可以查看自定义作业文档在Hadoop中或猪:
我觉得没有任何“准备使用”中Sqoop选项创建JSON输出。