hadoop mongodb连接器 - 输出数据不是mongodb,但hdfs

hadoop mongodb连接器 - 输出数据不是mongodb,但hdfs

问题描述:

是否有可能从hadoop mongodb插件连接器读取mongodb数据,使用mapreduce hadoop处理数据,以及何时输出结果不使用hadoop mongodb插件连接器,而是保留mapreduce hadoop的结果,在hdfs?hadoop mongodb连接器 - 输出数据不是mongodb,但hdfs

我觉得在这个前面的回答SO回答你的问题,对于小的修改:

Is it possible to read MongoDB data, process it with Hadoop, and output it into a RDBS(MySQL)?

的主要区别是,你会在OutputFormatClass设置是这样的:

job.setOutputFormatClass(SequenceFileOutputFormat.class); 

您还需要在HDFS上设置要将数据保存到的输出路径。有关完整的代码示例,请参阅它们的WordCount示例,但使用上述内容作为输出格式而不是MongoOutputFormat。

+0

我刚刚意识到我连接的问题就是你问的问题。它基本上与输出格式略有不同的问题相同。 – 2012-04-02 02:58:24