如何下载存储在服务器中的文件并保存到hadoop

如何下载存储在服务器中的文件并保存到hadoop

问题描述:

在我的服务器每小时生成一个文件,通常是250到300 MB 我想下载这些文件并放在hadoop下。 如果有人有任何想法,请回复怎么做。如何下载存储在服务器中的文件并保存到hadoop

Apache Hadoop附带了强大且有用的一组命令行。看看:Hadoop FileSystem Shell
特别地,copyFromLocalput命令。使用常规Shell命令,如果需要,可以将Hadoop命令行与SSH结合使用。

+0

+1将命令放入cron作业(如果cron在您的环境中可用)(Windows的任务计划程序),以便hadoop命令以您需要的时间间隔运行。 – 2014-11-05 17:10:26