hadoop之MR Job案例
Linux 文件存储系统
HDFS 分布式文件存储系统
hdfs是架在linux上的分布式文件存储系统,如果要操作hdfs,必须在linux命令前加hdfs dfs
2.部署好hdfs,然后创建用户
3.bin/hdfs dfs -put etc/hadoop input (-put命令,把etc/hadoop这个目录放到input这个目录下,input就是指当前所在的目录即/uer/hadoop这个目录下)
4.
5.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘fs[a-z.]+’
6.map和reduce在跑的过程中,并不是一个跑完另一个再跑,可同时进行,如下图