hadoop之MR Job案例

Linux 文件存储系统

HDFS 分布式文件存储系统

hdfs是架在linux上的分布式文件存储系统,如果要操作hdfs,必须在linux命令前加hdfs dfs

2.部署好hdfs,然后创建用户
hadoop之MR Job案例

3.bin/hdfs dfs -put etc/hadoop input (-put命令,把etc/hadoop这个目录放到input这个目录下,input就是指当前所在的目录即/uer/hadoop这个目录下)hadoop之MR Job案例

4.hadoop之MR Job案例

5.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘fs[a-z.]+’hadoop之MR Job案例

6.map和reduce在跑的过程中,并不是一个跑完另一个再跑,可同时进行,如下图hadoop之MR Job案例hadoop之MR Job案例