Windows10上运行hadoop第一个实例wordcount MapReduce Example
之前做实验的时候找资料，结果搜来搜去都找不到想要的，首先网上很多都是linux的资料，所以建议要做的朋友也尽量在linux上做。这里不得不吐槽一下lj百度，搜点东西啥都找不到，很多国外没有被墙的网站论坛都没有。。。最后还是求助google。
网上都是关于hadoop在Windows上的安装教程，对于运行第一个实例讲得特别少，所以我来补充一下。另外，尽量选择已经测试没有问题的版本，比如3.0以后的会出现一些以前2.x版本没有的坑，所以尽量选择测试没有问题的版本。
本文需要用到的文件：
https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar
https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/input_file.txt
这个程序就是统计文件中字符出现的次数。
1.
对于hadoop的安装和环境配置就不多说了，网上都能找到相关教程，不过Windows的会少很多。另外有个坑，查看hadoop运行状态的ip地址换成了 http://localhost:9870/ 我也是在一个国外论坛看到的，之前傻乎乎的进50070那个，死活进不去，我还以为是我配置除了问题。好了，进入正题。
在确保hadoop安装配置正确之后，首先用管理员权限打开命令行，进入hadoop的安装目录的 /sbin目录下，执行以下 代码1 运行程序
start-all.cmd如果出现错误的话，就先进入\hadoop-3.0.2\bin\ 目录下执行以下 代码2 （就是hadoop安装目录下的 bin 文件夹）
hadoop namenode -format //格式化hdfs再执行 代码1 ，如果还是不行，就看看hadoop目录下的\etc\hadoop\data\dfs目录下的两个文件夹里面有没有文件，有的话就删掉（emm我是这么做的，其他方法不了解）
上面两个文件夹datanode和namenode里面有文件就删掉。然后执行上面的 代码2 格式化hdfs，再执行上面的 代码1 运行程序。（这里为了方便可以一开始就先执行 hadoop namenode -format 格式化，然后执行代码1）
启动之后就是这样，总共有五个框
2.
执行以下命令新建文件夹
hadoop fs -mkdir /input_dir上传文件到新建的文件夹（文件目录改成自己的）
hadoop fs -put C:/input_file.txt /input_dir查看文件是否成功上传
hadoop fs -ls /input_dir/如果成功就可以看到多了个文件
也可以看看文件内容
hadoop dfs -cat /input_dir/input_file.txt可以看到文件里面是很多数字
之后就运行程序统计数字出现的次数，并把结果输出（注意文件目录改成自己的）
hadoop jar C:/MapReduceClient.jar wordcount /input_dir /output_dir
没有报错的话就可以查看结果了
hadoop dfs -cat /output_dir/*可以看到统计出的数字出现次数。到此hadoop在Windows上的第一个实例就完成了。
参考资料：