【一】hadoop单机版安装及运行wordcount
环境ubuntu16.04
1.更新apt
sudo apt-get update
2.确保已安装JAVA
如果没有请看安装步骤:Linux安装JAVA
确保已安装SSH
如果没有请看安装步骤:安装SSH
确保已配置SSH免密码登录
如果没有请看配置步骤:SSH免密码登录
这里单机则是:将A公钥添加到A认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.创建路径
mkdir /app/hadoop
cd /app/hadoop
5.下载(直接在/app/hadoop里面下载)
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.9.0.tar.gz
6.解压
tar -zxvf hadoop-2.9.0.tar.gz
7.查看是否安装完成
cd /app/hadoop/hadoop-2.9.0
./bin/hadoop version
显示出版本号则安装完成
8.单机版(不用配置,安装完成默认是非分布式模式)
9.查看hadoop是否启动
ps -ef | grep Hadoop
10.用一个配置文件运行一下wordcount
cd /app/hadoop/hadoop-2.9.0
创建输入文件夹
mkdir /app/hadoop/input
将输入文件放入输入文件夹中
cp ./etc/hadoop/core-site.xml /app/hadoop/input
运行
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcount /app/hadoop/input /app/hadoop/output
11.查看结果
cd /app/hadoop/output
cat part-r-00000