hadoop2.7.3伪分布式安装
准备:一台安装好的linux虚拟机,JDK安装包,hadoop2.7.3安装包
1、安装SSH、配置SSH无密码登陆
安装 SSH server
sudo apt-get install openssh-server
使用如下命令登陆本机
ssh localhost
退出刚才的 ssh localhost
exit
使用如下命令进入目录
cd ~/.ssh/
生成ssh**
ssh-****** -t rsa
加入授权
cat ./id_rsa.pub >> ./authorized_keys
2、安装Java环境
将java jdk解压到/usr/java中
sudo tar -zxf ~/jdk-8u121-linux-i586.tar.gz -C /usr/java
修改配置文件/etc/profile
使配置生效
source /etc/profile
检验一下是否设置正确
java -version
3、安装hadoop
将hadoop解压到/usr/local中
sudo tar -zxf ~/hadoop-2.7.3.tar.gz -C /usr/local
将文件夹名改为hadoop
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop
修改文件权限
sudo chown -R hadoop ./hadoop
检查 Hadoop 是否可用
cd /usr/local/hadoop
./bin/hadoop version
4、修改HDFS配置文件
配置hadoop-env.sh
使用source hadoop-env.sh使其生效
配置yarn-env.sh
使用source yarn-env.sh 使其生效
修改配置文件 core-site.xml
修改配置文件 hdfs-site.xml
配置mapred-site.xml
配置yarn-site.xml
配置slaves文件
4、启动HDFS
配置完成后,执行 NameNode 的格式化
./bin/hdfs namenode -format
接着开启 NameNode 和 DataNode 守护进程。
./sbin/start-dfs.sh
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
4、修改YARN配置文件
修改配置文件 mapred-site.xml
重命名
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
修改配置文件 yarn-site.xml
4、启动 YARN
./sbin/start-yarn.sh
开启历史服务器,才能在Web中查看任务运行情况
./sbin/mr-jobhistory-daemon.sh start historyserver
通过 Web 界面http://localhost:8088查看任务的运行情况
参考文章:http://www.powerxing.com/install-hadoop/