阿里云上安装伪分布式hadoop
一.主要设计到的点
1 | 安装jdk |
---|---|
2 | ssh免密码登录 |
3 | 安装hadoop |
二.下载适合的jdk版本,根据系统的位数下载,此处是64位的, 下载地址为https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
- 把 jdk-8u201-linux-x64.tar.gz 上传到usr/java
- cd usr/java
- 解压:tar -zxvf jdk-8u201-linux-x64.tar.gz
- 解压出来的文件夹为jdk1.8.0_201/
- 删除jar包 :rm -rf jdk-8u201-linux-x64.tar.gz
- 配置系统文件:vi etc/profile
- 在其尾部添加环境变量
export JAVA_HOME=/usr/lib/java/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
然后用java -version 去查看是否安装正确。
三.SSH免登录
-
安装ssh: yum install openssh-clients openssh-server 安装完成后,使用以下命令测试:
ssh localhost 输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题。 -
hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本例是在单机上模拟分布式过程,因此需要针对本机(localhost)进行免key登陆的配置。
依此输入如下命令进行配置:ssh-****** -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys -
验证是否可以免登录:ssh localhost
四。安装hadoop,下载地址为https://hadoop.apache.org/releases.html
我下载的是最新版本
hadoop-2.9.2.tar.gz,直接拿来用的
- mkdir soft上传压缩包到此文件。
- 解压 tar -zxvf hadoop-2.9.2.tar.gz 配置文件
- vi /etc/profile 配置hadoop路径
#配置hadoop home
export HADOOP_HOME=/soft/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
为了是环境变量生效要用:source /etc/profile
此时要修改hadoop的文件信息,主要包括core-site.xml,hdfs-site.xml
cd soft/hadoop-2.9.2/etc/hadoop/
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
</configuration>
保存按esc,然后输入:wq! 退出即可
vi hdfs-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vi mapred-site
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
格式化NameNode:
[[email protected] hadoop-2.9.2]# hadoop namenode -format
启动
[[email protected] hadoop-2.9.2]# sbin/start-all.sh
查看jps
![在这里插入图片描述](https://img
此时可以打开浏览器
接下来就可以玩一下hadoop喽