hadoop学习记录2-Hadoop安装配置
分类:
文章
•
2024-09-30 17:25:04
- 安装前的环境：四台机器的时间一致；需要一台机器进行免密码登录，即可以访问任何一台机器，包括自己，而不需要输入密码。这样便于通过一台机器进行控制，而且避免每一次都需要输入密码。
- 时间一致：
-
date查看时间
-
ntpdate -u xx.xx.xx.xx同步xx.xx.xx.xx服务器的时间到本机，一般使用ntpdate -u ntp.api.bz。参看链接
- 设置免密码登录Setup passphraseless ssh参考Hadoop
- ssh登录方式：
ssh 192.168.116.3
- 第一步：node1上生成秘钥文件，公共秘钥和私有秘钥
ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa
- 第二步，将公共秘钥加入到认证文件中：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。到此node1能够访问node1自己了。
- 第三部，将node1的公钥发送给node234，并添加到node234的认证文件中。node1中执行
scp ~/.ssh/id_dsa.pub [email protected]:/opt/，node2中执行ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa加上cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys。其他node3、4同理。
- 第四步，解压Hadoop到linux指定文件，编辑
etc/hadoop/hadoop-env.sh修改参数export JAVA_HOME=/usr/java/jdk1.7.0_79/。
- 修改hadoop/core-site.xml文件、hadoop/hdfs-site.xml文件、slaves文件，添加masters文件
- 配置完成。将node1的配置复制到另外三个
scp -r hadoop-2.5.1/ [email protected]:/home/
- 配置hadoop环境变量
vi ~/.bash_profile。复制到另外三个。source ~/.bash_profile生效
- 启动
- 1、格式化hdfs
bin/hdfs namenode -format
- 2、启动NameNode daemon and DataNode daemon
start-dfs.sh
- 访问验证
