Hadoop集群安装环境准备
1、创建虚拟机(Vmware)
2、最小化(mini)安装Linux操作系统
3、克隆系统
1、通过克隆,迅速创建另外三台系统
4、配置虚拟网络
集群中的机器需要网络互通,因此搭建集群之前需要配置好网络。
1、首先将虚拟机网络设置为NAT模式,选择NAT模式(VMnet8)
2、使用Nat模式,通过Vmware虚拟出一块网卡,虚拟网卡通过物理网卡上网,集群中的机器可以通过虚拟出的网卡互通与上网
优点:即使换了网络比如在家中和在公司,hadoop集群的网络不受影响,不用再次修改网络设置
(1)打开虚拟网络编辑器,设置网关
选择NAT模式,设置子网IP和子网掩码,修改成你想修改成的网段,比如我设置的网关192.168.33.1
3、修改4台虚拟机的主机名,分别为mini1,mini2,mini3,mini4
修改主机名(重启后永久生效)
vi /ect/sysconfig/network
4、分别修改4台机器的IP
修改IP(重启后永久生效)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
192.168.33.61
192.168.33.62
192.168.33.63
192.168.33.64
5、重启网络
service network restart
5、使用SSH客户端远程连接Linux系统
通常服务器与工作地址不在一起,需要远程连接
这里使用SecureCRT,打开连接窗口,输入需要连接的机器IP、用户名(初学可用root直接操作系统,随后可添加操作用户)
6、配置host映射
配置host映射后,虚拟Linux之间可以通过主机名相互访问,更加便捷
机器之间首先是通过寻找host文件中的IP对应的主机名来寻找机器,因此在host中配置了IP和主机名的映射,机器之间就可以通过主机名访问了
配置文件为“/etc/hosts”,注意,配置多台,因为要相互访问
7、配置免密登陆
因hadoop集群中,涉及到一个Name Node节点,一个Secondary NameNode节点和多个Data Node节点,通过SSH免密登陆到其它节点,可实现SSH远程登录到其他节点启动软件进程脚本,而不需要人工重复多次输入密码。
1、使用mini安装的Linux没有ssh客户端工具,需要先安装
yum -y install openssh*
2、创建**对,将公钥拷贝到需要远程无秘登录的机器
(1)在mini1上,进入到 home目录下:cd ~/.ssh
(2)生成**对:ssh-******
(3)将公钥拷贝到远程登录机器上,需要远程登录的都需要要拷贝:ssh-copy-id mini2, ssh-copy-id mini3, ssh-copy-id mini4
附上免密登陆原理图:
8、防火墙配置
学习期间,暂时选择关闭防火墙和防火墙开机自启动
1、关闭防火墙:service iptables stop
2、关闭防火墙自启动:chkconfig iptables off 关掉指定服务的自动启动
9、安装配置JDK
1、上传:按下快捷键alt+p 后出现sftp窗口,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz(也可直接拖文件到上传窗口)
2、解压JDK
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
3、配置环境变量
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
4、生效配置
source /etc/profile