cdh 离线安装

环境:
操作系统:CentOS 6.5
hadoop: cloudera hadoop 5.1.0
主机:192.168.1.100 master 内存4G 硬盘25G, 
          192.168.1.101 slave1  内存2G 硬盘25G

一、Linux 环境设置
以下操作是在master主机上进行
1.网卡设置

[Shell] 纯文本查看 复制代码

?

01

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

vi /etc/sysconfig/network-scripts/ifcfg-eth0

 

DEVICE="eth0"

BOOTPROTO="static"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="8278a898-a033-4992-bbd7-8272ac03d54a"

IPADDR=192.168.1.100

PREFIX=24

GATEWAY=192.168.1.1

DNS1=202.106.195.68

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

NAME="System eth0"

HWADDR=00:0C:29:60:82:46

DOMAIN=202.106.46.151

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

LAST_CONNECT=1457875283


重启服务:

[Bash shell] 纯文本查看 复制代码

?

1

service network restart


常见问题:重启完后如果还ping不通网关,请检查虚拟机的网络适配器连接方式是否调成了桥接模式。

2设置网络环境
修改主机名:

[Bash shell] 纯文本查看 复制代码

?

1

2

3

4

vi /etc/sysconfig/network

 

NETWORKING=yes

HOSTNAME=master



设置完hostname后当前shenll命令窗口并没有立即生效,我们可以在shell窗口中执行命令:

[Bash shell] 纯文本查看 复制代码

?

1

hostname master


然后重新打开一个新的shell 命令行窗口就会发现hostname已经生效
3关闭防火墙
修改文件:

[Bash shell] 纯文本查看 复制代码

?

1

vi /etc/sysconfig/selinux


修改如下内容:

[Bash shell] 纯文本查看 复制代码

?

1

SELINUX=disabled



修改完以后执行命令:chkconfig iptables off 关闭防火墙
再次检查防火墙服务状态:

[Bash shell] 纯文本查看 复制代码

?

1

2

[[email protected] ~]# chkconfig iptables --list

iptables               0:off        1:off        2:off        3:off        4:off        5:off        6:off



4修改hosts

[Bash shell] 纯文本查看 复制代码

?

1

2

3

4

vi /etc/hosts

127.0.0.1   localhost

192.168.1.100 master

192.168.1.101 slave1



5 克隆节点slave1
关闭master节点后,克隆slave1节点

克隆完成后分别将内存调成1G
然后重复以上1,2步骤,分别修改slave1的IP和主机名


二、CM安装
1.CM5下载
1.下载CM5 软件包:
http://archive.cloudera.com/cm5/ ... /5.1.0/RPMS/x86_64/

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm
oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm
jdk-6u31-linux-amd64.rpm

http://archive.cloudera.com/cm5/installer/5.1.0/
cloudera-manager-installer.bin

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/
cloudera-manager.repo

以上包下载完以后拷贝到
root 用户默认路径下新建的soft文件夹中,然后chmod 755 *.rpm 授权所有rmp包
 

[Bash shell] 纯文本查看 复制代码

?

1

cp cloudera-manager.repo /etc/yum.repos.d/


修改cloudera-manager.repo 中的版本由5改成5.1.0

验证cm依赖包  

[Bash shell] 纯文本查看 复制代码

?

1

yum list | grep cloudera


cdh 离线安装 
如果显示对应的rpm包说明正常,可以做下一步的手工安装以上下载的所有rpm包.

2.手工安装
首先手工安装第一步下载的rpm包, 然后安装bin包
./cloudera-manager-installer.bin,以下图形界面过程中,一直选Next 或者OK 即可。
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 


登录界面:http://192.168.1.100:7180 出现以下界面说明cloudera CM安装已经成功,可以登录进去配置集群和安装其他服务了。

cdh 离线安装 


三、 CDH5 集群安装
1.下载离线安装包:http://archive.cloudera.com/cdh5/parcels/5.1.0/
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1
manifest.json

下载完后,CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1 重新命名把最后面的1去掉
然后只保留里面的hashcode 后面的url去掉

2.在所有机器下新建目录
mkdir -p /opt/cloudera/parcel-repo
然后将以上离线包考进去

3.通过CM界面进行集群的安装

cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 不勾选
cdh 离线安装 用户名密码,这里我本机是:root/root
cdh 离线安装 
cdh 离线安装 安装过程中可能会出现以上失败界面
解决办法:

[Bash shell] 纯文本查看 复制代码

?

1

mv /usr/bin/host /usr/bin/host.bak



cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 


cdh 离线安装 

cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
cdh 离线安装 
我在CM5安装过程中大包采用离线,小包用yum安装,所有不同环境安装过程中可能会提示缺少各种依赖包。
出现这种情况的时候,通过 yum install -y  xxx.rpm 把缺少的包安装上就可以




 

29.jpg (69.82 KB, 下载次数: 35)

cdh 离线安装

30.jpg (200.46 KB, 下载次数: 43)

 

cdh 离线安装

31.jpg (52.2 KB, 下载次数: 39)

 

cdh 离线安装

32.jpg (29.29 KB, 下载次数: 32)

 

cdh 离线安装