搭建Cloudera Manager环境管理大数据集群
本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。废话不多说，直接开始~
一、环境准备（在所有机器上操作）
查看系统空间的使用情况等
配置ip、主机名、主机映射等（重启生效！！）
禁用ipv6（重启生效！！）
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）
# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables
# vi /etc/sysconfig/selinux
ssh免秘钥登录
# ssh-******
# ssh-copy-id 主机名01
# ssh-copy-id 主机名02
# ssh-copy-id 主机名03
安装JDK
修改用户可用的最大服务器资源限制（重启生效！！）
# ulimit -a
# vi /etc/security/limits.conf
* soft nofile 32728
* hard nofile 1024567
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
二、集群时间服务器
选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01
在hadoop.cm01上修改配置文件
# vi /etc/ntp.conf
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
在所有机器上执行命令：
# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd
修改hadoop.cm01的系统时间，与网络时间同步：
# ntpdate -u us.pool.ntp.org
在hadoop.cm01上修改本地硬件时钟时间：
# hwclock --localtime //查看本地硬件时钟时间
# hwclock --localtime -w //将系统时间写入本地硬件时钟时间
在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：
# vi /etc/sysconfig/ntpdate
SYNC_HWCLOCK=yes
SYNC_HWCLOCK=yes
除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间
重启生效：# service crond restart
三、MySQL的安装部署（在hadoop.cm01上安装即可）
选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源
1、卸载自带的MySQL
# rpm -qa | grep mysql
# rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
2、安装更新yum源
# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm
mysql57-community-release-el6-8.noarch.rpm下载地址：https://download.csdn.net/download/gdkyxy2013/10282525
更新后，此目录下出现两个MySQL的源文件
3、修改上图中的两个文件：
# vi mysql-community.repo
# vi mysql-community-source.repo
4、更新yum缓存
# yum makecache
5、查看基于当前系统的yum源可以下载安装的MySQL版本
# yum repolist enabled | grep mysql
6、yum安装MySQL5.6版本
# yum -y install mysql-community-server
7、启动MySQL并进行初始化设置
# service mysqld start
# mysql_secure_installation
四、Cloudera Manager的安装
首先在所有的服务器上安装第三方依赖包
# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
然后在所有服务器上创建如下目录：
# mkdir -p /opt/cloudera-manager //目录路径和名称不能变
解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：
# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager/
修改agent的配置文件
/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent //agent配置文件目录
# vi config.ini（所有服务器上都改为下图所示）
五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）
# useradd --system 表示创建的是系统用户
--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server 指定了用户的主目录
--no-create-home 表示不再创建用户的主目录
--shell=/bin/false 不作为登陆用户
--comment "Cloudera SCM User"
cloudera-scm 用户名
验证：
# cat /etc/passwd | grep cloudera-scm
六、配置CM访问数据库的权限，添加一个temp用户
1、mysql> grant all privileges on *.* to 'temp'@'%' identified by 'temp' with grant option ;
2、mysql> flush privileges ; 需要刷新权限才生效
3、上传mysql-connector-java.jar
# cp /opt/softwares/mysql-connector-java.jar /usr/share/java
4、在hadoop.cm01上执行CM在mysql中的初始化脚本
/opt/cloudera-manager/cm-5.3.6/share/cmf/schema 初始化脚本路径
# ./scm_prepare_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm
七、配置CDH源
1、创建目录
# mkdir -p /opt/cloudera/parcel-repo //在server节点上
# mkdir -p /opt/cloudera/parcels //在所有节点上
2、将parcel文件移动到parcel-repo目录下
# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* /opt/cloudera/parcel-repo/
3、修改CDH源校验码文件的名称
# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
4、更改目录所有人
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ //在server节点上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/ //在所有节点上
八、启动CM进程服务
1、启动server
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start
2、启动agent
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start
在web界面输入：http://192.168.100.28:7180进入CM初始界面。 （192.168.100.28为hadoop.cm01的ip地址）
用户名和密码都是：admin
按照提示修改即可（所有的服务器上都要修改）
如果选择了安装Activity Monitor，则需要给其创建数据库
到此，安装成功！！如果失败，可以重试一下。
成功后的界面如下：
至此，搭建Cloudera Manager环境管理大数据集群就讲完了，是不是感觉也没有那么难~
你们在此过程中还遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。