CDH-6.2.0-1 大数据集群安装
CDH大数据集群搭建(centos)
搭建流程
1.选购服务器
2.服务器配置
3.安装CDH
4.集群设置
设置hosts(后续操作均以root用户执行)
1.确定各节点hostname 正确设置:
vi /etc/hostname
2.设置hosts:
vi /etc/hosts:
192.168.x.x master
192.168.x.x1 slave1
192.168.x.x2 slave2
关闭SELinux及防火墙
1.关闭SELinux:
vi /etc/selinux/config ,修改如下:
SELINUX=disabled
2. 关闭防火墙:
systemctl stop firewalld
systemctl disable firewalld
设置ssh免密登录
需要的安装包
parcel大数据组件可以在安装好C后,创建cluster时进行在线下载,但是下载时间不易控制,因此我使用离线上传
安装jdk&CM进
1. 验证repo文件是否起效
yum list | grep cloudera
#如果列出的不是待安装的版本,执行下面命令重试
yum clean all
yum list | grep cloudera
2. 切换到jdk&cm目录下,执行
yum -y install *.rpm
3. 设置java路径:
vi /etc/profile
# 在该文件末尾添加以下行
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH
4. 检查安装:
java -version
安装数据库(mysql) -1
需要用到数据库的组件:
安装数据库(mysql) - 2
1. 安装mysql数据库服务器(master)
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum update
yum -y install mysql-server
2. 数据库设置:
修改配置:vi /etc/my.cnf,添加:
transaction-isolation=READ-COMMITTED
设置自动启动:systemctl enable mysqld
启动服务:systemctl start mysqld
设置启动密码:sudo /usr/bin/mysql_secure_installation
3. 安装JDBC驱动(所有节点):
mkdir -p /usr/share/java/
cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar
安装数据库(mysql) - 3
根据下表组件中的信息运行如下语句为组件创建用户(可以直接运行:mysql_init.sql ):
CREATE DATABASE <database> DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON <database>.* TO '<user>'@'%' IDENTIFIED BY '<password>’;
制方式打包在一个文件中l:所有大数据组件,以二进制方式打包在一个文件中
安装数据库(mysql) - 4
运行如下脚本配置scm server数据库:sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
安装CDH(只在master节点)
1.启动scm server:
sudo systemctl start cloudera-scm-server
2. 查看日志,检查是否启动完成:
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
--查看到【WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.】日志表示启动完成
3. 登录主页(账号/密码:admin/admin):
4. 初始化CDH,建立Cluster
CDH启动与关闭
CM Portal 地址:
http://master:7180/cmf/home
关闭步骤:
1.在CM portal上关闭 cluster
2.在所有节点关闭CM agent: sudo systemctl stop cloudera-scm-agent
3.在master节点关闭CM server: sudo systemctl stop cloudera-scm-server
启动步骤:
1.在所有节点启动CM agent: sudo systemctl start cloudera-scm-agent
2.在master节点启动CM server: sudo systemctl start cloudera-scm-server
3.在CM portal上启动 cluster
查看启动日志:
/var/log/cloudera-scm-server/cloudera-scm-server.log