十八：Centos7.4离线安装CDH5.14环境准备-阿里云
一：核心软件包下载：
CDH安装需要两类软件包：依据自己的系统匹配对应的CDH版本：
两类文件包:
1.repo-as-tarball cm管理(server agent 闭源)
http://archive.cloudera.com/cm5/repo-as-tarball/5.14.0/
http://archive.cloudera.com/cm5/repo-as-tarball/5.14.0/cm5.14.0-centos7.tar.gz
2.parcels (压缩存储格式 cloudera 专门的 hadoop zk hive spark1.6)
http://archive.cloudera.com/cdh5/parcels/5.14.0/
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 检验文件
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json 包含相关配套信息
由于两个文件比较大，差不多3个G,在Centos上线安装个网页下载工具，直接下载到阿里云上，否则下载到自己电脑上在上传上去花费时间较多：
yum install lynx
lynx http://XXX
wget http://XXX也可以
二：准备工作：系统环境搭建：root账号
如果能用root用户安装，是最好了，如果没有，新建立一个hadoop用户，拥有sudo权限：
adduser hadoop
passwd hadoop
vi /etc/sudoers或者visudo
比照原用户添加新用户权限
#Allow root to run any commands anywhere
2.1:设置主机名:
更改每台机器名称，便于维护管理：
vi /etc/sysconfig/network
vi /etc/hosts
cat /etc/hosts
2.2：SSH多机共享：
在主节点上/root/下,相关秘钥配置，并进行验证如下：
ssh-******
scp id_rsa.pub [email protected]:/root/.ssh/id_rsa.pub2/3
cat id_rsa.pub（23） >>authorized_keys
scp authorized_keys [email protected]:/root/.ssh/
chmod 600 /root/.ssh/authorized_keys
chmod 700 -R /home/hadoop/.ssh
ssh hadoop001 date && ssh hadoop002 date && ssh hadoop003 date
2.3:关闭防火墙:
1 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
2 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
$>vi /etc/selinux/config
SELINUX=disabled
清空防火墙策略:
iptables -L 查看一下规则 是否还在
iptables -F 清空
2.4:安装Oracle的Java:
在此/usr/java/目录下安装Java:
并vi /etc/profile 增加内容如下
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=.:PATH
核查如下：
which java
/usr/java/jdk1.8.0_45/bin/java
2.5:安装配置MySql（主节点）
[[email protected] software]# clear
[[email protected] software]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1392
Server version: 8.0.13 MySQL Community Server - GPL
Copyright © 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.
mysql>
2.6:检查python:
坑有点多，严格按照这个来：建议：
centos6.x python2.6.x
centos7.x python2.7.x
Python 2.7.5 (default, Aug 4 2017, 00:39:18)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2
Type “help”, “copyright”, “credits” or “license” for more information.
2.7:时区+时钟同步:
阿里云主机已经做好，无需关注：
2.8:关闭大页面：
可参考http://blog.51cto.com/8026776/2074544
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'>> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'>> /etc/rc.local
2.9:swap 物理磁盘空间 作为内存：最大不要超过16G
echo ‘vm.swappiness = 10’ >> /etc/sysctl.conf
sysctl -p 生效
swap=0-100
0不代表禁用 而是惰性最高
100表示 使用积极性最高
集群计算对实时性 要求高的 swap=0 允许job挂 迅速的加内存或调大参数 重启job
集群计算对实时性 要求不高的 swap=10/30 不允许job挂 慢慢的运行