ambari大数据平台搭建
一.环境准备
centos下载地址：
https://www.centos.org/download/
Ambari下载地址：
http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html
HDP和HDP UTILS下载地址：
jdk下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
二.配置linux系统
（1）更改主机名
我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把localhost三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。
命令如下：
hostnamectl set-hostname master
如图1所示：
图1 更改主机名
（2）开启主机的DHCP模式，自动获取ip地址
输入命令：
cd /etc/sysconfig/network-scripts/ //进入网卡编辑目录
ls //列出目录下的所有配置文件
vi ifcfg-enp0s3 /编辑网卡enp0s3的配置文件
在打开的ifcfg-enp0s3的配置文件中更改如下配置：
ONBOOT=no
更改为：
ONBOOT=yes
然后重启网卡
图2 重启网卡
使用同样的方式更改node1和node2的网卡配置。
配置结果如下：
master ip ： 172.19.210.7
node1 ip ： 172.19.210.8
node2 ip ： 172.19.210.9
配置hosts主要是为了让机器能够互相识别主机名。
注：hosts文件是域名解析文件，在hosts文件内配置了 ip地址和主机名的对应关系，配置之后，通过主机名，电脑就可以定位到相应的ip地址 。
使用命令如下：
cd /etc //进入配置目录
vi hosts //编辑hosts配置文件
在hosts配置文件内容输入如下内容：
命令如下：
172.19.210.7 master
172.19.210.8 node1
172.19.210.9 node2
图3 配置hosts文件
(4)配置yum源
使用命令如下
cd /etc/yum.repos.d/
rm -rf *
vi centos.repo
在master的centos.repo里输入
[centos]
baseurl=file:///opt/centos/
gpgcheck=0
enabled=1
name=centos
[ambari]
name=ambari
baseurl=file:///opt/bigdata/ambari
gpgcheck=0
enabled=1
运行命令
yum list
如图4所示
图4 验证yum源
下载vsftp
运行命令：
yum install -y vsftpd
vi /etc/vsftpd/vsftpd.conf
在vsftpd.conf里输入
anon_root=/opt
然后重启vsftpd
systemctl restart vsftpd
然后在node节点的centos.repo里输入
[centos]
baseurl=ftp://172.19.210.7/centos
gpgcheck=0
enabled=1
name=centos
[ambari]
name=ambari
baseurl=ftp://172.19.210.7/bigdata/ambari
gpgcheck=0
enabled=1
（5）配置ntp
在master节点输入：
yum -y install ntp
vi /etc/ntp.conf
在ntp.conf里注释或者删除以下四行
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
添加以下两行
server 127.127.1.0
fudge 127.127.1.0 stratum 10
systemctl enable ntpd
systemctl start ntpd
图5 配置ntp
在node节点输入
yum -y install ntpdate
ntpdate master
systemctl enable ntpdate
（6）配置ssh
在所有节点输入：
yum install openssh-clients
ssh-******
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
ssh 登录远程主机查看是否成功:
ssh master
ssh node1
ssh node2
（7）配置httpd服务
yum -y install httpd
将文件夹中 HDP-2.4-BASE 和 HDP-UTILS-1.1.0.20 两个文件夹拷贝到/var/www/html/目录下。启动 httpd 服务。
systemctl enable httpd.service
systemctl status httpd.service
三.禁用 Transparent Huge Pages
操作系统后台有一个叫做 khugepaged 的进程，它会一直扫描所有进程占用的内存，在可能的情况下会把 4kpage 交换为 Huge Pages，在这个过程中，对于操作的内存的各种分配活动都需要各种内存锁，直接影响程序的内存访问性能，并且，这个过程对于应用是透明的, 在应用层面不可控制,对于专门为 4k page 优化的程序来说，可能会造成随机的性能下降现象。
在各节点：
查看进程状态：
cat /sys/kernel/mm/transparent_hugepage/enabled
更改进程配置文件：
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
再次查看：
cat /sys/kernel/mm/transparent_hugepage/enabled
图6 查看进程状态
四.安装配置JDK
在所有节点输入
mkdir /usr/java
tar -zxvf /opt/bigdata/jdk-8u77-linux-x64.tar.gz -C /usr/java/
更改linux的环境变量
在 /etc/profile添加
export JAVA_HOME=/usr/java/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
生效环境变量
source /etc/profile
图7 环境变量添加成功
五.配置ambari-server
在master输入
（1）安装ambari-server服务
yum -y install ambari-server
（2）安装并配置Mariadb数据库
安装Mariadb
yum -y install mariadb mariadb-server mysql-connector-java
systemctl enable mariadb
systemctl start mariadb
配置mariadb
mysql_secure_installation
按 enter 确认后设置数据库 root 密码，我们这里设置为“bigdata”
Remove anonymous users? [Y/n] y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] y
Reload privilege tables now? [Y/n] y
图8 配置mariadb
创建ambari数据库
mysql -uroot -pbigdata
MariaDB [(none)]> create database ambari;
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> use ambari;
MariaDB [ambari]> source
/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
MariaDB [ambari]> Bye
六.安装配置 ambari-server
在master执行
ambari-server setup
图9 配置ambari-server
启动 ambari-server 服务
ambari-server start
登陆界面 http:// 172.19.210.7:8080/
登录用户名密码为 admin：admin
七.配置 ambari-agent
在所有节点
yum -y install ambari-agent
在/etc/ambari-agent/conf/ambari-agent.ini文件下更改
[server]
hostname= master
ambari-agent restart
然后安装网站提示一步步安装
在所有节点输入，查看服务状态、
jps
master：
node：