Centos6.5+Ambari的HDP搭建
注：文中出现的test1，app1，在；zlbw1，三个主机名可以认为是一个，文章是在搭建三个中编写
|
服务器 |
Ip |
jdk |
Ambari |
机器系统 |
|
Zlbw1 |
192.168.159.101 |
2.4.2.0 |
CenOS6.5 |
|
|
Zlbw2 |
192.168.159.101 |
1.8 |
|
CenOS6.5 |
|
Zlbw3 |
192.168.159.101 |
1.8 |
|
CenOS6.5 |
1、设置hosts映射
192.168.159.101 zlbw1
192.168.159.102 zlbw2
192.168.159.103 zlbw3
2、设置免登陆
1.生成ssh免登陆**：ssh-******
-t rsassh-****** -t rsa
（四个回车）ssh-****** -t rsa---生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
2.公钥授权：ssh-copy-id其他机器
或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
3、单机安装JDK
usr/local下创建文件夹java：mkdir java
将jdk放至java文件夹并解压
tar -zxvf jdk...........
配置环境变量
vi /etc/profile
G跳至末尾
4、拷贝jdk和环境变量
scp -r /usr/local/java zlbw2:/usr/local
scp-r /etc/profile zlbw2:/ etc /
scp -r /usr/local/java zlbw3:/usr/local
scp-r/etc/profilezlbw3:/ etc /
5、安装mysql
检查是否已经安装了mysql
rpm -qa | grep -i mysql
如果有，可以删除mysql
也可以不删除使用系统自带
删除：（root权限下）
yum -y remove 系统自带版本
rpm -ivhMySQL-server-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps
rpm -ivhMySQL-client-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps
/usr/bin/mysql_install_db
service mysql start
mysql
mysql>create databse ambari;
mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari");
mysql>flush privileges;
mysql>exit;
service mysql restart
mysql
mysql>grant all privileges on ambari.* to [email protected] zlbw1 identified by'ambari';
mysql>flush privileges;
mysql>exit;
不删除：
mysql
mysql>create databse ambari;
mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari"));
mysql>grant all privileges on ambari.* to [email protected] zlbw1 identified by 'ambari';
mysql>flush privileges;
mysql>exit;
6、安装Ambari
将Ambari存储库文件下载到安装主机上的目录。
wget -nvhttp://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo-O /etc/yum.repos.d/ambari.repo
注：如没有wget，需要安装wget，命令yum -y install wget 安装
通过检查repo列表确认存储库已配置
yum repolist
安装Ambari
yum install ambari-service
或
yum -yinstall ambari-server
安装时间很长，也可以事先下载好安装包离线安装
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz
安装完成后
7、数据库设置
找一个连接器，我这里是从我本地maven库里找的
下载地址：http://dl.download.csdn.net/down10/20150629/6b770f319812fc917c331a576928db24.jar?response-content-disposition=attachment%3Bfilename%3D%22mysql-connector-java-5.1.35.jar%22&OSSAccessKeyId=9q6nvzoJGowBj4q1&Expires=1500549914&Signature=ns93wOxOb4dV%2FDBFCOM8F7DjLBU%3D
先在/usr/share下创建java目录
把这个包分别拷贝进
/usr/share/java
/usr/lib/ambari-server
数据库root没有密码
mysql ambari</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
数据库有密码
mysql ambari -uroot -proot</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
ambari-server setup
密码我设置的是ambari
8、其他问题设置：
8.1关闭linux swap
执行:cat /proc/sys/vm/swappiness
结果为0表示已经关闭，否则执行
sysctl -wvm.swappiness=0
vi/etc/sysctl.conf
在最后添加:vm.swappiness=0
然后执行: sysctl -p /etc/sysctl.conf
可以看到刚才设置的vm.swappiness=0，设置成功
8.2关闭selinux
执行立即关闭命令:setenforce 0
查看状态:getenforce
显示:Permissive
表示已经关闭
永久关闭:vi /etc/selinux/config
将SELINUX=enforcing改成SELINUX=disabled
保存，然后需要重启系统
查看selinux状态，执行:sestatus -v
显示:SELinux status: disabled
表示已经关闭。
8.3安装ntpd
查看是否安装ntp
rpm -aq | grep ntpd
安装：yum install ntp
开机启动：chkconfig ntpd on
启动：service ntpd start
9、启动ambari
ambari-server start
登陆网址
http://zlbw1:8080
或
http://192.168.159.101:8080
默认admin
admin
10、搭建集群
10.1、点击创建集群
10.2、设置集群名称
10.3、选择HDP版本和库
选择库有两种，一种是公共库，一种是本地库
建立分支：
分支一：公共库
根据linux版本选择
比如我的是centos6.5，只选择redhat6就行，其他版本可以remove；
点击NEXT
10.3.1、主机名和SSH私钥
私钥是ambari所在主机的秘钥
WINscp将/root/.ssh/下的id_rsa下载下来
点击选择文件，选择id_rsa
Register andConfirm
ok
10.3.1、开始安装
安装成功，但是警告，
Click here to seethe warnings.
如果是：THP问题在每台机器上执行：
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag
如果是用户问题，每台机器上执行：
python/usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip =users
返回后NEXT
选择服务
选择后NEXT
好
选择服务安装的机器，之后NEXT
自定义服务
如果进去这个页面，在服务上有红色标识的事需要需要设置账户、密码
默认170
next --->部署--->
自动安装一夜后：
点击stoped，选择start
跳出安装列表
Start Activity Anyalyzer:
之后发现都是这种：
有两种情况会导致
1、防火墙
2、没有安装httpd服务或者服务没有开启
进入hive view
显示没有该文件
解决方案1：
使用dfs的创建者操作
sudo -uhdfs hadoop fs -mkdir /user/admin
sudo -uhdfs hadoop fs -chown admin:hadoop/user/admin
启动高可用
HDFS-----> Service Actions----> EnableNameNode HA
1、
2、
3、
4、
选择namenode
next
5、
next
6、需要手动设置，进入app1（zlbw1,test1）运行图中命令
next
7、自动完成
next
8、手动初始化JournalNodes
next
9、自动完成启动组件
10、手动初始化元数据
图中的两条命令分别在不同的机器上执行
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
以上是我上月做的文档，这一步后面没有内容了
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------