生产环境上的HADOOP安装部署注意事项(HDP版)
正式部署前请详细阅读基础环境这三篇，非常重要！！！
一、安装前的准备
请参考第三章的基本环境注意事项，准备基础环境，这个很重要
二、软件下载
1.请从HDP官方下载 HDP与HDP-UTILS
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos6-rpm.tar.gz
2.请准备好系统安装盘.iso文件或者系统yum源
配置示例
mkdir -p /opt/ydbsoftware/centosyum
mount -o loop /opt/ydbsoftware/CentOS-6.6-x86_64-bin-DVD1.iso /opt/ydbsoftware/centosyum
3.从http://ycloud.net.cn/download获取延云软件
1)下载延云YDB
2)延云YDB提供的Spark （注意不要使用HDP提供的spark）
3)JDK1.8
三、软件上传
1.JDK安装
将安装包中的JDK安装到/opt/ydbsoftware/jdk1.8.0_60
分发到每台机器上，且路径统一为
/opt/ydbsoftware/jdk1.8.0_60
2.选定一台机器安装YDB的机器，上传软件
将全部软件上传到/opt/ydbsoftware目录下，并解压，注意是/opt/ydbsoftware，千万别写错了，且不能随意更改路径。
3.配置HTTP服务（在解压后的目录执行）
cd /opt/ydbsoftware
nohup python -m SimpleHTTPServer &
4.YUM源配置
1)备份旧的YUM源
cd /etc/yum.repos.d
mkdir -p bak
mv *.repo bak/
2)配置ambari源与本地系统源
每台机器都要配置
ambari.repo文件名不得更改
本地系统源很重要，一定要配置
配置示例如下
cat << EOF >/etc/yum.repos.d/ambari.repo
[centoslocal]
name=centoslocal
baseurl=http://ydbmaster:8000/centosyum
gpgcheck=0
[AMBARI]
name=AMBARI
baseurl=http://ydbmaster:8000/AMBARI-2.4.1.0/centos6/2.4.1.0-22
gpgcheck=0
[HDP]
name=HDP
baseurl=http://ydbmaster:8000/HDP/centos6
gpgcheck=0
[HDP-UTILS]
name=HDP-UTILS
baseurl=http://ydbmaster:8000/HDP-UTILS-1.1.0.21/repos/centos6
gpgcheck=0
EOF
5.安装与配置ambari-server(只需要在一台机器安装)
yum clean all
yum makecache
yum repolist
yum install ambari-server
6.设置ambari
ambari-server setup
中间除jdk单独指定外，都默认
7.启动ambari-server
ambari-server start
然后就可以打开 http://xx.xx.xx.xx:8080 安装hadoop了 默认用户名与密码均为 admin
四、HDP页面设置
1.开始创建集群
2.配置HDP源
选择Hdp版本为hdp2.5
、
3.部署的机器列表与登录私钥配置
4.部署Ambari-Agent
警告要处理
5.选择安装部署服务
切记，不需要选择Hive与Spark
6.服务分配
7.HDFS配置
8.YARN配置
9.MapReduce配置
10.ZooKeeper配置
11.AmbariMetrics配置
12.KAFKA配置
13.HDP部署完成
五、部署YDB
1.软件解压
解压开随机附带的spark1.6.3_hadoop2.7.3.tar.gz，里面是我们改过bug的Spark
解压开随机附带的ya100.1.x.x.zip，里面是YDB
解压后一定要放在/opt/ydbsoftware目录下
2.注意观察，如下三个目录是否存在
/opt/ydbsoftware/spark1.6.3_hadoop2.7.3
/opt/ydbsoftware/jdk1.8.0_60
/opt/ydbsoftware/ya100/bin
3.安装ydb
ln -s /opt/ydbsoftware/spark1.6.3_hadoop2.7.3 /opt/ydbsoftware/spark
cd /opt/ydbsoftware/ya100/bin
sh ./hdp_install.sh
4.YDB的ambari配置
1)添加服务
2)A组配置：基本配置
3)B组配置：环境路径配置
4)C组配置：存储相关路径配置
5)D组配置：Kafka相关配置
6)开始安装
7)安装完毕
8)服务检查
如果服务异常，可以看这个日志
tail -f /opt/ydbsoftware/ya100/logs/ya100.log 看是否有报错，当出现如下的日志，表示启动成功
打开yarn的8088页面，看启动的container数量以及内存的时候是否正确
UI监控
YDB的监控UI
1.可以查看每台机器的负载、处理数据、内存等情况。
2.可以了解每个表的运行情况，每个分区的数据条数，数据量大小。
默认启动的端口号为1210,如果在 ydb_site.yaml里配置了ydb.httpserver.port，则以配置的端口号为准。
了解延云ya100、ydb的用法、进行测试、生成演示demo
通过随机附带示例了解用法
打开ya100/example目录
第一： ydb_example.sql
包含了YDB的表的创建，ya100与YDB表的连接，查询的使用，数据的导入等
第二：如何通过kafka实时导入数据.txt
阐述了YDB如何通过Kafka实时的进行数据导入
第三：”演示demo搭建.txt”
如何快速的使用YDB生成延云官方提供的演示demo
基本的监控页面
YDB的Spark UI
在spark ui里可以看到 每个用户查询SQL的执行进度，响应时间等，也可以杀掉有异常的一些任务。
进入方法如下
1.首先打开您的yarn调度页面(默认端口是8088端口)，并在里面找到ya100 on spark的任务，如下图所示
2.点击Application Master进入
如果点击后，发现域名解析不了，请在您机器本地配置好相关host，或者直接改成对应的IP。
3.点开后会看到如下的页面