您的位置: 首页  >  文章  >  HDP3.1 安装过程与踩坑

HDP3.1 安装过程与踩坑

分类: 文章 • 2024-06-27 19:11:46

目录

相关网址

官方文档地址
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/bk_ambari-installation.pdf

ambari下载地址
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.html
找里面对应系统版本， 后面jar包的那个

hdp下载地址
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html .html
初次书写，逻辑还不是很全面严谨，敬请谅解
若有命令错误，联系本人，确认修改， 感谢理解

一、集群搭建前的准备（已有准备可跳过）

1、各主机系统功能和角色定义，心里先有个底，比如哪台是masts主机
，几个节点，数据库在哪台，IP地址以及主机名称，若无基础，可列表，作为实际的参考表下方使用。
2、准备文件 包含：HDP包，HDP-UTILS包,JAVA环境和jdbc的jar包
3、每台电脑要安装vim，ssh ；主节点要安装apache2或者其他httpd服务器，作为本地源使用
4、建议passwd root 修改密码， 用su 提权操作， 若用默认用户操作，几乎下方每一条命令都需要sudo 提权

二、集群准备工作（若有成品，可以跳过）

1、IP地址配置

 sudo   vim /etc/netplan/50-cloud-init.yaml
 sudo  netplan apply 
  vim /etc/resolv.conf

此项不详细描述，安装操作系统时候可以在配置服务器时候直接设置ip地址
2、hosts文件配置
添加你的节点地址与节点主机名的映射， 这里有一点要注意，127.0.0.1后面只能跟localhost ，如若存在其他的的127与主机名的映射一定要删掉，否则会造成后面主机监听IP为127.0.0.1，而不是局域网中的主机地址，凡是涉及到相关服务将无法启动.

127.0.0.1 localhost
#127.0.0.1 master 此条若存在，将其删掉改为实际的网络地址映射
192.168.3.1 master
192.168.3.2 slave
192.168.3.3 slave

3、SSH免密登录配置
三台互为免密登录，顺序为

#每一台都要生成**
ssh-****** -t rsa

#在用户目录下的.ssh文件夹下创建authorized_keys文件
touch /root/.ssh/authorized_keys

#将每一台的公钥内容拷贝在该文件里
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
#注：该命令只是把当前电脑的公钥拷在该文件里， 实际过程中需要降所有的公钥拷都拷贝在这个文件里， 可以搭配下面的命令来完成

#将该文件拷贝到每一台电脑
scp ./root/home/.ssh.id_rsa.pub [email protected][目标IP地址]:/root/.ssh/

#我用的是root用户，不同的用户创建的**在不同的用户目录下面

注：ubuntu的ssh需要修改配置文件才可以通过远程ssh登录，修改方法如下

Vim /etc/ssh/sshd_config
将一下两项修改为yes

PasswordAuthentication yes
PermitRootLogin yes

4、ntp服务器

apt install ntp
update-rc.d ntp defaults

5、防火墙
端口较多，建议关闭防火墙，后续的端口占用可以在ambari里面修改

ufw disable

4、JAVA环境配置

三、本地源的配置

这里的配置比较简单，查询你本机的apache2的服务器的html主目录在哪里， 入默认在/var/http/www/html/下
1、准备包

#将准备好的包传到安装由apache2的电脑并解压
tar -zxvf ./[包名]  /var/http/www/html/

#命令在包当前位置操作

2、添加**并更新（需要互联网，并且在每一台电脑执行）

apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

3、在 /etc/apt/sources.list.d/ 中创建ambari.list文件，并将本地源位置写入其中

deb http://[计算机局域网地址]/ambari/ubuntu18/2.7.3.0-139 Ambari main
#注：可通过浏览html来验证地址是否正确，访问到ubuntu18即可，在下一层打不开

4、完成后更新列表

apt update

四、开始安装

1、从节点

apt install ambari-agent

2、主节点

ambari-server setup

注：安装过程中，遇到是否配置JAVA环境要选Y ，并把JAVA 环境配置进去，否则你将会进入漫长的下载。
如果要修改数据库，要确保数据库可以被连接 ， 默认安装pg数据库并且自动配置

3、安装数据库连接，此处和你后期hive元数据的数据库相对应，练习安装mysql即可

#要提前准备好jar传入服务器，自己能找得到的文件夹

ambari-server setup --jdbc-db=[数据库名字] --jdbc-driver=/[jdbcjar包路径]/[jar包名]
#例：ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/java/mysql_connect.jar

4、开启服务

ambari-server start

五、集群生成

1、访问地址，masterIP，端口号8080。用户名：admin 密码：admin

然后开始网页向导安装
需要注意的是：
1、Select Version：
HDP3.1 安装过程与踩坑选择本地库
并将其他系统包删除，保留你本机系统对应的包地址，填入本地HDP，HDP-UTILS的包地址
HDP3.1 安装过程与踩坑
HDP3.1 安装过程与踩坑填入全部的电脑地址，然后将master的主机私有**拷贝在框中

HDP3.1 安装过程与踩坑等完成后按照只是下一步并进行选择服务

HDP3.1 安装过程与踩坑一定要按需添加，集群对内存要求较高，内存不足会是集群奔溃

HDP3.1 安装过程与踩坑选择要连接的数据库，按照指示填入相应的参数，这里集群内置了mysql 可以默认创建，用来测试环境
注：连接数据库一定要注意添加 jdbc文件，参考上面步骤

然后就是最后的安装 ， 因时间原因，文章可能存在不全面的地方，回复补充

小提示：

1、 集群的主节点的内存一定要大， 最好有固态支撑
2、连接数据库都要添加jdbc文件，具体参照第四块3部分
3、ssh免密要验证，hosts文件里面必须存在localhost 127.0.0.1的映射 ，绝对不能存在[主机名] 120.0.0.1的映射
4、hive 可能存在 端口占用，在关闭hive的情况下找到ambari的设置里面，找所冲突端口修改一下保存重启即可

相关推荐