ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建
特此声明借鉴了两位****的文章,研究多日,结合性写出,避免一些细节漏掉 !!!
https://blog.****.net/abc553226713/article/details/106143861(该链接包含软件下载,不含centos7.8)
https://blog.****.net/qq_35117024/article/details/97098585
(1)ArcGIS10.7.1 大数据环境需要安装
ArcGISPortal、ArcGISDatastore、ArcGISWebadatpor、Tomcat、JDK1.8、ArcGISServer、hdfs环境、
配置python3.6环境、安装大数据分析依赖的py插件、更新ArcGIS补丁包等操作,安装部署比较繁琐,
为了让大家都能够掌握如何部署大数据环境,故有此部署环境说明
(2)ArcGIS10.7.1 安装软件以及版本
名称 | 版本 |
Linux版本 | CentOS-7-x86_64-DVD-2003.iso 就是7.8版本 |
ArcGIS版本 | 10.7.1 |
JDK | jdk-8u161-linux-x64.tar |
Tomcat | apache-tomcat-8.5.43.tar |
Hdfs | 3.2.0 |
python | 3.6 |
(3)部署机器以及安装软件列表
机器名称 | Host | 用途 | 部署软件 |
192.168.10.110 | portal.com | arcgis portal服务器 |
jdk-8u161-linux-x64.tar、apache-tomcat-8.5.43.tar、 |
192.168.10.120 | gaserver1.com | 大数据分析节点 | ArcGIS_Server_Linux_1071_169796.tar |
192.168.10.130 | datastore1.com | 时空大数据节点 | ArcGIS_DataStore_Linux_1071_169808.tar |
192.168.10.140 192.168.10.141 192.168.10.142 |
hdfs.com |
hdfs数据存储服务器 | jdk-8u161-linux-x64.tar hadoop-3.2.0.tar |
(4)准备安装软件和环境
百度云下载连接地址,永久有效,如果被和谐请联系。
链接:https://pan.baidu.com/s/16BbiWBOWPARYdufPN0mBmQ
提取码:01es
(5) 每个机器部署软件用途说明
192.168.10.110:portal.com | jdk-8u161-linux-x64.tar | java8环境,因为tomcat运行需要java环境 |
192.168.10.110:portal.com | apache-tomcat-8.5.43.tar | tomcat8环境,因为webadaptor需要在tomcat容器内运行 |
192.168.10.110:portal.com | Web_Adaptor_Java_Linux_1071_169645.tar | webadaptor,portal必须配置webadaptor才能联合server服务器 |
192.168.10.110:portal.com | Portal_for_ArcGIS_Linux_1071_169807.tar | portal门户,系统调用大数据功能统一入口是portal,所以portal现在必须有 |
192.168.10.110:portal.com | ArcGIS_Server_Linux_1071_169796.tar | arcgis host server服务器,host server是portal强制要求必须配置的 |
192.168.10.110:portal.com | ArcGIS_DataStore_Linux_1071_169808.tar | host server需要配置关系型datastore |
192.168.10.120: gaserver1.com | ArcGIS_Server_Linux_1071_169796.tar | 大数据计算节点只需要部署server即可 |
192.168.10.130:datastore1.com | ArcGIS_DataStore_Linux_1071_169808.tar | 时空大数据节点,host server必须配置时空大数据存储节点,此节点用来存储大数据分析的结果,存储空间一定要大 |
192.168.10.140: hdfs.com | jdk-8u161-linux-x64.tar | hdfs依赖java环境 |
192.168.10.140: hdfs.com | hadoop-3.2.0.tar | hdfs3.2,大数据分析的数据源来源于hdfs存储中 |
(6)修改静态固定IP
命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33
按键i进入编辑模式,然后光标移动到文件末尾输入下面内容
UUID=311d3ffe-1156-4c30-b5bc-e41fb826ba05
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
GATEWAY=192.168.10.1
DNS1=8.8.8.8
NETMASK=255.255.255.0
IPADDR=192.168.10.110
除UUID不需要改变,其他可覆盖
按键esc退出编辑模式
按键shift+: 进入命令模式
按键wq! 表示保存并且退出vi命令,回车即可。
同理其他机器对应的IPADDR改成:192.168.10.120,192.168.10.130,192.168.10.140
统一桥接模式
(7)基础环境配置
1) 配置所有机器的hostname
大数据环境所有机器需要先配置机器的hostname,所有机器机器之间保证通过域名能够相互访问才可以。
查看hostname
命令:cat /etc/hostname
这里使用的是虚拟机复制的linux系统,所以hostname是一样的
修改hostname
命令:hostnamectl set-hostname portal.com
绿色部分是要修改的hostname名称,输入命令后回车然后输入root用户的密码即可,修改完成后使用查看命令再次查看一下是否修改成功。
如果不放心可以重启一下机器然后登陆后再查看hostname。
修改成功后,依次修改剩余的三台机器hostname
192.168.10.120 hostnamectl set-hostname gaserver1.com 192.168.10.130 hostnamectl set-hostname datastore1.com 192.168.10.140 hostnamectl set-hostname hdfs.com
2) 修改hosts文件配置
域名修改后,需要所有机器的hosts文件,添加hostname和ip地址的映射关系,
以达到机器之间可以通过域名访问的目的,使用vi 命令修改文件。
命令:vi /etc/hosts
此命令需要root用户权限,编辑前先用su root切换到root用户,再进行编辑修改。
输入命令后可以看到hosts文件的内容按键i进入编辑模式,然后光标移动到文件末尾输入下面内容
192.168.10.110 portal.com
192.168.10.120 gaserver1.com
192.168.10.130 datastore1.com
192.168.10.140 hdfs.com
按键esc退出编辑模式
按键shift+: 进入命令模式
按键wq! 表示保存并且退出vi命令,回车即可。
3)创建统一arcgis账号
Arcgis系列软件不能使用root用户安装,包括其他的软件都不建议使用root用户安装部署,使用root账号很危险。
这里安装部署统一使用arcgis账号安装部署,密码跟用户一样。
创建用户
命令:useradd 用户名
a) su root切换到root用户
b) useradd arcgis 添加arcgis用户
c) passwd arcgis 设置arcgis账号的密码,输入两次即可
所有机器arcgis账号创建成功后使用,su arcgis切换到arcgis账号再继续安装配置完arcgis账号会在/home文件下生成arcgis文件夹,命令:mkdir /home/arcgis/softs,创建softs文件夹,并链接linux工具把192.168.10.110所属所有部署安装包上传
授权:chmod -R 777 /home/arcgis/softs/
绿色表示授权可读写
4)配置java环境
目前只有portal跟hdfs需要配置java环境,其他机器配置java环境无所谓。
切换到arcgis账号,输入 java查看是否存在java环境 解压java包到/usr/local/目录下,需要切换到root用户下执行
命令:tar -zxvf ./jdk-8u161-linux-x64.tar.gz -C /usr/local/
解压后查看结果 修改文件目录权限
因为使用root用户解压到/usr/local目录下,所以arcgis普通账号是没有权限访问该目录的,修改修改权限让普通用户也可以访问。
命令:chmod -R 777 /usr/local/jdk1.8.0_161/
输出都是绿色的就表示已普通用户也有权限了。
配置环境变量
解压后需要修改将java环境配置到环境变量中,修改配置文件~/.bashrc
~/.bashrc指的是当前用户的环境变量保存文件
命令 :vi ~/.bashrc
a) su arcgis 切换到arcgis用户下
b) vi ~/.bashrc
c) 在文件末尾末尾号输入内容,注意修改JAVA_HOME路径为自己的java目录
# export java environment
export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
d) 使配置文件生效
命令: source ~/.bashrc
e) 输入命令 java -version查看是否生效,如下就是安装成功
5)关闭selinux、
切换到root用户
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
修改完成后重启机器
6)关闭防火墙
firewall-cmd --state 查看防火墙状态
停止防火墙 systemctl stop firewalld.service
禁用防火墙 systemctl disable firewalld.service