ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

特此声明借鉴了两位****的文章,研究多日,结合性写出,避免一些细节漏掉 !!!

https://blog.****.net/abc553226713/article/details/106143861(该链接包含软件下载,不含centos7.8)

https://blog.****.net/qq_35117024/article/details/97098585

(1)ArcGIS10.7.1 大数据环境需要安装

ArcGISPortal、ArcGISDatastore、ArcGISWebadatpor、Tomcat、JDK1.8、ArcGISServer、hdfs环境、
配置python3.6环境、安装大数据分析依赖的py插件、更新ArcGIS补丁包等操作,安装部署比较繁琐,
为了让大家都能够掌握如何部署大数据环境,故有此部署环境说明

(2)ArcGIS10.7.1 安装软件以及版本 

名称  版本
Linux版本 CentOS-7-x86_64-DVD-2003.iso   就是7.8版本
ArcGIS版本 10.7.1
JDK  jdk-8u161-linux-x64.tar
Tomcat  apache-tomcat-8.5.43.tar
Hdfs 3.2.0
python 3.6

(3)部署机器以及安装软件列表

机器名称 Host 用途 部署软件
192.168.10.110 portal.com arcgis portal服务器

jdk-8u161-linux-x64.tar、apache-tomcat-8.5.43.tar、
Web_Adaptor_Java_Linux_1071_169645.tar、
Portal_for_ArcGIS_Linux_1071_169807.tar、
ArcGIS_Server_Linux_1071_169796.tar、
ArcGIS_DataStore_Linux_1071_169808.tar

192.168.10.120 gaserver1.com 大数据分析节点 ArcGIS_Server_Linux_1071_169796.tar
192.168.10.130 datastore1.com 时空大数据节点 ArcGIS_DataStore_Linux_1071_169808.tar

192.168.10.140

192.168.10.141

192.168.10.142

hdfs.com

hdfs数据存储服务器 jdk-8u161-linux-x64.tar
hadoop-3.2.0.tar

(4)准备安装软件和环境

ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

 百度云下载连接地址,永久有效,如果被和谐请联系。
 链接:https://pan.baidu.com/s/16BbiWBOWPARYdufPN0mBmQ 
 提取码:01es 

(5) 每个机器部署软件用途说明

192.168.10.110:portal.com jdk-8u161-linux-x64.tar java8环境,因为tomcat运行需要java环境
192.168.10.110:portal.com apache-tomcat-8.5.43.tar tomcat8环境,因为webadaptor需要在tomcat容器内运行
192.168.10.110:portal.com Web_Adaptor_Java_Linux_1071_169645.tar     webadaptor,portal必须配置webadaptor才能联合server服务器 
192.168.10.110:portal.com Portal_for_ArcGIS_Linux_1071_169807.tar portal门户,系统调用大数据功能统一入口是portal,所以portal现在必须有
192.168.10.110:portal.com ArcGIS_Server_Linux_1071_169796.tar arcgis host server服务器,host server是portal强制要求必须配置的
192.168.10.110:portal.com ArcGIS_DataStore_Linux_1071_169808.tar host server需要配置关系型datastore
192.168.10.120: gaserver1.com ArcGIS_Server_Linux_1071_169796.tar 大数据计算节点只需要部署server即可
192.168.10.130:datastore1.com ArcGIS_DataStore_Linux_1071_169808.tar 时空大数据节点,host server必须配置时空大数据存储节点,此节点用来存储大数据分析的结果,存储空间一定要大
192.168.10.140: hdfs.com jdk-8u161-linux-x64.tar hdfs依赖java环境
192.168.10.140: hdfs.com hadoop-3.2.0.tar hdfs3.2,大数据分析的数据源来源于hdfs存储中

(6)修改静态固定IP

命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33

按键i进入编辑模式,然后光标移动到文件末尾输入下面内容

UUID=311d3ffe-1156-4c30-b5bc-e41fb826ba05
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
GATEWAY=192.168.10.1
DNS1=8.8.8.8
NETMASK=255.255.255.0
IPADDR=192.168.10.110

除UUID不需要改变,其他可覆盖

按键esc退出编辑模式
按键shift+: 进入命令模式
按键wq! 表示保存并且退出vi命令,回车即可。

同理其他机器对应的IPADDR改成:192.168.10.120,192.168.10.130,192.168.10.140

统一桥接模式

 

(7)基础环境配置

1)    配置所有机器的hostname
大数据环境所有机器需要先配置机器的hostname,所有机器机器之间保证通过域名能够相互访问才可以。

    查看hostname
命令:
cat /etc/hostname
这里使用的是虚拟机复制的linux系统,所以hostname是一样的
    修改hostname
命令:
hostnamectl set-hostname portal.com
绿色部分是要修改的hostname名称,输入命令后回车然后输入root用户的密码即可,修改完成后使用查看命令再次查看一下是否修改成功。
如果不放心可以重启一下机器然后登陆后再查看hostname。
修改成功后,依次修改剩余的三台机器hostname

192.168.10.120 hostnamectl set-hostname gaserver1.com
192.168.10.130 hostnamectl set-hostname datastore1.com
192.168.10.140 hostnamectl set-hostname hdfs.com

 2)   修改hosts文件配置
域名修改后,需要所有机器的hosts文件,添加hostname和ip地址的映射关系,
以达到机器之间可以通过域名访问的目的,使用vi 命令修改文件。

命令:vi /etc/hosts
此命令需要root用户权限,编辑前先用su root切换到root用户,再进行编辑修改。
输入命令后可以看到hosts文件的内容

按键i进入编辑模式,然后光标移动到文件末尾输入下面内容
192.168.10.110    portal.com
192.168.10.120    gaserver1.com
192.168.10.130    datastore1.com
192.168.10.140    hdfs.com

按键esc退出编辑模式
按键shift+: 进入命令模式
按键wq! 表示保存并且退出vi命令,回车即可。

ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

3)创建统一arcgis账号

Arcgis系列软件不能使用root用户安装,包括其他的软件都不建议使用root用户安装部署,使用root账号很危险。
这里安装部署统一使用arcgis账号安装部署,密码跟用户一样。

    创建用户
命令:useradd 用户名
a)  
 su root切换到root用户
b)    useradd arcgis 添加arcgis用户
c)    passwd arcgis 设置arcgis账号的密码,输入两次即可
    所有机器arcgis账号创建成功后使用,su arcgis切换到arcgis账号再继续安装
ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

配置完arcgis账号会在/home文件下生成arcgis文件夹,命令:mkdir /home/arcgis/softs,创建softs文件夹,并链接linux工具把192.168.10.110所属所有部署安装包上传

ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

授权:chmod -R 777 /home/arcgis/softs/

ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

绿色表示授权可读写

 4)配置java环境

目前只有portal跟hdfs需要配置java环境,其他机器配置java环境无所谓。
    切换到arcgis账号,输入 java查看是否存在java环境

    解压java包到/usr/local/目录下,需要切换到root用户下执行
命令:tar -zxvf ./jdk-8u161-linux-x64.tar.gz -C /usr/local/
解压后查看结果

    修改文件目录权限
因为使用root用户解压到/usr/local目录下,所以arcgis普通账号是没有权限访问该目录的,修改修改权限让普通用户也可以访问。
命令:chmod -R 777 /usr/local/jdk1.8.0_161/


输出都是绿色的就表示已普通用户也有权限了。
    配置环境变量
解压后需要修改将java环境配置到环境变量中,修改配置文件~/.bashrc
~/.bashrc指的是当前用户的环境变量保存文件
命令 :vi ~/.bashrc
a)  
 su arcgis    切换到arcgis用户下
b)    
vi ~/.bashrc
c)    在文件末尾末尾号输入内容,注意修改JAVA_HOME路径为自己的java目录
# export java environment
export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

d)    使配置文件生效
命令:
source ~/.bashrc
e)    输入命令 java -version查看是否生效,如下就是安装成功
 

5)关闭selinux、

切换到root用户
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建
修改完成后重启机器

6)关闭防火墙

firewall-cmd --state 查看防火墙状态ArcGIS10.7.1 大数据环境 非集群模式下环境部署搭建1.1-基础搭建

停止防火墙 systemctl stop firewalld.service
禁用防火墙 systemctl disable firewalld.service