Spark高可用集群搭建(HA)
Spark高可用
自带仙气的手工结构图
1.zookeeper安装部署
1.1.zookeeper下载
官网 http://zookeeper.apache.org/
下载地址 http://apache.opencas.org/zookeeper/
这里我们选择zookeeper-3.4.7.tar.gz
1.2.zookeeper解压缩
tar –xzvf zookeeper-3.4.7.tar.gz
1.3.修改ZOOKEEPER_HOME/PATH
1.4.修改配置文件
1.4.1.进入到zookeeper-3.4.7目录下创建logs目录,在logs下创建data目录
1.4.2.进入到conf目录下
cp zoo_sample.cfg zoo.conf
修改zoo.conf
#三台zookeeper集群的名称端口号
server.0= master:2888:3888
server.1= slave1:2888:3888
server.2= slave2:2888:3888
1.4.3.进入data目录创建myid文件,写入0,保存退出
1.4.4.scp到其余两台机器上,切记每台机器都要修改myid,分别为0,1,2
1.5.三台机器分别启动zookeeper
zkServer.sh start
启动成功后,jps显示QuorumpeerMain
2.Spark安装部署
1.Spark安装部署
1.1.Spark下载
1.2.Spark解压缩
1.3.修改SPARK_HOME/PATH
1.4.修改配置文件
# export SPARK_MASTER_IP=h1
#export SPARK_MASTER_PORT=7077
#export HADOOP_CONF_DIR=/usr/soft/myhadoop/hadoop/etc/hadoop
#export YARN_CONF_DIR=/usr/soft/myhadoop/hadoop/etc/hadoop
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER
1.4.2. cp slaves.template slaves
修改slaves文件,添加从节点
h3
1.5.创建软连接,在sbin目录下
ln -s start-all.sh start-spark-all.sh
1.6.启动spark
start-spark-all.sh
3.高可用检测
1.启动完成之后 jps 查看主节点
2.查看从节点
3.访问h1:8080
4.访问从机h2:8080
高可用搭建完成!