搭建spark的完全分布式

一.Spark Standalone全分布的部署

配置文件：conf/spark-env.sh

1. export JAVA_HOME=/opt/module/jdk1
2. export SPARK_MASTER_HOST=bigdata111
3. export SPARK_MASTER_PORT=7077
4. 下面的可以不写，默认
5. export SPARK_WORKER_CORES=1
6. export SPARK_WORKER_MEMORY=1024m

 

1. 配置文件：conf/
   1. bigdata112
   2. bigdata113

（*）启动Spark集群：sbin/start-all.sh

 

二.操作步骤

 

a.bigdata111已经搭建好了完全分布式

从bigdata111节点上，分别发送到bigdata112,bigdata113上（注意前提是ssh免密配置好）

scp -r spark-2.1.0-bin-hadoop2.7/  [email protected]:/opt/module

scp -r spark-2.1.0-bin-hadoop2.7/  [email protected]:/opt/module

 

b.三台同时进行操作

进入 vi slaves

 

c.启动Spark集群：sbin/start-all.sh

d.查看web界面：搭建完成

 

                                                                                                                               ————保持饥饿，保持学习

                                                                                                                                                   Jackson_MVP