搭建spark的伪分布式

一.Spark的安装与部署

一.Spark的安装部署方式有以下几种模式：

1. Standalone（常用）
2. YARN（常用）
3. Mesos
4. Amazon EC2

（1）Spark Standalone伪分布的部署

1. 配置文件：conf/spark-env.sh
   1. export JAVA_HOME=/opt/module/jdk
   2. export SPARK_MASTER_HOST=bigdata111
   3. export SPARK_MASTER_PORT=7077
   4. 下面的可以不写，默认（注意）
   5. export SPARK_WORKER_CORES=1
   6. export SPARK_WORKER_MEMORY=1024m
2. 配置文件：conf/slave
   1. bigdata111

 

 

二.操作步骤如下：

a.首先主节点虚拟机给了4G,2核（为了，Spark Streaming）

 

b.下载好spark的压缩包，进行解压

 

c.将spark-env.sh.template 重命名为 spark-env.sh

 

d.vi spark-env.sh 进去添加：

后三行

 

e.mv slaves.template slaves

 

f.vi slaves

本来最后一行是local，现在改为主机名bigdata111

 

g.启动./sbin/start-all.sh 成功

 

h.查看web界面，搭建成功

 

 

 

                                                                                                                                ————保持饥饿，保持学习

                                                                                                                                                     Jackson_MVP