Spark集群搭建

1. 搭建

Standalone

1).下载安装包，解压

 

 

2).改名

 

3).进入安装包的conf目录下，修改slaves.template文件，添加从节点。保存。

 

 

4).修改spark-env.sh

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任务的端口，默认是7077

SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数

SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

 

5).同步到其他节点上

 

 

6).启动集群

进入sbin目录下，执行当前目录下的./start-all.sh

 

7).搭建客户端

将spark安装包原封不动的拷贝到一个新的节点上，然后，在新的节点上提交任务即可。

注意：

（1） 8080是Spark WEBUI界面的端口，7077是Spark任务提交的端口。

（2）修改master的WEBUI端口：

（3）修改start-master.sh即可。

 

（4）也可以在Master节点上导入临时环境变量，只是作用于之后的程序，重启就无效了。

 

（5）删除临时环境变量：

 

yarn

1). 1，2，3，4，5，7步同standalone。

2).在客户端中配置：