Spark配置

前行配置:http://blog.****.net/yimingfei/article/details/75333030

包括Hadoop配置，JDK安装，SSH登录等。

1.Scala安装

http://www.scala-lang.org/download/

在网页下方：

解压

tar -zxf scala-2.12.2.tgz

移动文件夹到 usr/local 下

sudo mv scala-2.12.2 /usr/local

配置路径

vim ~/.bashrc

插入如下两行;

保存配置

source ~/.bashrc

检查版本

scala -version

进行验证：

scala

输入    ：quit  退出

传送给其它子节点：

scp Downloads/scala-2.12.2.tgz [email protected]:Downloads/

scp Downloads/scala-2.12.2.tgz [email protected]:Downloads/

在其它节点完成以上操作。

2.Spark 配置

下载：

官网：http://spark.apache.org/downloads.html   根据自己的版本进行选择

我的选择：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

解压，移动到/usr/local 下面

sudo tar -zxf Downloads/spark-2.2.0-bin-hadoop2.7.tgz

sudo mv spark-2.2.0-bin-hadoop2.7 /usr/local

配置环境变量

vim ~/.bashrc

添加如下三行：(具体目录根据实际情况而定)

保存配置

source ~/.bashrc

传送到其它子节点:

scp Downloads/spark-2.2.0-bin-hadoop2.7.tgz [email protected]:/home/hadoop/

scp Downloads/spark-2.2.0-bin-hadoop2.7.tgz [email protected]:/home/hadoop/

在子节点上进行如上环境变量配置

配置文件：

进入文件夹：cd /usr/local/spark-2.2.0-bin-hadoop2.7/conf

创建文件spark_env.sh:sudo cp spark-env.sh.template  spark-env.sh

进入修改：sudo vim spark-env.sh

添加如下信息：（具体路径 与 机器名 根据实际而定，我的主机名是Master）

创建文件slaves: sudo cp slaves.template slaves

打开文件: sudo vim  slaves

添加子节点信息（我的两台子节点机器名分别是：Slave1，Slave2，主节点机器名为Master）

后来报错，可能是权限问题，于是我把spark文件夹改名为saprk,并移到了home/hadoop下面

进入目录，运行: sbin/start-all.sh

打开http://master:8080

关闭服务命令 sbin/stop-all.sh