Spark1.6.1单节点环境搭建
本文搭建在Hadoop2.6.4单节点环境搭建的基础上进行
http://blog.****.net/u014662563/article/details/76888308
一、软件准备
1. scala-2.11.8.tar.gz
2. spark-1.6.1-bin-hadoop2.6.tar.gz
二、Scala安装配置
1. 下载解压scala-2.11.8.tar.gz
tar -zxvf scala-2.11.8.tar.gz -C /opt/Scala
2. 配置环境变量,编辑/etc/profile文件,在文件末尾添加以下内容:
3. 保存后运行source /etc/profile,使环境变量生效。
4. 输入scala -version可以看到JDK成功安装的版本信息。
四、Spark安装配置
1. 下载解压spark-1.6.1-bin-hadoop2.6.tar.gz
tar -zxvf spark-1.6.1-bin-hadoop2.6.tar.gz -C /opt/Spark
2. 修改/etc/profile文件,在文件末尾添加以下内容:
3. 保存后运行source /etc/profile,使环境变量生效。
4. 进入Spark安装目录下的conf目录,拷贝spark-env.sh.template到spark-env.sh
cp spark-env.sh.template spark-env.sh
5. 编辑spark-env.sh,在末尾添加配置信息:
6. 将slaves.template拷贝到slaves,编辑其内容:
五、启动Spark
1. 进入Spark安装目录的sbin,启动spark。
2. 使用jps命令查看进程信息。
3. 浏览器访问查看Spark信息
4.使用spark-shell,在sbin目录下输入spark-shell
5.Spark配置成功。