Ubuntu下Spark环境的搭建
1.安装jdk
登陆官网下载对应的jdk包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
本人用的是64位的ubuntu,因此我下载了X64的,扩展名为.tar.gz的安装包
接下来用该指令将安装包解压至指定目录:sudo tar zxvf jdk-8u144-linux-x64.tar.gz -C/usr/lib/
~~~设置环境变量
1.设置系统启动加载索引:sudo gedit /etc/environment,在PATH信息的最前面加上JDK安装信息,输入如下信息:
PATH="/usr/lib/jdk1.8.0_144/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
然后在后面追加下面三个信息
export JAVA_HOME=/usr/lib/jdk1.8.0_144
export JRE_HOME=/usr/lib/jdk1.8.0_144/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
2.设置系统的环境变量:sudo gedit /etc/profile,输入环境变量的设置信息如下:
#Set Java Environment
JAVA_HOME=/usr/lib/jdk1.8.0_144
export JRE_HOME=/usr/lib/jdk1.8.0_144/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3.将刚才安装的JDK设置为系统默认的JDK,即设置默认的javac和java命令.
下面代码实现向系统命令中加入JDK中的javac和java命令:
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk1.8.0_144/bin/javac 300
sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk1.8.0_144/bin/java 300
下面代码实现将自己的JDK设置为系统默认的JDK:
sudo update-alternatives --config java
sudo update-alternatives --config javac
4.最后重启计算机,运行:sudo java -version命令检测JDK的安装.
2.安装Scala
1.官网网址:http://www.scala-lang.org/download/
下载binary版本的scala
2.解压缩:sudo tar -zxvf scala-2.12.3.tgz -C/usr/lib
3.在文件/etc/profile底部添加环境变量
#set scala
export SCALA_HOME=/usr/lib/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin
4.退出文件执行命令source /etc/profile,更新文件
5.执行scala命令,若进入scala编程环境则表示安装成功。
3.安装Spark
1.下载Spark: http://spark.apache.org/downloads.html
2.解压文件到指定位置
sudo tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C/usr/
3.在文件/etc/profile底部添加环境变量
#set spark
SPARK_HOME=/usr/spark-2.2.0-bin-hadoop2.7
PATH=$PATH:${SPARK_HOME}/bin
4.退出文件执行命令source /etc/profile,更新文件
4.5.在终端运行命令spark-shell等待一下,出现如下,安装完成