spark在windows10下的安装教程

Spark环境搭建

安装步骤分为java, hadoop, scala和 spark四步,其中java和hadoop在上一个环境配置中已经安装完毕,Win10下的Hadoop安装及简单操作,因此只需要安装 scala和 spark。以下是对我整个安装过程的记录。

首先登陆http://spark.apache.org/downloads.html下载符合本机Hadoop和JDK版本的Spark安装包,我的Hadoop版本是2.8.4因此下载了2.4.0版本的Spark。

spark在windows10下的安装教程

下载完成后进行解压在D盘的根目录下,设置环境变量。

首先新建一个环境变量SPARK_HOME,变量名是安装的路径:

spark在windows10下的安装教程

之后在Path中添加一个路径即可:

spark在windows10下的安装教程

 

第二步安装Scala。进入网站https://www.scala-lang.org/download下载Scala的安装包:

spark在windows10下的安装教程

安装过程中没有任何需要更改的地方,只需要摁Next即可。我在中间修改了一下安装位置,因为C盘放不下了。最后安装完毕后会自动新建环境变量。

spark在windows10下的安装教程

打开cmd输入scala如果看到如下标识则安装成功。

spark在windows10下的安装教程

最后打开cmd键入spark-shell出现以下标识则是安装成功:

spark在windows10下的安装教程