Spark环境搭建-windows
Spark环境搭建-windows
一、前置条件
已安装JDK(推荐1.8版本)并设置好环境变量。
二、安装Spark
Spark的安装非常简单，直接去Download Apache Spark。有两个步骤：
1. 选择对应的Hadoop版本的Spark版本(编号1)，如下图所示
2. 下载spark-2.2.0-bin-hadoop2.7.tgz安装包(编号2)
这里使用的是Pre-built(已经编译过)的版本，下载下来即可直接使用，Spark也有源码可以下载，但是要在本地编译后才能使用。下载完成后将文件进行解压，如可解压到D:\pro_lmf\spark\目录下，并重命名解压文件夹为spark-2.2.0。注意:安装目录不能包含空格!
解压后基本上可以使用cmd命令执行了。但每次运行spark-shell(spark命令行交互窗口)的时候，需要先cd 到Spark的安装目录下，操作比较麻烦，因此可以将Spark的bin路面添加到系统变量PATH中。如在系统环境变量PATH中添加目录D:\pro_lmf\spark\spark-2.2.0\bin，设置完成后，在任意目录下的cmd命令行中，直接执行spark-shell，即可开启Spark的交互式命令行模式。
三、HADOOP环境设置
系统变量设置后，即可在cmd中运行spark-shell，因Spark是基于hadoop的，直接运行spark会报错，所以要设置一个Hadoop的运行环境。在Hadoop Releases里可以看到Hadoop的历史版本，这里由于下载的Spark是基于Hadoop2.7.1的，选择好相应版本点击后，进入详细下载页面下载标红的版本(已经编译好的)，如下图所示
下载并解压到指定目录,如D:\pro_lmf\spark\hadoop-2.7.1，设置环境变量HADOOP_HOME为Hadoop的解压目录，然后再设置该目录下的bin目录到系统变量PATH下，PATH变量可为%HADOOP_HOME%\bin。设置好着两个环境变量后,开启一个新的cmd，然后运行spark-shell命令。如果遇到空指针异常，可能因为Hadoop的bin目录下灭有winutils.exe文件造成的。解决办法是，去github上去下载该文件，url为：https://github.com/steveloughran/winutils。下载完成后直接拷贝到D:\pro_lmf\spark\hadoop-2.7.1\bin(hadoop安装目录)即可。打开cmd，输入D:\pro_lmf\spark\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/Hive。这个操作是用来修改权限的。注意：D:\pro_lmf\spark\hadoop-2.7.1\bin替换成实际你所安装的目录。