windows10下搭建spark平台

    今天早上忙完了手里现有的工作后，打算把spark装一下，其实之前读研的时候也安装过，不过后来重装系统了就清除掉了，今天再次安装一下。

    首先说一下安装spark必备的一些基础：

1. jdk配置网上很多，就不多说了

2. scala的安装，这个要注意的就是跟jdk的版本匹配，我之前在这里就折腾了挺多的时间的，因为安装了最新的scala导致与jdk版本不匹配，scala自然也无法执行了。

    这里说一下自己的版本吧：jdk用的1.8的，scala用的2.11的

    接下来就是正式的安装过程了

   1. spark的下载地址：http://spark.apache.org/downloads.html（我使用的是2.3的）

    2. hadoop的下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz（我用的2.8的）

     下载完成后，spark可以直接解压缩即可（路径中不要出现空格，否则后面问题很多） 

    hadoop直接解压缩的话会报错“客户端没有需要的权限”，关于这个问题我查了网上很多的材料，很多人都说可以使用命令：icacls c:\ /setintegritylevel M 来解决（以管理员身份来运行）

    貌似还要修改注册表等计算机属性，个 人觉得比较麻烦，可能会带来其他的问题，我采用的方法是：

   以管理员身份运行解压缩软件即可

3. 两个压缩文件都解压缩后就可以配置相关环境变量了，把spark的bin和sbin都加入到系统路径中去；hadoop的话需要下载  

    https://github.com/steveloughran/winutils这里的文件，找到对应的版本下面的bin目录来对原始hadoop的bin目录进行替换即        可，之后将bin目录加入到系统路径中就可以了。

    在CMD窗口中输入： spark-shell，出现如下界面即为安装成功了

     好了，终于折腾完了，mark一下，该午睡会了！