PySpark空间计算学习总结—（2）python大数据环境安装

上一篇：PySpark空间计算学习总结—（1）windows10大数据环境安装

1、首先安装 Anaconda Python3 版本

直接官网下载，一步步安装即可（此处不再赘述）；

安装完可将 windows10 里面默认的 python 换成 anaconda 里面 python 的版本（我这里换成了 python3），在 cmd 中输入 python 如下所示：

2、安装 Py4J

在 cmd 中输入 pip install py4j，然后在 cmd 中输入：python，再输入 import py4j，结果如下表示成功：

3、设置 pyspark 路径到 python 里面

pyspark 在下面这个路径下（spark 目录的 python 路径下面就有一个）

（1）找到 anaconda 里面 python 的路径

若默认用的是anaconda里面的python，则应该是在D:\App\Anaconda3.5\Lib\site-packages下面；

（2）在里面新建一个文件 pyspark.pth，将 Spark 里面的 python 路径加入到这个里面（注意路径得是双斜杠）。

（3）保存之后，在 cmd 中输入 python，再输入 import pyspark 查看 PySpark 在我们的 Python 环境中是否可用，若无报错则证明成功：

 

 

下一篇：PySpark空间计算学习总结—（3）验证 Windows10 中 PySpark大数据程序开发（在 PyCharm 和 jupyter notebook）