pyspark本地开发环境配置

1、工具原料

java jdk；python；spark-2.3.0-bin-hadoop2.7；winutils.exe

2、配置流程

（1）、jdk正确安装、配置环境变量

（2）、python正确安装、配置环境变量

（3）、环境变量Path，加入spark-2.3.0-bin-hadoop2.7\bin所在路径

（4）、将winutils.exe加入spark-2.3.0-bin-hadoop2.7\bin目录下

（5）、将spark-2.3.0-bin-hadoop2.7\python下的pyspark复制到python\Lib\site-packages

（6）、在pycharm中添加spark-2.3.0-bin-hadoop2.7配置，如下图

pyspark本地开发环境配置

3、注意事项

jdk，python，spark需要版本相适应，此过程容易出错

不建议使用spark1.XX版本

4、问题处理