原文链接：https://blog.****.net/qq_23860475/article/details/90476197

1.软件

1、anaconda（python3.6）

2、spark-2.4.3-bin-hadoop2.7（spark版本要和集群上的一样）

3、JDK1.8

2.python环境配置

pip install pyspark

这里如果遇到安装超时的情况采用以下命令

pip --default-timeout=100 install pyspark 

或

pip --default-timeout=100 install -U pyspark

没有py4j也得装下

pip install py4j
 

3.spark环境配置

1、下载。spark下载地址：http://spark.apache.org/downloads.html

2、解压。下载好后解压 ，注意安装路径不能有空格。

3、配置环境变量。添加环境变量SPARK_HOME=spark安装路径（比如我的是D:\Application\spark-2.4.3-bin-hadoop2.7），在Path中添加%SPARK_HOME%\bin;

4、验证。cmd到spark的bin目录下输入命令：spark-submit.cmd --help，出现以下内容说明spark安装成功

注意：spark集群默认是安装python2环境，需要python3环境还得装 并且默认环境切到python3

4.jdk环境配置

1、下载并安装好jdk1.8

2、添加环境变量JAVA_HOME=D:\Application\Java\jdk1.8.0_172，在Path中添加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;

5.连接测试

本地集群

远程集群

结果一样