win10 安装单机版 pyspark
参考这篇博客: https://blog.****.net/weixin_38556445/article/details/78182264
默认已经电脑已经安装java 和 python。
1 需要安装spark 和 hadoop (python3.6 需要spark2.1以上版本)
两者作相同处理:解压之后,还需要完成SPARK_HOME和bin环境变量相关配置;HADOOP_HOME 和bin 环境变量的配置。
2 下载hadoop 版本对应的winutils.exe
将winutils.exe文件放到Hadoop的bin目录下(我的是E:\spark\spark-2.1.0-bin-hadoop2.7\bin),然后以管理员的身份打开cmd,然后通过cd命令进入到Hadoop的bin目录下,然后执行以下命令:
winutils.exe chmod 777 c:\tmp\Hive
3 在pycharm做如下设置:否则会报错:Could not find valid SPARK_HOME