spark入门第1课--本地win10搭建spark环境(单机运行spark)

一、java环境安装

  • 1、去官网下载jdk,jdk下载链接
  • 2、下载完毕直接安装
  • 3、安装完毕,配置环境变量
  • 4、测试,在cmd命令符下输入:java -version,出现下图即为成功
    spark入门第1课--本地win10搭建spark环境(单机运行spark)

二、scala环境安装

  • 1、去官网下载scala,scala下载链接,注意进入官网,滚动条往下拉,找到自己要下载的版本包
    spark入门第1课--本地win10搭建spark环境(单机运行spark)
  • 2、下载完毕直接安装,安装过程会自动添加环境变量,如果没有添加,手动添加即可
  • 3、测试,在cmd命令符下输入:scala,出现下图即为成功
    spark入门第1课--本地win10搭建spark环境(单机运行spark)

三、spark的安装

  • 1、去官网下载spark源码包,shark下载链接
    spark入门第1课--本地win10搭建spark环境(单机运行spark)
  • 2、下载完毕,放到一个不带任何空格的目录,然后解压即可
  • 3、配置环境变量,在用户变量中添加SPARK_HOME:D:\spark\spark-3.0.0-preview2-bin-hadoop2.7,同时在path中添加 ;%SPARK_HOME%\bin
  • 4、测试,在cmd命令符下输入:spark-shell,出现下图即为成功
    spark入门第1课--本地win10搭建spark环境(单机运行spark)