Spark本地开发环境配置(windows/Intellij IDEA 篇)

前言

Intellij IDEA是一个蛮不错的IDE,在java/scala领域深得人心。笔者之前使用的是Eclipse那一套开发环境,虽然也不错,但忍不住好奇心的驱使,折腾了一下IDEA,将自己摸索过程总结一下,方便Spark爱好者参考。

1.配置前提

  • JDK安装。 请自行前往oracle官方网站下载安装,并在command命令行窗口确认java -version 可以返回版本号,否则的话要去系统环境变量设置位置确认是否java已经被添加到PATH中
  • Scala下载安装。移步官网 http://www.scala-lang.org/ 下载并安装即可。同第1步,要在command命令行下确认敲击scala可以进入交互式命令窗口,否则请确认环境变量的配置。
  • spark源代码下载。官方网站 http://spark.apache.org/downloads.html 上提供有各种hadoop版本的预编译版spark代码,理论上要根据你在用的hadoop版本来相应选择;
  • Intellij IDEA下载。https://www.jetbrains.com/idea/ 上可以下载免费的community版本。
  • 如果要在本机上运行则必须配置Hadoop环境变量否则运行不起来

2.配置开始

  • 安装IDEA 的scala插件
    步骤如下图所示,笔者已经安装过,故右方显示已经存在该插件。第一次安装时,在plugins处输入scala关键词搜索,在联网环境下点击安装即可。Spark本地开发环境配置(windows/Intellij IDEA 篇)
  • 创建项目并导入相应依赖包
    如下图指引,新建项目时,选择scala,然后点击“下一步”,这里Project SDK是java的jdk,如果没有默认加载出来,点击New,手工定位到jdk的目录提交上来即可。Scala SDK那里如果默认没有加载出来,点击Create,在弹出的窗口中安默认勾选的System点击OK即可。
    Spark本地开发环境配置(windows/Intellij IDEA 篇)
    Spark本地开发环境配置(windows/Intellij IDEA 篇)
    接下来,我们导入上面下载好的spark源码。按下图指引操作, 在+号处选择java, 然后定位到你上面步骤中将spark程序解压到的目录位置,确认。
    Spark本地开发环境配置(windows/Intellij IDEA 篇)
    Spark本地开发环境配置(windows/Intellij IDEA 篇)
    很值得注意的环境变量:
    Spark本地开发环境配置(windows/Intellij IDEA 篇)

结束语

至此开发Spark的开发环境已经配置好了 ,小伙伴们可以去用Idea开发Spark程序了