Spark 学习笔记(一)使用Intellij Idea编写Spark应用程序(Scala+SBT)
本文基于踩了无数坑和这篇本地部署的基础上写成。
本文适用于云主机搭建的spark环境下运行spark程序。
运行环境
阿里云主机 Linux部署 Spark 2.3.1
本地JDK 1.8
Intellij Idea (Version 2018)
安装Scala插件
安装Scala插件,该Scala插件自带SBT工具。如果已经安装Scala插件,即可跳过此步骤
点击Install,即可安装Scala插件。安装好后如图:
构建基于SBT的Scala项目
如下图,按顺序执行如下操作:
新建项目->选择Scala—>SBT
设置项目名:
这里有个坑,一定要选择你Spark支持的scala版本!我的是2.3.1,支持scala 2.10.X,这里选择了2.10.7.查看你的适配版本链接在spark下载页面:http://spark.apache.org/downloads.html
利用SBT 添加依赖包
利用Spark的官网查到Spark artifacts的相关版本号,如下图:
groupId: org.apache.spark
artifactId: spark-core_2.11
version: 2.3.1
编辑Intellij Idea项目中是build.sbt:
name := “scalaDemo4”
version := “0.1”
scalaVersion := “2.10.6”
追加一行代码:
libraryDependencies += “org.apache.spark” %% “spark-core” % “2.1.0”
可以选择Refresh Project手动刷新,也可以选择Enable auto-import让Intellij Idea以后每次遇到build.sbt更新后自动导入依赖包。这里,选择Enable auto-import.
在下方build界面看到所以依赖导入完成,显示绿色标记ok时,表示一句部署成功了。
接下来可以写程序了。