Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

太男了,必须写这篇博客让你们少走弯路(阿亮制作) 

1.安装 IDEA

下 载 地 址 : https://www.jetbrains.com/idea/download/#section=windows

下载版本:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

spark 和 scala 版本的选择,进入虚拟机,启动 spark-shell,使用命令./spark-shell,查看版本信息:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

2.下载 Scala

scala 官网:

下载地址:https://www.scala-lang.org/download/2.11.12.html  

下载版本:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

3.下载 Spark,spark 版本的确定

http://spark.apache.org/downloads.html

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

选择相应的 jar 包下载。

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

导入 spark-core_2.11-2.4.4 后:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

到指定区域,按 Alt+Enter 键,导入包

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

右键 cc,然后选择 Run ‘cc’:

出现如下错误:

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

 Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

选 择 Build Build 成功后

将D:\IntellijIDEA\mywordcount\out\artifacts\mywordcount_jar 目录下的mywordcount.jar

包拷贝到桌面上。

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行

Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行