Window 上使用 IDEA 编写词频统计的 spark scala 程序,提交 jar 包到 虚拟机上运行
太男了,必须写这篇博客让你们少走弯路(阿亮制作)
1.安装 IDEA
下 载 地 址 : https://www.jetbrains.com/idea/download/#section=windows
下载版本:
spark 和 scala 版本的选择,进入虚拟机,启动 spark-shell,使用命令./spark-shell,查看版本信息:
2.下载 Scala
scala 官网:
下载地址:https://www.scala-lang.org/download/2.11.12.html
下载版本:
3.下载 Spark,spark 版本的确定
http://spark.apache.org/downloads.html
选择相应的 jar 包下载。
导入 spark-core_2.11-2.4.4 后:
到指定区域,按 Alt+Enter 键,导入包
右键 cc,然后选择 Run ‘cc’:
出现如下错误:
选 择 Build Build 成功后
将D:\IntellijIDEA\mywordcount\out\artifacts\mywordcount_jar 目录下的mywordcount.jar
包拷贝到桌面上。