scala——0. idea配置scala、spark
1. 下载idea (community社区版免费)
http://www.jetbrains.com/idea/download/#section=linux
2. 安装
安装idea:直接右键提取
安装scala:选择Configure中的Plugins
搜索scala,安装scala
3. 配置scala(SDK)
4. helloScala程序示范
src右键新建scala文件,类型(kind)选择object
ctrl+j 快速创建main函数
运行:右键helloScala,run ‘helloScala’
5. 配置spark
导入spark jar
file -> Project Structure -> Libraries -> + -> java
选择spark的jar包路径
左侧工程栏的External Libraries中会出现我们配置的三个库:
jdk 1.8,jars,scala-sdk
报错:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
是scala版本问题,更换即可
spark默认用的scala是2.11.8(可输入spark-shell查看),我下的是2.12
6. 消除过多的spark默认显示信息,如info信息
将spark/conf/log4j.properties复制到项目src目录下
前面在配置spark时已经将INFO修改为WARN了
如果代码不能运行,run是灰的:
file -> Project Structure
找到src文件夹,右键source