ubuntu+idea+maven阅读spark源码
环境:ubuntu-18.04.4+jdk1.8+maven3.6.3,下文中的hadoop为我的用户名
1.maven的安装
下载maven压缩包,我下载的是3.6.3版本
在/usr/lib下新建目录maven-->sudo mkdir maven
将压缩包解压到该目录下,
然后在~/.bashrc下添加目录:vim ~/.bashrc
在终端输入source ~/.bashrc使路径生效
终端输入mvn -v查看是否安装成功:
2.idea的安装
去官网下载压缩包,解压缩即可
在bin目录下执行./idea.sh启动安装
记得创建桌面应用,下次就不用控制台启动了
3.修改Maven本地仓库的位置
查看idea的Maven的仓库地址:
在file->settings->build,ex...->maven:
修改maven home directory为本地maven地址,local repository为/home/hadoop/.m2/repository
在下面的目录下找到settings.xml文件
vim setting.xml
修改localRepository,记住修改完不要注释
记住是源码:
5.准备编译源码:
解压源码
修改pom.xml,
修改maven,和scala版本和本地的一致
6.执行命令:
在spark源码的解压目录执行./build/mvn -DskipTests clean package
等待编译成功,显示build success
7.idea下载scala,如果下载的慢,可以通过官网下载压缩包再导入,直接导入,不用解压
8idea导入项目,选择spark源码中的pom.xml
9.修改项目配置:
导入/home/hadoop/sparksrc/assembly/target/scala-2.11/jars
修改local运行配置:VM options: -Dspark.master=local
10.运行example:Run ‘LogQuery’