ubuntu+idea+maven阅读spark源码

环境:ubuntu-18.04.4+jdk1.8+maven3.6.3,下文中的hadoop为我的用户名

1.maven的安装

下载maven压缩包,我下载的是3.6.3版本

在/usr/lib下新建目录maven-->sudo mkdir maven

将压缩包解压到该目录下,

然后在~/.bashrc下添加目录:vim ~/.bashrc

ubuntu+idea+maven阅读spark源码

在终端输入source ~/.bashrc使路径生效

终端输入mvn -v查看是否安装成功:ubuntu+idea+maven阅读spark源码

2.idea的安装

去官网下载压缩包,解压缩即可

在bin目录下执行./idea.sh启动安装

ubuntu+idea+maven阅读spark源码记得创建桌面应用,下次就不用控制台启动了

ubuntu+idea+maven阅读spark源码

3.修改Maven本地仓库的位置

查看idea的Maven的仓库地址:

在file->settings->build,ex...->maven:

修改maven home directory为本地maven地址,local repository为/home/hadoop/.m2/repository

ubuntu+idea+maven阅读spark源码

在下面的目录下找到settings.xml文件

ubuntu+idea+maven阅读spark源码vim setting.xmlubuntu+idea+maven阅读spark源码

修改localRepository,记住修改完不要注释

4.下载spark源码

记住是源码:ubuntu+idea+maven阅读spark源码

5.准备编译源码:

解压源码

修改pom.xml,

修改maven,和scala版本和本地的一致ubuntu+idea+maven阅读spark源码

6.执行命令:

在spark源码的解压目录执行./build/mvn -DskipTests clean package

等待编译成功,显示build success

7.idea下载scala,如果下载的慢,可以通过官网下载压缩包再导入,直接导入,不用解压

ubuntu+idea+maven阅读spark源码ubuntu+idea+maven阅读spark源码

8idea导入项目,选择spark源码中的pom.xml

9.修改项目配置:

导入/home/hadoop/sparksrc/assembly/target/scala-2.11/jars

ubuntu+idea+maven阅读spark源码

修改local运行配置:VM options: -Dspark.master=localubuntu+idea+maven阅读spark源码

10.运行example:Run ‘LogQuery’

ubuntu+idea+maven阅读spark源码ubuntu+idea+maven阅读spark源码