构建spark源码阅读环境

第一步:访问网站https://github.com/apache/spark下载spark.master,解压文件.

第二步:进入spark.master 文件夹,搜索spark*.jar,如下图:

构建spark源码阅读环境

第三步: 将搜到文件copy到新建文件夹spark_jars下,待用。

第四步:下载安装ideal ,打开后,如下图操作,创建新工程

构建spark源码阅读环境

第五步:点击Scala,右边选择sbt.(注,Scala可以在idea官方插件中心下载,防止ideal的plugins文件夹下,选择安装

            重新启动ideal 即可安装Scala插件,sbt不用提前安装),点击next.

构建spark源码阅读环境

第六步:设置项目名称和路径。然后点击finish。可能会需要一会儿时间。

构建spark源码阅读环境

第七步:等待至下面的import 完成

构建spark源码阅读环境

第八步:新建demo 检查配置是否正确。

构建spark源码阅读环境

第九步: 打开projects Structures, 安装1,2,3de 顺序执行下面操作。

构建spark源码阅读环境

最后:双击shift ,输入RDD,即可查看源码。 ctrl+鼠标单击,即可实现源码跳转,显示类的具体方法,使用alt+7即可查看所有方法。

构建spark源码阅读环境