您的位置: 首页  >  文章  >  Spark源码分析：1.环境准备

Spark源码分析：1.环境准备

分类: 文章 • 2022-10-28 23:34:30
  • 准备工作（仅针对于mac环境）
    1. 版本

软件

版本

操作系统

MAC

Jdk

1.8

Maven

3.3.9+

Scala

2.10.6

Spark  

2.2.2

Hadoop

2.7.3

 

    1. 文件下载

 

网盘链接:https://pan.baidu.com/s/1-pSsko6D5K8YleSmNsnTTg  密码:q0u9

 

    1. 配置环境变量 (软件自行解压配置)

bogon:~ sysadmin$

bogon:~ sysadmin$ more ~/.bash_profile

 

export MAVEN_HOME=/tools/apache-maven-3.3.9

export PATH=$PATH:$MAVEN_HOME/bin

 

export SCALA_HOME=/tools/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

 

export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home

export PATH=$PATH:$JAVA_HOME/bin

 

 

export HADOOP_HOME=/tools/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin

 

export HADOOP_USER_NAME=hadoop

export PATH=$PATH:$HADOOP_USER_NAME

 

 

 

  • Spark源码

 

    1. 导入IDEA

 

 

Spark源码分析：1.环境准备

 

maven记得下载源码和文档

Spark源码分析：1.环境准备

 

 

    1. 修改pom.xml文件
  2. 将软件中使用的版本全部修正一下，指向已经配置好的版本
    1. scala.version
    2. hadoop.version
  3. 修改一个参数

<useZincServer>false</useZincServer>

 

整体pom.xml文件见网盘

 

    1. 执行编译命令

mvn -T 1C -Pyarn -Phadoop-2.7 -DskipTests clean package

 

注：使用脚本编译的时候，其实也是采用maven编译，所以一定要确保编译成功不要报错,不然后面没办法debug

 

 

 

 

 

 

 

相关推荐