Spark源码编译

对于学习Spark框架的技术人员，学习到一定的程序，有些原来的东西已经不能满足我们的要求，修改源码是我们的必经之路。
一、下载源码

     wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0.tgz

二、解压

	tar -xvf spark-2.4.0.tgz -C 当前目录 

三、编译

3.1 编译的准备，修改make-distribution.sh，是为了加快编译速度。如图所示，蓝色部分的内容十分消耗性能，这里注释掉它。在下面添加相关的版本信息！

VERSION=2.4.0  # spark 版本
SCALA_VERSION=2.11 # scala版本
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0 #对应的hadoop版本
SPARK_HIVE=1 # 支持的hive

3.2 修改Maven配置文件,改为阿里云的镜像，会比较快！！！

坑一

这个应该是网络不好造成的，连接超时！！！！！重复几次就好了！！

./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0\				# 指定的名字,对最后产生的tgz包名 有联系
--tgz \								# 编译之后打成 tgz 包
-Phadoop-2.6 \						# 支持 hadoop2.6
-Phive\								# 支持 hive
-Phive-thriftserver\					# 支持 hive-thriftserver
-Pyarn\								# 支持 yarn

大功告成！！！！！无限Happy!!!