CDH版本中的集群安装更新spark2问题

CDH版本中的集群安装更新spark2问题
我使用的是CDH5.12.1,所以以此为例

在CDH5.12.1集群中,默认安装的Spark是1.6版本,这里需要将其升级为Spark2.1版本。经查阅官方文档,发现Spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。
Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库)
cloudera的官网可以下载相关的parcel 的离线安装包:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
Cloudera Manager及5.12.0版本的介绍
https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section
直接下载离线包,放到集群文件中,从平台刷新,分配,**即可
软件下载地址:http://archive.cloudera.com/spark2/csd/
Parcels 包的下载地址:http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/
CDH版本中的集群安装更新spark2问题
CDH版本中的集群安装更新spark2问题
将其上传到集群中:
①软件直接放到CDH安装文件cloudera下,SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel和SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
到/cloudera/parcel-repo/下。
②将SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1重命名为SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha
在CDH集群中更新Parcel 注意:选择spark2
添加服务,这是发现无法找到spark2
直接执行
/opt/module/cm/cm-5.16.2/etc/init.d/cloudera-scm-server
restart
重启server即可
重新登录添加服务
CDH版本中的集群安装更新spark2问题