[CDH] 记一次CDH5集成SPARK2时parcel**报错“WARN:Parcel not distributed but have active state ACTIVATIN”的问题解决

 

背景:CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4(CDS-2.3.4)时parcels包**hung住,集群中有一个节点一直是在**中,不能完成**,进退两难。

[CDH] 记一次CDH5集成SPARK2时parcel**报错“WARN:Parcel not distributed but have active state ACTIVATIN”的问题解决

 

去社区找了资料,最后是调用了Clouder官方的deactivate接口把**状态回滚到**之前:POST接口

之后再次重新点击**,状态还是卡在这一步不能前进,于是去CM主机上面查看cloudera-server日志,里面很多这句话的报错:

[[email protected] ~]# vi /opt/cm-5.13.1/log/cloudera-scm-server/cloudera-scm-server.log
WARN:Parcel not distributed but have active state ACTIVATING

 

再次查询资料,在parcel**时主机需要与CM Server建立联系,可能是集群节点间不能正常通信导致。于是再次使用POST接口回滚了**操作,重启了**失败的节点后再次**,可以**成功,问题解决。

解决步骤:

  1. 使用Cloudera官方的deactivate接口回滚到parcel**之前的状态
  2. 重启问题主机,待所有进程起来以后,在CM页面看到该主机状态正常,再次在SPARK2的parcel上面点击**,**成功。

[CDH] 记一次CDH5集成SPARK2时parcel**报错“WARN:Parcel not distributed but have active state ACTIVATIN”的问题解决