CDH5.16.2-Flink1.10.1-parcel制作
一.简介
CDH除了能够管理自生所提供的一些大数据相关服务外,还允许将第三方服务添加到CDH集群(托管在CDH上)。你需要做的就是按照一定的规则流程制作相关程序包,最后发布到CDH上。虽然过程并不困难,但是手动操作尤其是一些关键配置容易出错,往往导致最终服务无法正常在CDH上安装运行。
二.cm_ext
url : https://github.com/cloudera/cm_ext.git
validator 验证csd和parcel
validator(验证器) 重新编译 mvn clean package
三.flink
制作flink on yarn parcel
3.1 环境
cdh5.16.2
flink 1.10.1 ( https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz)
centos7
文件url: https://github.com/77954309/flink-parcel.git
3.2 生成parcel文件
./build.sh parcel
3.3 生成csd文件
./build.sh csd_on_yarn
四. 注意事项
1.parcel 文件可以放到/opt/cloudera/parcels 或者 发布到http 上
2.添加 parcel包
打开CDH管理界面->集群->检查parcel包->flink->分配->**
3.csd
CM节点下的/opt/cloudera/csd 放FLINK_ON_YARN-1.10.1.jar ,重启CM节点,CM客户端也重启 ,这样添加服务时,可以看到FLINK
4.在如果集群开启了安全,需要配置security.kerberos.login.keytab和security.kerberos.login.principal两个参数才能正正常启动。如未启动kerberos,则在CDH中添加FLINK服务时请清空这两个参数的内容
参考:
https://blog.****.net/tony_328427685/article/details/86514385