CDH 集群定期清理指南

1、清除hdfs回收站

2 、 清空spark任务执行历史记录

hadoop fs -ls /user/spark/applicationHistory

清掉后再把回收站清理一下

3、cloudera manager清理

装cm的机器：/var/lib 路径下有如下文件：

主要清理cloudera-host-monitor 、cloudera-service-monitor

这两个文件下子目录带ts两个字母的目录下都会有partitions，直接清掉就ok

例：subject_ts、ts_subject、ts等带有ts的目录

4、yarn缓存文件清理

/yarn/nm 下逐级目录删，主要清空filecahe里的文件，这部分最站磁盘

5、集群hdfs数据做定期处理

6、集群各组件日志做定期处理