solrcloud索引不更新--zk服务器磁盘使用100%

问题描述：

同事说solr的数据没有更新

问题分析：

1、检查solr cloud的管理后台http://IP:8983/solr/#/~cloud，查看集群情况，发现节点情况展示不出来

2、从管理后台查看下日志情况

判断 zk出了问题

3、查下 某个zk的状态
[[email protected] conf]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Error contacting service. It is probably not running.

4、查看zk的日志

定位到是该IP的zk连不上的问题

5、进入该IP重启zk

定位该服务器没有磁盘空间了

6、查看总占用空间也不大,也就3G左右，怎么会使用100%

7、查看实际占用情况

8、根据网上搜索方案，可能是文件删除被占用，用lsof命令，如果没有该命令需要安装

9、直接kill掉zk进程，再得重启，磁盘空间降下来了

我装了4台zk(正常是3台，出于特殊原因)，理论上这一台访问不了也不影响正常工作，猜测这台可能是leader节点，或者在每次同步集群文件时锁死资源