kafka_consumer不消费数据的问题排查

背景:

初始的时候,在cdh中部署了kafka集群

后来方案改为kafka消息平台和cdh中的hive,spark等计算平台分离

由于之前的kafka部署配置,污染到后面的apache的kafka集群,使得其消费不到消息

我们查看__consumer_offsets 这个topic情况

kafka_consumer不消费数据的问题排查

我们apach kafka中的broker根本没有123,这个是cdh中的配置

实际的三个brokerid是0,1,2

停掉集群,在zookeeper中删除 rmr /brokers/topics/__consumer_offsets 节点,启动消费者

再次查看__consumer_offsets信息

kafka_consumer不消费数据的问题排查

此时消费端能正常消费到消息了

kafka_consumer不消费数据的问题排查

kafka_consumer不消费数据的问题排查

参考链接:

https://blog.****.net/qq_26502245/article/details/100771092