kafka_consumer不消费数据的问题排查
背景:
初始的时候,在cdh中部署了kafka集群
后来方案改为kafka消息平台和cdh中的hive,spark等计算平台分离
由于之前的kafka部署配置,污染到后面的apache的kafka集群,使得其消费不到消息
我们查看__consumer_offsets 这个topic情况
我们apach kafka中的broker根本没有123,这个是cdh中的配置
实际的三个brokerid是0,1,2
停掉集群,在zookeeper中删除 rmr /brokers/topics/__consumer_offsets 节点,启动消费者
再次查看__consumer_offsets信息
此时消费端能正常消费到消息了
参考链接:
https://blog.****.net/qq_26502245/article/details/100771092