卡夫卡10.2新消费者与旧消费者
问题描述:
我花了几个小时弄清楚发生了什么,但没有找到解决方案。卡夫卡10.2新消费者与旧消费者
这是我设置了一台机器上:
- 1饲养员运行
- 3经纪人运行(端口9092/9093/9094)
- 1与3个分区,三次重复(话题每个分区在代理之间正确分配)
我正在使用卡夫卡控制台生产者插入消息。如果我检查复制偏移量(cat replication-offset-checkpoint
),我看到我的消息被卡夫卡正确摄取。
现在我用的是卡夫卡控制台消费者(新):
sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic testTopicPartitionned2
我没有看到任何消耗。我试图删除我的日志文件夹(/ tmp/kafka-logs- [1,2,3]),创建新的主题,仍然没有。
然而,当我使用旧的卡夫卡消费者:
sudo bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testTopicPartitionned2
我可以看到我的消息。
我在这里错过了什么东西让这个新的消费者工作?
在此先感谢。
答
尝试提供你所有的经纪--bootstrap-server
参数看,如果你发现任何differnce:
sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --from-beginning --topic testTopicPartitionned2
还有,你的主题名称比较长。我假设你已经确保你提供了正确的主题名称。
答
检查,看看有什么设置消费者使用auto.offset.reset财产
这会影响什么没有以前提交的偏移的消费群将在设置方面做的哪里开始从一个分区读取消息。
查看卡夫卡文档了解更多信息。