使用Scala/Spark编程计算卡夫卡主题中的消息数

Question

需求是使用Scala或Spark编程计算卡夫卡主题中的消息数。我对这两种编程都很陌生，所以我不确定该怎么做。任何人都可以帮我编写代码或指导我如何实现。

Answer 1

给定org.apache.kafka.clients.consumer.KafkaConsumer的方法是： beginningOffsets(Collection<TopicPartition>)和endOffsets(Collection<TopicPartition>)。

你需要记住，消息可以由卡夫卡经纪人删除，这就是为什么需要开始的消息。