flume消费kafka消息的offset查看方法

kafka版本1.0.1

flume版本1.8.0

 

offset已经不在zookeeper存储了，存储在__consumer_offsets这个topic里面，具体哪个consumer group存储在这个topic的哪个partition里面通过下面计算方法确定：

public class HelloWorld {

public static void main(String[] args) {

String s2=new String("consumer_flume_kafka_topic_test");

System.out.println(Math.abs(s2.hashCode())%50);

}

}

 

确定好了partition id之后就可以用下面命令查看信息了：

./kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 48 --broker-list youBrokerListAddress --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

 

 

    有问题加QQ群：877769335

    或者用QQ扫描二维码加群：