kafka消费者组-03

消费者组

消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个topic。每个分区在同一时间只能由group中的一个消费者读取，但是多个group可以同时消费这个partition。在图中，有一个由三个消费者组成的group，有一个消费者读取主题中的两个分区，另外两个分别读取一个分区。某个消费者读取某个分区，也可以叫做某个消费者是某个分区的拥有者。

在这种情况下，消费者可以通过水平扩展的方式同时读取大量的消息。另外，如果一个消费者失败了，那么其他的group成员会自动负载均衡读取之前失败的消费者读取的分区。

 

消费者组案例

1）需求：测试同一个消费者组中的消费者，同一时刻只能有一个消费者消费。

2）案例实操

修改1,2节点的/config/consumer.properties配置文件中的group.id属性为任意组名。两个节点的组名得相同

然后在1,2节点分别启动消费者

 bin/kafka-console-consumer.sh --zookeeper hadoop-senior02.buba.com:2181 --topic first --consumer.config config/consumer.properties

在第三台节点上启动生产者,并且发送消息

bin/kafka-console-producer.sh --broker-list hadoop-senior02.buba.com:9092 --topic first

现在只能第一台节点接收到消息,第二台是没有的.

然后把第一个节点的消费者关闭掉,再发消息进行测试,消息就发送到第二台节点了