浅谈大数据里的Kafka (5)Zookeeper在Kafka中的作用

关于Controller:

 根据Kafka的数据可靠特性可以知道,Kafka的数据可靠性以及leader节点的选举需要靠Zookeeper维护。

 Kafka集群中有一个broker节点会被选举为Controller,负责管理集群broker的上下线,以及所有topic的分区副本分配和leader选举等工作。而Controller的管理工作都是依赖于Zookeeper

Zookeeper维护下的Kafka的Leader节点选举:

图一:
浅谈大数据里的Kafka (5)Zookeeper在Kafka中的作用

 根据图一可以知道,Zookeeper维护了Kafka集群的每个broker的id状况以及ISR,同时通过Kafka集群里的KafkaController进行监听,同时Zookeeper维护的是持久化目录节点,所以关闭与Zookeeper的连接节点不会被删除,并且如果需要关闭服务,需要先关闭Kafka再关闭Zookeeper。

图二:
浅谈大数据里的Kafka (5)Zookeeper在Kafka中的作用

 图二里,如果leader节点broker0故障或者宕机,那么在Zookeeper节点里维护的brokers的id信息则会变化,KafkaController监听到id变化后便获取ISR。从ISR里选出一个节点作为新的leader节点,同时并更新ISR。