kafka原理图简介
1)Borker启动之后会向zookeeper注册,zookeeper保存着kafka的元数据信息,并且zookeeper完成对kafka的选举(选举哪个分区时leader分区,哪个分区是follwer分区)
2)生产者主动会把数据写入到kafka中producer不需要连接zookeeper只需知道kafka的borker的地址就行了,
3)消费者consumer会连接zookeeper,会向zookeeper注册,因为消费者需要知道kafka中有多少broker,broker下面有多少分区,哪个分区在哪台机器上,上次偏移量写到哪里了,连接完了zookeeper之后在连接broker,然后拉取数据
总结:
1.kafka的生成者直接向broker的leader分区写数据 不需要连接ZK
2.kafka的消费者(老的API需要先连接ZK,获取broker信息和topic 分区偏移量信息),新的API不需要连接ZK(直接方式连接broker,效率更高)