kafka系列1 初识kafka

一.基础组件
1.broker:kafka节点。
2.consumer:服务消费者
3.producer:服务生产者
4.offset:唯一标识一条记录
5.partition:kafka的消息队列
6.topic:消息的类别
7.group id:消费者的分组id(一个topic会分发给多个订阅的分组)
8.zookeeper:分布式协调,主要协调broker、consumer。

系统图:
kafka系列1 初识kafka

消息发送过程
producer通过负载均衡推送消息到broker,broker将消息保存到partition,partition可以有多个,consumer定时从broker的partition种poll消息,consumer可以多线程处理消息。producer可以设置ack应答。

几个重要的参数:
session.timeout.ms 消费者处理的超时时间
max.poll.records 一次拉去的记录数
enable.auto.commit 设置是否自动提交