大数据组件之Kafka学习指南/快速入门
Kafka学习总结
1、Kafka简介
Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)
Kafka最核心的最成熟的还是他的消息引擎,所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外,Kafka也是目前性能最好的消息中间件。
2、Kafka架构
在Kafka集群(Cluster)中,一个Kafka节点就是一个Broker,消息由Topic来承载,可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer,多个Consumer可以促成Consumer Group共同消费一个Topic中的消息。
概念/对象 简单说明
Broker Kafka节点
Topic 主题,用来承载消息
Partition 分区,用于主题分片存储
Producer 生产者,向主题发布消息的应用
Consumer 消费者,从主题订阅消息的应用
Consumer Group 消费者组,由多个消费者组成
3、准备工作
Kafka服务器
准备3台CentOS服务器,并配置好静态IP、主机名
Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息,这里我们部署三台ZK
192.168.218.101 Kafka节点1 zk
192.168.218.102 Kafka节点2 zk
192.168.218.103 Kafka节点3 zk
安装部署好kafka之后,查看kafka_2.11-1.1.0/config/server.properties,配置以下内容
设置broker.id这里是用于投票选举,每个节点的数字不一样
设置kafka日志存放目录
设置监听端口
以上设置除了broker.id 监听端口ip需要修改,其余不用修改。
附:kafka常用配置
4 启动kafka
/bin/kafka-server-start.sh config/server.properties &
在k8s集群中启动kafka的pod,启动三台,broker-0/broker-1/broker-2
1)kafka服务启动
./kafka-server-start.sh …/config/server.properties
-daemon表示静默方式启动
2)查看有哪些主题
./kafka-topics.sh --list –zookeeper chen-1:2181,chen-2:2181,chen-3:2181
3)创建topic
./kafka-topics.sh --create --zookeeper chen-1:2181,chen-2:2181,chen-3:2181 --replication-factor 1 --partitions 1 --topic chen
4)查看topic的详细信息
./kafka-topics.sh –zookeeper chen-1:2181,chen-2:2181,chen-3:2181 -describe -topic chen
5)kafka生产者客户端命令
./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen 生产者端可以产生数据供消费者消费
6)kafka消费者客户端命令
./kafka-console-consumer.sh --bootstrap-server chen-2:9092 --topic chen
./kafka-console-consumer.sh --bootstrap-server chen-3:9092 --from-beginning --topic chen
–from-beginning参数可以从头开始消费数据
此时进入zookeeper客户端,可看到在zk中已经存储了和kafka相关的数据
__consumer_offsets表示记录消费的偏移量
7) 删除topic
/kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCount(注:不能真正删除topic只是把这个topic标记为删除(marked for deletion),要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除。)
5 消费者组(Consumer Group)
消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic,每个消费者组都可以拿到相同的全部数据。
设置consumer.properties文件
新建一个topic主题用于测试,消费者组
./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen-1
新建两个消费者组
./kafka-console-consumer.sh -bootstrap-server chen-2:9092 --topic chen-1 --consumer.config …/config/consumer.properties
当分区数<消费者数时:
此时可以发现当存在一个分区和多个消费者时,只有一个消费者能够消费到数据。
当分区数=消费者数时
此时每个消费者消费一个分区
当分区数>消费者数时
此时消费者会消费多个分区,并保证每个消费者至少有一个分区可以消费。