kafka集群搭建

Kafka集群搭建

这里演示搭建三台broker的kafka集群

下载

登录Kafka官网下载地址http://kafka.apache.org/downloads
在安装目录下：sudo wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz

解压

tar -zxvf kafka_2.11-2.2.0.tgz

软链接

ln -s kafka_2.11-2.2.0/ kafka

修改配置文件

修改kafka安装目录下config/server.properties文件

克隆

将上述过程在另外两台broker机器上克隆。

注意在config/server.properties文件中修改broker.id和listeners

启动zk

kafka依赖注册中心zookeeper完成集群部署

启动zookeeper：zkServer.sh start

启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

停止kafka

./bin/kafka-server-stop.sh

创建topic

创建一个名为hello的topic

./bin/kafka-topics.sh —create —bootstrap-server 172.16.185.128:9092 —replication-factor 1 —partitions 1 —topic hello

查看topic

./bin/kafka-topics.sh —list —bootstrap-server 172.16.185.128:9092

生产消息

./bin/kafka-console-producer.sh —broker-list 172.16.185.128:9092 —topic hello

消费消息

./bin/kafka-console-consumer.sh —bootstrap-server 172.16.185.128:9092 —topic hello —from-beginning

删除topic

./bin/kafka-topics.sh —delete —bootstrap-server 172.16.185.128:9092