kafka单节点单broker的安装部署及使用
kafka单节点单broker的安装部署及使用
kafka是Apache的*项目，可以在官网
http://kafka.apache.org/downloads
根据自己的scala版本下载自己需要的压缩包
解压：
[[email protected] downloads]# tar -zxvf kafka_2.13-2.4.0.tgz -C /usr/soft/
配置环境变量
vi ~/.bash_profile
export KAFKA_HOME=/usr/soft/kafka_2.13-2.4.0
export PATH=PATH
然后，配置kafka的配置文件
[[email protected] config]# vi server.properties
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/usr/soft/data/kafka-logs
num.partitions=1
zookeeper.connect=hodoop001:2181
注意：以上个参数配置分别是
breker.id 必须是唯一的整形数字
listeners 监听，采取默认配置即可
log.dirs 日志路径，配置成我们自己创建路径（默认路径会在每次系统重启之后清除）
num.partitions 因为是单节点部署，这里采用分区数量是1
zookeeper.connect 根据自己喜好配置hadoop001:2181（或默认localhost:2181）
启动kafka之前，首先要启动zookeeper,zookeeper启动过程请参考上篇文章
https://editor.****.net/md/?articleId=105565048
或者启动kafka自带的zookeeper，本文以启动kafka自带的zookeeper为例
启动zookeeper
[[email protected] bin]# ./zookeeper-server-start.sh …/config/zookeeper.properties
启动kafka
[[email protected] bin]# ./kafka-server-start.sh …/config/server.properties
创建一个topic
[[email protected] bin]# ./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic hello_test
查看所有创建的topic
./kafka-topics.sh --list --zookeeper hadoop001:2181
启动生产者，
[[email protected] bin]# ./kafka-console-producer.sh --broker-list hadoop001:9092 --topic hello_topic
启动消费者
[[email protected] bin]# ./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic hello_topic --from-beginning
在生产者客户端输入内容
可以在消费者客户端看到输出
至此，kafka单节点安装部署及使用完成。