您的位置: 首页  >  文章  >  2.1、Linux下Kafka环境搭建及基本使用

2.1、Linux下Kafka环境搭建及基本使用

分类: 文章 • 2024-08-03 14:26:22

为什么80%的码农都做不了架构师？>>>   2.1、Linux下Kafka环境搭建及基本使用

一、kafka单节点单broker环境搭建

系统环境：centos 64位 mini
虚拟机：Virtual Box

如果你不熟悉virtual box的使用，不知道如何安装centos系统，可以参考之前发布的文章：

快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用

快速掌握virtualbox虚拟机搭建centos系统集群

如果你不想用virtual box，也可以使用docker，之前发布的文章也有介绍，请进入头条号查看

1、Windows下搭建单节点kafka环境

请参考之前发布在头条号上的文章，已经详细介绍了

1）JDK环境搭建

快速搭建Java（JDK）Tomcat基础开发环境

2）zookeeper环境搭建

Windows下安装zookeeper

3）kafka环境搭建

Windows下安装Kafka及简单使用

2、Linux下搭建

1）JDK环境搭建

下载：http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压：

 

cd /usr/local/src
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181 ../

配置：

 

cd /usr/local/jdk1.8.0_181
vim /etc/profile

 

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证：java -version

2）zookeeper环境搭建

  • 下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

  • 解压

 

cd /usr/local/src
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 ../
  • 配置环境变量

 

cd /usr/local/zookeeper-3.4.12
mkdir data
mkdir logs
vim /etc/profile

 

export ZK_HOME=/usr/local/zookeeper-3.4.12
export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

  • 修改zoo.cfg

 

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data
dataLogDir=/usr/local/zookeeper-3.4.12/logs
  • 启动测试

zkServer.sh start

 

[[email protected] zookeeper-3.4.12]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
  • 查看启动进程信息

 

[[email protected] local]# jps
3829 QuorumPeerMain
3848 Jps
​
[[email protected] local]# jps -m
3858 Jps -m
3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

注释：zookeeper启动后，会多一个进程QuorumPeerMain

3）kafka环境搭建

  • 下载：

 

cd /usr/local/src
wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

注释：我们使用的版本是0.9.0.1

  • 解压：

 

tar -zxvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 ../
  • 配置环境变量：

vim /etc/profile

 

export KAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1
export PATH=$KAFKA_HOME/bin:$PATH

使得环境变量立即生效：source /etc/profile

  • 配置server.properties

 

cd /usr/local/kafka_2.11-0.9.0.1
vim conf/server.properties

server.properties重要参数说明：

 

broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程连接需要配置下（0.9.0.1版本没有这个问题）
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的，这里必须更改下
zookeeper.connect=//zookeeper的连接地址：根据实际进行配置

3）启动测试

配置你的hosts：

127.0.0.1 jikeh

启动zookeeper：

Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器，你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。

cd /usr/local/kafka_2.11-0.9.0.1

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka：

bin/kafka-server-start.sh config/server.properties

后台启动：

bin/kafka-server-start.sh -daemon config/server-1.properties &

注释：一个server.properties其实，就可以当做一个broker

jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息

二、kafka基本使用

1、创建Topic

1）新建topic

查看命令的帮助信息：直接输入bin/kafka-topics.sh，然后enter，就可以查看所有的参数信息

bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test

注释：参数说明

  • replication-factor：设置副本数
  • partitions：设置分区数

2）查看当前所有的topic列表

bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181

3）看下topic的详情信息

查看所有topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181

查看指定topic：

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test

2、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test

3、消费消息

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

 

[[email protected] kafka_2.11-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server]

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test

注释：

  • --from-beginning参数的作用：重新开始消费消息，不管是否已经被消费了

  • 对于低版本的kafka需要这样连接：

    bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

4、疑惑点

通过以上命令，很多人就有疑问了，到底什么时候跟zookeeper打交道，什么时候跟broker打交道呢，这很容易让人糊涂

创建topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，但是低版本的kafka，消费者还是与zookeeper进行打交道的

注意：

低版本的kafka：需要这样消费

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

高版本的kafka：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning

注释：官网上的文档，其实是按高版本的kafka来更新文档的

为什么会有这种区别呢？
Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。

三、kafka客户端远程连接测试

2.1、Linux下Kafka环境搭建及基本使用

如果你理解上有困难，欢迎留言，或者参考****：
带你看官网学习Kafka，掌握Linux下Kafka环境搭建及基本使用

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server

转载于:https://my.oschina.net/jikeh/blog/2960878

相关推荐