您的位置: 首页  >  文章  >  kafka （1）

kafka （1）

分类: 文章 • 2024-02-27 23:47:51

一 .概述

Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。

kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息

二 .Kafka好处

  1. 可靠性：分布式，分区，复制和容错的
  2. 可扩展性：kafka消息传递系统轻松缩放，无需停机。
  3. 耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。
  4. 性能高：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。
  5. 非常快：保证零停机和零数据丢失。

三 . Kafka 主要应用场所

  1. 指标分析：kafka通常用于操作监控数据。这设计聚合来自分布式应用程序的统计信息，以产生操作的数据集中反馈
  2. 日志聚合解决方法。kafka可用于跨组织从多个服务器收集日志，并使他们以标准的合适提供给多个服务器。
  3. 流式处理  流式处理框架（spark，storm，flink）重主题中读取数据，对齐进行处理，并将处理后的数据写入新的主题，供 用户和应用程序使用，kafka的强耐久性在流处理的上下文中也非常的有用。

四 .Kafka架构介绍

kafka （1）

 

  1. 生产者API   允许应用程序发布记录流至一个或者多个kafka的主题（topics）。
  2. 消费者API   允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。
  3. StreamsAPI   允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或 者多个主题，能够有效的变化输入流为输出流。
  4. ConnectAPI  允许构建和运行可重用的生产者或者消费者，能够把kafka主题连接到现有的应用程序或数据系统。例如：一个连 接到关系数据库的连接器可能会获取每个表的变化。

五.Kafka架构内部细节剖析

kafka （1）

kafka （1）

  1. Broker ：kafka集群中包含一个或者多个服务实例，这个服务实例称之为Broker
  2. Topic ： 每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic
  3. Partition ：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition
  4. Segment：一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件，其中.index文件是索引文件，主要用于快速查询.log文件当中数据的偏移量位置
  5. .log:存放数据文件
  6. .index：存放.log文件的索引数据
  7. Producer ： 负责发布消息到kafka的Broker中
  8. Consumer：消息消费者,向kafka的broker中读取消息的客户端
  9. Consumer Group ：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定 groupName）

六 .kafka组件说明

  1. producer说明

producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去

2. topic说明

   1）kafka将消息以topic为单位进行归类

   2）topic特指kafka处理的消息源（feeds of messages）的不同分类。

  3）topic是一种分类或者发布的一些列记录的名义上的名字。kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有 零个，一个或者多个消费者订阅写入的数据。

  4）在kafka集群中，可以有无数的主题。

  5）生产者和消费者消费数据一般以主题为单位。更细粒度可以到分区级别。

3. partition说明

kafka当中，topic是消息的归类，一个topic可以有多个分区，每个分区保存部分topic的数据，所有的partition当中的数据全部合并起来，就是一个topic当中的所有的数据，

4.partition的副本数说明

kafka分区副本数

副本数（replication-factor）：控制消息保存在几个broker（服务器）上，一般情况下等于broker的个数。 副本因子应该小于等于可用的broker数。

kafka （1）

副本因子操作以分区为单位的。每个分区都有各自的主副本和从副本；

主副本叫做leader，从副本叫做 follower（在有多个副本的情况下，kafka会为同一个分区下的所有分区，设定角色关系：一个leader和N个 follower），处于同步状态的副本叫做in-sync-replicas(ISR);

follower通过拉的方式从leader同步数据。

消费 者和生产者都是从leader读写数据，不与follower交互。

消费 者和生产者都是从leader读写数据，不与follower交互。

副本因子的作用：让kafka读取数据和写入数据时的可靠性。

副本因子是包含本身，同一个副本因子不能放在同一个Broker中。

如果某一个分区有三个副本因子，就算其中一个挂掉，那么只会剩下的两个中，选择一个leader，但不会在其 他的broker中，另启动一个副本（因为在另一台启动的话，存在数据传递，只要在机器之间有数据传递，就 会长时间占用网络IO，kafka是一个高吞吐量的消息系统，这个情况不允许发生）所以不会在零个broker中启动。

如果所有的副本都挂了，生产者如果生产数据到指定分区的话，将写入不成功。

lsr表示：当前可用的副本

 

5.segment说明

一个partition当中由多个segment文件组成，每个segment文件，包含两部分，一个是.log文件，另外一个是.index文件，其中.log文件包含了我们发送的数据存储，.index文件，记录的是我们.log文件的数据索引值，以便于我们加快数据的查询速度

索引文件与数据文件的关系

既然它们是一一对应成对出现，必然有关系。索引文件中元数据指向对应数据文件中message的物理偏移地址

比如索引文件中3,497代表：数据文件中的第三个message,它的偏移地址为497。再来看数据文件中，Message 368772表示：在全局partiton中是第368772个message。
注：segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间

kafka （1）

6.partition的offset

任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），

任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），

kafka （1）

7.分区与消费组的关系

消费组： 由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。

某一个主题下的分区数，对于消费组来说，应该小于等于该主题下的分区数。如下所示：

8.Consumer

consumer是kafka当中的消费者，主要用于消费kafka当中的数据，任何一个消费者都必定需要属于某一个消费组当中，任意时刻，一个分区当中的数据，只能被kafka当中同一个消费组下面的一个线程消费

相关推荐