Kafka详解(五):Kafka知识点补充(消费滞后量)

九、Kafka知识点补充

1、消费滞后量(Lag)

Kafka详解(五):Kafka知识点补充(消费滞后量)
在没有引入事务的情况下,对于每个分区而言,它的Lag等于HW-ConsumerOffset(当前的消费位移)的值

在引入事务的情况下,如果消费者客户端的isolation.level参数配置为read_uncommitted(默认),那么Log的计算方式不受影响;如果这个参数配置为read_committed,那么就要引入LSO来进行计算了
Kafka详解(五):Kafka知识点补充(消费滞后量)
LSO是LastStableOffset的缩写,对于未完成的事务而言,LSO的值等于事务中第一条消息的位置,对已完成的事务而言,它的值同HW相同,LSO<=HW<=LEO

对于分区中有未完成的事务,并且消费者客户端的isolation.level参数配置为read_uncommitted的情况,它对应的Lag等于LSO-ConsumerOffset


总结:

Kafka和RabbitMQ的学习告一段落了,推荐一些相关的学习资料,首先推荐两本好书:《深入理解Kafka核心设计与实践原理》和《RabbitMQ实战指南》,这两本是同一个人写的(作者****博客 ),书中对Kafka和RabbitMQ的相关知识点介绍很详细。但是缺少与Spring整合相关的内容,关于Spring整合这部分,RabbitMQ的话推荐一下慕课网的《RabbitMQ消息中间件技术精讲》,这门课程里面对于Spring、SpringBoot、SpringCloud整合RabbitMQ都做了详细地讲解,至于Spring整合Kafka这方面的资料相对较少,推荐一篇技术博客,是我找到的关于Spring-Kafka方面相对介绍的比较详细的资料了,或者可以查看官方文档,此外,6月份极客时间也会出Kafka相关的课程,到时候学习到新的知识会在这篇博客中继续作补充,同时也希望了解一下现在企业中如果使用Kafka的话,实际操作会选择Spring整合Kafka吗?实际的使用方式是什么呢?欢迎交流