RabbitMQ(2)

说 RabbitMQ 之前先说两个概念:Message Broker 和 AMQP

Message Broker 是一种消息验证、传输、路由的架构模式,其设计目标主要应用于下面这些场景:

  • 消息路由到一个或多个目的地
  • 消息转化为其他的表现方式
  • 执行消息的聚集、消息的分解,并将结果发送到他们的目的地,然后重新组合相应返回给消息用户
  • 调用 Web 服务来检索数据
  • 响应事件或错误
  • 使用发布 - 订阅模式来提供内容或基于主题的消息路由

AMQP 是 Advanced Message Queuing Protocol 的简称,它是一个面向消息中间件的开放式标准应用层协议。AMQP 定义了这些特性:

  • 消息方向
  • 消息队列
  • 消息路由(包括:点到点和发布 - 订阅模式)
  • 可靠性
  • 安全性

整体架构图

 

RabbitMQ(2)

ConnectionFactory、Connection、Channel

ConnectionFactory、Connection、Channel 都是 RabbitMQ 对外提供的 API 中最基本的对象。

  • Connection 是 RabbitMQ 的 socket 链接,它封装了 socket 协议相关部分逻辑。
  • ConnectionFactory 为 Connection 的制造工厂。
  • Channel 是我们与 RabbitMQ 打交道的最重要的一个接口,我们大部分的业务操作是在 Channel 这个接口中完成的,包括定义 Queue、定义 Exchange、绑定 Queue 与 Exchange、发布消息等。

 

Message acknowledgment

在实际应用中,可能会发生消费者收到 Queue 中的消息,但没有处理完成就宕机(或出现其他意外)的情况,这种情况下就可能会导致消息丢失。
为了避免这种情况发生,我们可以要求消费者在消费完消息后发送一个回执给 RabbitMQ,RabbitMQ 收到消息回执(Message acknowledgment)后才将该消息从 Queue 中移除;如果 RabbitMQ 没有收到回执并检测到消费者的 RabbitMQ 连接断开,则 RabbitMQ 会将该消息发送给其他消费者(如果存在多个消费者)进行处理。
这里不存在 timeout 概念,一个消费者处理消息时间再长也不会导致该消息被发送给其他消费者,除非它的 RabbitMQ 连接断开。
这里会产生另外一个问题,如果我们在处理完业务逻辑后,忘记发送回执给 RabbitMQ,这是个常见的低级错误,但是后果却是很严重的——Queue 中堆积的消息会越来越多,消费者重启后会重复消费这些消息并重复执行业务逻辑,周而复始。

Spring AMQP 通过默认配置避免了忘记 basicACK 这种情况,所以我们并不需要特别关注。

另外,pub message 是没有 ack 的。

Message durability

如果我们希望即使在 RabbitMQ 服务重启的情况下,也不会丢失消息,我们可以将 Queue 与 Message 都设置为可持久化的(durable),这样可以保证绝大部分情况下我们的 RabbitMQ 消息不会丢失。
但是,请注意,这并不能完全保证就一定丢不了消息,因为 RabbitMQ 不会为每条消息执行fsync(2),它可能只是保存到缓存中,并没有真正写入磁盘。如果我们需要对这种小概率事件(比如 RabbitMQ 服务器已经接收到生产者的消息,但还没来得及持久化该消息时 RabbitMQ 服务器就断电了)也要管理起来,那么我们要用到事务。由于这里仅为 RabbitMQ 的简单介绍,所以这里将不讲解 RabbitMQ 相关的事务。

Spring AMQP 通过在 MessageProperties 中设置了合理默认值来定义消息的持久性。参考 common properties

属性 默认值 描述
durable true 当 declareExchange 为 true 时,持久化标志被设置为该值
deliveryMode PERSISTENT PERSISTENT 或 NON_PERSISTENT 来确定 RabbitMQ 是否持久化消息

Prefetch count

默认情况下,如果有多个消费者同时订阅同一个 Queue 中的消息,Queue 中的消息会被平摊给多个消费者。平均而言,每个消费者将获得相同数量的消息。这种分配消息的方式称为循环调度(Round-robin)。这时如果每个消息的处理时间不同,就有可能会导致某些消费者一直在忙,而另外一些消费者很快就处理完手头工作并一直空闲的情况。我们可以通过设置 prefetchCount 来限制 Queue 每次发送给每个消费者的消息数,比如我们设置 prefetchCount=1,则 Queue 每次给每个消费者发送一条消息;消费者处理完这条消息后 Queue 会再给该消费者发送一条消息。

RabbitMQ(2)

RPC

MQ 本身是基于异步的消息处理,前面的示例中所有的生产者(P)将消息发送到 RabbitMQ 后不会知道消费者(C)处理成功或者失败(甚至连有没有消费者来处理这条消息都不知道)。但实际的应用场景中,我们很可能需要一些同步处理,需要同步等待服务端将我的消息处理完成后再进行下一步处理。这相当于 RPC(Remote Procedure Call,远程过程调用)。在 RabbitMQ 中也支持 RPC。

RabbitMQ(2)

RabbitMQ 中实现 RPC 的机制是:

  • 客户端发送请求(消息)时,在消息的属性(MessageProperties,在AMQP协议中定义了 14 种properties,这些属性会随着消息一起发送)中设置两个值replyTo(一个Queue名称,用于告诉服务器处理完成后将通知我的消息发送到这个Queue中)和correlationId(此次请求的标识号,服务器处理完成后需要将此属性返还,客户端将根据这个 id 了解哪条请求被成功执行了或执行失败)
  • 服务器端收到消息并处理
  • 服务器端处理完消息后,将生成一条应答消息到replyTo指定的Queue,同时带上correlationId属性
  • 客户端之前已订阅replyTo指定的Queue,从中收到服务器的应答消息后,根据其中的correlationId属性分析哪条请求被执行了,根据执行结果进行后续业务处理