Plusar架构深入学习

Topic(主题)、Subscription(订阅)和Cursors(游标)的基本概念

 

Plusar架构深入学习

 

3.1 Topic的分区以及分区策略

1)消息存储在Topic中。逻辑上Topic是一个日志结构,每个消息都在这个日志结构中有一个偏移量。

2)Producer将消息发送到一个指定的Topic。

3)Consumer通过订阅来消费Topic中的消息。

4)分区:Pulsar将一个主题的数据分布到多台机器上,保证高吞吐量。默认情况下,Pulsar的主题是不进行分区的,但通过命令行工具或API可以很容易地创建分区主题,并指定分区的数量。如下图:

 

Plusar架构深入学习

 

5)分区策略:单个分区,轮询(round robin)分区,哈希(hash)分区,自定义分区,帮助我们更好地跨分区、跨消费者分布数据。如下图:

 

Plusar架构深入学习

大数据培训