Rocketmq集群consumer消费(同组及不同组)
一 机器部署
1、机器组成
7台机器，均为16G内存
每台服务器均有4个CPU，2核
2、运行环境配置
3、刷盘方式
每台机器master机器均采用异步刷盘方式
二 、同组consumer均衡消费queue
1、评测目的
测试同一个consumerGroup组的所有consumer均衡消费同一个topic的所有queue。
2、评测指标
master机器个数
topic的队列数
consumerGroup组的consumer个数
3、评测逻辑
总队列数值 = master机器个数 * 指定topic的queue个数
如果某个topic有4个队列， 存在6个consumer，在有两台master机器场景下，那么第一个、第二个Consumer消费2个队列，其余consumer消费1个队列。
如果Consumer 超过队列数量，那么多余的Consumer将不能消费消息。
4、评测步骤
（1）通过rocketmq管理控制台创建topic，并指定默认的队列个数。
（2）配置一组具有相同consumerGroup名称的consumer，并启动consumer端。
（3）配置producer端，并向指定的topic发送消息。
（4）记录consumer端的消费记录，分析每个consumer消费的queueId和broker机器所在的IP
（5）更新topic的queue个数，重复步骤2、3、4。
5、评测过程
（1）第一组
创建topic，更新默认的队列个数为4个
启动producer端，发送20条消息，记录如下：
6个consumer端的消费记录如下：
第1个consumer：
第2个consumer：
第3个consumer：
第4个consumer：
第5个consumer：
第6个consumer：
分析得出结论：
| 总队列数量 | Consumer数量 | Reblance结果 （期望） |
Reblance结果 (实际） |
Master机器 | 消费条数 | |
| Master1 | Master2 | |||||
| 4 | 6 | C1：2 | C1：2 | 2 | 0 | 6 |
| C2：2 | C2：2 | 2 | 0 | 6 | ||
| C3：1 | C3：1 | 0 | 1 | 2 | ||
| C4：1 | C4：1 | 0 | 1 | 2 | ||
| C5：1 | C5：1 | 0 | 1 | 2 | ||
| C6：1 | C6：1 | 0 | 1 | 2 |
（2）第二组
创建topic，更新默认的队列个数为3个
启动producer端，发送20条消息，记录如下：
6个consumer端的消费记录如下：
第1个consumer：
第2个consumer：
第3个consumer：
第4个consumer：
第5个consumer：
第6个consumer：
分析得出结论：
| 总队列数量 | Consumer数量 | Reblance结果 （期望） |
Reblance结果 (实际） |
Master机器 | 消费条数 | |
| Master1 | Master2 | |||||
| 3 | 6 | C1：1 | C1：1 | 1 | 0 | 4 |
| C2：1 | C2：1 | 1 | 0 | 3 | ||
| C3：1 | C3：1 | 0 | 1 | 3 | ||
| C4：1 | C4：1 | 0 | 1 | 3 | ||
| C5：1 | C5：1 | 0 | 1 | 3 | ||
| C6：1 | C6：1 | 1 | 0 | 4 |
（2）第三组
创建topic，更新默认的队列个数为2个
启动producer端，发送20条消息，记录如下：
6个consumer端的消费记录如下：
第1个consumer：
第2个consumer：
第3个consumer：
第4个consumer：
第5个consumer：
第6个consumer：
分析得出结论：
| 总队列数量 | Consumer数量 | Reblance结果 （期望） |
Reblance结果 (实际） |
Master机器 | 消费条数 | |
| Master1 | Master2 | |||||
| 2 | 6 | C1：1 | C1：1 | 1 | 0 | 5 |
| C2：1 | C2：1 | 0 | 0 | 0 | ||
| C3：1 | C3：1 | 0 | 1 | 5 | ||
| C4：1 | C4：1 | 0 | 1 | 5 | ||
| C5：1 | C5：1 | 1 | 0 | 5 | ||
| C6：1 | C6：1 | 0 | 0 | 0 |
三个组的测试结果，的确达到了queue均匀消费。分析队列数量、Consumer数量、Replance结果如下表
| 总队列数量 | Consumer数量 | Reblance结果 |
| 4 | 6 | C1 - C2：2 C3 - C6：1 |
| 3 | 6 | C1 - C6：1 |
| 2 | 6 | C1 - C4：1 C5 - C6：0 |
三、不同组consumer消费相同topic
1、评测目的
测试多个不相同的consumerGroup组的所有consumer消费同一个topic的消息。
2、评测指标
consumerGroup组的名称以及instanceName实例
topic消息的个数、顺序、queueId、msgId
3、评测逻辑
位于不同consumerGroup组的 consumer端，可以同时消费相同topic的消息，所以只需要记录不同组的consumerGroup消费消息msgId的顺序即可。
4、评测步骤
（1）创建两个不同consumerGroup组的consumer端。
（2）配置producer端，并向指定的topic发送消息，记录消息的msgId、body等信息
（3）对比分析消费记录。
5、评测过程
创建不同comsumerGroup组，启动各自的consumer实例。
producer向指定topic发送消息，消息记录如下
consumer端消费记录如下
分析消费记录可知
两组consumerGroup的consumer实例均消费了同一个topic的所有消息，包括消息的顺序、msgId、queueId等等都是完全一致的，测试结果与期望相符合。
四、评测结果
1、位于相同consumerGroup组的consumer端，在消费同一个topic的队列的数据，可以均衡消费queue。
注：queue的总数 = master机器台数 * topic的队列数
2、不同组的consumerGroup的consumer端，可以消费相同的topic消息，且消费消息的顺序、msgId、offset、body等参数完全一致。
3、剩余的功能点，本周暂未测试，留待后续深入研究。
（1）支持动态切换topic、minOffset
（2）当一个group下的consumer在消费过程中断服务，切换另外的group下的consumer开始消费，观察是否隔离
（3）消息从哪里开始消费、消息回溯
（4）重试队列、死信队列
4、已测试功能点
（1）集群消费动态加入、删除、负载
（2）广播消费
（3）延迟消费(2分钟、1分钟、10秒)
（4）Producer设置topic的queue数目
（5）pull中拉取消息分页数目
（6）一个consumer可订阅多个topic，可选择性的订阅topic的tag
（7）当前消费数，最大消费数
（8）消息堆积数量处理
（9）一个group下平分一个topic的quene
（10）不同组的group同时消费一个topic