RocketMQ的环境搭建与相关配置
一、RocketMQ的下载
http://rocketmq.apache.org/dowloading/releases/
二、RocketMQ环境搭建
搭建一个单机版的RocketMQ没有太大的实用价值,所以在这里搭建一个双主 、 双从 、 无单点故障的高可用 RocketMQ集群 。
材料准备
两台物理机(这里我采用了两台虚拟机)
主机地址:
192.168.223.41 node01
192.168.223.42 node02
配置步骤
1.解压文件
unzip rocketmq-all-4.3.2-bin-release.zip -d ./rocketmq-all-4.3.2-bin
2.启动两机器的nameserver
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh bin/mqnamesrv &
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh bin/mqnamesrv &
3.broker配置文件
双master配置:
[[email protected]]#vim /rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-a.properties
namesrvAddr=192.168.223.41:9876;192.168.223.42:9876
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/home/rocketmq/store-a
[[email protected]]#vim /rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-b.properties
namesrvAddr=192.168.223.41:9876;192.168.223.42:9876
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/home/rocketmq/store-b
双slave配置:
[[email protected]]#vim /rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-b-s.properties
namesrvAddr=192.168.223.41:9876;192.168.223.42:9876
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/home/rocketmq/store-b
[[email protected]]#vim /rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-a-s.properties
namesrvAddr=192.168.223.41:9876;192.168.223.42:9876
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=11011
storePathRootDir=/home/rocketmq/store-a
4.启动4个broker:
命令:nohup sh ./bin/mqbroker –c config_file &
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh ./bin/mqbroker -c ./conf/2m-2s-sync/broker-a.properties &
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh ./bin/mqbroker -c ./conf/2m-2s-sync/broker-b-s.properties &
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh ./bin/mqbroker -c ./conf/2m-2s-sync/broker-b.properties &
[[email protected] rocketmq-all-4.3.2-bin-release]# nohup sh ./bin/mqbroker -c ./conf/2m-2s-sync/broker-a-s.properties &
jps查看效果如下:
5.查看集群状态
可采用图形化界面管理
https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console
图形化界面配置过程参考:
https://yq.aliyun.com/articles/486069?spm=5176.10695662.1996646101.searchclickresult.37e0a3dbrOPWp6
三、相关配置参数介绍
- namesrvAddr= 192.168.100.131:9876; 192.168.100.132:9876
NamerServer 的地址,可以是多个 。 - brokerClusterName=DefaultCluster
Cluster 的地址,如果集群机器数比较多,可以分成多个 Cluster,每个 Cluster 供一个业 务 群使用 。 - brokerName=broker- a
Broker 的名称, Master 和 Slave 通过使用相同的 Broker 名称来表明相互关系,以说明某个 Slave 是哪个 Master 的 Slave。 - brokerid=0
一个 Master Barker可以有多个 Slave, 0表示 Master,大于 0表示不同 Slave 的 ID。 - fileReservedTime=48
在磁盘上保存消息的时长,单位是小时,自动删除超时的消息 。 - deleteWhen=04
与 fileReservedTim巳参数呼应,表明在几点做消息删除动作,默认值 04表 示凌晨 4点。 - brokerRole=SYNC MASTER
brokerRole 有 3 种: SYNC MASTER、 ASYNC MASTER、 SLAVE。
前两个是master,第三个是slave。 Master的前缀代表主从复制方式,异步复制和同步 复制 - flushDiskType=ASYNC FLUSH
flushDiskType表示刷盘策略,分为SYNC_FLUSH和ASYNC_FLUSH两 种,分别代表同步刷 盘和异步刷盘。 同步刷盘情况下,消息真正写人磁盘后再 返回成功状态;异步刷盘情况 下,消息写入 page_cache 后就返回成功状态 。 - listenPort=l0911
Broker监听的端口 号,如果一台机器上启动了多个 Broker, 则要设置不同 的端口号, 避免冲突 。 - storePathRootDir=/home/rocketmq/store - a
存储消息以及一些配置信息的根目录 。
四、配置过程踩过的一些坑
坑1:
下载不同版本rocketmq时,要注意其要求的jdk版本
原因,高版本rocketmq中有MaxMetaspaceSize参数,MaxMetaspaceSize为Java8中新引入的参数
坑2:
启动mqnamesev时候报:
Java HotSpot 64-Bit Server VM warning: INFO: os::commit_memory(0x00000006c0000000, 2147483648, 0) failed; error=‘Cannot allocate memory’ (errno=12)
则需要调整rocketMQ的内存
vim bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx256m -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=320m"
-Xms 的值一定要比 -Xmx 要小不让,也会报错:
Initial heap size set to a larger value than the maximum heap size
启动mqbroker时报,则修改:
vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"