前言
本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部署A-s和B-m
功能原理和集群可参考:中文文档 和roketmq学习 实战(三) 下篇:顺序消息和事务消息
目录
1.准备环境
2.开始搭建
正文
1.准备环境
1.linux服务器2台(centos7)
2.maven(3.5以上)
3.jdk(本文使用的1.8(有人说使用系统自带的可能导致一些问题,未测试))
4.工具:使用的xshell+xftp
部署结构图如下:
2.开始搭建
1.下载安装包并上传
从apache官网下载rocketmq二进制包安装包并上传到节点1(192.168.229.5),地址: http://rocketmq.apache.org/release_notes/release-notes-4.3.2/
2.解压
解压并更改文件的目录为rocketmq
unzip rocketmq-all-4.3.2-bin-release.zip
3.修改配置文件
rocketmq默认给出了三种建议配置模式
2m-2s-async(主从异步),----本文采用这种
2m-2s-sync(主从同步)
2m-noslave(仅master)
修改2m-2s-async下的配置文件
修改哪个都行,只需要启动时指定配置文件即可,一般符合命名约束
注意:
autoCreateTopicEnable=true,建议线下开启测试,线上关闭
同一个机器上启动多个broker时,需使用不同的broker配置文件来启动实例,
eg节点1启动一个a-m和b-s,使用broker-a.properties和broker-b-s.properties
listenPort默认为10911,当一个机器上启动多个broker示例时,需区分开端口
broker启动时,默认内存设置比较大,改成适合机器的,细节可看步骤6
当一个节点启动多个broker实例时,存储路径如果显示的设置,则需要指定不同的storePath路径,(不设置的话,默认不同)
3.1修改broker-a.properties主要内容为如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
3.2修改broker-b-s.properties主要内容为如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口,
listenPort=10920
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
4.配置第二台机器(192.168.229.6)
本文使用的克隆虚拟机,可快速获取一个与原机器一样的机器,因为完全一样,需要更改下mac地址,如果使用静态ip,改下网关的配置即可,手动重新搭建一台当然也可以
配置同上步,更改ip和broker具体信息即可
5.启动nameServer
上述配置文件中指定了commitLog,队列,日志等的存储路径,创建该文件夹
节点1执行:
mkdir -p /usr/local/rocketmq/store/broker-a /usr/local/rocketmq/store/broker-a/nsumequeue /usr/local/rocketmq/store/broker-a/commitlog /usr/local/rocketmq/store/broker-a/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b-s /usr/local/rocketmq/store/broker-b-s/nsumequeue /usr/local/rocketmq/store/broker-b-s/commitlog /usr/local/rocketmq/store/broker-b-s/index
节点2执行:
mkdir -p /usr/local/rocketmq/store/broker-a-s /usr/local/rocketmq/store/broker-a-s/nsumequeue /usr/local/rocketmq/store/broker-a-s/commitlog /usr/local/rocketmq/store/broker-a-s/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b /usr/local/rocketmq/store/broker-b/nsumequeue /usr/local/rocketmq/store/broker-b/commitlog /usr/local/rocketmq/store/broker-b/index
2.启动节点1的nameServer(192.168.229.5)
nohup sh /usr/local/rocketmq/bin/mqnamesrv >/usr/local/rocketmq/logs/mqnamesrv.log 2>&1 &
1
将日志文件输出到指定文件,再进行日志查看,jps 等进行java进程查看,结果符合预期
3. 启动节点2的nameServer(192.168.229.5)
步骤如节点1,启动成功
6.启动broker
启动节点1的broker-a的master,对应的配置文件broker-a.properties
启动多个实例时,指定对应的配置文件
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties > /usr/local/rocketmq/logs/broker-a.log 2>&1 &
默认配置的内存较大,因为部署的是虚拟机,改小些
vi /usr/local/rocketmq/bin/runbroker.sh
再次启动broker-a
启动节点2的broker-a-s
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties > /usr/local/rocketmq/logs/broker-a-s.log 2>&1 &
启动节点2的broker-b
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties > /usr/local/rocketmq/logs/broker-b.log 2>&1 &
启动节点1的broker-b-s
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b-s.properties > /usr/local/rocketmq/logs/broker-b-s.log 2>&1 &
查看集群的启动状况:四个节点,符合预期,至此,集群初版搭建完毕
sh /usr/local/rocketmq/bin/mqadmin clusterList -n 172.16.6.238:9876
7.启动web管理界面
rocketmq提供多种管理方式,命令行和界面等,
apache提供一个开源的扩展项目: https://github.com/apache/rocketmq-externals 里面包含一个子项目rocketmq-console,配置下,打个包就可以用了
这是一个springboot项目,默认名称服务(rocketmq.config.namesrvAddr)为空,需改为自己的
2.使用maven打包
mvn clean package -Dmaven.test.skip=true
上传到服务器启动即可java -jar启动
java -jar rocketmq-console-ng-1.0.0.jar >/usr/local/rocketmq/logs/mq-console.log 2>&1 &
页面验证
至此搭建完毕
分享到：
相关推荐
CentOS7部署RocketMQ集群相关安装包
本文将详细介绍如何在 CentOS 7 环境下搭建 MySQL 集群，包括整个搭建步骤及部分常见问题的解决方案。 #### 二、环境准备 - **操作系统**: CentOS 7.0 - **硬件配置**: 至少三台服务器 - MGM (Management Server):...
centos7 安装 ROCKETMQ rocketmq-all-4.9.4
在搭建高可用 RocketMQ 集群之前，需要安装相关环境，包括操作系统、Java 环境和 RocketMQ 软件。 1. 操作系统：使用 CentOS 7 作为操作系统。 2. Java 环境：使用 jdk1.8 作为 Java 环境。 3. RocketMQ 软件：...
CentOS 6.8 + Hadoop2.6.0集群环境搭建指南。
CentOS8 搭建日志服务器 rsyslog+loganalyzer CentOS 8 是一个流行的 Linux 发行版，rsyslog 是一个强大的日志服务器软件，loganalyzer 是一个基于 Web 的日志分析工具。本文将指导您如何在 CentOS 8 上搭建一个...
本篇文章详细记录了Centos6下RocketMQ高可用集群部署的完整过程，讲解到位，本人线上实操手册！在此分享，希望能帮助到有用到的朋友。
CentOS7 搭建 Zookeeper 集群是指在 CentOS7 操作系统上搭建 Zookeeper 分布式集群环境的过程。Zookeeper 是一个开源的分布式集群管理器，主要用于管理大型分布式系统的配置、命名、提供分布式同步和提供组服务等...
本文档详细介绍了如何在 CentOS 7 系统上搭建 CEPH 集群，包括实验环境背景及环境准备、虚拟机操作系统准备、基础环境准备、虚拟机 HOST 配置、CEPH 源配置安装、CEPH 安装等阶段。通过本文档，可以了解 CEPH 集群的...
Centos8 搭建DNS服务器 一、 DNS概述 DNS（Domain Name System）是域名管理系统，负责将人类易于记忆的域名转换为机器易于识别的IP地址。域名由特定的格式组成，用来表示互联网中某一台计算机或者计算机组的名称，...
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
在CentOS8系统中，搭建本地YUM源和局域网YUM源对于批量部署和管理服务器集群至关重要，可以显著提高软件安装和更新的速度。以下是详细步骤： 1. **前言** 在开始之前，确保已经准备了以下要素： - **Nginx服务器*...
【CentOS 6.5 搭建集群环境 - HA(lvs+heartbeat)集群环境过程】 在IT领域，构建高可用性（HA）集群环境是确保业务连续性和稳定性的重要手段。CentOS 6.5 是一款深受服务器管理员喜爱的Linux发行版，其稳定性和兼容...
通过对上述核心概念和关键组件的理解与实践，可以在CentOS 7系统环境下成功搭建RocketMQ集群。这不仅有助于提升消息处理的能力，还能够在实际应用中更好地利用RocketMQ的特性，确保系统的稳定运行。
在CENTOS中搭建mysql集群.pdf
Linux RedHat、CentOS上搭建Hadoop集群.docx
Linux RedHat、CentOS上搭建Hadoop集群.pdf
在本文中，我们将深入探讨如何在CentOS操作系统下搭建Redis集群。Redis是一个开源的、基于内存的数据存储系统，常用于数据库、缓存和消息中间件等场景。在集群模式下，Redis可以提供高可用性和数据分片，以支持更大...
在CENTOS中搭建mysql集群分享.pdf