`
wbj0110
  • 浏览: 1598413 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

消息中间件RocketMQ的安装与部署

阅读更多

RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:

  • 能够保证严格的消息顺序

  • 提供丰富的消息拉取模式

  • 高效的订阅者水平扩展能力

  • 实时的消息订阅机制

  • 亿级消息堆积能力

1.安装RocketMQ

1.1 安装环境gitJavaMaven

   安装git

 

1
yum install git

 

   安装jdk环境

   下载jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

   安装并设置环境变量

1
2
3
rpm -ivh jdk-7u51-linux-x64.rpm
echo "exportJAVA_HOME=/usr/java/default" >> /etc/profile
source /etc/profile

   安装maven

1
2
3
4
5
6
7
8
mkdir /usr/local/maven
tar zxvf apache-maven-3.2.1-bin.tar.gz -C/usr/local/maven/
echo 'exportM2_HOME=/usr/local/maven/apache-maven-3.2.1' >> /etc/profile
echo 'export M2=$M2_HOME/bin' >>/etc/profile
echo 'export MAVEN_OPTS="-Xms256m-Xmx512m"' >> /etc/profile
echo 'export PATH=$M2:$PATH' >>/etc/profile
source /etc/profile
mvn -v

1.2 安装RocketMQ

1
2
3
4
5
wget https://github.com/alibaba/RocketMQ/archive/v3.0.8-beta1.tar.gz
tar zxvf v3.0.8-beta1.tar.gz
cd rocketmq
sh install.sh
cd devenv

2.RocketMQ部署

   Producer、Consumer、Broker都可以分布式部署。Producer、Consumer通过Name Server来寻找Broker,Broker启动后,会定时将要发布的Topic注册到NameServer

 

2.1 启动nameserver

 

1
nohup mqnamesrv &

在生产环境部署nameserver,请参考以下软硬件要求

https://github.com/alibaba/RocketMQ/wiki/system_requirements

2.2 启动broker

1
nohup mqbroker -n "192.168.0.1:9876;192.168.0.2:9876" &

Broker指定Name Server地址的方式(优先级按照高低顺序排序)

   启动Broker时,命令行方式指定

1
mqbroker -n "192.168.0.1:9876;192.168.0.2:9876"

   通过环境变量指定

1
exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876

2.3 关闭nameserver或broker

1
2
sh ./mqshutdown
Useage: mqshutdown broker | namesrv

2.4 Producer/Consumer指定Name Server地址

   通过代码中指定

1
producer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

   或

1
consumer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

   通过Java启动参数中指定

1
-Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876

   通过环境变量指定

1
exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876

在生产环境部署Broker,请参考以下软硬件要求

https://github.com/alibaba/RocketMQ/wiki/system_requirements

2.5 Broker集群部署

   推荐的几种 Broker 集群部署方式,这里的Slave 不可写,但可读,类似与 Mysql 主备方式。

1.单个 Master

   这种方式风险较大,一旦Broker 重启或者宕机时,会导致整个服务不可用,不建议线上环境使用。

2.多 Master 模式

   一个集群无 Slave,全是 Master,例如 2 个 Master 或者 3 个 Master

   优点:配置简单,单个Master 宕机或重启维护对应用无影响,在磁盘配置为 RAID10 时,即使机器宕机不可恢复情况下,由与 RAID10 磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢)。性能最高。

   缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到受到影响。

   ###  先启动 NameServer,例如机器 IP 为:192.168.1.1:9876

1
nohup sh mqnamesrv &

   ###  在机器 A,启动第一个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties &

   ###  在机器 B,启动第二个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties &

3.多 Master 多 Slave 模式,异步复制

   每个 Master 配置一个 Slave,有多对Master-Slave,HA 采用异步复制方式,主备有短暂消息延迟,毫秒级。

   优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,因为 Master 宕机后,消费者仍然可以从 Slave 消费,此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。

   缺点:Master 宕机,磁盘损坏情况,会丢失少量消息。

   ###  先启动 NameServer,例如机器 IP 为:192.168.1.1:9876

1
nohup sh mqnamesrv &

   ###  在机器 A,启动第一个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties &

   ###  在机器 B,启动第二个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties &

   ###  在机器 C,启动第一个 Slave

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties &

   ###  在机器 D,启动第二个 Slave

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties &

4.  多 Master 多 Slave 模式,同步双写

   每个 Master 配置一个 Slave,有多对Master-Slave,HA 采用同步双写方式,主备都写成功,向应用返回成功。

   优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高

   缺点:性能比异步复制模式略低,大约低 10%左右,发送单个消息的 RT 会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能。

   ###  先启动 NameServer,例如机器 IP 为:192.168.1.1:9876

1
nohup sh mqnamesrv &

   ###  在机器 A,启动第一个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &

   ###  在机器 B,启动第二个 Master

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &

   ###  在机器 C,启动第一个 Slave

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &

   ###  在机器 D,启动第二个 Slave

1
nohup sh mqbroker -n 192.168.1.1:9876 -c$ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &

   以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对,Master 的 BrokerId 必须是 0,Slave的BrokerId 必须是大与 0 的数。另外一个 Master 下面可以挂载多个 Slave,同一 Master 下的多个 Slave 通过指定不同的 BrokerId 来区分。

   $ROCKETMQ_HOST 指的 RocketMQ 安装目录,需要用户自己设置此环境变量

分享到:
评论

相关推荐

    rocketmq4.5.0安装部署(安装包,开发手册,配置文件).zip

    接着是"RocketMQ部署日志-2019年5月24日.xlsx",这是一个记录了RocketMQ部署过程的日志文件,通常会记录每个步骤的时间戳、执行状态和可能出现的问题。这对于调试和优化部署过程非常有用,你可以根据日志中的信息...

    rocketmq安装部署

    RocketMQ是阿里巴巴开源的一款...至此,一个基本的RocketMQ部署已完成。在实际应用中,还需要考虑高可用、性能优化、监控报警等更多细节。通过调整配置、增加节点、部署集群,可以构建更稳定、高效的RocketMQ环境。

    RocketMQ安装与部署(Windows)

    Apache RocketMQ是一款高性能、分布式的消息中间件,常用于大规模分布式系统中的消息传递。它支持发布/订阅模式和点对点模式的消息传递,并提供了高可用性和高吞吐量的特性。在Windows环境下部署RocketMQ,主要涉及...

    中间件+RocketMq+集群部署

    RocketMQ,作为阿里巴巴开源的一款高性能、高可用、分布式的消息中间件,被广泛应用于消息传递、事件驱动、异步处理等多种场景。本教程将重点讨论如何在集群环境中部署RocketMQ。 首先,我们要理解RocketMQ的基本...

    RocketMQ集群安装部署

    RocketMQ是一个开源的消息中间件,由阿里巴巴开源,并且是Apache顶级项目,广泛应用于高并发、高可靠的消息分发场景中。 首先,部署RocketMQ集群需要规划好集群的结构。通常,一个RocketMQ集群包括NameServer节点和...

    宝塔部署RocketMQ+可视化面板

    总的来说,"宝塔部署RocketMQ+可视化面板"是一项涉及到Java环境搭建、消息中间件安装配置、可视化监控实施的工作。通过合理规划和细致操作,可以构建一个高效、稳定的RocketMQ消息服务,为业务系统的扩展和数据处理...

    rocketmq消息中间件.zip

    - **集群部署与管理**:配置集群,进行滚动升级、扩缩容等运维操作。 - **消息重试与死信队列**:理解消息重试机制,设置死信队列避免消息丢失。 - **监控与报警**:集成监控工具,设置报警阈值,实时监控系统...

    分布式消息队列RocketMQ部署与监控.docx

    分布式消息队列RocketMQ部署与监控

    java面试题_消息中间件--RocketMq(14题).pdf

    1. 消息可靠性: 2. 消息低延迟: 3. 每个消息⾄少投递⼀次: 4. 每个消息只消费⼀次: 5. Broker的Buffer满了怎么办?...12. RocketMq物理部署结构 13. RocketMq逻辑结构 14. RocketMq数据存储结构

    rocketmq消息中间件

    RocketMQ,作为一款开源的消息中间件,源自阿里巴巴,并在2016年捐赠给了Apache软件基金会,成为顶级项目。RocketMQ的设计目标是提供低延迟、高可扩展性、高可靠性的分布式消息传递服务,适用于大数据领域的实时数据...

    rocketmq中间件

    RocketMQ是一款由阿里巴巴开源的消息中间件,它在分布式系统中起着至关重要的作用,用于解耦应用程序、实现异步处理和提高系统的可扩展性。RocketMQ的设计理念是高可用、高吞吐量和低延迟,这使得它在大规模并发场景...

    RocketMQ3.2.6消息中间件

    RocketMQ是阿里巴巴开源的一款分布式消息中间件,专为大规模分布式系统设计,以高吞吐、低延迟、高可扩展性和高可靠性为目标。在3.2.6版本中,RocketMQ进一步优化了性能和稳定性,为企业级应用提供了强大的消息传递...

    分布式消息中间件-Rocketmq

    本文来自于csdn,文章分享了分布式消息中间件,主要基于JMS规范、Rocketmq的介绍、部署方式、特性的一些使用几大模块阐述。 今天要给大家分享的是分布式消息中间件。消息中间件主要是实现分布式系统中解耦、异步消息...

    RocketMQ最全介绍与实战.pdf

    RocketMQ 是阿里巴巴中间件团队自研的一款高性能、高吞吐量、低延迟、高可用、高可靠(具备金融级稳定性)的分布式消息中间件。RocketMQ 的前世今生是 Metaq,Metaq 在阿里巴巴集团内部、蚂蚁金服、菜鸟等各业务中...

    RocketMQ-3.5.8双主双从配置及部署说明

    RocketMQ是阿里巴巴开源的一款分布式消息中间件,广泛应用于大数据领域,提供高可用、高可靠的消息传输服务。在3.5.8版本中,它支持双主双从的配置,这是一种增强系统容错性和高可用性的架构模式。接下来,我们将...

    rocketmq windows版本 安装(单机和集群) 后台服务注册

    RocketMQ是阿里巴巴开源的一款分布式消息中间件,广泛应用于大数据、实时计算、微服务等领域。本文将详细介绍如何在Windows环境下安装RocketMQ,包括单机模式和集群模式,并且讲解如何进行后台服务注册。 **一、...

    RocketMQ消息中间件学习总结-rocketmq_learning.zip

    RocketMQ是阿里巴巴开源的一款分布式消息中间件,广泛应用于大规模分布式系统中的消息传递,提供高可用、高可靠的消息传输服务。本学习总结将深入探讨RocketMQ的核心概念、工作原理以及实战应用,帮助读者全面掌握这...

    RocketMQ安装文档

    RocketMQ,一款开源的消息中间件,由阿里巴巴贡献并维护,它具有高可用、高并发、低延迟的特点,广泛应用于分布式系统中的消息传输。本安装文档将详细讲解如何简单搭建RocketMQ以及如何构建一个集群双主双从的异步...

Global site tag (gtag.js) - Google Analytics