`
无尘道长
  • 浏览: 161073 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

生产环境遇到的rabbitmq队列堆积原因分析和解决方案

阅读更多

   在8567连续三天晚上10点出现充值相关几个消息堆积的问题,经过分析发现主要问题是充值项目对mq的使用存在一些不合理的地方,当mq负载高时会出现堆积现象。

具体原因如下:

   1、采用的消息模式是get模式,而不是高效的deliver模式,经过在新搭建的mq服务器测试发现,get模式:5000条/秒便会出现严重堆积, deliver模式:20000条/秒不会堆积,如果按照充值项目的写法由于存在后续的问题,每秒几百条的写入就会经常出现消息堆积;

  2、消息的生产和消费共用mq链接和channel

     a)    共用链接会导致:当触发mq的限流控制时,阻塞消费;

     b)    mq的客户端channel实现为避免消息乱窜会大量加lock,把并行变为串行,当写阻塞时,相当于也阻塞了读,相反一样。

 3、不同队列共用链接和channel,会出现队列相互影响的问题。

 

以上问题是相关技术人员对rabbitmq不了解,采用了get模式,并且希望封装一个连接池,结果封装的有问题导致队列和消息之间相互影响,从而把一个火箭变成了一只蜗牛。

 

严重建议使用deliver模式。

 

 

 

分享到:
评论

相关推荐

    MQ消息堆积终极解决方案【RabbitMQ】.docx

    ### MQ消息堆积终极解决方案【RabbitMQ】 #### 概述 在分布式系统中,消息队列(MQ)作为异步通信的重要组件,在提高系统吞吐量、解耦合度方面发挥着关键作用。然而,随着业务量的增长及复杂性的增加,消息堆积...

    淘宝RabbitMQ系统的实验测试资料.zip

    - "RabbitMQ_Mirror机制分析.docx":镜像是RabbitMQ提供的一种高可用性解决方案,通过复制队列到多个节点,确保在主节点故障时能无缝切换,保持服务不间断。文档详细解释了镜像队列的工作原理和配置方法。 4. **...

    shell脚本监控rabbitmq异常发送邮件通知.rar

    这里我们关注的是一个使用Shell脚本来监控RabbitMQ集群并发送邮件通知的解决方案。RabbitMQ是一个广泛使用的开源消息代理,它基于AMQP(Advanced Message Queuing Protocol)协议,用于处理应用程序之间的异步通信。...

    消息队列(MQ)之RabbitMQ

    综上所述,RabbitMQ作为一种成熟的消息队列服务,因其强大的功能、广泛的社区支持和良好的语言兼容性,成为了许多企业选择的中间件解决方案。理解并熟练掌握RabbitMQ,对于构建可扩展、高可用的系统至关重要。

    RabbitMQ高可用集群部署1

    【RabbitMQ高可用集群部署】是实际生产环境中常见的解决方案,因为单一实例的RabbitMQ在面对高并发、高吞吐量以及消息堆积时可能存在局限性。为了提高系统的可靠性和可扩展性,采用集群模式是必要的。RabbitMQ基于...

    RabbitMQ开发演示文档

    在RabbitMQ部分,我们详细介绍了RabbitMQ的架构、环境准备和集成高级特性,如消息的可靠性保障、死信队列、延迟队列等,并对RabbitMQ的集群、运维源码分析,解析RabbitMQ的启动过程、交换器的实现、队列的实现等。...

    rabbitmq面试题.pdf

    解释RabbitMQ的消息堆积问题及解决方案。** - **问题原因:** 消费者处理能力不足。 - **解决方案:** 增加消费者数量、优化处理逻辑。 **47. 在RabbitMQ中,如何诊断和解决网络问题?** - 利用网络监控工具追踪...

    Java消息中间件面试题

    本文总结了Java消息中间件面试题中的知识点,涵盖了RabbitMQ和Kafka两种常见的Java消息中间件,涉及到消息不丢失机制、重复消费问题解决方案、死信交换机、延迟队列、消息堆积解决方案、高可用机制等方面。

    高级Java人才培训专家-RabbitMQ-高级篇

    通过以上分析,我们可以看到RabbitMQ 提供了丰富的特性和工具来解决延迟消息、消息堆积、消息可靠性和高可用性等问题。这些解决方案不仅适用于初级场景,对于复杂的应用环境也同样适用。理解和掌握这些知识,将有助...

    消息队列消息延迟解决方案,跟着做就行了.docx

    ### 消息队列消息延迟解决方案 #### 一、引言 消息队列作为一种重要的中间件技术,在现代软件架构中扮演着不可或缺的角色。通过异步处理机制,消息队列能够有效解决诸如削峰填谷、系统解耦等问题,并极大地提升了...

    微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单

    Redis Stream是自Redis 5.0版本引入的新数据类型,提供了一个完整的消息队列解决方案。Stream具有以下特点: 1. 可以记录每个消息的元数据,包括时间戳。 2. 支持消息的持久化。 3. 提供了消费者组的概念,允许多个...

    消息队列业务端与平台端通讯模式设计

    在提供的文件名`mqServerDll.sln`和`mqServerDll`中,我们可以推测这是一个关于消息队列服务端的DLL(动态链接库)项目解决方案。在实际开发中,这样的DLL可能包含了生产者和消费者的实现,以及与消息队列交互的接口...

    飞鸽源码分析,刚刚传出来的

    通过解析消息推送和异步处理的实现细节,我们可以提升自己的编程技巧,理解更高级的系统架构,并可能为自己的项目带来创新性的解决方案。 总的来说,“飞鸽源码分析”涵盖了消息推送与异步处理的核心技术,这对于...

    springboot2.0+elasticsearch5.5+rabbitmq搭建搜索服务的坑

    在构建基于SpringBoot 2.0、Elasticsearch 5.5和RabbitMQ的...通过了解这些关键点和潜在问题,可以更顺利地搭建和维护基于SpringBoot、Elasticsearch和RabbitMQ的搜索服务,同时也能为未来可能遇到的问题提供解决方案。

    极光推送和MQ通信

    5. **性能优化与最佳实践**:分享在实际应用中遇到的问题及解决方案,如消息堆积处理、性能监控、故障恢复策略等。 6. **测试与调试**:可能包括如何模拟推送事件进行单元测试,以及在出现问题时如何排查和调试。 ...

    基于Java的MQListener消息监听器管理平台.zip

    MQListener是一个用于解决消息消费过程中常见问题的解决方案。它支持RabbitMQ消息队列,提供了消息消费者的统一配置与管理功能,包括服务列表、listener列表、listener配置、节点启停等。通过MQListener,用户可以...

    Java八股文最新消息中间件面试宝典

    2. **幂等问题解决方案**: - 一种典型的方法是利用业务唯一标识来避免重复消费。例如,在处理支付业务时,可以通过检查数据库中是否存在相应的唯一标识来判断该消息是否已被处理过。 - 另外,可以使用 Redis ...

    中小型研发团队架构实践.docx

    集中式日志就是此类问题的解决方案。 Job 任务调度是分布式系统中异步和批处理的关键。我们的 Job 分为 WinJob 和 HttpJob:WinJob 是操作系统级别的定时任务,使用开源的框架 Quartz.NET 实现;而 HttpJob 则是...

    Laravel开发-laravel-queue-monitor .zip.zip

    "Laravel开发-laravel-queue-monitor .zip"可能包含了一个自定义的解决方案,用于实时监控Laravel应用中的队列状态。这个工具可能提供了以下功能: 1. **实时监控**:显示当前队列的长度、处理中的任务数量以及已...

    带你去MQ的世界旅行

    ### 消息中间件的世界之旅 #### 消息中间件的背景介绍 消息中间件是一种软件,...无论是Kafka还是RabbitMQ,都有其独特的应用场景和技术特点,开发者可以根据具体的业务需求和技术栈选择最合适的消息中间件解决方案。

Global site tag (gtag.js) - Google Analytics