《笔者带你剖析轻量级消息中间件ActiveMQ》
前言
软件系统的发展,简单来说是从单机应用逐步演变为分布式+集群模式,当然这根互联网的兴起是密不可分的。笔者曾经面试过一些开发人员,当你们使用代码编写一个简单的Login模块时,大概需要花费多少周期?有些开发人员不假思索的脱口而出,5分钟、10分钟等。OK,我们先不管他们是否真的能够在这么短的时间内开发出一个简单的Login功能,我真正想问的是,这个看似简单的功能背后,如果存放在互联网场景下,如何能够保证系统同时承载100——100W人的并发洗礼而不会出现宕机?紧接着是死一般的沉寂。
目录
一、分布式系统与消息中间件
二、JMS与ActiveMQ
三、ActiveMQ的下载与启动
四、消息的传递模型
五、Queue与Topic
六、补充——消息流程
一、分布式系统与消息中间件
前言这个故事,或许并没有笔者说得这么夸张,但仔细想想看,如果业务场景对并发性、实时性要求较高时,任何一个看似简单的系统功能,都将会变得异常复杂,因为这里的复杂是来源于多方面的,最主要的就是如果系统因为某一个功能出现异常将会导致整个系统服务不可用。那么应该怎么办呢?如果你不想过多的,或者是在短时间内追加过多的投资,集群+物理堆机+适当的代码性能调优,或许是解决问题的最好办法,但这样真的一劳永逸吗?我们都知道集群的威力从理论上来说会是单节点部署的数倍,但集群如果没有细化,也就是说,一个系统的所有业务模块仍然耦合在一起时,无论你的集群的规模有多么庞大,从外部看起来,仍然只是一个大杂烩,凌乱不堪。
图a 单节点部署与集群部署
那么如果是在条件允许的情况下,真正该做的事情是根据不同的业务逻辑,将原本冗余在一起的业务模块打散、拆分成多个子系统,然后进行模块化部署,每一个业务子系统都可以是一个集群,这样一来,我们的系统才会变得更加健壮和高效。当然,分布式环境有分布式环境的好处,但是,同样也有它的弊端,毕竟系统依赖多了,无论是部署还是调试或者是排查问题的时候都会变得无比的复杂和麻烦,本章笔者并不打算教会大家如何根据具体的业务场景构建一个健壮的大型分布式平台,因此请回到本章的主题——MQ身上。
MQ(Message Queue,消息队列),一切以消息为主。假设你现在已经将原本冗余的一个系统根据业务逻辑进行了适当的拆分,并且每一个子系统都是一个集群,在这种情况下,由UM子系统处理跟用户相关的所有业务,但当它处理完自身业务后,还需要调用其它子系统的服务时应该怎么办?或许某些开发人员会觉得这似乎很简单,直接调用啊,一个长/短链接请求就可以解决。但是这样一来,UM子系统将会被动的依赖N多的子系统,如果后期再进行追加,UM的依赖会越来越多,并且这种同步调用的方式在某些情况下似乎并不高效。换句话多,UM子系统的职责仅仅只是负责与用户相关的所有业务,其它业务与它无关,哪怕是服务调用这个过程也不该由它来做,如果你也是这么想的,那么恭喜你,你已经考虑到跨系统之间的依赖解耦和通过异步调用的方式提升程序的响应性能的高度。
图b 直接服务调用与MQ消息推送
如图b所示,UM子系统的任务非常明确,当处理完用户登录任务后,直接将登录结果发送给MQ服务器,如果订阅了该主题的子系统自然会收到消息,接下来,各个子系统该干嘛干嘛去,UM子系统彻底解耦。这里有一点笔者需要提出来,本章的主角ActiveMQ或许并不太适用于互联网场景,至于为什么,笔者稍后会进行详解。
二、JMS与ActiveMQ
长话短说,JMS(Java Message Service,Java消息服务)属于JAVA EE规范之一,同JDBC规范一样,JMS也仅仅只提供有通用性的接口,而具体的实现,则需要依赖由其遵循了JMS规范的消息中间件负责。ActiveMQ是Apache旗下的一款完全支持JMS1.1和JAVA EE 1.4规范的消息中间件产品,换句话说,ActiveMQ就是JMS规范的实现者之一。
之前笔者曾经提及过,ActiveMQ或许并不太适用于互联网场景,因为JMS规范注定了ActiveMQ更适合于企业级项目。在大型的分布式互联网场景下,跨系统之间的解耦和异步调用这2点,仅仅只是属于任何一款消息中间件产品最基础的特征,而大部分情况下,开发人员却往往更加关注消息的顺序、扩展性、可靠性、消息发送的一致性,以及多集群之间订阅等方面的问题。因此,在大型的分布式互联网场景下,开发人员更多会选择MetaQ、Notify、kafka等天生为互联网场景而生的消息中间件产品。或许你会觉得奇怪,为什么笔者会拿ActiveMQ进行开刀?其实最主要的原因是因为其简单、轻量、易部署的特性非常适合作为笔者消息中间件系列博文的开篇来进行阐述。
三、ActiveMQ的下载与启动
所谓工欲善其事必先利其器,ActiveMQ的下载地址为http://activemq.apache.org/download.html,本章笔者所使用的版本为apache-activemq-5.11.1(for Windows),当然笔者建议大家下载跟本文一致的版本,这样既可避免一些不必要的错误发生。
当成功下载好ActiveMQ后,接下来要做的事情有2个,第一是在目录“\apache-activemq-5.11.1\bin”中启动我们的消息服务器(JMS Provider), 启动成功就可以访问管理员界面:http://localhost:8161/admin,默认用户名和密码admin/admin。如果你想修改用户名和密码的话,在conf/jetty-realm.properties中修改即可。另外一个便是将目录“apache-activemq-5.11.1\lib”中的所有构件拷贝到项目工程中,以便于实现MQ客户端。
四、消息传递模型
之前笔者曾经提及过,ActiveMQ其实就是JMS规范的一种实现,那么按照JMS的架构模型来看,JMS Provider的主要任务就是负责消息路由,推送消息的客户端称之为生产者(Producer),而接受消息的客户端则称之为消费者(Consumer)。JMS的消息传递模型有2种,一种是基于点对点(Point-to-Point,p2p)的,而另外一种则是基于广播形式的发布/订阅(publish/subscribe,pub/sub)。
点对点的消息传递比较简单,无非就是一种一对一的消息推送/消费模式,也就是说,如果多个客户端都在监听消息队列上的消息,JMS Provider则会根据先到先得原则确定唯一的一个消费者,如果没有客户端在监听消息队列,那么消息将会保存在消息队列中,直到最终确定消费者为止,点对点模型其实就是一个典型的拉模型(而非Provider主动推送)。发布/订阅可以理解为一对多的消息推送模式,在发布/订阅模型中,只要订阅了目标主题的所有客户端都可以消费生产者推送的消息,pub/sub就是典型的推模型,由JMS Provider主动推送消息。
图c JMS的消息传递模型
这里笔者还要补充一个内容,JMS的消息体主要由3部分构成,分别是:头(head)、属性(property),以及主体(body)。主体就是具体的消息内容,当然对应不同的消息类型,JMS提供有不同的消息接口,这些消息接口都属于javax.jms.Message接口,比如:StreamMessage、MapMessage、TextMessage、ObjectMessage、BytesMessage等。
五、Queue与Topic
说了这么多,是该用代码进行验证的时候了,那么接下来笔者将演示如何使用ActiveMQ实现p2p和pub/sub等2种消息传递模型。在JMS规范中,Queue实现了基于P2P的消息传递模型,而Topic则实现了基于pub/sub的消息传递模型。
使用Queue实现基于P2P的消息传递模型:
/** * p2p模型生产者 * * @author gaoxianglong */ public class Producer { private ConnectionFactory connFactory; private Connection conn; private Session session; private MessageProducer producer; Producer() { try { /* 创建链接工厂 */ connFactory = new ActiveMQConnectionFactory("admin", "admin", "tcp://127.0.0.1:61616"); /* 获取链接 */ conn = connFactory.createConnection(); conn.start(); /* 获取Session */ session = conn.createSession(true, Session.AUTO_ACKNOWLEDGE); /* 创建生产者 */ producer = session.createProducer(session.createQueue("testQueue")); producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT); System.out.println(sendMessage() ? "消息发送成功..." : "消息发送成功..."); } catch (Exception e) { e.printStackTrace(); } finally { if (null != conn) { try { conn.close(); } catch (JMSException e) { e.printStackTrace(); } } } } public boolean sendMessage() { boolean result = false; if (null != session && null != producer) { try { /* 发送消息 */ producer.send(session.createTextMessage("test...")); session.commit(); result = true; } catch (JMSException e) { try { session.rollback(); } catch (JMSException e1) { e1.printStackTrace(); } } } return result; } public static void main(String[] args) { new Producer(); } }
/** * Queue消费者 * * @author gaoxianglong */ public class Consumer implements MessageListener { private ConnectionFactory connFactory; private Connection conn; private Session session; private MessageConsumer consumer; Consumer() { try { connFactory = new ActiveMQConnectionFactory("admin", "admin", "tcp://127.0.0.1:61616"); conn = connFactory.createConnection(); conn.start(); session = conn.createSession(false, Session.AUTO_ACKNOWLEDGE); consumer = session.createConsumer(session.createQueue("testQueue")); consumer.setMessageListener(this); } catch (Exception e) { e.printStackTrace(); } } public static void main(String[] args) { new Consumer(); } @Override public void onMessage(Message arg0) { TextMessage msg = (TextMessage) arg0; try { System.out.println("收到消息->" + msg.getText()); } catch (JMSException e) { e.printStackTrace(); } } }
上述程序示例了,笔者使用Queue实现了基于P2P的消息传递模型,而如果希望使用Topic实现pub/sub模型,只需要将生产者/消费者的代码片段:
session.createQueue("testQueue")
更改为如下即可:
session.createTopic("testTopic")
六、补充——消息流程
发送消息的基本步骤:
1、创建连接工厂类;
2、通过ConnectionFactory建立连接Connection,并启动;
3、使用连接Connection建立会话Session;
4、使用会话Session和管理对象Destination创建消息生产者MessageSender;
5、生产者发送消息;
消息接收者从JMS接受消息的步骤
1、创建连接工厂类;
2、通过ConnectionFactory建立连接Connection,并启动;
3、使用连接Connection建立会话Session;
4、使用会话Session和管理对象Destination创建消息接收者MessageReceiver;
5、消费者消费消息;
本章内容到此结束,由于时间仓库,本文或许有很多不尽人意的地方,希望各位能够理解和体谅。另外http://boy00fly.iteye.com/blog/1103586也是一篇不错的介绍ActiveMQ的博文。
相关推荐
ARQ,全称Apache ActiveMQ Artemis Querying,是Apache软件基金会开发的一个高性能、轻量级的消息中间件。它提供了一套丰富的API和工具,用于实现消息传递、发布/订阅模式、队列服务等功能。ARQ的源代码库包含了所有...
JFinal,作为国内知名的轻量级Java Web开发框架,以其简洁、高效的特性深受开发者喜爱。本次我们探讨的是JFinal 1.1.3版本的源代码,通过对源码的剖析,可以更深入地理解其设计理念与实现机制,提升我们的开发技能。...
三菱FX3G FX3S与四台E700变频器Modbus RTU通讯控制:正反转、频率设定与读取方案,三菱FX3G FX3S与四台E700变频器通讯:Modbus RTU协议实现正反转、频率设定与控制,快速反馈与教程包含,三菱FX3G FX3S 485协议通讯四台三菱E700变频器程序资料 三菱FX3G FX3S+485bd扩展,采用modbus rtu协议,crc校验,通讯控制四台E700变频器,可以实现正反转,停止,频率的设定,频率,电流等的读取。 反馈快,使用方便,包括教程,plc和触摸屏程序,变频器参数设置和接线,别的变频器支持rtu协议也可以实现。 ,三菱FX系列PLC; 485协议通讯; 变频器E700; 通讯控制; 参数设置; 教程。,三菱PLC控制E700变频器:485协议通讯与程序设置全解
1、文件内容:hyphen-nl-0.20050617-10.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/hyphen-nl-0.20050617-10.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持:公众号禅静编程坊
西门子S7-1200PLC结构化编程在5轴伺服项目中的应用:模块化设计、触摸屏控制及电气图纸实战解析,西门子S7-1200PLC结构化编程实现多轴联动与多种伺服功能应用:CAD图纸、PLC程序和触摸屏程序协同运作。,西门子S7-1200PLC结构化编程5轴伺服项目 ,包含plc程序、威纶通触摸屏程序、cad电气图纸。 可以实现以下功能,规格有: 1.三轴机械手X轴-Y轴-Z轴联动取放料PTO脉冲定位控制台达B2伺服 2.台达伺服速度模式应用+扭矩模式应用实现收放卷 3.程序为结构化编程,每一功能为模块化设计,功能:自动_手动_单步_暂停后原位置继续运行_轴断电保持_报警功能_气缸运行及报警. 4.每个功能块可以无数次重复调用,可以建成库,用时调出即可 5.上位机采样威纶通触摸屏 6.参考本案例熟悉掌握结构化编程技巧,扩展逻辑思维。 博图14以上都可以打开 ,核心关键词:西门子S7-1200PLC; 结构化编程; 5轴伺服项目; PLC程序; 威纶通触摸屏程序; CAD电气图纸; 三轴机械手; PTO脉冲定位控制; 台达B2伺服; 速度模式应用; 扭矩模式应用; 模块化设计; 轴断电保
情感分析算法在多个领域有着广泛的应用场景和丰富的案例
基于MATLAB仿真的MMC整流站与逆变站柔性互联技术研究:快速工况仿真与环流抑制控制,基于MATLAB仿真的MMC整流站与逆变站运行分析及四端柔性互联工况仿真模拟研究,21电平MMC整流站、MMC逆变站、两端柔性互联的MATLAB仿真模型,4端柔性互联、MMC桥臂平均值模型、MMC聚合模型(四端21电平一分钟即能完成2s的工况仿真) 1-全部能正常运行,图四和图五为仿真波形 2-双闭环控制,逆变站PQ控制,整流站站Udc Q控制 3-最近电平逼近调制+子模块电容充电 4-环流抑制控制 ,1. 21电平MMC整流站; 2. MMC逆变站; 3. MATLAB仿真模型; 4. 两端柔性互联; 5. 桥臂平均值模型; 6. 聚合模型; 7. 双闭环控制; 8. 最近电平逼近调制; 9. 子模块电容充电; 10. 环流抑制控制。,基于柔性互联的MMC系统仿真模型:多电平控制与环流抑制研究
有效应对网络舆情教育培训PPT.pptx
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
Matlab领域上传的视频是由对应的完整代码运行得来的,完整代码皆可运行,亲测可用,适合小白; 1、从视频里可见完整代码的内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
淘宝买的,直接分享给大家了,没有测试环境,也没有办法去测。但我想,他应该是可以用的
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
ACM比赛经验分享(基础知识与算法准备等)
运行GUI版本,可二开
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
该是指包含恶意网址的数据库或数据集,它通常被用于网络安全研究、恶意软件检测、网络欺诈防范等领域。研究人员和安全专家会利用这个数据集来分析恶意网址的特征、行为模式,进而开发出相应的检测算法和防护措施,以识别和阻止恶意网址对用户设备和网络环境造成的潜在威胁。该数据集包含约 651,191 条经过标记的 URL,涵盖了四种主要类型:良性(Benign)、篡改(Defacement)、钓鱼(Phishing)和恶意软件(Malware)。其中,良性 URL 占据了约 428,103 条,篡改 URL 有 96,457 条,钓鱼 URL 为 94,111 条,而恶意软件 URL 则有 32,520 条。该数据集的显著特点是其多类别分类的全面性,不仅包括常见的恶意 URL 类型,还涵盖了大量良性 URL,使得研究人员能够更全面地理解和区分不同类型的 URL。此外,数据集以原始的 URL 形式提供,研究人员可以根据需要提取和创建特征,而不受预设特征的限制。
字卡v4.3.4 原版 三种UI+关键字卡控制+支持获取用户信息+支持强制关注 集卡模块从一开始的版本到助力版本再到现在的新规则版本。 集卡模块难度主要在于 如何控制各种不同的字卡组合 被粉丝集齐的数量。 如果不控制那么一定会出现超过数量的粉丝集到指定的字卡组合,造成奖品不够的混乱,如果大奖价值高的话,超过数量的粉丝集到大奖后,就造成商家的活动费用超支了。我们冥思苦想如何才能限制集到指定字卡组合的粉丝数,后我们想到了和支付宝一样的选一张关键字卡来进行规则设置的方式来进行限制,根据奖品所需的关键字卡数,设定规则就可以控制每种奖品所需字卡组合被粉丝集到的数量,规则可以在活动进行中根据需要进行修改,活动规则灵活度高。新版的集卡规则,在此次政府发布号的活动中经受了考验,集到指定字卡组合的粉丝没有超出规则限制。有了这个规则限制后,您无需盯着活动,建好活动后就无人值守让活动进行就行了,您只需要时不时来看下蹭蹭上涨的活动数据即可。 被封? 无需担心,模块内置有防封功能,支持隐藏主域名,显示炮灰域名,保护活动安全进行。 活动准备? 只需要您有一个认证服务号即可,支持订阅号借用认证服务号来做活动。如果您
DSP28035的CAN通信升级方案:包括源码、测试固件与C#上位机开发,支持周立功USBCAN-II兼容盒及BootLoader闪烁指示,DSP28035的CAN升级方案及详细配置说明:使用新动力开发板与C#上位机软件实现固件升级,涉及用户代码、BootLoader代码及硬件连接细节,DSP28035的can升级方案 提供源代码,测试用固件。 上位机采用c#开发。 说明 一、介绍 1、测试平台介绍:采用M新动力的DSP28035开发板,CAN口使用GPIO30\31。波特率为500K。 2、28035__APP为测试用的用户代码,ccs10.3.1工程,参考其CMD配置。 3、28035_Bootloader_CAN为bootloader源代码,ccs10.3.1工程; 4、SWJ为上位机,采用VS2013开发,C#语言。 5、测试使用的是周立功的USBCAN-II,can盒,如果用一些国产可以兼容周立功的,则更这里面的ControlCAN.dll即可。 6、升级的app工程需要生成hex去升级,具体参考我给的工程的设置。 7、BootLoader代码,只有D400这一个灯1s闪烁一
基于Matlab的数字验证码识别系统:预处理与不变矩算法的实践应用及GUI界面构建,基于MATLAB不变矩算法的数字验证码识别系统设计与实现,基于matlab不变矩算法实现数字验证码 过程:先对验证图像进行去噪、定位、归一化等预处理,然后计算待识别数字的不变矩,再进行特征匹配,得到识别结果。 以Matlab软件为开发平台来进行设计实现及仿真,并构建相应的GUI界面。 实验结果表明利用不变矩在识别数字验证码方面具有可行性。 ,关键词:Matlab;不变矩算法;数字验证码;预处理;特征匹配;GUI界面;实验验证;可行性。,Matlab实现数字验证码识别:预处理与不变矩算法的GUI仿真
基于STM32F103的磁编码器通讯方案:原理图、PCB设计与源码实现,附多摩川协议手册解析,基于STM32F103的精准多摩川绝对值磁编码器通讯解决方案:原理图、PCB设计与源码实践手册,完整包含多摩川协议解析,基于STM32F103的多摩川绝对值磁编码器通讯方案 包含:原理图,PCB,源码,多摩川协议手册 ,核心关键词:STM32F103;多摩川绝对值磁编码器;通讯方案;原理图;PCB;源码;多摩川协议手册;,基于STM32F103的绝对值磁编码器通讯方案:原理图PCB与源码解析,附多摩川协议手册