`
gao_xianglong
  • 浏览: 470980 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

笔者带你剖析轻量级消息中间件ActiveMQ

阅读更多

《笔者带你剖析轻量级消息中间件ActiveMQ》

 

前言

软件系统的发展,简单来说是从单机应用逐步演变为分布式+集群模式,当然这根互联网的兴起是密不可分的。笔者曾经面试过一些开发人员,当你们使用代码编写一个简单的Login模块时,大概需要花费多少周期?有些开发人员不假思索的脱口而出,5分钟、10分钟等。OK,我们先不管他们是否真的能够在这么短的时间内开发出一个简单的Login功能,我真正想问的是,这个看似简单的功能背后,如果存放在互联网场景下,如何能够保证系统同时承载100——100W人的并发洗礼而不会出现宕机?紧接着是死一般的沉寂

 

目录

一、分布式系统与消息中间件

二、JMS与ActiveMQ

三、ActiveMQ的下载与启动

四、消息的传递模型

五、Queue与Topic

六、补充——消息流程

 

一、分布式系统与消息中间件

前言这个故事,或许并没有笔者说得这么夸张,但仔细想想看,如果业务场景对并发性、实时性要求较高时,任何一个看似简单的系统功能,都将会变得异常复杂,因为这里的复杂是来源于多方面的,最主要的就是如果系统因为某一个功能出现异常将会导致整个系统服务不可用。那么应该怎么办呢?如果你不想过多的,或者是在短时间内追加过多的投资,集群+物理堆机+适当的代码性能调优,或许是解决问题的最好办法,但这样真的一劳永逸吗?我们都知道集群的威力从理论上来说会是单节点部署的数倍,但集群如果没有细化,也就是说,一个系统的所有业务模块仍然耦合在一起时,无论你的集群的规模有多么庞大,从外部看起来,仍然只是一个大杂烩,凌乱不堪

 

图a 单节点部署与集群部署

 

那么如果是在条件允许的情况下,真正该做的事情是根据不同的业务逻辑,将原本冗余在一起的业务模块打散、拆分成多个子系统,然后进行模块化部署,每一个业务子系统都可以是一个集群,这样一来,我们的系统才会变得更加健壮和高效。当然,分布式环境有分布式环境的好处,但是,同样也有它的弊端,毕竟系统依赖多了,无论是部署还是调试或者是排查问题的时候都会变得无比的复杂和麻烦,本章笔者并不打算教会大家如何根据具体的业务场景构建一个健壮的大型分布式平台,因此请回到本章的主题——MQ身上。

 

MQ(Message Queue,消息队列),一切以消息为主。假设你现在已经将原本冗余的一个系统根据业务逻辑进行了适当的拆分,并且每一个子系统都是一个集群,在这种情况下,由UM子系统处理跟用户相关的所有业务,但当它处理完自身业务后,还需要调用其它子系统的服务时应该怎么办?或许某些开发人员会觉得这似乎很简单,直接调用啊,一个长/短链接请求就可以解决。但是这样一来,UM子系统将会被动的依赖N多的子系统,如果后期再进行追加,UM的依赖会越来越多,并且这种同步调用的方式在某些情况下似乎并不高效。换句话多,UM子系统的职责仅仅只是负责与用户相关的所有业务,其它业务与它无关,哪怕是服务调用这个过程也不该由它来做,如果你也是这么想的,那么恭喜你,你已经考虑到跨系统之间的依赖解耦通过异步调用的方式提升程序的响应性能的高度。

 图b 直接服务调用与MQ消息推送

 

如图b所示,UM子系统的任务非常明确,当处理完用户登录任务后,直接将登录结果发送给MQ服务器,如果订阅了该主题的子系统自然会收到消息,接下来,各个子系统该干嘛干嘛去,UM子系统彻底解耦。这里有一点笔者需要提出来,本章的主角ActiveMQ或许并不太适用于互联网场景,至于为什么,笔者稍后会进行详解。

 

二、JMS与ActiveMQ

长话短说,JMS(Java Message Service,Java消息服务)属于JAVA EE规范之一,同JDBC规范一样,JMS也仅仅只提供有通用性的接口,而具体的实现,则需要依赖由其遵循了JMS规范的消息中间件负责。ActiveMQ是Apache旗下的一款完全支持JMS1.1和JAVA EE 1.4规范的消息中间件产品,换句话说,ActiveMQ就是JMS规范的实现者之一。

 

之前笔者曾经提及过,ActiveMQ或许并不太适用于互联网场景,因为JMS规范注定了ActiveMQ更适合于企业级项目。在大型的分布式互联网场景下,跨系统之间的解耦和异步调用这2点,仅仅只是属于任何一款消息中间件产品最基础的特征,而大部分情况下,开发人员却往往更加关注消息的顺序、扩展性、可靠性、消息发送的一致性,以及多集群之间订阅等方面的问题。因此,在大型的分布式互联网场景下,开发人员更多会选择MetaQ、Notify、kafka等天生为互联网场景而生的消息中间件产品。或许你会觉得奇怪,为什么笔者会拿ActiveMQ进行开刀?其实最主要的原因是因为其简单、轻量、易部署的特性非常适合作为笔者消息中间件系列博文的开篇来进行阐述。

 

三、ActiveMQ的下载与启动

所谓工欲善其事必先利其器,ActiveMQ的下载地址为http://activemq.apache.org/download.html,本章笔者所使用的版本为apache-activemq-5.11.1(for Windows),当然笔者建议大家下载跟本文一致的版本,这样既可避免一些不必要的错误发生。

 

当成功下载好ActiveMQ后,接下来要做的事情有2个,第一是在目录“\apache-activemq-5.11.1\bin”中启动我们的消息服务器(JMS Provider), 启动成功就可以访问管理员界面:http://localhost:8161/admin,默认用户名和密码admin/admin。如果你想修改用户名和密码的话,在conf/jetty-realm.properties中修改即可。另外一个便是将目录“apache-activemq-5.11.1\lib”中的所有构件拷贝到项目工程中,以便于实现MQ客户端。

 

四、消息传递模型

之前笔者曾经提及过,ActiveMQ其实就是JMS规范的一种实现,那么按照JMS的架构模型来看,JMS Provider的主要任务就是负责消息路由,推送消息的客户端称之为生产者(Producer),而接受消息的客户端则称之为消费者(Consumer)。JMS的消息传递模型有2种,一种是基于点对点(Point-to-Point,p2p)的,而另外一种则是基于广播形式发布/订阅(publish/subscribe,pub/sub)

 

点对点的消息传递比较简单,无非就是一种一对一的消息推送/消费模式,也就是说,如果多个客户端都在监听消息队列上的消息,JMS Provider则会根据先到先得原则确定唯一的一个消费者,如果没有客户端在监听消息队列,那么消息将会保存在消息队列中,直到最终确定消费者为止,点对点模型其实就是一个典型的拉模型(而非Provider主动推送)。发布/订阅可以理解为一对多的消息推送模式,在发布/订阅模型中,只要订阅了目标主题的所有客户端都可以消费生产者推送的消息,pub/sub就是典型的推模型,由JMS Provider主动推送消息

图c JMS的消息传递模型

 

这里笔者还要补充一个内容,JMS的消息体主要由3部分构成,分别是:头(head)、属性(property),以及主体(body)。主体就是具体的消息内容,当然对应不同的消息类型,JMS提供有不同的消息接口,这些消息接口都属于javax.jms.Message接口,比如:StreamMessage、MapMessage、TextMessage、ObjectMessage、BytesMessage等。

 

五、Queue与Topic

说了这么多,是该用代码进行验证的时候了,那么接下来笔者将演示如何使用ActiveMQ实现p2p和pub/sub等2种消息传递模型。在JMS规范中,Queue实现了基于P2P的消息传递模型,而Topic则实现了基于pub/sub的消息传递模型。

 

使用Queue实现基于P2P的消息传递模型:

/**
 * p2p模型生产者
 * 
 * @author gaoxianglong
 */
public class Producer {
	private ConnectionFactory connFactory;
	private Connection conn;
	private Session session;
	private MessageProducer producer;

	Producer() {
		try {
			/* 创建链接工厂 */
			connFactory = new ActiveMQConnectionFactory("admin", "admin",
					"tcp://127.0.0.1:61616");
			/* 获取链接 */
			conn = connFactory.createConnection();
			conn.start();
			/* 获取Session */
			session = conn.createSession(true, Session.AUTO_ACKNOWLEDGE);
			/* 创建生产者 */
			producer = session.createProducer(session.createQueue("testQueue"));
			producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);
			System.out.println(sendMessage() ? "消息发送成功..." : "消息发送成功...");
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			if (null != conn) {
				try {
					conn.close();
				} catch (JMSException e) {
					e.printStackTrace();
				}
			}
		}
	}

	public boolean sendMessage() {
		boolean result = false;
		if (null != session && null != producer) {
			try {
				/* 发送消息 */
				producer.send(session.createTextMessage("test..."));
				session.commit();
				result = true;
			} catch (JMSException e) {
				try {
					session.rollback();
				} catch (JMSException e1) {
					e1.printStackTrace();
				}
			}
		}
		return result;
	}

	public static void main(String[] args) {
		new Producer();
	}
}

 

/**
 * Queue消费者
 *
 * @author gaoxianglong
 */
public class Consumer implements MessageListener {
	private ConnectionFactory connFactory;
	private Connection conn;
	private Session session;
	private MessageConsumer consumer;

	Consumer() {
		try {
			connFactory = new ActiveMQConnectionFactory("admin", "admin",
					"tcp://127.0.0.1:61616");
			conn = connFactory.createConnection();
			conn.start();
			session = conn.createSession(false, Session.AUTO_ACKNOWLEDGE);
			consumer = session.createConsumer(session.createQueue("testQueue"));
			consumer.setMessageListener(this);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	public static void main(String[] args) {
		new Consumer();
	}

	@Override
	public void onMessage(Message arg0) {
		TextMessage msg = (TextMessage) arg0;
		try {
			System.out.println("收到消息->" + msg.getText());
		} catch (JMSException e) {
			e.printStackTrace();
		}
	}
}

 

上述程序示例了,笔者使用Queue实现了基于P2P的消息传递模型,而如果希望使用Topic实现pub/sub模型,只需要将生产者/消费者的代码片段:

session.createQueue("testQueue")

 

 更改为如下即可:

session.createTopic("testTopic")

 

六、补充——消息流程

 发送消息的基本步骤:
1、创建连接工厂类;
2、通过ConnectionFactory建立连接Connection,并启动;
3、使用连接Connection建立会话Session;
4、使用会话Session和管理对象Destination创建消息生产者MessageSender;
5、生产者发送消息;

 

消息接收者从JMS接受消息的步骤
1、创建连接工厂类;
2、通过ConnectionFactory建立连接Connection,并启动;
3、使用连接Connection建立会话Session;
4、使用会话Session和管理对象Destination创建消息接收者MessageReceiver;
5、消费者消费消息;

 

本章内容到此结束,由于时间仓库,本文或许有很多不尽人意的地方,希望各位能够理解和体谅。另外http://boy00fly.iteye.com/blog/1103586也是一篇不错的介绍ActiveMQ的博文。

分享到:
评论

相关推荐

    arq-2.8.5-sources.jar.zip

    ARQ,全称Apache ActiveMQ Artemis Querying,是Apache软件基金会开发的一个高性能、轻量级的消息中间件。它提供了一套丰富的API和工具,用于实现消息传递、发布/订阅模式、队列服务等功能。ARQ的源代码库包含了所有...

    jfinal-1.1.3-src.zip

    JFinal,作为国内知名的轻量级Java Web开发框架,以其简洁、高效的特性深受开发者喜爱。本次我们探讨的是JFinal 1.1.3版本的源代码,通过对源码的剖析,可以更深入地理解其设计理念与实现机制,提升我们的开发技能。...

    外加热强制循环蒸发器装配图(CAD).rar

    外加热强制循环蒸发器装配图(CAD).rar

    数控车床纵向进给系统设计.zip

    数控车床纵向进给系统设计.zip

    vault_side_off_ominous.png

    j

    爬虫 bangumi名称和评论数

    爬虫 bangumi名称和评论数

    基于SpringBoot的垃圾分类回收系统(源码+数据库+万字文档)526

    基于SpringBoot的垃圾分类回收系统,系统包含两种角色:管理员、用户主要功能如下。 【用户功能】 首页:浏览垃圾分类回收系统信息。 个人中心:管理个人信息,查看历史记录和订单状态。 运输管理:查看运输信息,垃圾回收的时间和地点。 公告管理:阅读系统发布的相关通知和公告。 垃圾回收管理:查看垃圾回收的信息,回收类型和进度。 垃圾出库申请管理:提交和查看垃圾出库申请的状态。 【管理员功能】 首页:查看垃圾分类回收系统。 个人中心:管理个人信息。 管理员管理:审核和管理注册管理员用户的信息。 用户管理:审核和管理注册用户的信息。 运输管理:监管和管理系统中的运输信息。 公告管理:发布、编辑和删除系统的通知和公告。 垃圾回收管理:监管和管理垃圾回收的信息。 垃圾出库申请管理:审批和管理用户提交的垃圾出库申请。 基础数据管理:管理系统的基础数据,运输类型、公告类型和垃圾回收类型。 二、项目技术 编程语言:Java 数据库:MySQL 项目管理工具:Maven 前端技术:Vue 后端技术:SpringBoot 三、运行环境 操作系统:Windows、macOS都可以 JDK版本:JDK1.8以上都可以 开发工具:IDEA、Ecplise、Myecplise都可以 数据库: MySQL5.7以上都可以 Maven:任意版本都可以

    这篇文章是台湾大学(NTU)计算机科学与信息工程系(CSIE)2021年秋季学期算法设计与分析课程的第一份作业(Homework#1)的具体要求和题目描述 以下是主要内容的总结:

    内容概要:本文档是台湾大学计算机科学与信息工程系2021年秋季学期《算法设计与分析》课程的第一次作业(Homework#1)。作业包含四道编程题和三道手写题,旨在考察学生对算法设计和分析的理解与应用能力。编程题涉及汉诺塔、数组计算、矩形点对、糖果分配等问题;手写题涵盖渐近符号证明、递归方程求解、幽灵腿游戏优化、不公平的卢卡斯问题等。文档详细描述了每个问题的具体要求、输入输出格式、测试用例以及评分标准。此外,还提供了编程技巧和注意事项,如避免延迟提交、正确引用资料、处理大输入文件等。 适合人群:具备一定编程基础的本科生或研究生,特别是修读过或正在修读算法设计与分析相关课程的学生。 使用场景及目标:①帮助学生巩固课堂所学的算法理论知识;②通过实际编程练习提高解决复杂问题的能力;③为后续更深入的学习和研究打下坚实的基础。 其他说明:此作业强调团队合作和个人独立思考相结合的重要性,鼓励学生在讨论后用自己的语言表达解决方案,并注明参考资料。对于编程题,特别提醒学生注意输入文件可能较大,建议采取适当的优化措施以确保程序运行效率。

    基于SpringBoot的铁路订票管理系统(源码+数据库+万字文档+ppt)528

    基于SpringBoot的铁路订票管理系统,系统包含两种角色:管理员、用户主要功能如下。 【用户功能】 首页:浏览铁路订票管理系统的主要信息。 火车信息:查看火车的相关信息,包括车次、出发地、目的地和票价等。 公告资讯:阅读系统发布的相关通知和资讯。 后台管理:进行系统首页、个人中心、车票预订管理、车票退票管理等操作。 个人中心:管理个人信息,查看订单历史记录等。 【管理员功能】 首页:查看铁路订票管理系统。 个人中心:修改密码、管理个人信息。 用户管理:审核和管理注册用户的信息。 火车类型管理:管理系统中的火车类型信息。 火车信息管理:监管和管理系统中的火车信息,添加、编辑、删除等。 车票预订管理:处理用户的车票预订请求。 车票退票管理:处理用户的车票退票请求。 系统管理:管理系统的基本设置,公告资讯、关于我们、系统简介和轮播图管理。 二、项目技术 编程语言:Java 数据库:MySQL 项目管理工具:Maven 前端技术:Vue 后端技术:SpringBoot 三、运行环境 操作系统:Windows、macOS都可以 JDK版本:JDK1.8以上都可以 开发工具:IDEA、Ecplise、Myecplise都可以 数据库: MySQL5.7以上都可以 Maven:任意版本都可以

    塑料架注射模具设计.rar

    塑料架注射模具设计.rar

    基于json文件数据驱动的的接口测试框架.zip

    基于json文件数据驱动的的接口测试框架

    铁丝缠绕包装机设计-缠绕盘设计.rar

    铁丝缠绕包装机设计-缠绕盘设计.rar

    Linux操作系统及常用命令详解.zip

    linux

    圆柱体相贯线焊接专机工作台设计.rar

    圆柱体相贯线焊接专机工作台设计.rar

    硬币分拣机设计.rar

    硬币分拣机设计.rar

    【机器学习与数据挖掘】行业级机器学习软件开发经验与教训:从LIBSVM和LIBLINEAR看算法部署及软件设计挑战

    内容概要:本文探讨了开发行业级机器学习和数据挖掘软件的经验与教训,指出当前研究界与工业界之间的脱节问题。作者分享了开发LIBSVM和LIBLINEAR的经验,强调了用户需求的重要性。大多数用户并非机器学习专家,期望简单易用的工具来获得良好结果。文章还详细介绍了支持向量机(SVM)的实际应用案例,包括数据预处理(如特征缩放)、参数选择等步骤,并提出了为初学者设计的简易流程。此外,作者讨论了在设计机器学习软件时应考虑的功能选择、选项数量、性能优化与数值稳定性等问题,强调了软件开发与实验代码的区别以及鼓励研究人员参与高质量软件开发的重要性。 适合人群:对机器学习软件开发感兴趣的科研人员、工程师及从业者,尤其是那些希望了解如何将学术研究成果转化为实际可用工具的人士。 使用场景及目标:①帮助非机器学习专家的用户更好地理解和使用机器学习方法;②指导开发者在设计机器学习软件时考虑用户需求、功能选择、性能优化等方面的问题;③促进学术界与工业界之间的合作,推动高质量机器学习软件的发展。 其他说明:本文不仅提供了具体的开发经验和技巧,还呼吁建立激励机制,鼓励更多研究人员投入到机器学习软件的开发中,以解决当前存在的研究与应用脱节的问题。

    pandas学习代码,jypyter格式

    一天入门pandas代码

    joblib-0.12.0-py2.py3-none-any.whl

    该资源为joblib-0.12.0-py2.py3-none-any.whl,欢迎下载使用哦!

    深度学习基于PyTorch==2.6.0和Transformers==4.48.0的XTuner环境配置:AI模型开发与优化依赖库列表

    内容概要:本文档《xtuner_requirements.txt》列出了用于支持特定项目(可能是机器学习或深度学习项目)运行所需的所有Python包及其版本。其中不仅包括常见的数据处理和科学计算库如numpy、pandas,还包括了与深度学习密切相关的库如torch、transformers等。值得注意的是,文档中还特别指定了NVIDIA CUDA相关组件的具体版本,确保了GPU加速环境的一致性和兼容性。此外,文档中也包含了从GitHub直接安装的xtuner库,明确了具体的提交哈希值,保证了代码来源的精确性。 适合人群:对机器学习、深度学习领域有一定了解并需要搭建相应开发环境的研发人员,尤其是那些希望复现特定实验结果或基于已有模型进行二次开发的研究者和技术爱好者。 使用场景及目标:①帮助开发者快速搭建完整的开发环境,确保所有依赖项正确无误;②为研究人员提供一个稳定的实验平台,以便于重复实验和验证结果;③作为项目协作的基础,确保团队成员之间的环境一致性,减少因环境差异带来的问题。 阅读建议:由于该文档主要为技术性依赖列表,在阅读时应重点关注所需安装的库及其版本号,特别是CUDA相关组件和自定义库(如xtuner)的安装方式。对于非技术人员而言,可能需要额外查阅相关资料来理解各库的作用。同时,在实际操作过程中,建议按照文档中的顺序逐一安装依赖,避免版本冲突等问题的发生。

    vault_side_on_ominous.png

    j

Global site tag (gtag.js) - Google Analytics