一位ID是jackson1225的网友在JavaEye询问了一个大型Web系统的架构和部署选型问题,希望能提高现有的基于Java的Web应用的服务能力。由于架构模式和部署调优一直是Java社区的热门话题,这个问题引发了很多热心网友的讨论,其中一些意见对其它大型Web项目也有很好的指导意义。在讨论之初jackson1225这样描述了当前的应用的架构和部署方案:
目前系统架构如下:
web层采用struts+tomcat实现,整个系统采用20多台web服务器,其负载均衡采用硬件F5来实现;
中间层采用无状态会话Bean+DAO+helper类来实现,共3台weblogic服务器,部署有多个EJB,其负载均衡也采用F5来实现;
数据库层的操作是自己写的通用类实现的,两台ORACLE数据库服务器,分别存放用户信息和业务数据;一台SQL SERVER数据库,是第三方的业务数据信息;
web层调用EJB远程接口来访问中间件层。web层首先通过一个XML配置文件中配置的EJB接口信息来调用相应的EJB远程接口;
该系统中一次操作涉及到两个ORACLE库以及一个SQL SERVER库的访问和操作,即有三个数据库连接,在一个事务中完成。
这样的架构其实很多公司都在使用,因为Struts和Tomcat分别是最流行的Java Web MVC框架和Servlet容器,而F5公司的负载均衡是横向扩展常见的解决方案(例如配置session sticky方案)。由于这个系统中有跨数据源的事务,所以使用Weblogic Server EJB容器和支持两阶段提交的数据库驱动就可以保证跨数据源的事物完整性(当然,容器管理的分布式事务并非是唯一和最优的解决方案)。
但是随着Rod Johnson重量级的著作《J2EE Development without EJB》和其中的Spring框架的流行,轻量级框架和轻量级容器的概念已经深入人心。所以对于jackson1225提出的这个场景,大多数网友都提出了置疑,认为这个系统滥用了技术,完全是在浪费钱。网友们大都认为SLSB(无状态会话Bean)完全没有必要出现在这个场景中,认为SLSB通过远程接口访问本地资源会有很大的性能开销,这种观点也是Rod johnson在without EJB中批判EJB 2.x中的一大反模式。
由于JavaEE是一个以模式见长的解决方案,模式和架构在JavaEE中占有很重要的地位,所以很多业内专家也都警惕“反模式(Anti-patterns)”的出现。对于上面所述的方案是否是反模式,jackson1225马上站出来申辩: 这个解释很快得到了一些网友的认可,但是大家很快意识到架构的好坏决定于是否能够满足用户的需求,davexin(可能是jackson1225的同事)描述了这个系统的用户和并发情况: 具体的并发量公布后又有网友置疑这个数据,认为这个系统的Servlet容器支持的并发数太小,怀疑是否配置不够优化。davexin又补充了该项目的服务器配置: 一位ID是cauherk的网友提出了比较中肯的意见,他没有从Web容器单纯的并发支持能力上提出改进方案,而是提出了对于类似的应用的一些通用的改进提示,这里摘要一下: 这个回复让接下来的讨论都集中于Web容器的性能优化,但是JavaEye站长robbin发表了自己的意见,将话题引回了这个项目的架构本身:
我们项目就是把EJB作为一个Facade,只是提供给WEB层调用的远程接口,而且只用了无状态会话Bean,所以性能上还可以的。
现在有用户4000万,马上要和另一个公司的会员系统合并,加起来一共有9000万用户。数据量单表中有一亿条以上的数据。这是基本的情况,其实我觉得现在的架构还是可以的,现在支持的并发大概5000并发用户左右,接下来会进行系统改造,目标支持1万个并发用户。
系统前端tomcat都是用的刀片,配置在2G内存,cpu大概在2.0G,每台机器也就支持250-400个并发,再多的话,就会相应时间非常的常,超过20秒,失去了意义 ,所以我们才得出这样的结论的。
数据库压力问题
可以按照业务、区域等等特性对数据库进行配置,可以考虑分库、使用rac、分区、分表等等策略,确保数据库能正常的进行交易。
事务问题
要在两个数据库中操作,那么必须考虑到分布式事务。你应该仔细的设计你的系统,来避免使用分布式事务,以避免分布式事务带来更多的数据库压力和其它问题。推荐你采用延迟提交的策略(并不保证数据的完整),来避免分布式事务的问题,毕竟commit失败的几率很低。
web的优化
将静态、图片独立使用不同的服务器,对于常态的静态文件,采用E-TAG或者客户端缓存, google很多就是这样干的。对于热点的功能,考虑使用完全装载到内存,保证绝对的响应速度,对于需要频繁访问的热点数据,采用集中缓存(多个可以采用负载均衡),减轻数据库的压力。
对于几乎除二进制文件,都应该在L4上配置基于硬件的压缩方案,减少网络的流量。提高用户使用的感知。
网络问题
可以考虑采用镜像、多路网络接入、基于DNS的负载均衡。如果有足够的投资,可以采用CDN(内容分发网),减轻你的服务器压力。
cauherk的这个分析比较到位,其中ETags的方案是最近的一个热点,InfoQ的“使用ETags减少Web应用带宽和负载”里面对这种方案有很详细的介绍。一般以数据库为中心的Web应用的性能瓶颈都在数据库上,所以cauherk把数据库和事务问题放到了前两位来讨论。但是davexin解释在所讨论的这个项目中数据库并非瓶颈:
我们的压力不在数据库层,在web层和F5。 当高峰的时候 ,F5也被点死了,就是每秒点击超过30万,web动态部分根本承受不了。根据我们程序记录,20台web最多承受5000个并发,如果再多,tomcat就不响应了。就像死了一样。
performance tuning最重要的就是定位瓶颈在哪里,以及瓶颈是怎么产生的。
我的推测是瓶颈还是出在EJB远程方法调用上!
tomcat上面的java应用要通过EJB远程方法调用,来访问weblogic上面的无状态SessionBean,这样的远程方法调用一般都在100ms~500ms级别,或者更多。而如果没有远程方法调用,即使大量采用spring的动态反射,一次完整的web请求处理在本地JVM内部的完成时间一般也不过20ms而已。一次web请求需要过长的执行时间,就会导致servlet线程被占用更多的时间,从而无法及时响应更多的后续请求。
如果这个推测是成立的话,那么我的建议就是既然你没有用到分布式事务,那么就干脆去掉EJB。weblogic也可以全部撤掉,业务层使用spring取代EJB,不要搞分布式架构,在每个tomcat实例上面部署一个完整的分层结构。
另外在高并发情况下,apache处理静态资源也很耗内存和CPU,可以考虑用轻量级web server如lighttpd/litespeed/nginx取代之。
robbin的推断得到了网友们的支持,davexin也认同robbin的看法,但是他解释说公司认为放弃SLSB存在风险,所以公司倾向于通过将Tomcat替换为Weblogic Server 10来提升系统的用户支撑能力。robbin则马上批评了这种做法: davexin在调整了Tomcat配置后应验了robbin对tomcat配置问题的质疑,davexin这样描述经过配置优化以后的测试结果:
坦白说我还从来没有听说过大规模互联网应用使用EJB的先例。为什么大规模互联网应用不能用EJB,其实就是因为EJB性能太差,用了EJB几乎必然出现性能障碍。
web容器的性能说到底无非就是Servlet线程调度能力而已,Tomcat不像WebLogic那样附加n多管理功能,跑得快很正常。对比测试一下WebLogic的数据库连接池和C3P0连接池的性能也会发现类似的结论,C3P0可要比WebLogic的连接池快好几倍了。这不是说WebLogic性能不好,只不过weblogic要实现更多的功能,所以在单一的速度方面就会牺牲很多东西。
以我的经验来判断,使用tomcat5.5以上的版本,配置apr支持,进行必要的tuning,使用BEA JRockit JVM的话,在你们目前的刀片上面,支撑500个并发完全是可以做到的。结合你们目前20个刀片的硬件,那么达到1万并发是没问题的。当然这样做的前提是必须扔掉EJB,并置web层和业务层在同一个JVM内部。
接下来robbin还针对davexin对话题中的应用分别在tomcat和weblogic上的测试数据进行了分析:
2。1台weblogic10 Express(相当于1台tomcat,用于发布jsp应用)加1台weblogic10(发布ejb应用),能支持1000个并发用户......
......
4。1台tomcat4.1加1台weblogic8,只能支持350个并发用户,tomcat就连结超时,说明此种结构瓶颈在tomcat。
这说明瓶颈还不在EJB远程调用上,但是问题已经逐渐清楚了。为什么weblogic充当web容器发起远程EJB调用的时候可以支撑1000个并发,但是tomcat只能到350个?只有两个可能的原因:
你的tomcat没有配置好,严重影响了性能表现
tomcat和weblogic之间的接口出了问题
接着springside项目发起者江南白衣也提出了一个总体的优化指导:
1.基础配置优化
tomcat 6? tomcat参数调优?
JRockit JVM? JVM参数调优?
Apache+Squid 处理静态内容?
2.业务层优化
部分功能本地化,而不调remote session bean?
异步提交操作,JMS?
cache热点数据?
3.展示层优化
动态页面发布为静态页面?
Cache部分动态页面内容?
经过测试,并发人数是可以达到像robbin所说的一样,能够在600人左右,如果压到并发700人,就有15%左右的失败,虽然在调整上面参数之后,并发人数上去了,但是在同样的时间内所完成的事务数量下降了10%左右,并且响应时间延迟了1秒左右,但从整体上来说,牺牲一点事务吞吐量和响应时间,并发人数能够提高500,觉得还是值得的。
至此这个话题有了一个比较好的结果。这个话题并非完全针对一个具体的项目才有意义,更重要的是在分析和讨论问题的过程中网友们解决问题的思路,尤其是cauherk、robbin、江南白衣等几位网友提出的意见可以让广大Java Web项目开发者了解到中、大型项目所需要考虑的架构和部署所需要考虑的关键问题,也消除了很多人对轻量Servlet容器与EJB容器性能的一些误解。
2007/9/25 9:14
分享到:
相关推荐
本文将深入探讨为何选择Java作为开发语言,并分析其在技术选型中的优势。 Java是一种广泛使用的高级编程语言,由Sun Microsystems(现为Oracle公司的一部分)于1995年发布。它的设计理念是“一次编写,到处运行”,...
标题中的"(原创+源码+论文) 基于Java Web技术开发的BBS论坛系统"揭示了这个压缩包文件的主要内容,它是一个基于Java Web技术实现的BBS(Bulletin Board System,电子公告板)论坛系统的完整源码和相关论文。这个系统...
标题"jsp ssh mvc java web j2ee网络商城+论文+源码 购物系统网页设计"中,提到了一系列关键技术和应用领域,这些包括: 1. JSP(JavaServer Pages):JSP是Java平台上用于创建动态网页的技术,它允许开发者在HTML...
《Java Web网上购物系统:深度剖析与毕业设计详解》 Java Web网上购物系统是一种基于Java技术构建的电子商务平台,它集成了用户管理、商品展示、购物车、订单处理、支付接口等多种功能,为用户提供便捷的在线购物...
《JAVA WEB 旅游管理系统详解》 在信息技术日新月异的今天,JAVA WEB技术作为企业级应用开发的重要工具,被广泛应用于各种系统建设之中。"JAVA WEB 旅游管理系统"就是一个典型的例子,它利用JAVA WEB的强大功能,为...
《Java Web人事管理系统详解》 Java Web人事管理系统是一款基于Java技术构建的企业级应用,它集成了员工信息管理、考勤记录、薪酬计算、绩效评估等多个功能模块,为企业的人力资源管理工作提供了一站式的解决方案。...
Java论坛管理系统设计是一个涵盖多个IT领域知识的项目,主要基于Java编程语言,结合数据库管理和Web应用开发技术。这里我们将深入探讨这个系统的核心组成部分及其相关知识点。 1. **Java核心技术** - **Java基础**...
《大型网站系统与JAVA中间件实践-曾宪杰》是一本深入探讨大型网站技术架构与JAVA中间件应用的专业书籍。作者曾宪杰以其丰富的实战经验,详细阐述了如何构建高效、稳定、可扩展的大型网站系统,以及JAVA中间件在其中...
本章将概述考勤系统的重要性,介绍JAVA WEB技术在考勤系统开发中的应用,并阐述研究的背景和意义。 1.1 考勤管理的重要性 考勤管理是企业管理的重要组成部分,它关系到员工的工作纪律、出勤率以及公司的正常运作。...
本文将深入探讨该系统的设计理念、技术选型、功能需求以及对学生知识技能的要求。 首先,系统设计的核心是利用Java作为开发语言,结合HTML5、JavaScript技术和MySQL数据库,构建一个符合当前技术趋势的Web应用。...
本文将深入探讨如何利用Java Web技术和Vue.js前端框架来构建这样的系统,以此满足现代消费者的购物需求。 1.1 课题背景 随着互联网的普及和移动设备的广泛使用,消费者越来越倾向于在线购物,这促使企业不断寻求...
技术可行性探讨使用Java Web技术能否满足系统需求;经济可行性考虑开发成本和运营维护费用;运行可行性则关注系统上线后的实际操作和维护。 3. **系统分析**: - **系统功能分析**:将列出系统的主要功能模块,如...
【标题】"Java Web项目-新奥家电连锁网络系统.zip" 涉及的是一个基于Java Web技术构建的电子商务应用,旨在实现家电连锁企业的在线业务流程。这个项目可能包括了客户管理、商品展示、购物车、订单处理、支付集成等...
《基于Java Web的硕士研究生招生考试专业报考查询及学习系统设计与实现》 在当今数字化教育的时代,构建一套高效、便捷的在线招生考试系统对于研究生教育机构至关重要。本项目以“研招网”为参考,旨在设计并实现一...
2. **Java中间件**:Java中间件是构建大型系统的重要工具,包括但不限于Web服务器(如Tomcat)、应用服务器(如Jetty、JBoss)、消息队列(如RabbitMQ、Kafka)、缓存系统(如Redis、Memcached)、数据库(如MySQL、...
基于Java Web的物业管理系统旨在解决这一问题,通过数字化手段实现物业信息管理、服务请求、费用缴纳等流程的自动化,提高工作效率,减少人为错误,并增强业主与物业之间的沟通。 二、开发工具与相关技术 开发工具...
总的来说,基于JAVA WEB技术的旅行社网站系统设计是一项综合性的任务,涵盖了从技术选型、需求分析、系统设计到具体实现的全过程。它旨在通过技术创新提升旅游行业的服务质量,优化资源配置,增强企业的竞争力,同时...
根据提供的信息,“Java管理系统设计报告”这一主题涵盖了利用Java编程语言进行系统管理平台的设计与实现。下面将基于这个主题深入探讨相关的技术要点、设计思路以及实施策略。 ### 一、项目背景与目标 #### 1.1 ...