`

tomcat webservice 集群

阅读更多

 网上关于Apache+JK+Tomcat的集群配置例子很多,按着例子配置下来,基本都能运行,不过,在一些重要的地方却没有进一步的说明。这次公司一个产品就是采用Apache+JK+Tomcat集群,在整个配置、测试过程中,遇到了许多的问题,经过不断测试、摸索,最后总算是搞定了,性能也达到了预期的目标。针对网上的例子,感觉有必要再详细的介绍一下我的配置过程,对一些要特别注意的地方进行补充。

  集群有别于分布式的解决方案,它采用的是每台服务器运行相同应用的策略,由负责平衡的服务器进行分流,这对提高整个系统的并发量及吞吐量是更有效的办法。而集群对请求的处理又有两种不同的方式:负载平衡、状态复制(即集群),状态复制需要在各服务器间复制应用状态,而负载平衡则不用,每台服务器都是独立的。实践证明,在各应用服务器之间不需要状态复制的情况下,负载平衡可以达到性能的线性增长及更高的并发需求。

  对于集群的其它基础知识,在此就不再赘述。以下就这次Apache+JK+Tomcat的负载平衡配置进行总结,重点关注整个配置及注意事项。

准备软件

  1、Tomcat或JBoss(本文档中采用的是JBoss4.0.2);

  2、apache2.0.54是开源的Web服务器,下载地址为: http://www.apache.org/dist/httpd/binaries/ 

  3、mod_jk-1.2.14-apache-2.0.54.so模块,jk是mod_jserv的替代者,它是Tomcat-Apache插件,为Apache和Tomcat的连接器,处理Tomcat和Apache之间的通信,在集群配置中充当负载均衡器的作用,当前的最新版本为1.2.15,不过不同JK版本与不同的Apache版本之间的搭配有一些差异,有的甚至配不起来。JK2是符合apache2.x系列的新品,但由于其配置太过麻烦,使用的人很少,所以目前已停止开发,所以我们采用了jk连接器,下载地址: http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/ 

集群与负载平衡

  使用mod_jk默认的以轮循方式进行平衡负载,假设有四个服务器节点,有10个请求,则四个节点分别接受请求编号如下:

节点轮循

  而集群方式也是使用这种方法进行平衡。Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制。

  集群不同于负载平衡的是,由于集群服务需要在处理请求之间不断地进行会话复制,复制后的会话将会慢慢变得庞大,因此它的资源占用率是非常高的,如果在并发量大的应用中,复制的会话大小会变得相当大,而使用的总内存更是会迅速升高。

  但集群的会话复制,增加了系统的高可用性。由于在每台服务器都保存有用户的Session信息,如果服务器群中某台当机,应用可以自动切换到其它服务器上继续运行,而用户的信息不会丢失,这提高了应用的冗错性。

  具体采用负载平衡还是集群,这要看应用的需求了。

安装配置Apache

  1、下载Apache的安装程序apache_2.0.54-win32-x86-no_ssl.exe后,安装很简单,一路回车,就此略过。

  2、安装完毕后,将下载的mod_jk-1.2.14-apache-2.0.54.so复制到Apache安装目录下的modules子目录中。

  3、然后进入Apache安装目录下的conf子目录中,打开httpd.conf配置文件,在最后插入以下一行:

Include conf/mod_jk.conf

  以上指令的目的为加载JK模块的配置文件,当然,你也可以直接将JK配置文件直接写在此处,但前者思路更加清晰。

  4、在conf子目录下,建立一个新的配置文件:mod_jk.conf,此文件为Apache加载连接器的配置文件,文件名可修改,但要与httpd.conf中Include的文件名一致,内容如下:

# Load mod_jk module. Specify the filename 
# of the mod_jk lib you’ve downloaded and 
# installed in the previous section 
LoadModule jk_module modules/mod_jk-1.2.14-apache-2.0.54.so 

# Where to find workers.properties 
JkWorkersFile conf/workers2.properties 

# Where to put jk logs 
JkLogFile logs/mod_jk.log 

# Set the jk log level [debug/error/info] 
JkLogLevel info 

# Select the log format 
JkLogStampFormat "[%a %b %d %H:%M:%S %Y] " 

# JkOptions indicate to send SSL KEY SIZE, 
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories 

# JkRequestLogFormat set the request format 
JkRequestLogFormat "%w %V %T" 

# 请求分发配置,可以配置多项 
JkMount /* loadbalancer 

# 关掉主机Lookup,如果为on,很影响性能,可以有10多秒钟的延迟。 
HostnameLookups Off 

  5、在conf子目录下,建立一个新的配置文件:workers2.properties,此文件为负载平衡的配置文件,文件名不能修改,这是JK默认的名字,内容如下:

worker.list=loadbalancer 

# Define the first node... 
worker.server99.port=8009 
worker
.server99.host=192.168.11.99 
worker
.server99.type=ajp13 
worker
.server99.lbfactor= 
worker
.server99.local_worker=1 
worker
.server99.cachesize=1000 
worker
.server99.cache_timeout=600 
worker
.server99.socket_keepalive=1 
worker
.server99.socket_timeout=0 
worker
.server99.reclycle_timeout=300 
worker
.server99.retries=3 

# Define the second node... 
worker.server202.port=8009 
worker
.server202.host=192.168.11.202 
worker
.server202.type=ajp13 
worker
.server202.lbfactor=1 
worker
.server202.local_worker=1 
worker
.server202.cachesize=1000 
worker
.server202.cache_timeout=600 
worker
.server202.socket_keepalive=1 
worker
.server202.socket_timeout=0 
worker
.server202.reclycle_timeout=300 
worker
.server202.retries=3 

# Now we define the load-balancing behaviour 
worker.loadbalancer.type=lb 
worker
.retries=3 
worker
.loadbalancer.balance_workers=server99 ,server202 
worker
.loadbalancer.sticky_session=true 
worker
.loadbalancer.sticky_session_force=true 

  注:以上定义了两个worker,一个为server99,另一个为server202,定义了一个负载平衡服务器loadbalancer,相关的详细说明可以看官方的网站文档: http://tomcat.apache.org/connectors-doc/ ,其它节点的定义可以直接Copy,修改一下节点名及IP就好了。下面对各指令做详细的说明:

worker.list=loadbalancer:设定工作的负载平衡器,各Tomcat节点不能加入此列表。

worker.server99.lbfactor:负载平衡的权重比,如果此权重比越大,则分配到此节点的请求越多,如以上两个节点的权重比为1:1,则为平均分配。

worker.loadbalancer.balance_workers=server99,server202:指定此负载平衡器负责的Tomcat应用节点。

worker.loadbalancer.sticky_session=true:此处指定集群是否需要会话复制,如果设为true,则表明为会话粘性,不进行会话复制,当某用户的请求第一次分发到哪台Tomcat后,后继的请求会一直分发到此Tomcat服务器上处理;如果设为false,则表明需求会话复制。

worker.loadbalancer.sticky_session_force=true:如果上面的sticky_session设为true时,建议此处也设为true,此参数表明如果集群中某台Tomcat服务器在多次请求没有响应后,是否将当前的请求,转发到其它Tomcat服务器上处理;此参数在sticky_session=true时,影响比较大,会导致转发到其它Tomcat服务器上的请求,找不到原来的session,所以如果此时请求中有读取session中某些信息的话,就会导致应用的null异常。
  

6、Apache服务器的配置文件httpd.conf中,默认有三个参数对性能的影响比较大,但根据不同的性能要求,参数的表现又不一样,太小并发提不上去,太大性能反而不好,建议根据项目的需要,实际做个测试,如并发要求800的话,可以设定为:

# 一个连接的最大请求数量 
MaxKeepAliveRequests 1000(值为0,则不限制数量) 

# 每个进程的线程数,最大1920。NT只启动父子两个进程,不能设置启动多个进程 
ThreadsPerChild    1000(最大为1920) 

# 每个子进程能够处理的最大请求数 
MaxRequestsPerChild   1000(值为0,则不限制数量) 

  这三个参数要根据不同的需求,不同的服务器进行调整。

安装配置Tomcat或JBoss

  1、对于Tomcat或JBoss的安装,这里不做说明,目前我们是采用Apache+JBoss,不过,JBoss也是用的Tomcat,所以这里的配置也是适合Tomcat的;

  2、对于JBoss的配置,很简单,只需要改两个地方就可以了:

  • 进入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar,打开server.xml,大约在第32行左右,有,在其中加入一个参数,变为:
  • 进入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar\META-INF目录,打开jboss-service.xml,大约在110行,有false,将其改为:true

  这里有一个需要特别注意的地方,JBoss的Tomcat中,关于AJP连接协议的默认配置,对于大并发量是不够用的,要做一些修改,进入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar,打开server.xml,找到的地方,这里是定义AJP连接器的地方,它的配置中没有maxThreads项,默认为200,我们可以做修改:

emptySessionPath="true" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" maxThreads="3000" />

  maxThreads的值要看你的并发量多大,设置太大也不好。

运行

  至此,整个配置全部完成,注意一点是,在各JBoss节点,重启或新增加一个JBoss节点时,需要重新启动Apache,而对于服务器群中某个JBoss节点shutdown,Apache会自动侦测,不用重新启动。

  如果在运行过程中,群中的某个JBoss节点shutdown,则已登录到此服务器上的用户的请求将出错,此服务器负责的session将丢失,但Apache会自动侦测到此服务器已shutdown,后继的新请求将不会再引导到此节点。

  对于负责请求分发的Apache服务器,需要消耗大量的CPU资源,因此如果在测试过程中出现一些Service Temporarily Unavailable或Server has shut down the connection prematurely这样的错误,这一般都是服务器配置不够好引起的,或者是Apache、Tomcat、及应用中的某些配置不够使用,这时候就要考虑换更好的机器或优化应用中的配置。

常见问题

  1、cannot connect to server:无法连接到服务器。这种情况是服务器的配置有问题,服务器无法承受过多的并发连接了,需要优化服务器的配置:

  • 如操作系统采用更高版本,如windows 2003 server,优化tomcat配置:maxThreads="500" minSpareThreads="400" maxSpareThreads="450" 但是tomcat 最多支持500个并发访问
  • 优化apache配置:ThreadsPerChild 1900, MaxRequestsPerChild 10000

  2、 Action.c(10): Error -27791: Server has shut down the connection prematurely HTTP Status-Code=503 (Service Temporarily Unavailable):一般都是由于服务器配置不够好引起的,需要优化硬件和调整程序了。

  3、无法处理请求:当我们输入 ***.do 命令后,apache却返回错误信息,而连接tomcat却没有问题。原因是没有把.do命令转发给tomcat处理。解决方法为在apache配置文件中配置如下内容:

JkMount /*.jsp loadbalancer 
JkMount 
/*.do loadbalancer 

分享到:
评论

相关推荐

    TongWeb和Tomcat的区别.doc

    它全面支持J2EE5的标准规范和其他标准规范,如WebService、SSL、Xml等。相比之下,Tomcat只支持部分J2EE标准,应用局限性强,不能够安全稳定的支持大并发。 技术服务支持 TongWeb提供了完善的售后支持,而Tomcat则...

    webservice例子(客户端和服务器端和tomcat部署)

    然后,使用注解如`@WebService`来标记这个接口或类,并使用`@WebMethod`来标记要暴露的方法。 3. **服务器端实现**: 实现Web服务接口,创建服务端点类,该类将处理客户端请求。这个类通常会继承自由JAX-WS生成的...

    WebService二——使用Eclipse开发WebService及各种调用方式

    - 对于高并发场景,可能需要负载均衡和集群部署。 9. **监控和调试** - 利用Eclipse的内置工具或者第三方插件,如Tomcat Monitor,监控服务性能和状态。 - 使用日志框架如Log4j记录服务运行情况,便于问题定位。...

    myeclipse开发Java WebService.zip

    - **部署服务**:将项目部署到服务器,如Tomcat或JBoss,使得服务可以被其他系统访问。 4. **TestHelloWorldWebService和HelloWorld** 在提供的文件列表中,"TestHelloWorldWebService"可能是一个测试客户端,...

    Apache Tomcat v8.0.43

    - **Cluster**:支持集群功能,可以实现负载均衡和故障转移。 - **Connector**:不同的Connector支持不同的协议,如HTTP、AJP等。 3. **安全性**: - **Realm**:Tomcat的认证机制,用于验证用户身份,可以配置...

    Java程序员简历模板-求职应聘必备

    此外,对JavaScript、jQuery等前端技术的掌握,以及对Tomcat服务器、Linux系统、Dubbo、WebService、Solr、ActiveMQ、Nginx等中间件和系统的了解和应用,都反映了求职者的全面技术能力。 在【项目经历】中,应列举...

    java 开发webservice

    9. **性能优化**:对于高性能需求,可以考虑缓存策略,消息压缩,负载均衡和集群等技术。 10. **监控和调试**:使用日志工具和监控工具跟踪服务性能,找出潜在问题并进行优化。 总之,Java开发Web服务涉及多个方面...

    javaweb 系统从Tomcat移植到WAS6.1.doc

    此外,WAS6.1提供了对Webservices的支持,这对于那些依赖于WebService的应用尤为重要,需在部署时选择合适的Webservice配置。 #### 知识点四:代码与库的兼容性检查 在移植过程中,确保所有代码与库的兼容性是非常...

    手写axis实现webservice通讯

    - 将服务打包到一个WAR文件中,部署到支持Servlet的Web服务器(如Tomcat)上。 - 部署后,可以通过浏览器访问WSDL文件,确认服务已经正确发布。 4. **客户端调用**: - 使用Axis生成的客户端Stub,可以轻松地在...

    SuperMap iServer Java 课程-SuperMap iServer服务

    如果将JAX-WS WebService部署在`SuperMap iServer Java 安装目录\thirdparty\tomcat\webapps`中,则需要删除`iServer Java 安装目录\thirdparty\tomcat\conf\Catalina\localhost`目录下的`jaxws-webservice.xml`文件...

    P2P网络借贷平台项目SSH+Redis+ActiveMQ+POI+Shiro+AngularJS+Nginx+Quartz等

    1、项目整体采用Maven分模块构建、SVN版本控制、PowerDesigner数据建模,基于约定标准的项目工程结构,同时... 11、项目部署采用tomcat+Nginx的集群部署方式,在部署过程中可以深刻体会到nginx在负载均衡中发挥的优势。

    原版精美通向架构师的道路第十四天至第十七天Word文档

    此为本人原版word文档,用于在公司内部作技术强化用,原名为“通向八段的道路”,因为本系列计划想写365天,研读完365天的人应该达到或者超过一个5年-6年的左右的高级J2EE工程师,自己曾经研究过IBM上海GDCC以及IBM...

    JAVA-项目面试题.docx

    Tomcat集群主要用于提升系统的可用性和容错性,通过负载均衡技术将请求分发到多个Tomcat实例,当单个实例故障时,其他实例仍能提供服务。 21. **个人优势** 技术上,可能是精通特定技术栈、解决问题的能力强;非...

    Couchbase

    在文件名称列表中,我们看到"Eclipse中使用Jersey和Tomcat构建RESTful WebService及其调用.doc"。这表明该文档将介绍如何在Eclipse集成开发环境中,利用Jersey库(JAX-RS规范的一个实现)和Tomcat服务器来创建和测试...

    运维类试题文.pdf

    - 数据库集群技术:Real Application Cluster (RAC),这是Oracle提供的数据库集群解决方案,用于提高数据库的高可用性和可伸缩性。 - 高级压缩技术:文档中提到了Advanced Compression,这通常是指数据库中的压缩...

    java2年工作经验简历_java简历.doc

    6. **服务器和集群**:她熟悉Tomcat服务器的配置和管理,并且了解Nginx的使用和集群配置,这在大型分布式系统中非常重要。此外,她还熟悉redis和Solr的集群,这对于大数据量的搜索和缓存管理具有重要意义。 7. **...

    Java简历模板,经典,有参考价值.docx

    * 熟悉掌握 WebService、HttpClient、Ajax 跨域、(Jsonp)等远程调用技术。 * 熟悉使用 Eclipse、MyEclipse、Idea 等开发工具,Maven、Gradle 项目构建工具,svn、Git 版本控制器。 * 掌握 Hadoop 集群的搭建和配置...

    Java技术应用集订分送风刀霜剑发大水了

    - **WebService**: 掌握SOAP和RESTful风格的WebService开发,实现不同系统间的互操作性。 通过上述知识点的学习和实践,可以全面地掌握Java及其周边生态的各项技术和框架,为成为一名优秀的Java软件工程师奠定坚实...

Global site tag (gtag.js) - Google Analytics