`
peter.kong
  • 浏览: 57497 次
  • 来自: ...
社区版块
存档分类
最新评论

pache tomcat mysql负载均衡和集群(转载)

阅读更多
http://hi.baidu.com/%B3%C2%C0%CB%CF%C9/blog/item/88b8eaf8ea5b070fd8f9fd70.html
前言:
公司开发了一个网站,估计最高在线人数是3万,并发人数最多100人。开发的网站是否能否承受这个压力,如何确保网站的负荷没有问题,经过研究决定如下:
(1) 采用负载平衡和集群技术,初步机构采用Apache+Tomcat的机群技术。
(2) 采用压力测试工具,测试压力。工具是Loadrunner。
硬件环境搭建:
为了能够进行压力测试,需要搭建一个环境。刚开始时,测试在公司局域网内进行,但很快发现了一个问题,即一个脚本的压力测试结果每次都不一样,并且差别很大。原来是受公司网络的影响,于是决定搭建一个完全隔离的局域网测试。搭建后的局域网配置如下:
(1) 网络速度:100M
(2) 三台服务器:
负载服务器 :操作系统windows2003,
Tomcat服务器:操作系统windows2000 Professional
数据库服务器:操作系统windows2000 Professional
三台机器的cpu 2.4 G, 内存 1G。
软件环境搭建:
软件的版本如下:
Apache 版本:2.054,
Tomcat5.0.30,
mysql :4.1.14.
JDK1.5
压力测试工具:Loadrunner7.8。
负载平衡方案如下:
一台机器(操作系统2003)安装apache,作为负载服务器,并安装tomcat作为一个worker;一个单独安装tomcat,作为第二个worker;剩下的一台单独作为数据库服务器。
Apache和tomcat的负载平衡采用JK1.2.14(没有采用2.0,主要是2.0不再维护了)。
集群方案:
采用Tomcat本身的集群方案。在server.xml配置。
压力测试问题:
压力测试后,发现了一些问题,现一一列出来:
(1)采用Tocmat集群后,速度变得很慢。因为集群后,要进行session复制,导致速度较慢。Tomcatd的复制,目前不支持application 复制。复制的作用,主要用来容错的,即一台机器有故障后,apache可以把请求自动转发到另外一个机器。在容错和速度的考虑上,我们最终选择速度,去掉了Tomcat集群。
(2) 操作系统最大并发用户的限制:
为了采用网站的压力,我们开始的时候,仅测试Tomcat的最大负载数。Tomcat服务器安装的操作系统是windows2000 Professional。当我们用压力测试工具,并发测试时,发现只要超过15个并发用户,会经常出现无法连接服务器的情况。经过研究,发现是操作系统的问题:windows2000 Professional 支持的并发访问用户有限,默认的好像是15个。于是我们把操作系统全部采用windows2003 server版本。
(3) 数据库连接池的问题:
测试数据库连接性能时,发现数据库连接速度很慢。每增加一些用户,连接性能就差了很多。我们采用的数据库连接池是DBCP,默认的初始化为50个,应该不会很慢吧。查询数据库的连接数,发现初始化,只初始化一个连接。并发增加一个用户时,程序就会重新创建一个连接,导致连接很慢。原因就在这里了。如何解决呢?偶尔在JDK1.4下的Tomcat5.0.30下执行数据库连接压力测试,发现速度很快,程序创建数据库连接的速度也是很快的。看来JDK1.5的 JDBC驱动程序有问题。于是我们修改 JDK的版本为1.4.

(4) C3P0和DBCP
C3P0是Hibernate3.0默认的自带数据库连接池,DBCP是Apache开发的数据库连接池。我们对这两种连接池进行压力测试对比,发现在并发300个用户以下时,DBCP比C3P0平均时间快1秒左右。但在并发400个用户时,两者差不多。

速度上虽然DBCP比C3P0快些,但是有BUG:当DBCP建立的数据库连接,因为某种原因断掉后,DBCP将不会再重新创建新的连接,导致必须重新启动Tomcat才能解决问题。DBCP的BUG使我们决定采用C3P0作为数据库连接池。
调整后的方案:
操作系统Windows2003 server版本
JDK1.4
Tomcat 5.0.30
数据库连接池C3P0
仅采用负载平衡,不采用集群。
软件的配置:
Apache配置:主要配置httpd.conf和新增加的文件workers.properties
Httpd.conf:
#一个连接的最大请求数量
MaxKeepAliveRequests 10000
#NT环境,只能配置这个参数来提供性能
<IfModule mpm_winnt.c>
#每个进程的线程数,最大1920。NT只启动父子两个进程,不能设置启动多个进程
ThreadsPerChild 1900
每个子进程能够处理的最大请求数
MaxRequestsPerChild 10000
</IfModule>

# 加载mod_jk
#
LoadModule jk_module modules/mod_jk.so
#
# 配置mod_jk
#
JkWorkersFile conf/workers.properties
JkLogFile logs/mod_jk.log
JkLogLevel info
#请求分发,对jsp文件,.do等动态请求交由tomcat处理
DocumentRoot "C:/Apache/htdocs"
JkMount /*.jsp loadbalancer
JkMount /*.do loadbalancer
JkMount /servlet/* loadbalancer
#关掉主机Lookup,如果为on,很影响性能,可以有10多秒钟的延迟。
HostnameLookups Off
#缓存配置
LoadModule cache_module modules/mod_cache.so
LoadModule disk_cache_module modules/mod_disk_cache.so
LoadModule mem_cache_module modules/mod_mem_cache.so

<IfModule mod_cache.c>
CacheForceCompletion 100
CacheDefaultExpire 3600
CacheMaxExpire 86400
CacheLastModifiedFactor 0.1

<IfModule mod_disk_cache.c>
CacheEnable disk /
CacheRoot c:/cacheroot
CacheSize 327680
CacheDirLength 4
CacheDirLevels 5
CacheGcInterval 4
</IfModule>
<IfModule mod_mem_cache.c>
CacheEnable mem /
MCacheSize 8192
MCacheMaxObjectCount 10000
MCacheMinObjectSize 1
MCacheMaxObjectSize 51200
</IfModule>
</IfModule>
worker. Properties文件
#
# workers.properties ,可以参考
http://jakarta.apache.org/tomcat/connectors-doc/config/workers.html
# In Unix, we use forward slashes:
ps=

# list the workers by name

worker.list=tomcat1, tomcat2, loadbalancer

# ------------------------
# First tomcat server
# ------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=900

# ------------------------
# Second tomcat server
# ------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=202.88.8.101
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=2000

# ------------------------
# Load Balancer worker
# ------------------------

#
# The loadbalancer (type lb) worker performs weighted round-robin
# load balancing with sticky sessions.
# Note:
# ----> If a worker dies, the load balancer will check its state
# once in a while. Until then all work is redirected to peer
# worker.
worker.loadbalancer.type=lb
worker.loadbalancer.balanced_workers=tomcat1,tomcat2

#
# END workers.properties
#

Tomcat1配置:
<!--配置server.xml
去掉8080端口,即注释掉如下代码:-->
<Connector
port="8080" maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
enableLookups="false" redirectPort="8443" acceptCount="100"
debug="0" connectionTimeout="20000"
disableUploadTimeout="true" />

<!--配置8009端口如下:-->
<Connector port="8009"
maxThreads="500" minSpareThreads="400" maxSpareThreads="450"
enableLookups="false" redirectPort="8443" debug="0"
protocol="AJP/1.3" />
<!--配置引擎-->
<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat1">

启动内存配置,开发configure tomcat程序即可配置:
Initial memory pool: 200 M
Maxinum memory pool:300M
Tomcat2配置:
配置和tomcat1差不多,需要改动的地方如下:
<!--配置引擎-->
<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat2">

启动内存配置,开发configure tomcat程序即可配置:
Initial memory pool: 512 M
Maxinum memory pool:768M
Mysql配置:
Server类型:Dedicated MySQL Server Machine
Database usage:Transational Database Only
并发连接数量:Online Transaction Processing(OLTP)
字符集:UTF8
数据库连接池的配置:
我们采用的是spring 框架,配置如下:
<property name="hibernateProperties">
<props>
<prop key="hibernate.dialect">org.hibernate.dialect.MySQLDialect</prop>
<prop key="hibernate.connection.driver_class">com.mysql.jdbc.Driver</prop>
<prop key="hibernate.connection.url">jdbc:mysql://202.88.1.103/db</prop>
<prop key="hibernate.connection.username">sa</prop>
<prop key="hibernate.connection.password"></prop>

<prop key="hibernate.show_sql">false</prop>
<prop key="hibernate.use_sql_comments">false</prop>

<prop key="hibernate.cglib.use_reflection_optimizer">true</prop>
<prop key="hibernate.max_fetch_depth">2</prop>

<prop key="hibernate.c3p0.max_size">200</prop>
<prop key="hibernate.c3p0.min_size">5</prop>
<prop key="hibernate.c3p0.timeout">12000</prop>
<prop key="hibernate.c3p0.max_statements">50</prop>
<prop key="hibernate.c3p0.acquire_increment">1</prop>
</props>
</property>
其他的没有额外配置。
LoadRunner 常见问题:
(1)sofeware caused connction:这种情况,一般是脚本有问题,或者loadrunner有问题。解决方法:重新启动机器,或者重新录制脚本,估计是loadrunner的bug。
(2)cannot connect to server:无法连接到服务器。这种情况是服务器的配置有问题,服务器无法承受过多的并发连接了。需要优化服务器的配置,
如操作系统采用windows 2003 server,
优化tomcat配置:maxThreads="500" minSpareThreads="400" maxSpareThreads="450"。但是tomcat 最多支持500个并发访问
优化apache配置:
ThreadsPerChild 1900
MaxRequestsPerChild 10000
其他的错误如:
Action.c(10): Error -27791: Server has shut down the connection prematurely
HTTP Status-Code=503 (Service Temporarily Unavailable)
一般都是由于服务器配置不够好引起的,按照问题(2)处理,如果仍旧不行,需要优化硬件和调整程序了。
Apache问题:
(1) File does not exist: C:/Apache/htdocs/favicon.ico:
这个问题是apache,htdocs目录没有favicon.ico文件引起的,该文件是网站的图标,仅在firefox,myIE等浏览器出现。
(2) 图片无法显示:
配置apache后,却无法显示图片。
解决方法:把程序的图片,按照程序结构copy到apache的htdocs目录下。
(3) 无法处理请求:
当我们输入 ***.do 命令后,apache确返回错误信息,而连接tomcat却没有问题。原因是没有把.do命令转发给tomcat处理。解决方法如下:
在apache配置文件中配置如下内容:
DocumentRoot "C:/Apache/htdocs"
JkMount /*.jsp loadbalancer
JkMount /*.do loadbalancer


总结:
网站的压力测试,涉及的知识面挺广的,不仅要熟悉压力测试工具,还要知道如何配置和优化应用服务器和数据库,并且需要知道如何优化网络、操作系统、硬件系统。
测试中不仅要善于发现问题,要知道如何解决。最重要的一点,要有良好的测试方法。刚开始测试时,可以从最简单的测试脚本入手,不需要太复杂的脚本,这样便于发现问题。如我们刚开始时,就从一个简单的下载登陆界面的脚本入手,测试一个tomcat的压力负载。一个简单的获取登陆的脚本,帮助我们优化了 tomcat的配置;后来再测试数据库连接,也是一个简单的数据库连接脚本,帮助我们优化了数据库连接池;然后利用这些简单的脚本,测试apache的负载平衡,优化了apache配置。最后运行复杂的脚本,模拟多种角色的用户在不同时间下的处理,以测试网站压力负载。


DBCP使用apache的对象池ObjectPool作为连接池的实现,在构造GenericObjectPool时,会生成一个内嵌类 Evictor,实现自Runnable接口。如果_timeBetweenEvictionRunsMillis大于0,每过 _timeBetweenEvictionRunsMillis毫秒Evictor会调用evict()方法,检查对象的闲置时间是否大于 _minEvictableIdleTimeMillis毫秒(_minEvictableIdleTimeMillis小于等于0时则忽略,默认为30 分钟),是则销毁此对象,否则就激活并校验对象,然后调用ensureMinIdle方法检查确保池中对象个数不小于_minIdle。在调用 returnObject方法把对象放回对象池,首先检查该对象是否有效,然后调用PoolableObjectFactory 的passivateObject方法使对象处于非活动状态。再检查对象池中对象个数是否小于_maxIdle,是则可以把此对象放回对象池,否则销毁此对象

还有几个很重要的属性,_testOnBorrow、_testOnReturn、_testWhileIdle,这些属性的意义是取得、返回对象和空闲时是否进行验证,检查对象是否有效,默认都为false即不验证。所以当使用DBCP时,数据库连接因为某种原因断掉后,再从连接池中取得连接又不进行验证,这时取得的连接实际已经时无效的数据库连接了。网上很多说DBCP的bug应该都是如此吧,只有把这些属性设为true,再提供 _validationQuery语句就可以保证数据库连接始终有效了,oracle数据库可以使用SELECT COUNT(*) FROM DUAL,不过DBCP要求_validationQuery语句查询的记录集必须不为空,可能这也可以算一个小小的BUG,其实只要 _validationQuery语句执行通过就可以了。
分享到:
评论
2 楼 piper 2007-01-26  
楼主,留个联系方式把,急需请教
sardingking@hotmail.com
1 楼 enhydra 2006-12-01  
总结的很棒
支持一下

相关推荐

    apache-tomcat-7.0.52 解压免安装版tomcat7

    5. **Cluster**:在需要高可用性和负载均衡的环境中,Tomcat的集群功能可以将Web应用程序分布在多个服务器上,实现session复制和故障转移。 6. **Connector**:Tomcat支持多种连接器,包括HTTP、AJP(Apache JServ ...

    apache-tomcat-6.0.10服务器插件

    Apache Tomcat 6.0.10 是一个广泛使用的开源软件,主要作为Java Servlet和JavaServer Pages (JSP) 的Web应用服务器。Tomcat是Apache软件基金会Jakarta项目的一部分,它实现了Java EE的Web组件规范,尤其是Servlet和...

    官方原版apache-tomcat-8.5.51-windows-x64.zip 64位

    Apache Tomcat是一款开源的Java应用服务器,主要用于运行Servlet和JSP应用。此版本为8.5.51,是专为64位Windows操作系统设计的。在深入探讨这个压缩包包含的内容之前,让我们先理解一下Apache Tomcat的核心概念和...

    apache-tomcat-8.0.33中文.zip

    Apache Tomcat 8.0.33 是一个广泛使用的开源软件,主要作为Java Servlet和JavaServer Pages(JSP)的容器。它实现了Java EE(现在称为Jakarta EE)Web应用程序的轻量级部分,特别是Servlet和JSP规范。在本描述中,...

    apache-tomcat-7.0.75-windows-x86解压版32位

    Apache Tomcat 7.0.75 是一个广泛使用的开源软件,它是一个实现了Java Servlet、JavaServer Pages(JSP)和Java EE的Web应用程序容器。这个版本是专门为32位Windows操作系统设计的,使得在Windows环境下部署和运行...

    windows下java pache-tomcat-6.0.20与apache_2.2.11整合

    通过上述步骤,您可以在 Windows 系统上成功安装并整合 Apache Tomcat 6.0.20 和 Apache 2.2.11,实现对 Java Web 应用程序的有效管理和高性能服务。这一整合不仅能够提高网站的响应速度和稳定性,还能够提供更加...

    Tomcat9 (apche-tomcat-9.0.58)

    1.Tomcat9 (apche-tomcat-9.0.58) 2.相较于tomcat10更适合Servlet 3.相较于tomcat10更适合jdk1.8 4.亲测好用 博主在做javaweb遇到错误找到的资源,开放下载5积分,不接受动态调分,如有修改请联系博主

    apache-tomcat-8.0.32(1).zip

    pache是web服务器,Tomcat是应用(java)服务器,它只是一个servlet容器,是Apache的扩展。 Apache和Tomcat都可以做为独立的web服务器来运行,但是Apache不能解释java程序(jsp,servlet)。

    apache-tomcat-7.0.0-windows-x86

    Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持,最新的Servlet 和JSP 规范总是能在Tomcat ...

    tomcat安装及配置教程.docx

    - **高性能**:在处理并发请求和负载方面,Tomcat表现出色。通过优化配置和硬件配置,可以进一步提高其性能。 #### 二、Windows环境下安装与配置Tomcat 1. **下载Tomcat**:访问[A]pache Tomcat官网下载最新的...

    藏经阁-A PACHE Spark Applications.pdf

    藏经阁-A PACHE Spark Applications.pdf 本文档主要介绍了使用容器技术来管理 Apache Spark 应用程序的 worker,实现弹性扩展和资源优化。下面是相关知识点的详细解释: 1. 容器化 Spark 容器化 Spark 是一种使用...

    apache-tomcat-7.0.0.tar

    apache-tomcat-7.0.90-windows-x86 pache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其多平台和安全性被广泛使用,是最流行的Web服务器端...

    apache-tomcat-7.0.86-windows-x86

    apache-tomcat-7.0.86-windows-x86 pache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其多平台和安全性被广泛使用,是最流行的Web服务器端...

    apache-tomcat-7.0.90-windows-x86

    pache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,由于其多平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单...

    Tomcat的卸载和重装的实现(图文)

    在IT行业中,Tomcat是一款广泛使用的开源Web服务器和应用服务器,尤其在Java Web应用程序的部署上扮演着重要角色。本文将详细介绍如何卸载和重装Tomcat,以便于用户进行更新或解决安装问题。 首先,卸载Tomcat相对...

    基于PHP的内容管理系统的设计.pdf

    该系统采用Windows+A pache+MySQL+PHP配置方案,旨在提高网站的更新效率和管理便捷性。 关键技术点 1. CMS的概念和应用:内容管理系统(CMS)是一种基于模板的设计,可以加快网站开发速度,降低开发成本。CMS有很...

    pache-cxf-2.2.2

    Apache CXF是一个开源的Java框架,它主要用于构建和开发服务导向架构(SOA)和Web服务。CXF这个名字是"Combining eXtensible Frameworks"的缩写,表明它是多个优秀框架的融合体,旨在简化Web服务的开发和集成。在本...

    PACHE支持net

    Apache是世界上最流行的开源Web服务器软件,它以其稳定性和可扩展性而闻名。"PACHE支持net"这个标题可能指的是Apache与.NET框架的集成,允许在Apache服务器上运行ASP.NET应用程序。这种集成通常通过一个名为Mod_mono...

    Linux下tomcat多实例配置

    解压:tar xvf pache-tomcat-7.0.59.tar.gz.  解压后的文件夹中大致有7个文件夹:  bin (运行脚本)  conf (配置文件)  lib (核心库文件)  logs (日志目录)  temp (临时目录)  webapps (自动装载的...

    pache:从命令行在任何目录轻松启动 apache

    sudo npm install pache -g 运行: pache site-directory 2000 感谢StackOverflow上的朋友 到目前为止只在 Mac 上测试过,但同时你可以在 SO 上找到一个 Linux 脚本 阻止所有缓存:在 apache 服务器的根目录添加...

Global site tag (gtag.js) - Google Analytics