Apache和Tomcat实现负载均衡及Session绑定

集群背景介绍
1.1 术语定义
  服务软体是b/s或c/s结构的s部分，是为b或c提供服务的服务性软件系统。
  服务硬体指提供计算服务的硬件、比如pc机、pc服务器。
  服务实体通指服务软体和服务硬体。
  客户端指接受服务实体服务的软件或硬件。
1.2 两大关键特性
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：

    * 可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
    * 高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。

1.3 能力
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：
    * 错误恢复
     由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。标识系统是否一直能够同预期一样稳健地运行。一旦往系统中添加新的组件，系统的可靠性就容易得到破坏。可靠性就是指系统即使出现故障，都能够保证业务的稳健运行。容错是可靠性系统重要特征。
    *失效转移（Fail-Over）
失效转移是集群中实现可用性的一个重要技术。在集群中，当某个节点失效，服务可以转移到其他节点完成处理。这种转移可以通过硬件或软件实现。
    *负载均衡（Load Balance）
负载均衡是指通过一定的算法将请求合理分配到集群中多个节点，从而达到优化整个系统性能的作用。
    *会话粘滞（Session Stick）
会话粘滞是指在负载均衡模式下，用户的请求每次都被发送到第一次处理该请求的服务器上。这样可以避免集群中会话的频繁复制，提升集群的性能。
    *幂等性（Idempotent）
幂等性是指重复使用同样的参数调用同一方法时总能获得同样的结果。比如对同一资源的GET请求访问结果都是一样的。

负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。

1.4 两大技术

实现集群务必要有以下两大技术：

    * 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
    * 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。

具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。

集群配置



      从上图可知，由服务实体1、服务实体2和负载均衡器组成了一个集群。服务实体1和服务实体2参与对客户端的服务支持工作，均衡负载器为客户端维护集群的单一影像。集群实体间通过内部的通信网交流信息，这种交流机制一般采用组播协议。负载均衡器通过内部通信网探测各服务实体的心跳信息，服务实体间通过内部通信网完成任务资源的传播。可以看出，配置集群主要由配置服务实体和配置负载均衡器两部分组成。本文使用apache-tomcat-5.5.33、apache 2.2.17配置集群环境。

2.1 准备软件

    * tomcat是开源服务器，下载地点 http://tomcat.apache.org/download-55.cgi；(本文使用的apache-tomcat-5.5.53.zip)
    * apache是开源的www服务器，下载地点 http://httpd.apache.org/download.cgi；(本文使用的apache_2.2.17-win32-x86-no_ssl.msi)
    * jk2模块,jk 是mod_jserv的替代者，它是Tomcat-Apache插件，处理Tomcat和Apache之间的通信，在集群配置中充当负载均衡器的作用。JK2是符合apache 2.x系列的新品，下载地址 http://tomcat.apache.org/download-connectors.cgi。(本文使用的mod_jk-1.2.31-httpd-2.2.3.so)

2.2 配置负载均衡器

在apache下配置负载均衡器分为三步，注意每次修改httpd.conf和workers.properties时不要忘了重新启动apache。

    * 第一步，安装和调试apache
      负载均衡器jk2模块是apache www 服务的插件，所以配置负载均衡器就得先安装apache。本文下载的是windows版本 2.2.17，执行msi并回答一些简单问题就可完成apache的任务。值得注意的是，安装并启动apache后如果apache对http://localhost/ 地址没反应，你得修改apache安装路径下htdocs目录下的index.html.xx文件，比如把index.html.en改成index.html。
      
    * 第二步，安装jk2
      把下载的mod_jk-1.2.31-httpd-2.2.3.so改名为 mod_jk2.so 放到apache的modules目录下，修改apache的conf目录下的httpd.conf，在文件最后加入一行include conf\mod_jk2.conf，在conf目录下创建mod_jk2.conf文件，内容如下：

# Load mod_jk2 module
LoadModule jk_module modules/mod_jk2.so


# Where to find workers.properties
JkWorkersFile conf/workers.properties


# Where to put jk logs
JkLogFile logs/mod_jk2.log


# Set the jk log level [debug/error/info]
JkLogLevel info


# Select the log format
JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "


# JkOptions indicate to send SSL KEY SIZE,
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories


# JkRequestLogFormat set the request format
JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer
JkMount /*.jsp loadBalancer

      
    * 第三步，配置jk2
      jk2的配置全在一个配置文件中，文件名为workers.properties，和apache 的httpd.conf放在同一个目录下。以下是这个文件的内容：
      如果测试客户机是在同一台机器上：

#
# workers.properties
#

# list the workers by name

worker.list=tomcat1, tomcat2, loadBalancer

# ------------------------
# First tomcat server
# ------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=192.168.5.146
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=100


# ------------------------
# Second tomcat server
# ------------------------
worker.tomcat2.port=9009
worker.tomcat2.host=192.168.5.146
worker.tomcat2.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat2.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat2.lbfactor=100


# ------------------------
# Load Balancer worker
# ------------------------

#
# The loadbalancer (type lb) worker performs weighted round-robin
# load balancing with sticky sessions.
# Note:
# ----> If a worker dies, the load balancer will check its state
# once in a while. Until then all work is redirected to peer
# worker.
worker.loadBalancer.type=lb
worker.loadBalancer.balanced_workers=tomcat1, tomcat2

#
# END workers.properties
#
      如果测试客户机是在不同机器上：
#
# workers.properties
#

# list the workers by name

worker.list=tomcat1, tomcat2, loadBalancer
# ------------------------
# First tomcat server
# ------------------------
 worker.tomcat1.port=8009
worker.tomcat1.host=192.168.0.107
worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat1.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat1.lbfactor=100

# ------------------------
# Second tomcat server
# ------------------------
worker.tomcat2.port=8009
worker.tomcat2.host=192.168.0.163
worker.tomcat2.type=ajp13

# Specify the size of the open connection cache.
#worker.tomcat2.cachesize

#
# Specifies the load balance factor when used with
# a load balancing worker.
# Note:
# ----> lbfactor must be > 0
# ----> Low lbfactor means less work done by the worker.
worker.tomcat2.lbfactor=100


# ------------------------
# Load Balancer worker
# ------------------------

#
# The loadbalancer (type lb) worker performs weighted round-robin
# load balancing with sticky sessions.
# Note:
# ----> If a worker dies, the load balancer will check its state
# once in a while. Until then all work is redirected to peer
# worker.
worker.loadBalancer.type=lb
worker.loadBalancer.balanced_workers=tomcat1, tomcat2

#
# END workers.properties
#

      
      对于jk2模块的负载均衡配置可参见相关站点，值得提的是jk2的负载均衡还支持权重分配等优秀功能。

测试：

在跑tomcat1实例的机器的 webapps/testGroup 测试项目目录生成如下内容的index.jsp文件:(设置session)
代码如下：

<% 
   System.out.println("===========================");
   System.out.println(session.getAttribute("test"));
   session.setAttribute("test","Session");
%>

<html>
  <body bgcolor="red">
    <center>
    <h1>Tomcat 1</h1>
  </body>
</html>

同理，在跑tomcat2实例的机器的 webapps/testGroup 测试项目目录生成如下内容的index.jsp文件:
Jsp代码 复制代码

<% 
   System.out.println("===========================");
   System.out.println(session.getAttribute("test"));
%>

<html>
  <body bgcolor="blue">
    <center>
    <h1>Tomcat 2</h1>
  </body>
</html>

启动Tomcat1, Tomcat2 和Apache服务（测试客户机不在同一机器上情况）

Apache服务器ip:192.168.0.105
Tomcat1服务器ip:192.168.0.107
Tomcat2服务器ip:192.168.0.163

首先验证Apache服务器的静态页面是否正常，访问:http://192.168.0.105/(若局域网内不能访问请检查防火墙设置)
验证tomcat和apache配置提供负载均衡，用不同的终端访问:http://192.168.0.105/testGroup/index.jsp
如果你看到红色的页面，表示为tomcat1 服务器返回的，
如果你看到兰色的页面，表示为tomcat2 服务器返回的。

2.3 配置tomcat（绑定session）

同属于一个集群下的两个服务实体，要求功能的同一性，所以我们可先安装和配置第一个tomcat，接着拷贝形成第二个tomcat，最后配置第二个tomcat。

2.3.1修改tomcat1, tomcat2的server.xml

2.3.1.1 修改 <Engine /> 标签

在跑第一个tomcat实例的机器上，在大约第140行(去掉注释), 如有
<Engine name="Standalone" defaultHost="localhost" debug="0">
替换为:
<Engine jvmRoute="tomcat1" name="Standalone" defaultHost="192.168.0.105" debug="0" />
对跑第二个tomcat实例的机器上，替换为 jvmRoute="tomcat2".
Xml代码 复制代码
<!-- You should set jvmRoute to support load-balancing via AJP ie :
<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm1">
-->
<Engine jvmRoute="tomcat2" name="Standalone" defaultHost="192.168.0.105" debug="0" />


有的文档写得是在配置中加入一行<Engine jvmRoute="tomcat1" name="Standalone" defaultHost="localhost" debug="0"></Engine>,其实是不对的，这样负载均衡是没有问题的，但是不能做session绑定，也就是说同一用户会在两台服务器上跳来跳去。这是由于jvmRoute不正确引起的，因为如果只是加入一行的话，是没有什么作用的，Engine仍然是原来的 Engine，而原来的Engine中jvmRoute是不正确的，所以一定要替换。而且这个jvmRoute一定要跟 workers.properties 中的名称完全匹配，否则也不能实现session绑定.



2.3.1.2 修改 <Cluster /> 标签

将<Cluster />标签注释去掉，代码如下：
Xml代码：

<Cluster>参照tomcat中server.xml配置....</Cluster>

2.3.2修改testGroup测试项目中的web.xml
在web.xml加入 <distributable/>  即可
Xml代码：

<?xml version="1.0" encoding="ISO-8859-1"?>

<web-app xmlns="http://java.sun.com/xml/ns/javaee"
   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
   version="2.5"> 

	<display-name>TomcatDemo</display-name>
	<distributable/>
	
</web-app>

重启apache,tomcat1,tomcat2

用不同的终端访问:http://192.168.0.105/testGroup/index.jsp

可以看到Tomcat终端不再打印null，一方设置session双方都打印出session，实现session共享。
注：本人通过修改tomcat冲突端口在一台机器上使用apache和2个tomcat完成集群配置测试，上文中也提供了使用本机+2台虚拟机共3台电脑完成集群配置。

评论

4 楼 zhoushuping 2011-04-07  

cnlw1985 写道

楼主，我的tomcat一启动，就报这个错

java.lang.ClassNotFoundException: org.apache.catalina.cluster.tcp.SimpleTcpCluster

是怎么回事？

你的tomcat版本是多少，然后到tomcat目录的server/lib包看看有没有catalina-cluster.jar这个jar包

3 楼 zhoushuping 2011-04-07  

cnlw1985 写道

另外：<Cluster>
</Cluster>
这中间的一段代码是在
<Engine jvmRoute="tomcat2" name="Standalone" defaultHost="192.168.0.105" debug="0" />
里面包括的吗？如果是，请将/去掉，不然的话报错，另debug="0"，好像不认识，我用的是tomcat6.0.32.

这段代码是在Cluster之外的，我测试使用的为tomcat-5.5.33版本，6.0的需要再做测试

2 楼 cnlw1985 2011-04-06  

另外：<Cluster>
</Cluster>
这中间的一段代码是在
<Engine jvmRoute="tomcat2" name="Standalone" defaultHost="192.168.0.105" debug="0" />
里面包括的吗？如果是，请将/去掉，不然的话报错，另debug="0"，好像不认识，我用的是tomcat6.0.32.

1 楼 cnlw1985 2011-04-06  

楼主，我的tomcat一启动，就报这个错

java.lang.ClassNotFoundException: org.apache.catalina.cluster.tcp.SimpleTcpCluster

是怎么回事？