Apache2.2+Tomcat6配置集群、负载均衡、session复制随笔

  一直以来都在javaeye潜水，得到了很多人的经验分享，这两天在学习tomcat配置集群的过程中，积累了一点东西觉得应该与大家分享。关于Tomcat和Apache的连接方式，请参阅 http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html。详细的配置过程，不再重复描述,请先看看罗代均http://hi.baidu.com/luodaijun/blog/item/5bbe4cfb5ffef864034f56a1.html，我把配置过程中几个不同和关键的地方重点提出来。
软件版本有所不同，罗列如下：
Apache  :apache_2.2.11-win32-x86-openssl-0.9.8i.msi 1个
Tomcat:  apache-tomcat-6.0.14.zip  2个
mod_jk: mod_jk-1.2.27-httpd-2.2.10.so 1个
  我准备了两台机器，192.1168.1.5 192.168.1.3，你也可以在一台机器上进行测试。
把apache和tomcat安装好以后，配置过程中有如下一些地方改动或者改进。
2.修改Apache配置文件http.conf
引入mod_jk时候，可以使用
Include conf/mod_jk.conf 可以不使用全路径引入，方便管理。
3.在http.conf同目录下新建 workers.properties文件，内容如下

#========tomcat1========
worker.tomcat1.port=8009         #ajp13 端口号，在tomcat下server.xml配  置,默认8009
worker.tomcat1.host=localhost  #tomcat的主机地址，如不为本机，请填写ip地址
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor = 1   #server的加权比重，值越高，分得的请求越多

#========tomcat2========
worker.tomcat2.port=9009       #ajp13 端口号，在tomcat下server.xml配置,
worker.tomcat2.host=192.168.1.3 #tomcat的主机地址，如不为本机，请填写ip地址
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor = 1   #server的加权比重，值越高，分得的请求越多
#========controller,负载均衡控制器========
worker.controller.type=lb
worker.controller.balanced_workers=tomcat1,tomcat2   #指定分担请求的tomcat
worker.controller.sticky_session=false #worker.controller.sticky_session=1

以上要说明的是原文中worker.controller.sticky_session=1,等同于worker.controller.sticky_session=true.此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制，当某用户的请求第一次分发到哪台Tomcat后，后继的请求会一直分发到此Tomcat服务器上处理；如果设为false，则表明需求会话复制。这就是说，如果你要想进行均衡负载，并在192.168.1.5和192.168.1.3两台机器的Tomcat实例上实现集群全局session复制，此处值要设置成false。
第二部分，配置集群
 

把server.xml中注释部分
<!--   <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>-->
替换如下cluster配置内容:
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">
          <!--  
		  
		  <Manager className="org.apache.catalina.ha.session.BackupManager"
					expireSessionsOnShutdown="false"
					notifyListenersOnReplication="true"
					mapSendOptions="8"/> -->
		  <!--   -->
          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>
            <!-- timeout="60000"-->
            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
         <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>    

按罗君一文配置完后，请分别启动两个tomcat（启动一个tomcat，等它完全启动后，再启动另外一个tomcat），再启动apache。启动完成后，其中一个tomcat的控制台信息片段如下：

2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager start
??: [color=red]Starting clustering manager at
2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager getAllClusterSess
ions
??: Manager [localhost#], requesting session state from org.apache.catalina.tr
ibes.membership.MemberImpl[tcp://3645A51F0B7E4CA:4001,3645A51F0B7E4CA,4001, aliv
e=29031,id={112 55 65 24 117 66 68 118 -122 -5 -53 2 -35 -90 -8 -95 }, payload={
}, command={}, domain={}, ]. This operation will timeout if no session state has
 been received within 60 seconds.[/color]2009-1-28 14:47:12 org.apache.catalina.tribes.group.interceptors.ThroughputInter
ceptor report
??: ThroughputInterceptor Report[
        Tx Msg:1 messages
        Sent:0.00 MB (total)
        Sent:0.00 MB (application)
        Time:0.02 seconds
        Tx Speed:0.03 MB/sec (total)
        TxSpeed:0.03 MB/sec (application)
        Error Msg:0
        Rx Msg:1 messages
        Rx Speed:0.00 MB/sec (since 1st msg)
        Received:0.00 MB]

2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager waitForSendAllSes
sions
??: Manager [localhost#]; session state send at 09-1-28 ??2:47 received in 2
65 ms.
2009-1-28 14:47:12 org.apache.catalina.ha.session.JvmRouteBinderValve start
??: JvmRouteBinderValve started
2009-1-28 14:47:12 org.apache.coyote.http11.Http11Protocol start
??: Starting Coyote HTTP/1.1 on http-8000
2009-1-28 14:47:12 org.apache.jk.common.ChannelSocket init
??: JK: ajp13 listening on /0.0.0.0:8009
2009-1-28 14:47:12 org.apache.jk.server.JkMain start
??: Jk running ID=0 time=0/31  config=null
2009-1-28 14:47:12 org.apache.catalina.startup.Catalina start
??: Server startup in 2818 ms

红色部分显示了当前配置使用的className="org.apache.catalina.ha.session.DeltaManager"是一个全局session复制使用的控制器，把session在集群的所有tomcat进行复制。而在大型系统中使用全局session复制是不合适的，应该使用className="org.apache.catalina.ha.session.BackupManager"实现tomcat配对session复制，如tomcat1和tomcat2配对时，在workers.properties中配置实现tomcat2作为tomcat1的后备，当tomcat1当掉时候tomcat2接受发给tomcat1的请求和session内容。详情请参考tomcat的官方workers.properties configuration说明。
   测试负载均衡与session复制时候，可以在界面上和tomcat后台看到。

  其中一个tomcat后台打印片段，另外一个没有拷贝下来，省略。

2009-1-28 14:47:12 org.apache.catalina.ha.session.JvmRouteBinderValve start
??: JvmRouteBinderValve started
2009-1-28 14:47:12 org.apache.coyote.http11.Http11Protocol start
??: Starting Coyote HTTP/1.1 on http-8000
2009-1-28 14:47:12 org.apache.jk.common.ChannelSocket init
??: JK: ajp13 listening on /0.0.0.0:8009
2009-1-28 14:47:12 org.apache.jk.server.JkMain start
??: Jk running ID=0 time=0/31  config=null
2009-1-28 14:47:12 org.apache.catalina.startup.Catalina start
??: Server startup in 2818 ms
55 = 55
gg = gg
44 = 44
55 = 55
gg = gg
11 = 11
77 = 77

评论

8 楼 yzhw 2011-02-24  

这个好象不是apache2.2，2.2里包括了mj

7 楼 javacool_zhou 2009-07-23  

小弟也在学习中。。。。

6 楼 vissul 2009-03-29  

那配置apache的那台服务器要是挂了该怎么处理呢？

5 楼 lxiaodao 2009-02-18  

第一点说得不准确,调整一下.
(1)不考虑session复制,比如就使用两台机器Tomcat1和Tomcat2作为负载,分担处理发送来的请求.
session复制在多个机器间执行肯定会对效率有一定影响.

4 楼 lxiaodao 2009-02-18  

关键是看你的应用规模需要实现什么样的集群,有没有必要集群.
分担访问压力和灾难出现时候,怎么处理,不同的情况下肯定有不同的考虑.
(1)不考虑灾难,比如就使用两台机器Tomcat1和Tomcat2作为负载,分担处理发送来的请求.
(2)侧重考虑灾难情况,omcat2作tomcat1的后备,在tomcat1当机的时候将请求以及session传到tomcat2,这样做到了提供完整服务.
大的集群,我觉得有这样的方案
  tomcat1->tomcat2(后备)
  tomcat3->tomcat4(后备)
spiritfrog兄说的(2)方式是不是集群这个不重要,重要的是在实际情况下会选用什么样的方式.
如果使用缓存替换掉session,那么就根本不考虑把session在各个点复制来复制去,而是通过缓存来统一.
我在集群方面的知识也在学习摸索中,欢迎大家交流.

3 楼 spiritfrog 2009-02-01  

我按照 罗代均http://hi.baidu.com/luodaijun/blog/item/5bbe4cfb5ffef864034f56a1.html
的说明， 在本地的两台tomcat5.5上实现了集群和session复制。
但一开始是用的一个tomcat6和一个tomcat5.5， 是无法实现集群的， 按照错误来看，估计是McastService的实现不同，有不兼容。

2 楼 whaosoft 2009-02-01  

这是集群吗 感觉就象是 和raid一样的效果是的 都是备份东西

1 楼 spiritfrog 2009-02-01  

有一点不明：
既然是tomcat2作tomcat1的备份，在tomcat1当机的时候将请求以及session传到tomcat2，这种方式又怎能叫做集群呢？