Apache和Tomcat均衡负载

最近公司的服务访问量不断提升，之前的一台应用服务压力比较大，在资源有限的情况下，做了个双机的负载集群。架构基本上是apache+tomcat+jk。

 

1.两台机器的server.xml配置文件(这里给出其中一台的部分配置)

 

    <!-- jvmRoute 设定为 tomcat1 -->

      <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">
      <!-- 使用集群SimpleTcpCluster-->
      <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">
      <!-- 复制session DeltaManager-->
      <Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false"
                     notifyListenersOnReplication="true"/>
      <!-- 设定组播 地址228.0.0.4 绑定接受IP 210.192.101.201-->
      <Channel className="org.apache.catalina.tribes.group.GroupChannel">
           <MemberShip className="org.apache.catalina.tribes.membership.McastService"
                       bind="210.192.111.101"
                       address="228.0.0.4"
                       port="45564"
                       frequency="500"
                       droptTime="3000"/>
           <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                     address="210.192.101.201"
                     port="4000"
                     autoBind="100"
                     seceltorTimeout="5000"
                     maxThreads="6"/>
           <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
               <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
           </Sender>
           <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
           <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
      </Channel>
      <!-- 设定过滤规则-->
      <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
        filter=".*\.gif;.*\.js;.*\.jpg;.*\.htm;.*\.html;.*\.txt;"/>
      <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
      <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
      <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
      </Cluster>

 

2. Apache要配置的文件比较多，有httpd.conf，uriworkermap_app1.properties，workers.properties，mod_jk.conf文件。

 

httpd.conf 中加入：

 

引入mod_jk时候，可以使用 
Include conf/mod_jk.conf 可以不使用全路径引入，方便管理。 

 

mod_jk.conf中加入：

 

 

############################################

 

#引入jk模块

LoadModule jk_module modules/mod_jk.so

 

#JkMountFile conf/uriworkermap.properties

 

#均衡负载的文件

JkWorkersFile conf/workers.properties

 

#JkShmFile     modules/mod_jk.shm

 

JkLogLevel    info

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

JkLogFile logs/mod_jk.log

 

# jkstaus 可以访问

JkMount /jkstatus status

############################################

 

 

uriworkermap_app1.properties中加入：

 

#支持查看jk状态

 

/jkstatus=jkstatus

#所有其它访问走tomcats1服务集群

/*=tomcats1

 

 

在apache的httpd-vhost.xml文件中要加上调用uriworkermap_app1.properties地方。

例如：

 

<VirtualHost *:7080>

    ServerName ***.com

    JkMountFile conf/uriworkermap_app1.properties

</VirtualHost>

 

 

 

最重要的一个文件workers.properties中加入：

 

 

############################################

#server 列表

worker.list=tomcats1,jkstatus

 

#========tomcat1========

worker.tomcat1.port=9109

worker.tomcat1.host=210.192.101.201

worker.tomcat1.type=ajp13

worker.tomcat1.lbfactor=1

worker.tomcat1.socket_keepalive=true

worker.tomcat1.socket_timeout=20

worker.tomcat1.connection_pool_size=1000

worker.tomcat1.connection_pool_minsize=250

worker.tomcat1.connection_pool_timeout=600

 

worker.tomcat5.port=9109

worker.tomcat5.host=210.192.101.200

worker.tomcat5.type=ajp13

worker.tomcat5.lbfactor=1

worker.tomcat5.socket_keepalive=true

worker.tomcat5.socket_timeout=20

worker.tomcat5.connection_pool_size=1000

worker.tomcat5.connection_pool_minsize=250

worker.tomcat5.connection_pool_timeout=600

 

worker.tomcats1.type=lb

worker.retries=3

worker.tomcats1.balance_workers=tomcat1,tomcat5

 

worker.tomcats1.sticky_session=1

 

#========监控 JK 本身的模块========

# Status worker for managing load balancer

worker.jkstatus.type=status

############################################

 

 

在这个文件中设置了worker.tomcats1.sticky_session=1，如果设为1，则表明为会话粘性，不进行会话复制，当某用户的请求第一次分发到哪台Tomcat后，后继的请求会一直分发到此Tomcat服务器上处理；如果设为0，则表明需求会话复制。这就是说，如果你要想进行均衡负载，并在192.168.1.5和192.168.1.3两台机器的Tomcat实例上实现集群全局session复制，此处值要设置成0。 

使用全局session复制并发量比较高时对服务器的压力很大。最好的办法还是把session保存到数据库中或是放在缓存中例如memcache中。

 

遇到的问题：

 

1.如果使用全局session复制，在启动tomcat服务时报错误：

 

Manager [localhost#]: skipping state transfer. No members active in cluster group.

 

是因为在window下组播功能自动打开，linux下组播要手动设置。

 

2.在linux下防火墙要对45564和4000的开放，不然组播也收不到。