Apache tomcat 负载均衡

结构图

 

项目一般直接用Tomcat作为Web服务器。为了增加tomcat的性能和稳定性，我们一般采用balance和session同步机制。 下图列出了我们常用也是最简单的解决方案。

 

分层说明

 

 

1 balance

 

• 负载均衡我们一般采用Apache proxy和Apache＋mod_jk方式

 

1.1 proxy方案

 

• 修改apache的 httpd.conf配置
• 打开代理所需要的.so支持模块，在httpd.conf里面，取消下面四行的注释：并添加下面代码。

•  

  LoadModule proxy_module modules/mod_proxy.so 
  
  LoadModule proxy_connect_module modules/mod_proxy_connect.so 
  
  LoadModule proxy_http_module modules/mod_proxy_http.so 
  
  NameVirtualHost *:80 
  
  <VirtualHost *:80> 
  
  ServerName www.aaa.com 
  
  ProxyPass / http:// www.aaa.com:8080/ 
  
  ProxyPassReverse / http:// www.aaa.com:8080/ 
  
  </VirtualHost> <VirtualHost *:80> 
  
  ServerName oa.aaa.com 
  
  ProxyPass / http:// oa.aaa.com:8080/ 
  
  ProxyPassReverse / http:// oa.aaa.com:8080/ 
  
  </VirtualHost> <VirtualHost *:80> 
  
  ServerName sales.aaa.com 
  
  ProxyPass / http://sales.aaa.com:8081/ 
  
  ProxyPassReverse / http://sales.aaa.com:8081/ 
  
  </VirtualHost> 
  
  

   

• 1.2 mod_proxy_balancer方案

 

• mod_proxy_balancer是mod_proxy的扩展，提供负载平衡支持，通过mod_proxy_balancer.so包实现负载平衡，公司生产服务器暂时就采用这种方式。

简单配置如下

 

 

 

ProxyPass / balancer://proxy/ #注意这里以"/"结尾 

<Proxy balancer://proxy> 

BalancerMember http://192.168.6.37:6888/ loadfactor=3 #BalancerMember 及其后面的URL表示要配置的后台服务器 

BalancerMember http://192.168.6.38:6888/ loadfactor=1 #参数”loadfactor”表示后台服务器负载到由Apache发送请求的权值,该值默认为1 

</Proxy> 

 

这种方式可以实现三种策略

1) 轮询均衡策略的配置 2) 按权重分配均衡策略的配置 3) 权重请求响应负载均衡策略的配置

 

 

1.3 mod_jk方案

 

• mod_jk是比较专门针对Tomcat的方法，通过AJP协议连接Tomcat

• 1)需要下载mod_jk-1.2.23-apache-2.2.x-linux-i686.so包并放到Apache安装目录下的modules子目录中

• 2)然后配置mod_jk.conf
• 3)配置workers2.properties
• 注意因为mod_jk2方式不被推荐，mod_jk2已经不再被更新了。

 

proxy和mod_jk的比较

 

• proxy的缺点是，当其中一台tomcat停止运行的时候，apache仍然会转发请求过去，导致502网关错误。但是只要服务器再启动就不存在这个问题。
• mod_jk方式的优点是，Apache 会自动检测到停止掉的tomcat，然后不再发请求过去。
• 缺点就是，当停止掉的tomcat服务器再次启动的时候，Apache检测不到，仍然不会转发请求过去。
• proxy和mod_jk的共同优点是.可以只将Apache置于公网，节省公网IP地址资源。
• 可以通过设置来实现Apache专门负责处理静态网页，让Tomcat专门负责处理jsp和servlet等动态请求。
• 共同缺点是：如果前置Apache代理服务器停止运行，所有集群服务将无法对外提供。
• proxy和mod_jk对静态页面请求的处理，都可以通设置来选取一个尽可能优化的效果。
• mod_proxy_balancer和mod_jk都需要修改tomcat的配置文件配合

• <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

• 这三种Tomcat集群方式对实现最佳负载均衡都有一定不足，mod_proxy_balancer和mod_jk相对好些，mod_jkd的设置能力更强些。lbfactor参数来分配请求任务。

 

2 session同步

 

• 对于tomcat的集群有两种方式，这个主要是针对session而言的。一种就是sticky模式，即黏性会话模式；另外一种就是session复制模式了。

 

2.1 sticky模式

 

• 利用负载均衡器的sticky模式的方式把所有同一session的请求都发送到相同的Tomcat节点。这样不同用户的请求就被平均分配到集群中各个tomcat节点上，实现负载均衡的能力。这样做的缺点是没有灾难恢复的能力。一旦一个节点发生故障，这个节点上所有的session信息全部丢失；
• 这种方式其实是由前端balancer实现的，基本不需要webServer做任何改动（只需要修改jvmRoute="tomcat1"）
• 同一用户同一session只和一个webServer交互，一旦这个webserver发生故障，本次session将丢失，用户不能继续使用

 

2.2 复制模式

 

• 利用Tomcat session复制的机制使得所有session在所有Tomcat节点中保持一致。当一个节点修改一个session数据的时候，该节点会把这个 session的所有内容序列化，然后广播给所有其它节点。这样当下一个用户请求被负载均衡器分配到另外一个节点的时候，那个节点上有完备的 session信息可以用来服务该请求。这种做法的问题是对session哪怕有一点点修改，也要把整个sessions数据全部序列化（serialize），还要广播给集群中所有节点，不管该节点到底需不需要这个session。这样很容易会造成大量的网络通信，导致网络阻塞。一般采用这种方式，当Tomcat节点超过4个时候，整个集群的吞吐量就不能再上升了；
• 此方式是通过tomcat本身提供的功能，只需要修改server.xml文件

• （1）修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

• （2）去掉<Cluster> <\Cluster> 的注释符

• （3）web.xml中增加 <distributable/>

 

2.3 Terracotta模式

 

• 另一种方式就是利用开源软件Terracotta。Terracotta的基本原理是对于集群间共享的数据，当在一个节点发生变化的时候，Terracotta只把变化的部分发送给Terracotta服务器，然后由服务器把它转发给真正需要这个数据的节点。这样对网络的压力就非常小，各个节点也不必浪费CPU时间和内存进行大量的序列化操作。把这种集群间数据共享的机制应用在session同步上，相当于对tomcat第二种集群实现机制进行了优化，既避免了对数据库的依赖，又能达到负载均衡和灾难恢复的效果。在对比测试中，采用Terracotta搭建Tomcat集群，节点达到8个时候，整个集群的吞吐量还一直是线性增长的。
• 详细的安装配置见附件

 

2.4 三种模式比较

 

• sticky模式最大的缺点就是不支持failover，一旦某一个webServer发生故障则此节点上的session就会丢失，因此不建议使用。
• 复制模式可以保证个别节点发生故障不丢失session，但是复制时需要序列化数据这会影响到系统的性能。
• 另外性能随着服务器增加急剧下降，而且容易引起广播风暴。经测试当Tomcat节点超过4个时候，整个集群的吞吐量就不能再上升了。
• 需要修改server.xml和web.xml文件
• 使用第三方软件Terracotta进行session同步，配置对原来的web应用完全透明，原有程序不用做任何修改。。
• 数据不需要序列化，也不占用webServer的内存，执行效率高。
• terracotta本身支持HA，增加了系统的稳定性。
• Terracotta是开源的，并且可以集成在很多主流的开源软件中，如Jetty、Tomcat、Spring、Geronimo和EHCache等。