集群的负载均衡技术

前言

当前，无论在企业网、园区网还是在广域网如Internet上，业务量的发展都超出了过去最乐观的估计，上网热潮风起云涌，新的应 用层出不穷，即使按照当时最优配置建设的网络，也很快会感到吃不消。尤其是各个网络的核心部分，其数据流量和计算强度之大， 使得单一设备根本无法承担，而如何在完成同样功能的多个网络设备之间实现合理的业务量分配，使之不致于出现一台设备过忙、而 别的设备却未充分发挥处理能力的情况，就成了一个问题，负载均衡机制也因此应运而生。

负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高 网络的灵活性和可用性。它主要完成以下任务：解决网络拥塞问题，服务就近提供，实现地理位置无关性 ；为用户提供更好的访问质 量；提高服务器响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失效。

定义

其实，负载均衡并非传统意义上的“均衡”，一般来说，它只是把有可能拥塞于一个地方的负载交给多个地方分担。如果将其改 称为“负载分担”，也许更好懂一些。说得通俗一点，负载均衡在网络中的作用就像轮流值日制度，把任务分给大家来完成，以免让 一个人累死累活。不过，这种意义上的均衡一般是静态的，也就是事先确定的“轮值”策略 。

与轮流值日制度不同的是，动态负载均衡通过一些工具实时地分析数据包，掌握网络中的数据流量状况，把任务合理分配出去。 结构上分为本地负载均衡和地域负载均衡(全局负载均衡)，前一种是指对本地的服务器集群做负载均衡，后一种是指对分别放置在不 同的地理位置、在不同的网络及服务器群集之间作负载均衡。

服务器群集中每个服务结点运行一个所需服务器程序的独立拷贝，诸如Web、FTP、Telnet或e-mail服务器程序。对于某些服务（如 运行在Web服务器上的那些服务）而言，程序的一个拷贝运行在群集内所有的主机上，而网络负载均衡则将工作负载在这些主机间进 行分配。对于其他服务（例如e-mail），只有一台主机处理工作负载，针对这些服务，网络负载均衡允许网络通讯量流到一个主机 上，并在该主机发生故障时将通讯量移至其他主机。

负载均衡技术实现结构

在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的 灵活性和可用性。它主要完成以下任务：

◆解决网络拥塞问题，服务就近提供，实现地理位置无关性

◆为用户提供更好的访问质量

◆提高服务器响应速度

◆提高服务器及其他资源的利用效率

◆避免了网络关键部位出现单点失效

广义上的负载均衡既可以设置专门的网关、负载均衡器，也可以通过一些专用软件与协议来实现。对一个网络的负载均衡应用， 从网络的不同层次入手，根据网络瓶颈所在进行具体分析。从客户端应用为起点纵向分析，参考OSI的分层模型，我们把负载均衡技 术的实现分为客户端负载均衡技术、应用服务器技术、高层协议交换、网络接入协议交换等几种方式。

负载均衡的层次

◆基于客户端的负载均衡

这种模式指的是在网络的客户端运行特定的程序，该程序通过定期或不定期的收集服务器群的运行参数：CPU占用情况、磁盘 IO、内存等动态信息，再根据某种选择策略，找到可以提供服务的最佳服务器，将本地的应用请求发向它。如果负载信息采集程序发 现服务器失效，则找到其他可替代的服务器作为服务选择。整个过程对于应用程序来说是完全透明的，所有的工作都在运行时处理。 因此这也是一种动态的负载均衡技术。

但这种技术存在通用性的问题。因为每一个客户端都要安装这个特殊的采集程序；并且，为了保证应用层的透明运行，需要针对 每一个应用程序加以修改，通过动态链接库或者嵌入的方法，将客户端的访问请求能够先经过采集程序再发往服务器，以重定向的过 程进行。对于每一个应用几乎要对代码进行重新开发，工作量比较大。

所以，这种技术仅在特殊的应用场合才使用到，比如在执行某些专有任务的时候，比较需要分布式的计算能力，对应用的开发没 有太多要求。另外，在采用JAVA构架模型中，常常使用这种模式实现分布式的负载均衡，因为java应用都基于虚拟机进行，可以在应 用层和虚拟机之间设计一个中间层，处理负载均衡的工作。

◆应用服务器的负载均衡技术

如果将客户端的负载均衡层移植到某一个中间平台，形成三层结构，则客户端应用可以不需要做特殊的修改，透明的通过中间层 应用服务器将请求均衡到相应的服务结点。比较常见的实现手段就是反向代理技术。使用反向代理服务器，可以将请求均匀转发给多 台服务器，或者直接将缓存的数据返回客户端，这样的加速模式在一定程度上可以提升静态网页的访问速度，从而达到负载均衡的目 的。

使用反向代理的好处是，可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能。然而它本身也存在一些问 题，首先就是必须为每一种服务都专门开发一个反向代理服务器，这就不是一个轻松的任务。

反向代理服务器本身虽然可以达到很高效率，但是针对每一次代理，代理服务器就必须维护两个连接，一个对外的连接，一个对 内的连接，因此对于特别高的连接请求，代理服务器的负载也就非常之大。反向代理能够执行针对应用协议而优化的负载均衡策略， 每次仅访问最空闲的内部服务器来提供服务。但是随着并发连接数量的增加，代理服务器本身的负载也变得非常大，最后反向代理服 务器本身会成为服务的瓶颈。

◆基于域名系统的负载均衡

NCSA的可扩展Web是最早使用动态DNS轮询技术的web系统。在DNS中为多个地址配置同一个名字，因而查询这个名字的客户机将 得到其中一个地址，从而使得不同的客户访问不同的服务器，达到负载均衡的目的。在很多知名的web站点都使用了这个技术：包括 早期的yahoo站点、163等。动态DNS轮询实现起来简单，无需复杂的配置和管理，一般支持bind8.2以上的类unix系统都能够运行，因 此广为使用。

DNS负载均衡是一种简单而有效的方法，但是存在不少问题。

首先域名服务器无法知道服务结点是否有效，如果服务结点失效，余名系统依然会将域名解析到该节点上，造成用户访问失效。

其次，由于DNS的数据刷新时间TTL（Time to LIVE）标志，一旦超过这个TTL，其他DNS服务器就需要和这个服务器交互，以重 新获得地址数据，就有可能获得不同IP地址。因此为了使地址能随机分配，就应使TTL尽量短，不同地方的DNS服务器能更新对应的 地址，达到随机获得地址。然而将TTL设置得过短，将使DNS流量大增，而造成额外的网络问题。

最后，它不能区分服务器的差异，也不能反映服务器的当前运行状态。当使用DNS负载均衡的时候，必须尽量保证不同的客户计 算机能均匀获得不同的地址。例如，用户A可能只是浏览几个网页，而用户B可能进行着大量的下载，由于域名系统没有合适的负载策 略，仅仅是简单的轮流均衡，很容易将用户A的请求发往负载轻的站点，而将B的请求发往负载已经很重的站点。因此，在动态平衡特 性上，动态DNS轮询的效果并不理想。

◆高层协议内容交换技术

除了上述的几种负载均衡方式之外，还有在协议内部支持负载均衡能力的技术，即URL交换或七层交换，提供了一种对访问流量 的高层控制方式。Web内容交换技术检查所有的HTTP报头，根据报头内的信息来执行负载均衡的决策。例如可以根据这些信息来确定 如何为个人主页和图像数据等内容提供服务，常见的有HTTP协议中的重定向能力等。

HTTP运行于TCP连接的最高层。客户端通过恒定的端口号80的TCP服务直接连接到服务器，然后通过TCP连接向服务器端发送一个 HTTP请求。协议交换根据内容策略来控制负载，而不是根据TCP端口号，所以不会造成访问流量的滞留。

由于负载平衡设备要把进入的请求分配给多个服务器，因此，它只能在TCP连接时建立，且HTTP请求通过后才能确定如何进行负 载的平衡。当一个网站的点击率达到每秒上百甚至上千次时，TCP连接、HTTP报头信息的分析以及进程的时延已经变得很重要了，要 尽一切可能提高这几各部份的性能。

在HTTP请求和报头中有很多对负载平衡有用的信息。我们可以从这些信息中获知客户端所请求的URL和网页，利用这个信息，负 载平衡设备就可以将所有的图像请求引导到一个图像服务器，或者根据URL的数据库查询内容调用CGI程序，将请求引导到一个专用 的高性能数据库服务器。

如果网络管理员熟悉内容交换技术，他可以根据HTTP报头的cookie字段来使用Web内容交换技术改善对特定客户的服务，如果能 从HTTP请求中找到一些规律，还可以充分利用它作出各种决策。除了TCP连接表的问题外，如何查找合适的HTTP报头信息以及作出 负载平衡决策的过程，是影响Web内容交换技术性能的重要问题。如果Web服务器已经为图像服务、SSL对话、数据库事务服务之类的 特殊功能进行了优化，那么，采用这个层次的流量控制将可以提高网络的性能。

◆网络接入协议交换

大型的网络一般都是由大量专用技术设备组成的，如包括防火墙、路由器、第3、4层交换机、负载均衡设备、缓冲服务器和Web 服务器等。如何将这些技术设备有机地组合在一起，是一个直接影响到网络性能的关键性问题。现在许多交换机提供第四层交换功 能，对外提供一个一致的IP地址，并映射为多个内部IP地址，对每次TCP和UDP连接请求，根据其端口号，按照即定的策略动态选择 一个内部地址，将数据包转发到该地址上，达到负载均衡的目的。很多硬件厂商将这种技术集成在他们的交换机中，作为他们第四层 交换的一种功能来实现，一般采用随机选择、根据服务器的连接数量或者响应时间进行选择的负载均衡策略来分配负载。由于地址转 换相对来讲比较接近网络的低层，因此就有可能将它集成在硬件设备中，通常这样的硬件设备是局域网交换机。

当前局域网交换机所谓的第四层交换技术，就是按照IP地址和TCP端口进行虚拟连接的交换，直接将数据包发送到目的计算机的 相应端口。通过交换机将来自外部的初始连接请求，分别与内部的多个地址相联系，此后就能对这些已经建立的虚拟连接进行交换。 因此，一些具备第四层交换能力的局域网交换机，就能作为一个硬件负载均衡器，完成服务器的负载均衡。

由于第四层交换基于硬件芯片，因此其性能非常优秀，尤其是对于网络传输速度和交换速度远远超过普通的数据包转发。然而， 正因为它是使用硬件实现的，因此也不够灵活，仅仅能够处理几种最标准的应用协议的负载均衡，如HTTP 。当前负载均衡主要用于 解决服务器的处理能力不足的问题，因此并不能充分发挥交换机带来的高网络带宽的优点。

使用基于操作系统的第四层交换技术因此孕育而生。通过开放源码的Linux，将第四层交换的核心功能做在系统的核心层，能够在 相对高效稳定的核心空间进行IP包的数据处理工作，其效率不比采用专有OS的硬件交换机差多少。同时又可以在核心层或者用户层增 加基于交换核心的负载均衡策略支持，因此在灵活性上远远高于硬件系统，而且造价方面有更好的优势。

◆传输链路聚合

为了支持与日俱增的高带宽应用，越来越多的PC机使用更加快速的链路连入网络。而网络中的业务量分布是不平衡的，核心高、 边缘低，关键部门高、一般部门低。伴随计算机处理能力的大幅度提高，人们对多工作组局域网的处理能力有了更高的要求。当企业 内部对高带宽应用需求不断增大时（例如Web访问、文档传输及内部网连接），局域网核心部位的数据接口将产生瓶颈问题，瓶颈延 长了客户应用请求的响应时间。并且局域网具有分散特性，网络本身并没有针对服务器的保护措施，一个无意的动作（像一脚踢掉网 线的插头）就会让服务器与网络断开。

通常，解决瓶颈问题采用的对策是提高服务器链路的容量，使其超出目前的需求。例如可以由快速以太网升级到千兆以太网。对 于大型企业来说，采用升级技术是一种长远的、有前景的解决方案。然而对于许多企业，当需求还没有大到非得花费大量的金钱和时 间进行升级时，使用升级技术就显得大材小用了。在这种情况下，链路聚合技术为消除传输链路上的瓶颈与不安全因素提供了成本低 廉的解决方案。

链路聚合技术，将多个线路的传输容量融合成一个单一的逻辑连接。当原有的线路满足不了需求，而单一线路的升级又太昂贵或 难以实现时，就要采用多线路的解决方案了。目前有5种链路聚合技术可以将多条线路“捆绑”起来。

同步IMUX系统工作在T1/E1的比特层，利用多个同步的DS1信道传输数据，来实现负载均衡。

IMA是另外一种多线路的反向多路复用技术，工作在信元级，能够运行在使用ATM路由器的平台上。

用路由器来实现多线路是一种流行的链路聚合技术，路由器可以根据已知的目的地址的缓冲（cache）大小，将分组分配给各个平 行的链路，也可以采用循环分配的方法来向线路分发分组。

多重链路PPP，又称MP或MLP，是应用于使用PPP封装数据链路的路由器负载平衡技术。MP可以将大的PPP数据包分解成小的数据 段，再将其分发给平行的多个线路，还可以根据当前的链路利用率来动态地分配拨号线路。这样做尽管速度很慢，因为数据包分段和 附加的缓冲都增加时延，但可以在低速的线路上运行得很好。

还有一种链路聚合发生在服务器或者网桥的接口卡上，通过同一块接口卡的多个端口映射到相同的IP地址，均衡本地的以太网流 量以实现在服务器上经过的流量成倍增加。目前市面上的产品有intel和dlink的多端口网卡，，一般在一块网卡上绑定4个100M以太端 口，大大提高了服务器的网络吞吐量。不过这项技术由于需要操作系统驱动层的支持，只能在win2000和linux下实现。

链路聚合系统增加了网络的复杂性，但也提高了网络的可靠性，使人们可以在服务器等关键LAN段的线路上采用冗余路由。对于 IP系统，可以考虑采用VRRP（虚拟路由冗余协议）。VRRP可以生成一个虚拟缺省的网关地址，当主路由器无法接通时，备用路由器就 会采用这个地址，使LAN通信得以继续。总之，当主要线路的性能必需提高而单条线路的升级又不可行时，可以采用链路聚合技术。

◆带均衡策略的服务器群集

如今，服务器必须具备提供大量并发访问服务的能力，其处理能力和I/O能力已经成为提供服务的瓶颈。如果客户的增多导致通信 量超出了服务器能承受的范围，那么其结果必然是——宕机。显然，单台服务器有限的性能不可能解决这个问题，一台普通服务器的 处理能力只能达到每秒几万个到几十万个请求，无法在一秒钟内处理上百万个甚至更多的请求。但若能将10台这样的服务器组成一个 系统，并通过软件技术将所有请求平均分配给所有服务器，那么这个系统就完全拥有每秒钟处理几百万个甚至更多请求的能力。这就 是利用服务器群集实现负载均衡的最初基本设计思想。

早期的服务器群集通常以光纤镜像卡进行主从方式备份。令服务运营商头疼的是关键性服务器或应用较多、数据流量较大的服务 器一般档次不会太低，而服务运营商花了两台服务器的钱却常常只得到一台服务器的性能。通过地址转换将多台服务器网卡的不同IP 地址翻译成一个VIP(Virtual IP)地址，使得每台服务器均时时处于工作状态。原来需要用小型机来完成的工作改由多台PC服务器完成， 这种弹性解决方案对投资保护的作用是相当明显的——既避免了小型机刚性升级所带来的巨大设备投资，又避免了人员培训的重复投 资。同时，服务运营商可以依据业务的需要随时调整服务器的数量。

网络负载均衡提高了诸如Web服务器、FTP服务器和其他关键任务服务器上的因特网服务器程序的可用性和可伸缩性。单一计算 机可以提供有限级别的服务器可靠性和可伸缩性。但是，通过将两个或两个以上高级服务器的主机连成群集，网络负载均衡就能够提 供关键任务服务器所需的可靠性和性能。

为了建立一个高负载的Web站点，必须使用多服务器的分布式结构。上面提到的使用代理服务器和Web服务器相结合，或者两台 Web服务器相互协作的方式也属于多服务器的结构，但在这些多服务器的结构中，每台服务器所起到的作用是不同的，属于非对称的 体系结构。非对称的服务器结构中每个服务器起到的作用是不同的，例如一台服务器用于提供静态网页，而另一台用于提供动态网页 等等。这样就使得网页设计时就需要考虑不同服务器之间的关系，一旦要改变服务器之间的关系，就会使得某些网页出现连接错误， 不利于维护，可扩展性也较差。

能进行负载均衡的网络设计结构为对称结构，在对称结构中每台服务器都具备等价的地位，都可以单独对外提供服务而无须其他 服务器的辅助。然后，可以通过某种技术，将外部发送来的请求均匀分配到对称结构中的每台服务器上，接收到连接请求的服务器都 独立回应客户的请求。在这种结构中，由于建立内容完全一致的Web服务器并不困难，因此负载均衡技术就成为建立一个高负载Web 站点的关键性技术。

总之，负载均衡是一种策略，它能让多台服务器或多条链路共同承担一些繁重的计算或I/O任务，从而以较低成本消除网络瓶颈， 提高网络的灵活性和可靠性。Tomcat集群与负载均衡区别以及特性

在单一的服务器上执行WEB应用程序有一些重大的问题，当网站成功建成并开始接受大量请求时，单一服务器终究无法满足需要处理的负荷量，所以就有点显得有点力不从心了。另外一个常见的问题是会产生单点故障，如果该服务器坏掉，那么网站就立刻无法运作了。不论是因为要有较佳的扩充性还是容错能力，我们都会想在一台以上的服务器计算机上执行WEB应用程序。所以，这时候我们就需要用到集群这一门技术了。

在进入集群系统架构探讨之前，先定义一些专门术语：

1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。

2. 负载均衡(Load Balance)：先得从集群讲起，集群就是一组连在一起的计算机，从外部看它是一个系统，各节点可以是不同的操作系统或不同硬件构成的计算机。如一个提供Web服务的集群，对外界来看是一个大Web服务器。不过集群的节点也可以单独提供服务。

3. 特点：在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。集群系统 (Cluster)主要解决下面几个问题：高可靠性（HA）：利用集群管理软件，当主服务器故障时，备份服务器能够自动接管主服务器的工作，并及时切换过去，以实现对用户的不间断服务。高性能计算（HP）：即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域，比如基因分析，化学分析等。负载平衡：即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求。

目前比较常用的负载均衡技术主要有：

1. 基于DNS的负载均衡

通过DNS服务中的随机名字解析来实现负载均衡，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

2. 反向代理负载均衡 （如Apache+JK2+Tomcat这种组合）

使用代理服务器可以将请求转发给内部的Web服务器，让代理服务器将请求均匀地转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。

3. 基于NAT（Network Address Translation）的负载均衡技术 （如Linux Virtual Server，简称LVS）

网络地址转换为在内部地址和外部地址之间进行转换，以便具备内部地址的计算机能访问外部网络，而当外部网络中的计算机访问地址转换网关拥有的某一外部地址时，地址转换网关能将其转发到一个映射的内部地址上。因此如果地址转换网关能将每个连接均匀转换为不同的内部服务器地址，此后外部网络中的计算机就各自与自己转换得到的地址上服务器进行通信，从而达到负载分担的目的。

介绍完上面的集群技术之后，下面就基于Tomcat的集群架构方案进行说明：

上 面是采用了Apache httpd作为web服务器的，即作为Tomcat的前端处理器，根据具体情况而定，有些情况下是不需要Apache httpd作为 web 服务器的，如系统展现没有静态页面那就不需要Apache httpd，那时可以直接使用Tomcat作为web 服务器来使用。使用Apache httpd主要是它在处理静态页面方面的能力比Tomcat强多了。

1、 用户的网页浏览器做完本地 DNS和企业授权的DNS之的请求/响应后，这时候企业授权的DNS（即21cn BOSS DNS）会给用户本地的DNS服务器提供一个NAT请求分配器（即网关）IP。

2、 NAT分配器，它会根据特定的分配算法，来决定要将连接交给哪一台内部 Apache httpd来处理请求。大多数的NAT请求分配器提供了容错能力：根据侦测各种WEB服务器的失效状况，停止将请求分配给已经宕掉的服务器。并且有些分配器还可以监测到WEB服务器机器的负载情况，并将请求分配给负载最轻的服务器等等。Linux Virtual Server是一个基于Linux操作系统上执行的VS-NAT开源软件套件，而且它有丰富的功能和良好的说明文件。商业硬件解决方案 Foundry Networks的ServerIron是目前业界公认最佳的请求分配器之一。

3、 Apache httpd + Mod_JK2在这里是作为负载均衡器，那为什么要做集群呢？如果集群系统要具备容错能力，以便在任何单一的硬件或软件组件失效时还能100%可用，那么集群系统必须没有单点故障之忧。所以，不能只架设一台有mod_jk2的Apache httpd，因为如果 httpd或mod_jk2失效了，将不会再有请求被会送交到任何一个Tomcat 实例。这种情况下，Apache httpd就是瓶劲，特别在访问量大的网站。

4、 Mod_JK2负载均衡与故障复原，决定把Apache httpd当成web服务器，而且使用mod_jk2将请求传送给Tomcat，则可以使用mod_jk2的负载均衡与容错功能。在集群系统中，带有 mod_jk2的Apache httpd可以做的事情包括：

A、 将请求分配至一或多个Tomcat实例上你可以在mod_jk2的workers.properties文件中，设定许多Tomcat实例，并赋于每个实例一个lb_factor值，以作为请求分配的加权因子。

B、 侦测Tomcat实例是否失败当Tomcat实例的连接器服务不再响应时，mod_jk2会及时侦测到，并停止将请求送给它。其他的Tomcat实例则会接受失效实例的负载。

C、 侦测Tomcat实例在失效后的何时恢复因连接器服务失效，而停止将请求分配给Tomcat实例之后，mod_jk2会周期性地检查是否已恢复使用性，并自动将其加入现行的Tomcat实例池中。

5、 Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制。这里提示一下就是，对每个请求的处理，Tomcat都会进行会话复制，复制后的会话将会慢慢变得庞大。

6、 Mod_jk2同时支持会话亲和和会话复制。在tomcat 5中如何实现会话亲和和会话复制？把server.xml中的标签去掉就实现会话亲和，把标签加上就实现会话复制。

7、 会话亲和：就是表示来自同会话的所有请求都由相同的Tomcat 实例来处理，这种情况下，如果Tomcat实例或所执行的服务器机器失效，也会丧失Servlet的会话数据。即使在集群系统中执行更多的Tomcat实例，也永远不会复制会话数据。这样是提高集群性能的一种方案，但不具备有容错能力了。

8、 使用会话复制，则当一个Tomcat实例宕掉时，由于至少还有另一个Tomcat实例保有一份会话状态数据，因而数据不会丧失。但性能会有所降低。