用LVS在Linux上搭建负载均衡集群服务

目录

• 1 LVS实现负载均衡
  • 1.1 基于NAT方式的LVS
    • 1.1.1 硬件需求与网络拓扑结构
    • 1.1.2 配置LVS
      • 1.1.2.1 在LB上的配置
      • 1.1.2.2 在RS上的配置
    • 1.1.3 测试
• 2 LVS+KeepAlived实现负载均衡
  • 2.1 基于NAT方式
    • 2.1.1 硬件需求与网络拓扑结构
    • 2.1.2 配置KeepAlived
    • 2.1.3 测试
      • 2.1.3.1 启动KeepAlived
      • 2.1.3.2 测试RealServer的健康状态检查
      • 2.1.3.3 测试失败切换(FailOver)
    • 2.1.4 邮件提醒功能
  • 2.2 基于DR方式
    • 2.2.1 硬件需求与网络拓扑结构
    • 2.2.2 配置KeepAlived
    • 2.2.3 配置RS服务器
    • 2.2.4 测试

LVS实现负载均衡

Linux 服务器集群系统(以下简称 LVS), 是一个由章文嵩博士发起的自由软件项目，现在已经是 Linux 标准内核的一部分。LVS 从 Linux 内核还在 2.0 版本的时代开始，就得到广泛的应用，目前Linux 的内核已经是 2.6 版，完全内置了 LVS 的各个模块，已经不需要在给内核打任何补丁。

基于NAT方式的LVS

 硬件需求与网络拓扑结构

使用NAT方式时，director同时是一台NAT网关，它必须有一个公网IP，当收到请求时按照调度算法把请求转发给局域网中的某台realserver，realserver处理完请求后把结果返回给director，此时director将结果返回给 client。因为NAT方式完全依赖于director，需要d机有较强的数据吞吐，同时这也导致了d成为一个瓶颈。根据官方的文档当realserver少于20台时用NAT比较合适。

对于普通的玩家而言，很少有多台设备的。一般都只用一台PC，因此这里要使用虚拟机virtualbox，所以系统是Debian。

测试环境大致如下：

clinet: host主机 debian。
LB:virtualbox主机 debian。
RS1...n:virtualbox主机 debian。

拓扑结构为：

client                        ---------->           LB              ----------->                  RS1

vboxnet0 ip:192.168.56.1                   eth0 ip:192.168.56.2                        eth0 ip:192.168.0.2

    netmask:255.255.255.0                  netmask:255.255.255.0                       netmask:255.255.255.0

                                                                                       gateway:192.168.0.1

                                           eth1 ip:192.168.0.1                                    RS2

                                           netmask:255.255.255.0                        eth0 ip:192.168.0.3

                                                                                        netmask:255.255.255.0

                                                                                        gateway:192.168.0.1

                                                                                                   .

                                                                                                   .

                                                                                                   .

                                                                                                   RSn

这里需要注意的事：

LB virtualbox主机启用了两块网卡，eth0在virtualbox上的模式为host-only,专门连本地机器client；eth1在virtualbox上的模式为Internal,专门跟虚拟机间的系统相联。

RS virtualbox主机启用了一块网卡，在virtualbox上的模式为Internal,专门跟虚拟机间的系统相联。

 配置LVS

在LB上的配置

1.添加realserver

ipvsadm -C //清除ipvsadm表

ipvsadm -A -t 192.168.56.2:8080 -s rr //使用ipvsadm安装LVS服务,rr为轮询方式

ipvsadm -a -t 192.168.56.2:8080 -r 192.168.0.2:8080 -m -w 1 //增加第一台realserver，-m为NAT方式，-w为优先级

ipvsadm -a -t 192.168.56.2:8080 -r 192.168.0.3:8080 -m -w 1 //增加第二台realserver

/etc/init.d/ipvsadm save //默认保存到/etc/ipvsadm.rules 

2.开启ip转发

echo "1" >/proc/sys/net/ipv4/ip_forward 

注：永久修改要修改sysctl.conf

如果想开机保证能运行，需要在/etc/rc.local添加以下内容：

/etc/init.d/ipvsadm restart //确保ipvsadm启动

/etc/init.d/ipvsadm load /etc/ipvsadm.rules //加载规则

echo "1" >/proc/sys/net/ipv4/ip_forward //开启ip转发 

在RS上的配置

1.在RS1、RS2…RSn上分别关闭ip转发

echo "0" >/proc/sys/net/ipv4/ip_forward 

2.分别启动web服务

这里用的是resin-3.1.9,并对resin的首页进行了修改，使得可以分清具体访问的是哪个服务器。

 测试

在LB上运行ipvsadm能看到初始数据为：

IP Virtual Server version 1.2.1 （size=4096）

Prot LocalAddress：Port Scheduler Flags

-> RemoteAddress：Port            Forward Weight ActiveConn InActConn

TCP 192.168.56.2：http-alt rr

-> 192.168.0.3：http-alt            Masq     1       0          0

-> 192.168.0.2：http-alt            Masq     1       0          0

在client的浏览器上多次访问http://192.168.56.2:8080 ，会看到页面有变化。 再次在LB上运行ipvsadm能看到类似以下数据：

IP Virtual Server version 1.2.1 （size=4096）

Prot LocalAddress：Port Scheduler Flags

-> RemoteAddress：Port            Forward Weight ActiveConn InActConn

TCP 192.168.56.2：http-alt rr

-> 192.168.0.3：http-alt            Masq      1      0         10

-> 192.168.0.2：http-alt            Masq      1      0         11

LVS+KeepAlived实现负载均衡

上面介绍了用LVS做负载均衡，但是有两个问题，一是如果RealServer中其中一台挂掉了，lvs不会自动的转发到正常的RealServer，而是继续转发到挂掉的RealServer上；二是因为只有一台loadBalancer,所以如果那台loadBalancer挂掉就等于整个网络挂掉了。

为了解决那两个问题，这里用到了KeepAlived，它主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。

 基于NAT方式

 硬件需求与网络拓扑结构

从上图可以看到跟上一节只用LVS做负载均衡的拓扑结构差不多，只是LoadBalancer多了一台做Backup服务器。

基于上节的实验环境，只需要增加一个虚拟机，系统和网卡跟上节的LB服务器一样，现把这服务器称为BLB服务器，其网卡IP设置如下：

eth0 ip:192.168.56.3

netmask:255.255.255.0

eth1 ip:192.168.0.253

netmask:255.255.255.0

另外有两个特殊的IP地址是最需要注意的：

一个是整个集群对外统一使用的IP地址，我们称它为VIP(Virtual IP)，这里我们假设它为192.168.56.254，所有Client都通过这个IP访问真实服务，这是可跟DNS绑定的IP。

另一个特殊的IP是RealServer的gateway默认网关，我们称为V-gate(Virtual gate)，上节我们指定RealServer的gateway为192.168.0.1，其对应的是LoadBalancer服务器的IP，现在由于多了一台LoadBalancer，为了使两台LoadBalancer都可以用到这个IP，我们先把上节LB的eth1 ip改为192.168.0.254。

这两个IP会在下面的KeepAlived配置文件中配置。

配置KeepAlived

使用KeepAlived是不需要配置LVS的转发规则的，如果在上节中配置了LVS的转发规则，可以用以下命令清除掉：

ipvsadm -C

要实现LVS+KeepAlived负载均衡，只需要修改/etc/keepalived/keepalived.conf文件即可。

修改文件时需要注意的是，由于没有语法检错，所以要注意单词拼写，还有每个“｛”前都要有空格。

LB上的keepalived.conf文件配置如下：

# Configuration File for keepalived
 
global_defs {
   #每个load balancer 都有一个不同的ID
   lvs_id lvs01
}
 
#不使用vrrp_sync_groups的话，如果机器有两个网段，一个内网一个外网，
#每个网段开启一个VRRP实例，假设VRRP配置为检查内网，那么当外网出现问题时，
#VRRP认为自己仍然健康，那么不会发送Master和Backup的切换，从而导致了问题。
#vrrp_sync_groups就是为了解决这个问题，可以把两个实例都放进一个Sync Group，
#这样的话，group里面任何一个实例出现问题都会发生切换。
vrrp_sync_group VG1 {
   group {
      VI_1
      VI_2
   }
}
 
#这个是外网网段的VRRP实例
vrrp_instance VI_1 {
        state MASTER
        interface eth0
 
        lvs_sync_daemon_interface eth0
 
    #每个virtual_router_id都要唯一
        virtual_router_id 51
 
    #这个是MASTERT和BACKUP服务器竞争的优先级,习惯MASTERT大于BACKUP
        priority 150
 
    #检测间隔，默认1s
        advert_int 1
 
    #这是两个服务器的同步验证，有PASS和AH两种方式
        authentication {
                auth_type PASS
                auth_pass 1111
        }
 
    #这里指定VIP当MASTER和BACKUP切换时，这些IP会添加到相应服务器上
        virtual_ipaddress {
                192.168.56.254 #这个是我们上面说的VIP
        #如果有多个，可以继续添加
        }
}
 
#这个是内网的实例
vrrp_instance VI_2 {
        state MASTER
        interface eth1
        lvs_sync_daemon_interface eth1
        virtual_router_id 52
        priority 150
        advert_int 1
        authentication {
                auth_type PASS
                auth_pass 1111
        }
        virtual_ipaddress {
                192.168.0.1 #这个是我们需要的V-gate
        }
}
 
 
#下面添加LVS的转发规则
virtual_server 192.168.56.254 8080 {
    delay_loop 6
 
    #调度规则，这里用rr指轮询方式
    lb_algo rr
 
    #这里是负载均衡的方式，我们基于NAT方式
    lb_kind NAT
 
    #这是对真实服务器健康检查的方式，这里用TCP方式
    protocol TCP
 
    real_server 192.168.0.2 8080 {
 
    #真实服务器的优先级
        weight 1
 
    #用TCP方式检查
        TCP_CHECK {
                connect_timeout 3 #连接超时时间
        }
    }
 
    real_server 192.168.0.3 8080 {
        weight 1
        TCP_CHECK {
                connect_timeout 3
        }
    }
}

BLB上的keepalived.conf文件配置：

跟LB上的配置几乎一样，只需要修改以下几点：

1.lvs_id改为lvs02

2.state改为BUCKUP

3.priority改为100，只要比MASTER小就可以。

 测试

 启动KeepAlived

在启动KeepAlived前要确保LoadBalancer服务器对应的LVS为MASTER和BACKUP，可通过以下指令来设置：

dpkg-reconfigure ipvsadm

还要确保ip转发已经启动，可通过以下指令：

echo "1" >/proc/sys/net/ipv4/ip_forward

通过以下指令启动LB和BLB下的keepalived服务：

/etc/init.d/keepalived start

通过以下指令可查看启动情况：

tail -f /var/log/messages

若启动成功会出现以下相似信息：

Feb 24 22:53:57 debian kernel: [  876.649352] IPVS: sync thread started: state = MASTER, mcast_ifn = eth0, syncid = 51

Feb 24 22:53:58 debian Keepalived_vrrp: VRRP_Instance(VI_2) Transition to MASTER STATE

Feb 24 22:53:58 debian Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE

Feb 24 22:53:59 debian Keepalived_vrrp: VRRP_Instance(VI_2) Entering to MASTER STATE

Feb 24 22:53:59 debian Keepalived_vrrp: VRRP_Group(VG1) Syncing instances to MASTER STATE

Feb 24 22:53:59 debian Keepalived_vrrp: VRRP_Instance(VI_1) Entering to MASTER STATE

另外通过ip a命令可反应keepalived启动成功，分别在MASTER和BACKUP上运行ip a命令，会看到192.168.56.254和192.168.0.1出现在MASTER上，而不会出现在BACKUP上。

测试RealServer的健康状态检查

停掉ReslServer上的resin服务，或停掉网络，然后在MASTER上用ipvsadm命令查看，会发现对应IP的那条转发规则自动删掉，使用tail -f /var/log/messages查看，会得到如下信息：

Feb 24 01:53:11 debian Keepalived_healthcheckers: TCP connection to [192.168.0.3:8080] failed !!!

Feb 24 01:53:11 debian Keepalived_healthcheckers: Removing service [192.168.0.3:8080] from VS [192.168.56.254:8080]

测试失败切换(FailOver)

在MASTER上使用/etc/init.d/keepalived stop命令把keepalived服务停掉，然后用ipvsadm命令查看，会发现所有规则被清空。

然后在BUCKUP上使用tail -f /var/log/messages查看，会得到如下信息：

Feb 24 22:53:57 debian kernel: [  876.649352] IPVS: sync thread started: state = MASTER, mcast_ifn = eth0, syncid = 51

Feb 24 22:53:58 debian Keepalived_vrrp: VRRP_Instance(VI_2) Entering to MASTER STATE

然后在MASTER上使用/etc/init.d/keepalived start命令把keepalived启动，然后用ipvsadm命令查看，会发现转发规则又出来了，在BUCKUP用tail -f /var/log/messages查看，会看到又变回了BUCKUP STATE。

邮件提醒功能

当LoadBalancer服务器或RealServer服务器出现问题时，为了使我们能第一时间知道，我们可以让keepalived能过邮件通知我们哪个服务器出问题了。

只需要修改keepalived.conf文件即可，首先在global_defs里添加以下内容：

#这是定义需要发送提醒的邮箱

   notification_email { 

       [e-mail]

    #若有多个可以继续添加 

   }

#发件箱地址，可以随便定义

   notification_email_from [e-mail]

   #这里用到了jobcn的SMTP服务器，如果本机安装了sendmail服务，可以定义为127.0.0.1

   smtp_server 192.168.60.131

   smtp_connect_timeout 30

然后分别在实例VI_1和VI_2中添加如下内容：

smtp_alert

这样无论哪台服务器出现故障或恢复正常都会有邮件提示了。

注：由于两台LoadBalancer服务器的eth0用的是host-only模式，所以是不能访问192.168.60.131的邮件服务器，需要将它们更改为bridged模式，然后把IP改成相同网段的IP方可，同时keepalived.conf文件里的192.168.56.254(VIP)也要更改为相同网段的IP。

 基于DR方式

 硬件需求与网络拓扑结构

VS/DR 的工作流程下图所示：它的连接调度和管理与VS/NAT和VS/TUN中的一样，它的报文转发方法又有不同，将报文直接路由给目标服务器。在VS/DR 中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后 的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当服务器发现 报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户。

在VS/DR中，根据缺省的TCP/IP协议栈处理，请求报文的目标地址为VIP，响应报文的源地址肯定也为VIP，所以响应报文不需要作任何修改，可以直接返回给客户，客户认为得到正常的服务，而不会知道是哪一台服务器处理的。

由于LB和RS都要在同一个物理网段上，所以基于上节的实验，IP按以下方式修改:

RS1:

eth0 ip:192.168.56.4

RS2:

eth0 ip:192.168.56.5

注：把它们的gateway都去掉。

这里需要注意的事：

LB、BLB、RS1、RS2的eth0在virtualbox上的模式都改为Bridged以便为外面的机器都能访问到。

 配置KeepAlived

LB上的keepalived.conf文件配置如下：

# Configuration File for keepalived
 
global_defs {
   #每个load balancer 都有一个不同的ID
   lvs_id lvs01
}
 
#这个是外网网段的VRRP实例
vrrp_instance VI_1 {
        state MASTER
        interface eth0
 
    #每个virtual_router_id都要唯一
        virtual_router_id 51
 
    #这个是MASTERT和BACKUP服务器竞争的优先级,习惯MASTERT大于BACKUP
        priority 150
 
    #检测间隔，默认1s
        advert_int 1
 
    #这是两个服务器的同步验证，有PASS和AH两种方式
        authentication {
                auth_type PASS
                auth_pass 1111
        }
 
    #这里指定VIP当MASTER和BACKUP切换时，这些IP会添加到相应服务器上
        virtual_ipaddress {
                192.168.56.254 #这个是我们上面说的VIP
        #如果有多个，可以继续添加
        }
}
 
#下面添加LVS的转发规则
#注意：这里的virtual_server的端口跟real_server的端口必须相同
virtual_server 192.168.56.254 8080 {
    delay_loop 6
 
    #调度规则，这里用rr指轮询方式
    lb_algo rr
 
    #这里是负载均衡的方式，我们基于DR方式
    lb_kind DR
 
    #这是对真实服务器健康检查的方式，这里用TCP方式
    protocol TCP
 
    real_server 192.168.56.4 8080 {
 
    #真实服务器的优先级
        weight 1
 
    #用TCP方式检查
        TCP_CHECK {
                connect_timeout 3 #连接超时时间
        }
    }
 
    real_server 192.168.56.5 8080 {
        weight 1
        TCP_CHECK {
                connect_timeout 3
        }
    }
}

BLB上的keepalived.conf文件配置：

跟LB上的配置几乎一样，只需要修改以下几点：

1.lvs_id改为lvs02

2.state改为BUCKUP

3.priority改为100，只要比MASTER小就可以。

 配置RS服务器

在RS服务器上必须把VIP加到lo上,运行以下命令，或在/etc/network/interfaces文件里配置。

ifconfig lo:0 192.168.56.254 broadcast 192.168.56.254 netmask 255.255.255.255 up

 测试

跟NAT模式的测试一样，不过与/proc/sys/net/ipv4/ip_forward里的值无关