LVS+Keepalived+Nginx的奇怪问题

最近因为项目中服务器架构要升级，考虑到高可用性，决定采用keepalived做LVS Server的双机互备，然后LVS作为DB和前端Nginx的load balancer。

我的环境：
VIP 10.8.12.200 
PostgreSql RealServer1 10.8.12.208 
PostgreSql RealServer2 10.8.12.209
Tomcat 1 10.8.12.203
Tomcat 2 10.8.12.204
LVS Server1 & Nginx RealServer1 10.8.12.201
LVS Server2 & Nginx RealServer2 10.8.12.202

gateway 10.8.12.254

上述服务器都只配一块网卡，Ubuntu 11.04 Server

这些都是用vmware创建的虚拟机，考虑到生产环境的服务器数量有限，所以LVS Server和Nginx RealServer是安装在同一台机器上的。ipvsadm、keepalived安装在10.8.12.201（LVS Server1 & Nginx RealServer1）和10.8.12.202（LVS Server2 & Nginx RealServer2）机器上。


我准备了两套方案如下：
方案一：
前端采用Nginx作反向代理服务器并同时作动静分离，load balances到后端的tomcat集群和web服务器。后端用LVS作为PostgreSql Server的load balancer。keepalived做双机互备。

keepalived master上的配置文件内容如下：

global_defs { 
    router_id Nginx_Id_1 
} 

vrrp_script Monitor_Nginx { 
    script "/usr/local/keepalived/etc/keepalived/scripts/monitor_nginx.sh" 
    interval 2 
    weight 2 
} 

vrrp_instance VI_1 { 
    state MASTER 
    interface eth0 
    virtual_router_id 33 
    priority 101 
    advert_int 1 

    authentication { 
        auth_type PASS 
        auth_pass 1111 
    } 

    #VIP 
    virtual_ipaddress { 
        10.8.12.200 
    } 

    track_script { 
        Monitor_Nginx 
    } 
} 

virtual_server 10.8.12.200 5432 { 
    delay_loop 6 
    lb_algo rr 
    lb_kind DR 
    persistence_timeout 0 
    protocol TCP 

    real_server 10.8.12.208 5432 { 
        weight 1 
        TCP_CHECK { 
            connect_port 5432 
            connect_timeout 10 
        } 
    } 

    real_server 10.8.12.209 5432 { 
        weight 1 
        TCP_CHECK { 
            connect_port 5432 
            connect_timeout 10 
        } 
    } 
} 

 

keepalived backup配置文件此处省略...

LVS Server的路由信息：
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
->RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.8.12.200:5432 rr
->10.8.12.208:5432 Route 1 0 0
->10.8.12.209:5432 Route 1 0 0


PostgreSql RealServer的lvs脚本如下：

/bin/bash 
#Description : RealServer Start! 

VIP=10.8.12.210 
LVS_TYPE=DR 

. /lib/lsb/init-functions 


case "$1" in 
    start) 
        echo "start LVS of REALServer" 
        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up 
        /sbin/route add -host $VIP dev lo:0 
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore 
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce 
        echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore 
        echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce 
        ;; 
    stop) 
        route del -host $VIP dev lo:0 
        /sbin/ifconfig lo:0 down 
        echo "close LVS Directorserver" 
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore 
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce 
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore 
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce 
       ;; 
    *) 
        echo "Usage $0 {start|stop}" 
        exit 1 
       ;; 
esac 

exit 0 

 

DB RealServer上的route：
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
10.8.12.200 * 255.255.255.255 UH 0 0 0 lo
10.8.12.0 * 255.255.255.0 U 0 0 0 eth0
default 10.8.12.254 0.0.0.0 UG 100 0 0 eth0


这套方案经测试没有问题。



方案二：
前端采用LVS作为Nginx的load balancer，Nginx再作反向代理服务器并同时作动静分离，load balances到后端的tomcat集群和web服务器，keepalived做LVS双机互备。后端用LVS作为PostgreSql Server的load balancer。PostgreSql的LVS Server和Nginx的LVS Server是同一个，只是端口不同。LVS Server和Nginx RealServer共享同一台机器，PostgreSql RealServer是另外两台机器。
相比方案一，方案二只是在前端Nginx上又加了一层LVS的load balancer，Nginx的角色本身没有变化。

keepalived master配置文件内容如下：

global_defs { 
     router_id Nginx_Id_1 
} 

vrrp_script Monitor_Nginx { 
    script "/usr/local/keepalived/etc/keepalived/scripts/monitor_nginx.sh" 
    interval 2 
    weight 2 
} 

vrrp_instance VI_1 { 
    state BACKUP 
    interface eth0 
    virtual_router_id 33 
    priority 100 
    advert_int 1 

    authentication { 
        auth_type PASS 
        auth_pass 1111 
    } 

    #VIP 
    virtual_ipaddress { 
        10.8.12.200 
    } 

    track_script { 
        Monitor_Nginx 
    } 
} 

virtual_server 10.8.12.200 80 { 
    delay_loop 6 
    lb_algo rr 
    lb_kind DR 
    persistence_timeout 60 
    protocol TCP 

    real_server 10.8.12.201 80 { 
        weight 1 
        TCP_CHECK { 
            connect_port 80 
            connect_timeout 10 
        } 
    } 

    real_server 10.8.12.202 80 { 
        weight 1 
        TCP_CHECK { 
            connect_port 80 
            connect_timeout 10 
        } 
    } 
} 

virtual_server 10.8.12.200 5432 { 
    delay_loop 6 
    lb_algo rr 
    lb_kind DR 
    persistence_timeout 0 
    protocol TCP 

    real_server 10.8.12.208 5432 { 
        weight 1 
        TCP_CHECK { 
            connect_port 5432 
            connect_timeout 10 
        } 
    } 


    real_server 10.8.12.209 5432 { 
        weight 1 
        TCP_CHECK { 
            connect_port 5432 
            connect_timeout 10 
        } 
    } 
} 

 可以看出来，相比方案一，只是多了10.8.12.200 80端口的LVS配置。


此时的LVS Server路由信息如下：
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.8.12.200:80 rr persistent 60
->10.8.12.201:80 Route 1 0 0
-> 10.8.12.202:80 Route 1 0 0
TCP 10.8.12.200:5432 rr
-> 10.8.12.208:5432 Route 1 0 0
-> 10.8.12.209:5432 Route 1 0 0


由于LVS Server同时又是Nginx RealServer节点，所以在10.8.12.201（LVS Server1 & Nginx RealServer1）和10.8.12.202（LVS Server2 & Nginx RealServer2）机器上还创建了lvs脚本如下：

/bin/bash 
#Description : RealServer Start! 

VIP=10.8.12.210 
LVS_TYPE=DR 

. /lib/lsb/init-functions 


case "$1" in 
    start) 
        echo "start LVS of REALServer" 
        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up 
        /sbin/route add -host $VIP dev lo:0 
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore 
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce 
        echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore 
        echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce 
        ;; 
    stop) 
        route del -host $VIP dev lo:0 
        /sbin/ifconfig lo:0 down 
        echo "close LVS Directorserver" 
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore 
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce 
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore 
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce 
       ;; 
    *) 
        echo "Usage $0 {start|stop" 
        exit 1 
       ;; 
esac 

exit 0 

 
Nginx RealServer上的route：
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
10.8.12.200 * 255.255.255.255 UH 0 0 0 lo
10.8.12.0 * 255.255.255.0 U 0 0 0 eth0
default 10.8.12.254 0.0.0.0 UG 100 0 0 eth0


DB RealServer节点的配置与方案一相同，此处省略。


问题现象如下：
LVS服务器刚启动时，访问10.8.12.200一切正常。
在服务器运行一段时间后（其实也就几分钟，这期间没有做页面访问），再次访问10.8.12.200访问失败，返回502，多次刷新问题依旧。检查LVS Server的路由信息没有变化，route也是正常的。然后我尝试直接访问10.8.12.201上的nginx，访问正常；再尝试直接访问10.8.12.203:8080（后端tomcat），访问也正常。这就是说LVS Server load balance DB RealServer此时是正常的，只是load balance Nginx RealServer不正常。停掉keepalived主机后，备机可以正常接管，接管后再访问10.8.12.200正常。再把keepalived主机启起来后，主机又接管了VIP，但10.8.12.200依然不能访问。在ipvsadm -C之后，访问又正常了(偶然的发现，实在想不明白为什么这样)。


思考：
网上的教程说LVS Server和RealServer节点完全可以共享同一台机器，但在这里只是共享的Nginx RealServer无法访问，DB RealServer是正常的，实在不知道问题出在哪里。

 

 

问题解决了，是keepalived的配置问题，80端口由于是由nginx负责做load balance，所以针对80端口的lvs配置就是多余的了，删掉就可以了。