集群服务器--LVS/tun

集群服务器--LVS

集群可分为高可用性集群（高可用性软件HA）、高性能计算集群（Beowulf、HPC）、负载均衡集群（LVS、MOSIX）。

 

LVS三种模式的特点:
   　　　　　　　　　VS/NAT　　　　 VS/TUN　　　　　　VS/DR
服务器操作系统　　　　任意　　　　　　支持隧道　　　　　多数(支持Non-arp )
服务器网络　　　　　　私有网络　　　　局域网/广域网　　局域网
服务器数目(100M网络) 10-20　　　　　　100　　　　　　　多(100)
服务器网关　　　　　　负载均衡器　　　自己的路由　　　　自己的路由
效率　　　　　　　　　一般　　　　　　高　　　　　　　　最高

一、NAT（VS-NAT）
通过NAT网络地址转换方式来实现负载均衡。相当于LVS服务器同时是一台NAT网关，它拥有一个公共IP，同时负责将针对此IP的请求，按照算法将其转发给局域网中到某台真实服务器，真实服务器完成处理后，将结果返回给LVS服务器，再由LVS服务器把请求返回给用户。
优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，并能很好地将真实服务器隐藏起来。
缺点：扩展性有限。对LVS服务器的系统性能要求较高。

  

二、IP 隧道模式（VS-TUN）
采用NAT技术时，负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，负载均衡器不再是系统的瓶颈，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。

 

三、直接路由模式（VS-DR）
优点：和 VS－TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。
不足：和NAT一样DR要求负载均衡器的网卡必须与物理网卡在一个物理段上。

 

 

--------------------------------------------------------------------  

LVS 调度算法
# rr   轮叫（Round Robin）
调度器通过"轮 叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
# wrr   加权轮叫（Weighted Round Robin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调 度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
# lc   最少链接（Least Connections）
调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链 接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
# wlc   加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大 的情况下，调度器采用"加权最少链接"调度 算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
# lblc   基于局部性的最少链接（Locality-Based Least Connections）
"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要 用于Cache集群系统。该算法根据请求的目标IP地 址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若 服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
# lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
"带复制的基于局部性最少链接"调度算法也是 针对目标IP地址的负载均衡，目前主要用于Cache集 群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地 址到一组服务器的映射，而LBLC算法维护从一个目标IP地 址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务 器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
# dh   目标地址散列（Destination Hashing）
"目标地址散列"调 度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
# sh   源地址散列（Source Hashing）
"源地址散列"调 度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

 

--------------------------------------------------------------------    
管理 LVS 的虚拟服务
-A   增加 ipvsadm 在内核列表中增加一个新的调度服务，也可以理解为添加一主机。
-s   指定该调度服务使用到算法。
-t|-u指定IP地址和端口，t表示TCP协议，u表示UDP协议。
-E   编辑已经存在的调度列表。
-D   删除某条调度列表。

 

管理 LVS 的真实服务器
-a   增加一个IP地址来参与响应请求服务。
-t|-u指定调度列表中主机的IP地址和端口，t表示TCP协议，u表示UDP协议。
-r   指定参与响应请求的IP地址和端口。
-g   表示DR模式
-i   表示TUN模式
-m   表示NAT模式
-w   指定权重，供那些加权算法参考，如1、2、3。
-e   编辑指定的真实服务器。
-d   删除指定的真实服务器。

 

查看和管理当前 LVS 配置
-C   清空所有配置列表。
-Z   清零当前连接计算器。
-l   显示当前内核LVS状态。
-c   显示当前LVS的连接情况，配合l使用。
--stats显示统计数据。
--rat显示速率数据。
--sort对输出进行排序。
-n不进行主机名解析，直接输出IP，加快显示速度。

--------------------------------------------------------------------  

 

实验:环境CentOS6,防火墙全部关闭，ipvsadm TUN模式

 

 

 

yum install -y gcc gcc-c++ kernel-devel bzip2 iptablessendmail openssl-devel automake autoconf libtool ipvsadm

 

192.168.1.130  ipvsadm主机
192.168.1.140  VIP
192.168.1.131
192.168.1.132

 

[root@130#]

ifconfig eth0:1 192.168.1.140 broadcast 192.168.1.140 netmask 255.255.255.255 up(如果有两个网卡，可以将VIP地址配置到另一个网卡上)
route add -host 192.168.1.140 dev eth0:1
echo "0" >/proc/sys/net/ipv4/ip_forward
echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects  
echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects
echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects
ipvsadm -A -t 192.168.1.140:80 -s rr
ipvsadm -a -t 192.168.1.140:80 -r 192.168.1.131:80 -i
ipvsadm -a -t 192.168.1.140:80 -r 192.168.1.132:80 -i

ipvsadm -a -t 192.168.1.140:80 -r 192.168.1.130:80 -i

 

[root@131#][root@132#]
ifconfig lo:0 192.168.1.140 broadcast 192.168.1.140 netmask 255.255.255.255 up
route add -host 192.168.1.140 dev lo:0
echo 0 > /proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

[ root@130# ]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.140:80 rr
  -> 192.168.1.130:80             Local   1      1          0        
  -> 192.168.1.131:80             Tunnel  1      2          0        
  -> 192.168.1.132:80             Tunnel  1      2          0

 

说明

访问192.168.1.140能出现轮训不同的页面即表示搭建LVS成功。
Forward为Tunnel即为IP隧道模式tun。
Weight表示权重。
ActiveConn是表示处于TCP的ESTABLISHED（确定建立）状态的连接数目，ActiveConn的各项总和即为当前已建立连接的总和。
InActConn表示处于TCP的非ESTABLISHED状态的连接数目，包括SYN_RECEIVED, TIME_WAIT, CLOSE_WAIT状态等等。