IPVS-DR+heartbeat+ldirectord实现高可用负载均衡集

IPVS-DR+heartbeat+ldirectord实现高可用负载均衡集群一、环境 节点类型 主机名 ip地址 lvs-master node0 eth0:192.168.32.30 eth1:10.160.100.30 heart vip:192.168.32.21 lvs-backup node1 eth0:192.168.32.31 eth1:10.160.100.31 heart vip:192.168.32.21 RealServer1 node2 eth0:192.168.32.32 eth1:10.160.100.32 RealServer2 node3 eth0:192.168.32.33 eth1:10.160.100.33二、安装1、安装libnet [root@node1 ~]# tar -zxvf libnet-1.1.4.tar.gz [root@node1 ~]# cd libnet-1.1.4 [root@node1 libnet-1.1.4]# ./configure [root@node1 libnet-1.1.4]# make;make install #libnet是一个高层次API工具，使用heartbeat需要用到他 2、安装heartbeat [root@node1 ~]# tar -zxvf heartbeat-2.1.3.tar.gz [root@node1 ~]# cd heartbeat-2.1.3 [root@node1 heartbeat-2.1.3]# ./ConfigureMe configure --disable-swig --disable-snmp-subagent [root@node1 heartbeat-2.1.3]# make ; make install [root@node1 heartbeat-2.1.3]# cp doc/ha.cf doc/haresource doc/anthkeys /etc/ha.d/ #heartbeat复制样本配置文件(ha.cf、haresources、authkeys要到/etc/ha.d目录下面 [root@node1 heartbeat-2.1.3]# cp ldirectord/ldiretord.cf /etc/ha.d/ #复制ldirectord的配置文件至/etc/ha.d目录下 [root@node1 heartbeat-2.1.3]# grouadd -g 694 haclient #添加heartbeat运行需要的haclient组 [root@node1 heartbeat-2.1.3]# useradd -u 694 -g 694 hacluster #添加heartbeat运行需要的hacluster用户 #heartbeat的安装包中默认包含ldirectord插件，该插件主要用于管理负载均衡，为保证ldirectord可用还行安装perl-Mailtools [root@node1 ~]# yum install perl-TimeDate.noarch [root@node1 ~]# rpm -ivh perl-MailTools-2.04-1.el5.rf.noarch.rpm #安装ldirectord正常运行所需依赖工具 3、安装ipvsadm [root@node1 ~]# yum install ipvsadm.i386 [root@node1 ~]# modprobe -l | grep ipvs /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_dh.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_ftp.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblc.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblcr.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lc.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_nq.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_rr.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sed.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sh.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wlc.ko /lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wrr.ko #查看内核是否加载ipvs模块 三、配置ldirectord [root@node1 ~]# vim /etc/ha.d/ldirectord.cf checktimeout=3 #检测超时时间checkinterval=1 #检测时间autoreload=yes #配置文件改动时是否自动加载logfile="/var/log/ldirectord.log" # ldirectord日志路径quiescent=yes #检测到real server异常后是否保留该real server的配置 virtual=192.168.32.21:80 #VIP real=192.168.32.32:80 gate #Real Server1 real=192.168.32.33:80 gate #Real Server2 service=http request="test.html" #要求httpd根下必须存在test.html文件且内容为receive参数所定义 receive="test" virtualhost=httpd #随意定义 scheduler=rr #LVS负载算法，rr：轮询 persistent=600 #连接会话保持时间 protocol=tcp checktype=negotiate #通过交互来判断服务是否正常 checkport=80 [root@node1 ~]# scp /etc/ha.d/ldirectord node0:/etc/ha.d/ldirectord #确保两lvs主机（node0和node1）ldirectord.cf文件内容完全一样 四、heartbeat（两台lvs服务器node0和node1配置完全一样）1、heartbeat主配置文件(/etc/ha.d/ha.cf) [root@node1 ha.d]# vim /etc/ha.d/ha.cf #debugfile /var/log/ha-debug logfile /var/log/ha-log #指名heartbeat的日志存放位置。 #crm yes #是否开启Cluster Resource Manager（集群资源管理）功能。 bcast eth1 #指明心跳使用以太网广播方式，并且是在eth1接口上进行广播。 keepalive 2 #指定心跳间隔时间为2秒（即每两秒钟在eth1上发送一次广播）。 deadtime 30 #指定备用节点在30秒内没有收到主节点的心跳信号后，则立即接管主节点的服务资源。 warntime 10 #指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一个警告日志，但此时不会切换服务。 initdead 120 #在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两 倍。 udpport 694 #设置广播通信使用的端口，694为默认使用的端口号。 #baud 19200 #设置串行通信的波特率。 #serial /dev/ttyS0 #选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网。 #ucast eth0 192.168.1.2 #采用网卡eth1的udp单播来组织心跳，后面跟的IP地址应为双机对方的IP地址。 #mcast eth0 225.0.0.1 694 1 0 #采用网卡eth0的Udp多播来组织心跳，一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播，是组织心跳的三种方式，任选其一即可。 auto_failback on #用来定义当主节点恢复后，是否将服务自动切回，heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点，如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。 #stonith baytech /etc/ha.d/conf/stonith.baytech # stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。 #watchdog /dev/watchdog #该选项是可选配置，是通过Heartbeat来监控系统的运行状态。使用该特性，需要在内核中载入"softdog"内核模块，用来生成实际的设备文件，如果系统中没有这个内核模块，就需要指定此模块，重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grep misc /proc/devices"(应为10)，输入"cat /proc/misc |grep watchdog"(应为130)。最后，生成设备文件："mknod /dev/watchdog c 10 130" 。即可使用此功能。 node node0 #主节点主机名，可以通过命令“uanme –n”查看。 node node1 #备用节点主机名。 ping 192.168.32.254 #选择ping的节点，ping 节点选择的越好，HA集群就越强壮，可以选择固定的路由器作为ping节点，但是最好不要选择集群中的成员作为ping节点 ，ping节点仅仅用来测试网络连接。 #ping_group group1 192.168.12.251 192.168.12.239 #类似于ping。 #respawn hacluster /usr/local/ha/lib/heartbeat/ipfail #apiauth pingd gid=haclient uid=hacluster apiauth pingd gid=root uid=root respawn hacluster /usr/local/ha/lib/heartbeat/pingd -m 100 -d 5s #该选项是可选配置，列出与heartbeat一起启动和关闭的进程，该进程一般是和heartbeat集成的插件，这些进程遇到故障可以自动重新启动。最常用的进程是pingd，此进程用于检测和监控网卡状态，需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动pingd进程的身份。 #下面的配置是关键，也就是激活crm管理，开始使用v2 style格式 crm respawn #注意，还可以使用crm yes的写法，但这样写的话，如果后面的cib.xml配置有问题 #会导致heartbeat直接重启该服务器，所以，测试时建议使用respawn的写法 #下面是对传输的数据进行压缩，是可选项 compression bz2 compression_threshold 2 #注意，v2 style不支持ipfail功能，须使用pingd代替 [root@node1 ~]# scp /etc/ha.d/ha.cf node0:/etc/ha.d/ha.cf #拷贝主配置文件到node0上 2、认证文件(/etc/ha.d/authkeys) [root@node1 resource.d]# vim /etc/ha.d/authkeys auth 1 1 crc #2 sha1 HI! #3 md5 Hello! #authkeys文件用于设定heartbeat的认证方式，共有三种可用的认证方式：crc、md5和sha1，三种认证方式的安全性依次提高，但是占用的系统资源也依次增加。如果heartbeat集群运行在安全的网络上，可以使用crc方式，如果HA每个节点的硬件配置很高，建议使用sha1，这种认证方式安全级别最高，如果是处于网络安全和系统资源之间，可以使用md5认证方式。无论auth后面指定的是什么数字，在下一行必须作为关键字再次出现，例如指定了“auth 6”，下面一定要有一行“6 认证类型”。最后确保这个文件的权限是600（即-rw-------）。 [root@node1 ~]# scp /etc/ha.d/authkeys node0:/etc/ha.d/authkeys #拷贝认证文件到node0上 3、资源文件[root@node1 ~]# vim /etc/ha.d/haresources node0 IPaddr2::192.168.32.21/24/eth0 ldirectord::ldirectord.cf LVSSyncDaemonSwap::master #添加VIP，通过ldirectord启动lvs配置 #haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源，文件每一行可以包含一个或多个资源脚本名，资源之间使用空格隔开，参数之间使用两个冒号隔开，在两个HA节点上该文件必须完全一致，此文件的一般格式为：node-name network <resource-group> #node-name表示主节点的主机名，必须和ha.cf文件中指定的节点名一致，network用于设定集群的IP地址、子网掩码、网络设备标识等，需要注意的是，这里指定的IP地址就是集群对外服务的IP地址，resource-group用来指定需要heartbeat托管的服务，也就是这些服务可以由heartbeat来启动和关闭，如果要托管这些服务，必须将服务写成可以通过start/stop来启动和关闭的脚步，然后放到/etc/init.d/或者/etc/ha.d/resource.d/目录下，heartbeat会根据脚本的名称自动去/etc/init.d或者/etc/ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。 [root@node1 ~]# scp /etc/ha.d/haresources node0:/etc/ha.d/haresources #拷贝资源文件到node0上 五、RealServer（node2和node3）配置1、生成负载均衡VIP脚本（node2和node3一样）[root@node2~] # vim /etc/rc.d/init.d/lvsrs # #!/bin/bash #discription : Start Real Server VIP=192.168.32.21 . /etc/rc.d/init.d/functions case "$1" in start) echo "Start LVS of Real Server" /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce ;; stop) /sbin/ifconfig lo:0 down echo "Close LVS of Director Server" echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce ;; *) echo "Usage : $0 {start|stop}" exit 1 esac [root@node2~] # chmod a+x /etc/rc.d/init.d/lvsrs #给脚本增加可执行权限，然后启动并设置为开机启动： 2、生成测试文件[root@node2~] # echo "test"> /var/www/html/test.html #ldirectord测试页，文件名和内容与ldirectord.cf中定义一样[root@node2~] # echo "I am node2; My Ip：10.160.100.32"> /var/www/html/index.html [root@node3~] # echo "test"> /var/www/html/test.html #ldirectord测试页，文件名和内容与ldirectord.cf中定义一样[root@node3~] # echo "I am node3; My Ip：10.160.100.33"> /var/www/html/index.html 六、启动测试1、启动服务[root@node0 ~]# service heartbeat start [root@node0 ~]# chkconfig heartbeat on [root@node1 ~]# service heartbeat start [root@node1 ~]# chkconfig heartbeat on [root@node2 ~]# service lvsrs start [root@node2 ~]# chkconfig lvsrs on [root@node2 ~]# service httpd start [root@node2 ~]# chkconfig httpd on [root@node3 ~]# service lvsrs start [root@node3 ~]# chkconfig lvsrs on [root@node3 ~]# service httpd start [root@node3 ~]# chkconfig httpd on 2、测试[root@node0 ~]# ip addr show | grep 192.168.32.21 inet 192.168.32.21/24 brd 192.168.32.255 scope global secondary eth0 #node0的eth0网口已经添加vip [root@node0 ~]# ipvsadm -lnIP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.32.21:80 rr -> 192.168.32.32:80 Route 1 0 1 -> 192.168.32.33:80 Route 1 0 1 #node0的lvs配置生效 [root@node0 ~]# iptables -A OUTPUT -d 192.168.32.254 -p icmp -j REJECT #人为断开网络 [root@node1 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.32.21:80 rr -> 192.168.32.32:80 Route 1 0 0 -> 192.168.32.33:80 Route 1 0 0 #lvs自动切换到node1上，说明heartbeat双机机制成功 realserver配置测试略，通过ie访问可得到web内容再2s轮询方式切换