一、理论知识(原理)
我们不仅要知其然,而且要知其所以然,所以先给大家准备一些理论知识课,这样对以后的应用将会事半功倍。
1、什么是LVS?
请阅读作者章文嵩博士自己的研究报告,共计4部分,看完后对集群和LVS就有了初步的了解,不懂时可以翻翻。
LVS项目介绍:http://www.linuxvirtualserver.org/zh/lvs1.html
LVS集群的体系结构:http://www.linuxvirtualserver.org/zh/lvs2.html
LVS集群中的IP负载均衡技术:http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的负载调度:http://www.linuxvirtualserver.org/zh/lvs4.html
2、什么是KeepAlived?
Keepalived原理与实战精讲: http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/
3、什么是CentOS?
百度百科给出的:http://baike.baidu.com/link?url=X3SzN3bJWjW_PkWC6GB2MTs5KhVmxBAxnCRjs9W7-IARDiHloZ_oRWj17BEz0kY3
4、小结
相信读了以上的理论知识后,已经对集群的实现原理有了大概的了解,那接下来我们就开始动手吧。
系统架构图:
二、服务器的安装
我们会用到4个服务器,横向分2层:
第1层是LVS服务器(1个主,1个从;从可以多个)用来转发请求,需要安装ipvsadm和keepAlived;第2层是提供具体服务的服务器(表中用了2个;当然也可以是多个,现实的应用会上百台。),安装的是具体的服务,这里我们安装的是TOMCAT。
主机环境如下:
192.168.203.107 LVS_VIP(VIP:Virtual IP)
192.168.203.103 LVS_Master
192.168.203.104 LVS_Backup
192.168.203.93 WEB1_RealServer
192.168.203.94 WEB2_RealServer
克隆:我们先安装配置好一层的一个服务器,其他服务器使用克隆方式。
1、安装虚拟机VirtualBox4.2.12
2、安装CentOS 6.5
这一步先安装一台虚拟机,然后其他的通过克隆方式安装,不过注意的是,克隆之后需要修改相应的IP地址已经eth0等配置。
具体方法是:
1)修改/etc/udev/rules.d/70-persistent-net.rules
拷贝eth1的硬件地址到eth0
删除eth1信息
2)配置/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0" BOOTPROTO="static" HWADDR="00:0C:29:91:42:2C" MTU="1500" NM_CONTROLLED="yes" ONBOOT="yes" IPADDR=192.168.203.94 NETMASK=255.255.255.0 GATEWAY=192.168.203.254
3)reboot
这样可以保证所有的机器网卡都是eth0接口
3、LVS层安装LVS和KeepAlived
首先是LVS_MASTER机器的安装配置,打开LVS_Master服务器;
先安装lvs_master的服务,lvs_backup使用克隆虚拟机的方式,然后在配置文件修改三个参数即可,下面会讲到。
1)安装IPVSADM
知识点:IPVSADM理解为IPVS管理工具;LVS(Linux Virtual Server)的核心为IPVS(IP Virtual Server),从Linux内核版本2.6起,IPVS模块已经编译进了Linux内核。
使用yum命令进行安装,系统会选择最适合内核版本的ipvsadm
yum -y install ipvsadm
2)防火墙
为了测试方便,我们直接关闭防火墙,在实际使用中开启需要的端口即可(具体配置可参考:http://www.cnblogs.com/rockee/archive/2012/05/17/2506671.html)
service iptables stop
3)KeepAlived 的安装
知识点:KeepAlived是一个路由软件,它主要的目的是让我们通过简单的配置,实现高可用负载均衡,当然负载均衡依赖于Linux虚拟服务器(IPVS)的内核模块,其高可用性使用VRRP协议来实现,KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉;同时它还能对负载均衡调度器本身实现健康状态检查,当主负载均衡调度器出现问题时,备用负载均衡调度器顶替主进行工作。
逐条执行如下命令,执行的原因暂不解释,实际就是需要这些组件,安装即可。
cd /usr/src yum -y install openssl-devel wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz wget http://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm yum -y install popt-static-1.13-7.el6.x86_64.rpm yum -y install kernel-devel make gcc openssl-devel libnl* popt* ln -s /usr/src/kernels/2.6.32-220.13.1.el6.x86_64/ /usr/src/linux tar zxvf keepalived-1.2.7.tar.gz cd keepalived-1.2.7 ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/ make && make install cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ mkdir /etc/keepalived cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ cp /usr/local/sbin/keepalived /usr/sbin/
注:上面的kernel路径自己去用tab键弄出来
OK,KeepAlived安装完毕,然后进行配置。
4)KeepAlivde的配置
第一步:打开IP Forward 功能(LVS现有三种负载均衡规则都需要打开此功能,如果不打开此功能,下面的配置配得再好都无济于事。)
vim /etc/sysctl.conf
打开后修改里面“net.ipv4.ip_forward = 1”
修改好后保存退出,执行如下命令使设置立即生效
sysctl -p
第二步:KeepAlivde的配置
配置文件在这个位置: /etc/keepalived/keepalived.conf
启动KeepAlived时,它默认会去/etc/keepalived下面找它的配置文件,所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改:
! Configuration File for keepalived global_defs { notification_email { test@sina.com } notification_email_from admin@test.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_MASTER } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 60 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.203.107 } } virtual_server 192.168.203.107 8080 { delay_loop 6 lb_algo rr lb_kind DR nat_mask 255.255.255.0 persistence_timeout 50 protocol TCP real_server 192.168.203.93 8080 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.203.94 8080 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }
以上就完成了keepAlived的配置,下面进行启动
chkconfig keepalived on service keepalived start
查看进程
ps aux | grep keepalived
Keepalived正常运行时,共启动3个进程,其中一个进程是父进程,负责监控其子进程;一个是vrrp子进程;另外一个是checkers子进程。
查看下虚拟IP是否已经加上(重要)
[root@centos03 keepalived-1.2.7]# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 08:00:27:81:29:7d brd ff:ff:ff:ff:ff:ff inet 192.168.203.103/24 brd 192.168.203.255 scope global eth0 inet 192.168.203.107/32 scope global eth0 inet6 fe80::a00:27ff:fe81:297d/64 scope link valid_lft forever preferred_lft forever
说明虚拟IP已经自动配置上了。
还有3个命令在先列示下,并不用执行
显示集群中服务器ip信息:ipvsadm -ln
查看日志:tail -f /var/log/messages
查看请求转发情况:ipvsadm -lcn | grep 虚拟IP
==>>至此,LVS_MASTER服务器已经配置好并启动了,接下来我们配置web服务器。
4、WEB服务器WEB1_RealServer的配置
1)克隆虚拟机WEB1_RealServer(192.168.203.93);
2)配置虚拟IP启动脚本
vim /etc/init.d/realserver.sh
在文件中输入如下脚本:
#!/bin/bash SNS_VIP=192.168.203.107 . /etc/rc.d/init.d/functions case "$1" in start) ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP /sbin/route add -host $SNS_VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1 echo "RealServer Start OK" ;; stop) ifconfig lo:0 down route del $SNS_VIP >/dev/null 2>&1 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stoped" ;; *) echo "Usage: $0 {start|stop}" exit 1 esac exit 0
3)安装配置TOMCAT
我测试用的是TOMCAT6
yum -y install tomcat6 tomcat6-webapps tomcat6-admin-webapps service tomcat6 start
关闭防火墙:service iptables stop
打开浏览器:http://192.168.203.93:8080
会看到TOMCAT的熟悉页面了。
为了测试负载均衡,我们将这个页面改下,以更好的标识这个网页是本服务器的
Tomcat6安装目录位于/usr/share/tomcat6,所以我们要编辑tomcat下的webapps/ROOT/index.html这个文件。
cd /usr/share/tomcat6/webapps/ROOT/ cat /dev/null > index.html vim index.html
将如下文本写入index.html,然后打开浏览器:http://192.168.203.93:8080,已经改变:
web1 192.168.203.93
4)启动虚拟IP的脚本
sh /etc/init.d/realserver.sh start ifconfig
运行后会看到网络有一个虚拟IP:
[root@centos01 ROOT]# ifconfig eth0 Link encap:Ethernet HWaddr 08:00:27:59:AB:1D inet addr:192.168.203.93 Bcast:192.168.203.255 Mask:255.255.255.0 inet6 addr: fe80::a00:27ff:fe59:ab1d/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:81006 errors:0 dropped:0 overruns:0 frame:0 TX packets:12305 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:83023415 (79.1 MiB) TX bytes:1645604 (1.5 MiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:46 errors:0 dropped:0 overruns:0 frame:0 TX packets:46 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:3559 (3.4 KiB) TX bytes:3559 (3.4 KiB) lo:0 Link encap:Local Loopback inet addr:192.168.203.107 Mask:255.255.255.255 UP LOOPBACK RUNNING MTU:16436 Metric:1
5)去LVS_MASTER服务器的终端查看下ipvsadm,查看已经连接上了WEB1服务器,运行命令
ipvsadm -ln
结果如下:
[root@centos03 keepalived-1.2.7]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.203.107:8080 rr persistent 50 -> 192.168.203.93:8080 Route 1 0 0
已经可以看到有服务器加入进来了。
此时我们访问网页http://192.168.203.107:8080,出现界面显示web1 192.168.203.93;
OK,至此已经能实现负载均衡了,接下来我们通过克隆实现多个主机的试验。
5、服务器克隆
1)从LVS_MASTER克隆一个LVS_BACKUP服务器,然后修改其中的参数,MASTER与BACKUP配置仅三处不同:global_defs中的router_id、vrrp_instance中的state、priority
(注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常)
配置好的如下文:
! Configuration File for keepalived global_defs { notification_email { test@sina.com } notification_email_from admin@test.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_BACKUP } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 60 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.203.107 } } virtual_server 192.168.203.107 8080 { delay_loop 6 lb_algo rr lb_kind DR nat_mask 255.255.255.0 persistence_timeout 50 protocol TCP real_server 192.168.203.93 8080 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.203.94 8080 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }
2)从WEB1_RealServer克隆一个WEB2_RealServer,将tomcat的index.html文件改为web2 192.168.203.94。(这里的IP是我测试的,您的可以自定义)
启动realserver.sh脚本。
3)OK,至此我们已经虚拟出2个LVS服务器,一对主从;2个WEB服务器,web1和web2。接下来我们进行测试,看能否满足我们的初始需求。
三、负载和可用性测试
开启每个服务器的相关服务,关闭防火墙,我们开始进行测试。
1、测试LVS层
1)首先执行ip a命令,主服务器会存在一个虚拟IP,从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示:
显示集群中服务器ip信息:ipvsadm -ln
查看日志:tail -f /var/log/messages
查看请求转发情况:ipvsadm -lcn | grep 虚拟IP
2)现在停掉LVS_MASTER的keepAlived服务,看LVS_BACKUP是否可以自动加上虚拟IP地址,并且开始转发请求。
(注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常)
之后你通过命令:ip a去分别查看LVS_MASTER和LVS_BACKUP机器,结果正如预料一样,BACKUP立即接管了MASTER的工作。
切换很快,访问网页:http://192.168.203.107:8080也能正常显示。
3)恢复主服务器的keepAlived服务后,主服务器立刻接替了从服务器的工作,就不做截图了。和第1)个正常效果是一样的。
4)测试WEB服务器,看能否正常提供服务。先断掉WEB1,看下效果。
ipvsadm中的服务器列表,已经去掉了WEB1服务器,访问网页也只能访问到WEB2服务器了。
5)开启WEB1,关掉WEB2。测试正常。
四、总结
经过不断的测试,终于完成了这篇稿子,望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的,比如:
1、keepAlived中的通知邮箱好像必须要写,否则不正确;
2、keepAlived中的网卡设备要注意,按照服务器的实际情况填写;
3、使用时,必要的端口要打开,或者关掉防火墙。否则有事不提供服务;
4、一些命令行的执行,少一些参数执行就可能会有一些问题。
5、LINUX系统的目录结构也头疼,要不断的熟悉,否则也让你故意弄混了。
---------------------------------------------------全文完--------------------------------------------
相关推荐
本文档中所描述的具体业务场景是以CentOS Linux release 6.0 (Final)操作系统为基础,使用LVS+Keepalived实现高可用负载均衡。系统架构如图2所示,其中负载均衡服务器负责将客户端对VIP的访问请求转发至后端的真实...
### CentOS 6.5 LVS+Keepalived 高可用集群搭建详解 ...通过以上步骤,可以成功搭建基于CentOS 6.5的LVS+Keepalived高可用集群,实现负载均衡和故障切换等功能,确保系统的稳定运行和服务的连续性。
总结来说,LVS和Keepalived的组合在CentOS 6.5环境下提供了强大的负载均衡和高可用性解决方案。通过离线安装,你可以避免网络问题对部署的影响,但需确保所有依赖项都被正确处理。这个压缩包包含了所有必要的文件,...
【LVS+Keepalived 实现高性能高可用负载均衡服务器】 在互联网行业中,随着网站业务量的不断增长,服务器承受的压力日益增大。为了确保服务的稳定性和可用性,需要采用负载均衡策略。LVS(Linux Virtual Server)和...
"CentOS 6.4 安装 Nginx + Keepalived 实现高可用负载均衡" 本文主要讲述如何在 CentOS 6.4 操作系统上安装 Nginx 和 Keepalived,以实现高可用负载均衡。高可用负载均衡是指在 Web 服务器前端部署多台 Nginx ...
本文介绍了使用 LVS(Linux Virtual Server)和 Keepalived 实现高可用性负载均衡的配置。LVS 是一种开源的负载均衡解决方案,可以将入站流量分配到多个后端服务器上,以提高系统的可扩展性和可用性。Keepalived 是...
### ipvsadm+keepalived 实现高可用负载均衡 #### 一、概述 在现代互联网服务中,负载均衡技术是提高系统可用性和扩展性的关键。通过合理分配客户端请求到不同的后端服务器,不仅可以提高系统的处理能力,还能有效...
centos7搭建LVS+keepalived
《通过LVS+Keepalived搭建高可用的负载均衡集群系统》 在构建大型网络服务时,确保系统的高可用性和稳定性至关重要。LVS(Linux Virtual Server)配合Keepalived的解决方案,能有效实现这一目标。LVS是一种开源的...
本文将对 Web 负载均衡解决方案进行详细介绍,该解决方案基于 HAproxy 和 keepalived 实现高可用负载均衡。HAProxy 是一种提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理,可以支持虚拟主机,免费、快速...
本文主要介绍了使用ipvsadm和keepalived在CentOS系统上搭建高可用集群的过程。该解决方案主要用于Load Balancer(负载均衡器)和高可用服务器集群。 一、系统和软件 在本文中,我们使用了两台DS服务器和两台RS...
在IT行业中,LVS(Linux Virtual Server)和Keepalived是构建高可用性集群的关键组件。这个名为"centos7.5 LVS +keepalived安装包.zip"的压缩文件显然是为CentOS 7.5操作系统设计的,用于在完全离线的环境中安装和...
在本文档中,我们讨论了如何在CentOS 6.3上搭建LVS(Linux Virtual Server)和Keepalived集群,这两个组件一起用于创建高可用性负载均衡解决方案。以下是搭建过程中涉及的关键知识点: 1. **LVS(Linux Virtual ...
在本文中,我们将使用CentOS 6.5作为操作系统,安装Nginx和keepalived来实现负载均衡。 四、Nginx的安装配置 在本节中,我们将详细介绍Nginx的安装和配置过程。 1. 安装编译工具 使用yum update和yum install...
在CentOS 5.5环境下部署LVS+Keepalived是一项高级网络管理任务,主要目的是构建一个高可用性(HA)和负载均衡的服务器集群。本文将深入解析部署过程中的关键知识点,帮助读者理解并掌握在该环境中设置LVS与...
本文档将详细介绍如何在CentOS 5.5操作系统环境中搭建基于LVS (Linux Virtual Server) 和 Keepalived 的高可用性负载均衡集群。通过此方案可以有效提升服务器集群的负载分担能力,并确保在主服务器发生故障时能够...
标题所涉及的知识点为“Mycat高可用负载均衡集群实现”,这是使用HAProxy和Keepalived技术来达成MyCat服务器集群的高可用性和负载均衡的方案。下面详细说明这一知识点。 首先,Mycat是一个数据库中间件,它可以实现...
LVS是一种基于IP层的负载均衡技术,由章文湘在1998年开发,旨在为Linux提供高性能的网络服务器集群解决方案。LVS支持三种工作模式:NAT(网络地址转换)、DR(直接路由)和TUN(隧道)模式。这些模式允许LVS根据不同...
LVS(Linux Virtual Server)是由章文嵩博士发起的一个自由软件项目,它旨在通过负载均衡技术和Linux操作系统来实现高性能、高可用的服务器集群。LVS自1998年启动以来,已经成为了一个成熟的解决方案,并且被广泛...
通过上述步骤,我们可以成功地搭建基于 Nginx + LVS + Keepalived 的高可用负载均衡集群。这不仅能够显著提升服务的可靠性和性能,还能够轻松应对大规模并发请求。同时,通过合理的配置,可以实现服务的平滑切换和...