- 浏览: 3502741 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
wanglf1207:
EJB的确是个不错的产品,只是因为用起来有点门槛,招来太多人吐 ...
weblogic-ejb-jar.xml的元素解析 -
qwfys200:
总结的不错。
Spring Web Flow 2.0 入门 -
u011577913:
u011577913 写道也能给我发一份翻译文档? 邮件437 ...
Hazelcast 参考文档-4 -
u011577913:
也能给我发一份翻译文档?
Hazelcast 参考文档-4 -
songzj001:
DbUnit入门实战
1. 目的
通过此作业指导书,知道如何使用ubuntu+haproxy+heartbeat搭建大规模WEB集群环 境,实现负载均衡。
2. 适用范围
所有系统管理员。
3 .定义
l Ubuntu 开源的LINUX服务器操作系统.
l Haproxy Haproxy 提供高可用性、负载均衡 以及基于TCP和HTTP应用
的代理,它是免费、快速并且可靠的一种解决方案
l Heartbeat 用于实现故障转移,当一台机器DOWN后自动切换到备用机器
l Web服务器 包括Apache,Lighttpd,Nginx
l Openfiler 这是一个基于LINUX的NAS,用来建立Iscsi服务器
一 环境
1.硬件
服务器:
DELL 2950 1台
DELL 1950 1台
2U组装机 2台
1U组装机 1台
交换机:
H3C千M交换机
2.网络环境
· Load Balancer 1: lb1.ylmf.com , IP address: 192.168.1.100 eth0
· Load Balancer 2: lb2.ylmf.com , IP address: 192.168.1.101 eth0
· Web Server 1: web1.ylmf.com , IP address: 192.168.1.102 eth0
· Web Server 2: web2.ylmf.com , IP address: 192.168.1.103 eth0
· Iscsi target:openfiler.ylmf.com ,IP address:192.168.1.104 eth0
· lb1 and lb2共享IP: 192.168.1.99
3.所需要的软件
操作系统:Ubuntu server 8.0.4
Lb1和lb2:haproxy heartbeat
Web1和web2:Apache2
Iscsi target:Openfiler
二 Web服务器配置
在web1和 web2上配置
1.设置自动登录到iscsi target(openfiler)
安装open-iscsi
Apt-get install open-iscsi
发现iscsi-target
iscsiadm -m discovery -t sendtargets -p 192.168.1.104
设置开机自动登录到iscsi-target
iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.6f5d0fb29fc9 -p 192.168.1.104 –op update -n node.startup -v automatic
说明:-T后面的字符串是执行发现iscsi-target所获得的连接字符串
很多时候设置自动登录不成功,是因为在/etc/rc.local里面设置了dhclient
自动获取IP,这样自动登录到ISCSI的时候网络是不通的,所以不成功。
需要在/etc/network/interfaces里面设置自动获取IP地址
如: auto eth0
iface eth0 inet dhcp
2.格式化ISCSI磁盘并设置自动挂载
使用fdisk –l查看磁盘分区
fdisk -l
说明:/dev/sdb 164.4GB是iscsi磁盘
fdisk /dev/sdb #对磁盘进行分区
mkfs.ext3 /dev/sdb1 #将sdb1分区格式化为ext3文件系统
建立挂载目录
mkdir /iscsi
开机自动挂载
vi /etc/fstab
/dev/sdb1 /iscsi ext3 relatime 0 2 #增加这一行
3.安装web server
Apt-get install apache2
2)修改web服务器日志格式
Vi /etc/apache2/apache2.conf
#LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat “%{X-Forwarded-For}i %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
注释掉原来的CustomLog,并修改文档根路径为/iscsi/www
vi /etc/apache2/sites-available/default
SetEnvIf Request_URI “^/check\.txt$” dontlog
CustomLog /var/log/apache2/access.log combined env=!dontlog
/etc/init.d/apache2 restart #重启web服务器
4)建立check文件,haproxy使用该文件检查WEB状态,必须建立
Touch /iscsi/www/check.txt
Web服务器配置完成,很简单,lb1和lb2就要复杂一些
三配置负载均衡haproxy
在lb1和lb2上配置
1.修改hosts文件
Vi /etc/hosts
192.168.1.100 lb1.ylmf.com
192.168.1.101 lb2.ylmf.com
192.168.1.102 web1.ylmf.com
192.168.1.103 web2.ylmf.com
2.安装软件
Apt-get install haproxy
3.修改haproxy配置文件
Cp /etc/haproxy.cfg /etc/haproxy.cfg.bak
Cat /dev/null > /etc/haproxy.cfg
Vi /etc/haproxy.cfg
global
log 127.0.0.1 local0
log 127.0.0.1 local1 notice
#log loghost local0 info
maxconn 4096
#debug
#quiet
user haproxy
group haproxy
defaults
log global
mode http
option httplog
option dontlognull
retries 3
redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
listen webfarm 192.168.1.99:80
mode http
stats enable
stats auth ylmf:ylmf
balance roundrobin
cookie JSESSIONID prefix
option httpclose
option forwardfor
option httpchk HEAD /check.txt HTTP/1.0
server webA 192.168.1.102:80 cookie A check
server webB 192.168.1.103:80 cookie B check
4.修改默认配置,让haproxy开机自动启动
Vi /etc/default/haproxy
# Set ENABLED to 1 if you want the init script to start haproxy.
ENABLED=1
# Add extra flags here.
#EXTRAOPTS=”-de -m 16″
四配置heartbeat高可用
Active/Standby 模式
Lb1和lb2上配置
1.安装
Apt-get install heartbeat
2.修改内核参数
Vi /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind=1
sysctl –p #让设置生效
3.设置授权KEY
vi /etc/ha.d/authkeys
auth 3
3 md5 somerandomstring
chmod 600 /etc/ha.d/authkeys #修改权限
4.添加ha资源
vi /etc/ha.d/haresources
lb1.ylmf.com 192.168.1.99
在lb1上配置
vi /etc/ha.d/ha.cf
#
# keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.101 #这个IP是lb2的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com |
在lb2上配置
vi /etc/ha.d/ha.cf
#
# keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.100 #这个IP是lb1的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com |
5.设置开机自动启动heartbeat
vi /etc/rc.local
/etc/init.d/heartbeat start
Active/Active模式
在lb1和lb2的ha.cf里面增加一行
auto_failback on
在lb1上
vi /etc/ha.d/haresources
lb1.ylmf.com 192.168.1.99
在lb2上
vi /etc/ha.d/haresources
lb2.ylmf.com 192.168.1.99
参考文档http://www.hiadmin.com/ha%E9%85%8D%E7%BD%AE%E6%96%B9%E6%B3%95/
五测试
1.启动heartbeat
/etc/init.d/heartbeat start
2.启动haproxy
/etc/init.d/haproxy start
3.在lb1和lb2上查看接口信息
Ifconfig 或 ip addr sh eth0
4.查看haproxy状态
http://192.168.1.99/haproxy?stats
六 haproxy参考文档
官方网址:http://cn.haproxy.org/
描述
HAProxy提供高可用 性、负载均衡 以及基于TCP和HTTP应用的代理,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会 话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的 web服务器不被暴露到网络上, 如下所示:
当前,版本1.3, 它支持如下新特性:
- 内容交换 : 可以根据请求(request)的任何一部分 来选择一组服 务器, 比如请求的 URI , Host 头(header) , cookie , 以及其他任何东西. 当然,对那些静态分离的站点来说,对此特性还有更多的需求。
- 全透明代理 : 可以用 客户端IP 地 址 或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy 补 丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。
- 基于树的更快的调度器 : 1.2.16以上的版本要求所有的超时都设成同样的值以支持数以万计的全速连接. 这个特性已经移植到1.2.17.
- 内核TCP 拼接 : 避免了内核到用户然后用户到内核端的数据拷贝, 提 高了吞吐量同时又降低了CPU 使用率 . Haproxy 1.3支持Linux L7SW 以满足在商用硬件上数Gbps 的 吞吐的需求。
- 连接拒绝 : 因为维护一个连接的打开的开销是很低的,有时我们很需要限制攻击蠕虫(attack bots), 也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救了很多站点。
- 细微的头部处理 : 使得编写基于header的规则更为简单,同时可以处理URI的某部分。
- 快而可靠的头部处理 : 使用完全RFC2616兼容的完整性检查对一般的请求全部 进行分析和索引仅仅需要不到2ms 的时间。
- 模块化设计 : 允许更多人加入进此项目,调试也非常简单. poller已经分离, 已经使得它们的开发简单了很多. HTTP已经从TCP分离出来了, 这样增加新的七层特性变得非常简单. 其他子系统也会很快实现模块化
- 投机I/O 处理 : 在一个套接字就绪前就尝试从它读取数据。poller仅推测哪个可能就绪哪个没有,尝试猜测,并且如果成功,一些开销很大的系统调用 就可以省去了。如果失败,就会调用这些系统调用。已知的使用Linux epoll()已经净提升起码10%了。
- ACLs : 使用任意规则的任意组合作为某动作的执行条件。
- TCP 协议检查 : 结合ACL来对请求的任意部分进行检查,然后再进行转发。这就可以执行协议验证而不是盲目的进行转发。比如说允许SSL但拒绝SSH。
- 更多的负载均衡算法 : 现在,动态加权轮循(Dynamic Round Robin),加权源地址哈希(Weighted Source Hash),加权URL哈希和 加权参数哈希(Weighted Parameter Hash)已经实现。其他算法比如Weighted Measured Response Time也很快会实现。
和其他”免费”的负载均衡解决方案不同的是, HAproxy仅被几百或者几千的遍布全球的用户使用, 但是这些用户通常运行很大的站点, 每天有数百万的点击量和几Gbps甚至几万兆(terabytes) 吞吐量。 他们需要7×24的可用性并且愿意承受免费软件解决方案的风险, 同时有这些使用技术. 通常, 这种解决方案仅配置为内部使用, 我仅在他们提供给我反馈或者需要新特性的时候才会知道.
Heartbeat介绍
Linux-HA项目在广泛的平台上提供成熟的高可用(故障切换)能力,在全球支持上万个关键任务节点。 其中一小部分记录在成功案例。
Linux-HA项目是目前可用的时间最长,最多能力,和经过最好测试的开放源码高可用性解决方案,并具有最大的辅助社区.根据项目的规则,它一直 保证编译时没有警告,没有静态分析工具发现的问题.安全专家定期审查源程序.
它提供对节点,应用的监视功能,提供一个成熟的基于规则的资源配置依赖模型.当一个故障发生,或一个规则变化,用户提供的规则将指导期望的资源的重 新配置.
一般来说,它具有至少与Veritas VCS, SunCluster, LifeKeeper, ServiceGuard等商业集群软件类似的功能和同样方便的使用方法.
特性
- 工作在所有Linux的变体和平台上,并随许多Linux发行版一起打包发行.
- 支持复杂的服务间的依赖关系.可以快速准确地启动和停止资源.
- 支持强制多个资源运行在同一位置或强制多个资源运行在不同位置的规则.
- 基于规则的资源配置可以让资源精确地根据用户定义的规则,节点的属性和位置的限制条件来配置.
- 适当力度的资源管理可以让用户自己定义属性,这样可以使资源的切换基于用户自己的标准进行.
- 基于时间的规则可以根据不同时间来适用不同的规则.举例来说,用户可以设定,切换要延迟到晚上或周末进行.
- 易于理解和配置的基于init脚本的应用管理. – 对于基本管理,许多服务不需要定义新脚本.
- 资源组提供了一个简单的易于使用的服务管理.
· 活动的隔离机制(STONITH)提供强大的数据完整性保证-即使在发生一些不 寻常的故障情况下.
· 全特性的图形用户界面 – 可以用来配置,控制,监视服务和服务器的运行
· 支持工业标准的系统管理协议 CIM (Common Information Model)
- 开放源码避免了提供商占据产品,并提供非常大的灵活性,稳定性,响应度和测试.
- 在Linux上有很长的历史,并在健壮性上有良好的声望.
- 可以在单独的机器上对基于init脚本的应用进行监控和重启.
- 可以运行在FreeBSD和Solaris上,并可以移植其它类POSIX平台.
官方网址:http://www.linux-ha.org/zh/HomePage_zh
完成!
发表评论
-
collectd
2011-08-03 14:27 2281collectd是一个守护(daemon)进程,用来收集系 ... -
HP ASR(Automatic Server Recovery)机制
2011-04-15 14:24 3557ASR(Automatic Server Re ... -
LINUX下用HP的IML工具查看服务器的日志信息
2011-04-14 16:40 4892LINUX下用HP的IML工具查看 ... -
LINUX做服务器的无盘系统
2011-01-26 18:19 1921客户端是支持PXE方式启 ... -
简易搭建一个私有云平台
2010-11-17 18:30 3223众说周知Amazon EC2是一个公共云的计算平台,属于Iaa ... -
[HA]利于heartbeat构建Oracle高可用
2010-09-17 12:41 476710月 24th, 2008 @ Kevin.yuan ... -
服务部署--IP SAN潜在的关键应用
2010-08-26 09:38 2097IP SAN可以说是近几年来存储领域的关键技术之一, ... -
MySQL负载均衡
2010-08-08 23:39 46901. 添加监控MySQL状态的端口 # vi /etc/se ... -
Ha-proxy 学习
2010-08-08 23:08 8961什么是ha-proxy ... -
SQL Server 各版本的区别
2010-08-08 17:49 4042SQL Server 2005 Enterprise Ed ... -
Oracle数据库11g版本介绍
2010-08-08 17:44 3476无论您是独立开发者、中小企业还是大型企业,这些世界一 ... -
tpmC简单计算法
2010-07-29 18:59 17965计算原则: 以单台服务器性能进行计算,即确保单台服务器工作的时 ... -
KVM遥控服务器群
2010-07-07 15:54 2151众所周知,所谓KVM,就是键盘(Keyboard)、显示器 ... -
数据存储配置参考
2010-07-02 10:07 1791型号 配 置 数量 ... -
More Numbers (OpenDS and a hint at ApacheDS)
2010-04-29 23:45 2476Some more numbers have come in. ... -
利用Copssh在windows下搭建ssh服务
2010-03-09 01:04 13432现在远程维护基本上用ssh连接,linux系 ... -
Taking a load off: Load balancing with balance
2010-03-05 16:00 1782A server is limited in how man ... -
Software Based Load Balancers
2010-03-05 15:57 1839keyword:Load Balance ref: http ... -
SAN,NAS,DAS及其架构之间区别
2010-02-26 14:11 1700随着计算机技术的发展 ... -
Apache: Creating A Session-Aware Loadbalancer Using mod_proxy_balancer (Debian E
2010-02-12 14:45 3168Since Apache 2.1, a new module ...
相关推荐
总之,通过FinalBSD和HAProxy,我们可以构建一个强大且灵活的开源负载均衡架构平台。这个平台不仅可以有效地分发网络流量,提高服务的可靠性和响应速度,还能实现高级功能,如会话持久性、服务器保护和智能流量控制...
负载均衡架构是现代互联网企业构建高可用和可扩展系统的关键技术。它通过分散网络流量,确保服务的稳定性和效率。本文主要探讨了开源负载均衡软件(如LVS、HAProxy、nginx)与商业负载均衡产品(如F5的BIG-IP、A10的...
总结,通过Keepalived与HAProxy的集成,我们可以构建出一个高可用且具备负载均衡能力的网络服务架构。这种架构不仅能保证服务的连续性,还能根据业务需求灵活调整负载分配策略,提升系统的整体性能和稳定性。在实际...
Haproxy(High Availability Proxy)是其中的一款开源、高性能、高可用的负载均衡器,尤其在Linux环境下被广泛应用。 Haproxy 1.8.4是haproxy的一个稳定版本,发布于2017年,提供了多种特性与改进,如: 1. **性能...
总之,负载均衡是构建高可用、高性能大型网站的关键技术之一,通过合理的负载分配策略和选择合适的负载均衡器,可以显著提升网站的用户体验和服务质量。在实践中,还需要综合考虑数据一致性、会话管理、监控报警以及...
在这个主题中,我们将聚焦于"FinalBSD:通过HAProxy,构建开源负载均衡架构平台"这一课件,探讨如何利用开源工具HAProxy在FreeBSD操作系统上实现负载均衡。 HAProxy是一款高性能、轻量级的TCP/HTTP负载均衡器,广泛...
综上所述,Haproxy作为一个强大的负载均衡器,提供了丰富的配置选项和健壮的故障恢复机制,是构建高可用网络架构的重要组件。结合Keepalived,可以进一步提高系统的可靠性和稳定性,使其达到与硬件负载均衡器相媲美...
负载均衡是现代互联网架构中的关键组件,它通过将网络流量分发到多个服务器,确保服务的高可用性和性能优化。而HAProxy(High Availability Proxy)正是这样一款开源的、高性能的TCP/HTTP负载均衡器,被广泛应用于...
通过以上步骤和策略,Haproxy可以在中小企业环境中构建起一套高效、可靠的负载均衡系统,保证业务的持续性和服务质量。同时,这种配置方法也可以根据业务规模和复杂度进行扩展,适应不同的需求。
综上所述,构建企业级Web负载均衡完美架构需要综合考虑多种因素,包括但不限于技术选型、策略配置、扩展性、容错机制和安全管理。通过深入理解这些知识点,并结合实际业务需求,可以设计出满足高并发、高可用要求的...
HAProxy是一款开源的、高性能的TCP/HTTP负载均衡器,它能够有效地分配网络流量,确保服务的稳定性和效率。 【描述】:该管理系统系列的内容可能包括了如何搭建HAProxy主从架构,以实现任务管理系统的高可用性。在...
为了实现这样的架构,你需要配置EMQTT集群,确保各个节点间能进行数据同步,然后在前端部署HAProxy,根据需求设置负载均衡策略(如轮询、最少连接数等)。同时,需要对HAProxy的配置文件进行细致的调优,以达到最佳...
例如,Nginx和HAProxy都是开源的,用户可以通过修改源代码来定制自己的负载均衡策略。 8. **工具**:在实际应用中,可能会用到各种负载均衡工具,如AWS的ELB(Elastic Load Balancing),Google Cloud的Cloud Load ...
### MyCat高可用负载均衡集群实现(HAProxy+Keepalived+MyCat) #### 一、概述 在当今互联网行业中,随着业务规模的不断扩大和技术需求的日益增长,系统的高可用性和负载均衡能力变得尤为重要。本篇文章主要介绍了...
HAProxy是一款广泛应用于互联网行业的开源负载均衡器,其主要任务是确保服务的高可用性和性能优化。这款工具能够处理大量的网络连接,同时提供负载均衡功能,将流入的网络请求分配到多个后端服务器,从而避免单点...
本文将详细介绍如何利用HAProxy、Keepalived以及MyCat这三个开源工具构建一个强大的高可用负载均衡集群。 #### 二、关键技术组件介绍 1. **HAProxy**:一个免费、快速且可靠的解决方案,用于提供高可用性、负载...
负载均衡是一种网络技术,用于将流入的网络流量分散到多个服务器上,以避免单个服务器过载并确保服务的高可用性和性能。...通过灵活选择和配置不同的开源工具,可以构建出满足各种需求的负载均衡架构。
【实用负载均衡技术】是关于网络服务优化与高可用性构建的重要主题,主要涉及如何有效地分发网络流量,确保服务的稳定性和效率。在互联网应用日益复杂和庞大的今天,负载均衡已经成为不可或缺的技术手段。本资料重点...
haproxy是一款广泛使用的开源负载均衡器和反向代理服务器,它以其轻量级、高效能和高可用性著称。在IT行业中,尤其是在大型网站和云服务中,haproxy扮演着关键角色,负责将流量分发到多个后端服务器,以提高服务的...