Linux高可用性方案之Heartbeat安装(原创)

安装Heartbeat前的准备
Heartbeat集群必须的硬件
从下图看出，构建一个Heartbeat集群系统必须的硬件设备有：

节点服务器；
网络和网卡；
共享磁盘。
节点服务器
安装Heartbeat至少需要两台主机，并且对主机的要求不高，普通的PC服务器即可满足要求。当然，也可以在虚拟机上安装Heartbeat，现在Heartbeat可以很好地运行在Linux系统下，很多Linux发行版本都自带了Heartbeat套件，同时，还可以运行在FreeBSD和Solaris操作系统上。
网卡和网络
Heartbeat集群中的每个主机应有一块网卡和一个空闲串口。网卡用于连接公用网络，串口可以通过串口线。例如modem电线来实现连接，用于心跳监控节点间的状态。如果没有空闲串口的话，每个主机也可以通过两块网卡来实现HA，其中一块网卡用于连接公用网络，另一块网卡通过以太网交叉线与两个节点相连接。
注意 以太网交叉线和串口电线都能用于心跳监控，串口电线传输Heartbeat信号相对较好，如有条件，尽量使用串口线代替以太网交叉线作为节点间的心跳检测设备。
Heartbeat支持3种类型的网络，即公用网络（public network）、私用网络（private network）和串行网络（serial network）。
公用网络连接多个节点，并且允许客户端访问集群中的服务节点；私用网络提供两个节点之间点到点的访问，但是不允许客户端访问，可以通过以太网交叉线构建一个私用网络，以供节点间相互通信；串行网络也是一个点到点的连接，一般使用串行网络来传输控制信息和心跳监控。串行网络可以是一条RS232串口线。
共享磁盘
共享磁盘是一个数据存储设备，HA集群中的所有节点都需要连接到这个存储设备上，在这个共享的存储设备上一般放置的是公用的、关键的数据和程序，一方面可以共享数据给所有节点使用，另一方面也保证了数据的安全性。
Heartbeat支持两种对共享磁盘的访问方式：独占访问和共享访问。在独占访问方式下，保持活动的节点独立使用磁盘设备，只有当活动节点释放了磁盘设备，其他节点才能接管磁盘进行使用。在共享访问方式下，集群所有节点都可以同时使用磁盘设备。当某个节点出现故障时，其他节点无需接管磁盘。共享访问方式需要集群文件系统的支持。
2．操作系统规划
这里统一采用Red Hat Enterprise Linux Server release 5.4操作系统。每个节点服务器都有两块网卡，一块用作连接公用网络，另一块通过以太网交叉线连接两个节点，作为心跳监控。共享磁盘由一个磁盘阵列设备提供，两个节点共享一个磁盘分区。磁盘分区对应的硬件标识为/dev/sdb5，挂载点为/webdata，文件系统类型为ext3。
网络以及IP地址规划如下表所示。

节 点 类 型	IP 地址规划	主　机　名	类型
主用节点	eth0 ： 192.168.60.132	node1	Public IP
eth1 ： 10.1.1.1	priv1	private IP
eth0:0 ： 192.168.60.200	无	Virtual IP
备用节点	eth0 ： 192.168.60.133	node2	Public IP
eth1 ： 10.1.1.2	priv1	private IP

从上表可知，eth0网络设备用于连接公用网络，eth1网络设备用于连接私用网络，而eth0:0网络设备是HA集群虚拟出来的服务IP地址，用于对外提供应用程序服务。基本的拓扑结构如图

获取Heartbeat
Heartbeat到目前为止发行了三个主版本，即Heartbeat 1.x、Heartbeat 2.x和Heartbeat 3.x。Heartbeat 1.x仅仅允许创建两个节点的集群，提供基本的高可用性failover服务。Heartbeat 2.x提供了增强的特性，允许创建多个节点的集群，又支持模块结构的配置方法－集群资源管理器（Cluster Rescource Manager-CRM），CRM可以支持最多16个节点。Heartbeat 3.x大家暂且认为是Heartbeat 2.x的修订版。这里我们选择Heartbeat 2.0.7版本进行介绍。
Heartbeat的下载地址为http://linux-ha.org/download/index.html，找到Heartbeat 2.0.7版本，下载类似heartbeat-2.0.8.tar.gz的源代码包即可。此外在安装Heartbeat时需要同时安装Libnet工具包。Libnet是一个高层次的API工具，可以从http://www.packetfactory.net/libnet/下载到，现在的稳定版本是1.1.2.1，下载后的包名为libnet.tar.gz。
安装Heartbeat
接下来需要在两个节点安装Heartbeat，安装过程很简单，只需解压编译、安装即可，这里不再详述。在两个节点执行相同的操作，下面是在node1上的安装过程：

安装下列rpm包

#rpm -ivh pam-devel-0.99.6.2-6.el5.x86_64.rpm
# rpm -ivh python-devel-2.4.3-27.el5.x86_64.rpm
# rpm -ivh gcc-4.1.2-46.el5.x86_64.rpm
# rpm -ivh glibc-devel-2.5-42.x86_64.rpm
# rpm -ivh libgomp-4.4.0-6.el5.x86_64.rpm
# rpm -ivh glib-1.2.10-20.el5.x86_64.rpm
# rpm -ivh glib-devel-1.2.10-20.el5.x86_64.rpm
# rpm -ivh glibc-headers-2.5-42.x86_64.rpm
# rpm -ivh glibc-devel-2.5-42.x86_64.rpm
# rpm -ivh libxslt-1.1.17-2.el5_2.2.x86_64.rpm
# rpm -ivh libxslt-devel-1.1.17-2.el5_2.2.x86_64.rpm
# rpm -ivh libxslt-python-1.1.17-2.el5_2.2.x86_64.rpm
# rpm -ivh tkinter-2.4.3-27.el5.x86_64.rpm
# rpm -ivh elfutils-0.137-3.el5.x86_64.rpm
# rpm -ivh lm_sensors-2.10.7-4.el5.x86_64.rpm
# rpm -ivh lm_sensors-devel-2.10.7-4.el5.x86_64.rpm
# rpm -ivh tix-8.4.0-11.fc6.x86_64.rpm
# rpm -ivh tix-devel-8.4.0-11.fc6.x86_64.rpm
# rpm -ivh tix-doc-8.4.0-11.fc6.x86_64.rpm
# rpm -ivh perl-Compress-Zlib-1.42-1.fc6.x86_64.rpm
# rpm -ivh perl-libwww-perl-5.805-1.1.1.noarch.rpm
# rpm -ivh perl-HTML-Tagset-3.10-2.1.1.noarch.rpm
# rpm -ivh perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpm
# rpm -ivh perl-XML-SAX-0.14-5.noarch.rpm
# rpm -ivh perl-Net-SSLeay-1.30-4.fc6.x86_64.rpm
# rpm -ivh perl-IO-Socket-SSL-1.01-1.fc6.noarch.rpm
# rpm -ivh perl-Digest-SHA1-2.11-1.2.1.x86_64.rpm
# rpm -ivh perl-Digest-HMAC-1.01-15.noarch.rpm
# rpm -ivh glib2-2.12.3-4.el5_3.1.x86_64.rpm
# rpm -ivh glib2-devel-2.12.3-4.el5_3.1.x86_64.rpm
# rpm -ivh bzip2-1.0.3-4.el5_2.x86_64.rpm
# rpm -ivh bzip2-devel-1.0.3-4.el5_2.x86_64.rpm
# rpm -ivh ncurses-5.5-24.20060715.x86_64.rpm
# rpm -ivh ncurses-devel-5.5-24.20060715.x86_64.rpm
# rpm -ivh imake-1.0.2-3.x86_64.rpm
# rpm -ivh autoconf-2.59-12.noarch.rpm
# rpm -ivh flex-2.5.4a-41.fc6.x86_64.rpm
# rpm -ivh beecrypt-4.1.2-10.1.1.x86_64.rpm
# rpm -ivh beecrypt-devel-4.1.2-10.1.1.x86_64.rpm
# rpm -ivh --nodeps elfutils-devel-0.137-3.el5.x86_64.rpm
# rpm -ivh elfutils-devel-static-0.137-3.el5.x86_64.rpm
# rpm -ivh net-snmp-5.3.2.2-7.el5.x86_64.rpm
# rpm -ivh net-snmp-devel-5.3.2.2-7.el5.x86_64.rpm
# rpm -ivh net-snmp-perl-5.3.2.2-7.el5.x86_64.rpm
# rpm -ivh net-snmp-utils-5.3.2.2-7.el5.x86_64.rpm
# rpm -ivh perl-LDAP-0.33-3.fc6.noarch.rpm
# rpm -ivh perl-Authen-SASL-2.15-1.el5.rf.noarch.rpm
# rpm -ivh perl-Mail-IMAPClient-2.2.9-1.2.el5.rf.noarch.rpm
# rpm -ivh perl-Parse-RecDescent-1.94-1.el5.rf.noarch.rpm
# rpm -ivh libnet-1.1.2.1-2.2.el5.rf.x86_64.rpm
#rpm -ivh openssl-0.9.8e-12.el5.i686.rpm
#rpm -ivh wpa_supplicant-0.5.10-8.el5.i386.rpm

创建所需的用户和组
# groupadd -g 90 haclient
# useradd –g haclient –u 90 –s /bin/false –M hacluster
进行预编译、设置编译环境
#cd /root/heartbeat-2.0.7
# ./ConfigureMe configure --disable-swig –disable-snmp-subagent
进行编译
#make
编译安装

#make install
#cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
#cp ldirectord/ldirectord.cf /etc/ha.d/
#groupadd -g 694 haclient
#useradd -u 694 -g haclient hacluster

查看/etc/hosts文件配置

#more /etc/hosts 
192.168.60.132   node1 
192.168.60.133   node2 
10.1.1.1             priv1 
10.1.1.2             priv2

配置主节点Heartbeat

Heartbeat的主要配置文件有ha.cf、haresources和authkeys。在Heartbeat安装后，默认并没有这3个文件，可以从官方网站下载得到，也可以直接从解压的源码目录中找到。在上面的安装过程中，我们已经将这3个文件放到了/etc/ha.d目录下，下面分别详细介绍。
主配置文件（/etc/ha.d/ha.cf）
下面对ha.cf文件的每个选项进行详细介绍，其中"#"号后面的内容是对选项的注释说明。
#debugfile /var/log/ha-debug    #用于记录 heartbeat 的调试信息，这里不开启
logfile /var/log/ha-log                #指名heartbeat的日志存放位置。 

logfacility   local0                       #如果未定义上述的日志文件,那么日志信息将送往local0(对应的#/var/log/messages),如果这 3 个日志文件都未定义,那么 heartbeat 默认情况下 将在/var/log 下建立 ha-debug 和 ha-log 来记录 相应的日志信息。
bcast eth1                                 #指明心跳使用以太网广播方式，并且是在eth1接口上 进行 广播。 
keepalive 2                                #发送心跳报文的间隔,默认单位为秒,如果你毫秒为单位, 那么需要在后面跟 ms 单位,如 1500ms 即代表 1.5s
deadtime 30                              #指定若备用节点在30秒内没有收到主节点的心跳信 号，则立即接管主节点的服务资源。 

warntime 10                              #指定心跳延迟的时间为10秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一 个警告日志，但此时不会切换服务。发出最后的心跳 警 告 信息的间隔。
initdead 120                               #在某些系统上，系统启动或重启之后需要经过一段时 间 网络才能正常工作，该选项用于解决这种情况产生 的时 间间隔。取值至少为deadtime的两倍。 
udpport 694                                #设置广播/单播通信使用的端口，694为默认使用的端口号 

#baud 19200                              #设置串行通信的波特率。这里不启用
#serial /dev/ttyS0                       #选择串行通信设备，用于双机使用串口线连接的情 况。如果双机使用以太网连接，则应该关闭该选 项。 
#ucast eth0 192.168.60.132        #采用网卡eth0的udp单播来组织心跳，后面跟的
IP地址应为双机对方的IP地址。 
#mcast eth0 225.0.0.1 694 1 0    #采用网卡eth0的Udp组播来组织心跳，如果采用组 播通讯,在这里可以设置组播通讯所使用的接口,绑定 的组播 ip 地#址(在 224.0.0.0 - 239.255.255.255 间),通讯端口,ttl(time to live)所能经过路由的跳数,是否允许环回(也就是本地发出的数据包时候还接收) 一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和组播，是组织心跳的三种方式，任选其一即可。  
auto_failback off                         #用来定义当主节点恢复后，是否将服务自动切回。如 果不想启用，请设置为off，默认为on。heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点；如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。 
#stonith baytech /etc/ha.d/conf/stonith.baytech   #stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。 
#watchdog /dev/watchdog         #该选项是可选配置，是通过Heartbeat来监控系统的 运行状态。使用该特性，需要在内核中载入"softdog" 内核模块，用来生成实际的设备文件，如果系统中没 有这个内核模块，就需要指定此模块，重新编译内 核。编译完成输入"insmod softdog"加载该模块。 然后输入"grep misc /proc/devices"(应为10)，输 入"cat /proc/misc |grep watchdog"(应为 130)。最后，生成设备文件："mknod /dev/watchdog c 10 130" 。即可使用此功能。 
node node1                                #主节点主机名，可以通过命令"uanme -n"查看。 
node node2                                #备用节点主机名。 
ping 192.168.60.1                       #选择ping的节点，ping节点选择的越好，HA集群就 越强壮，可以选择固定的路由器作为ping节点，或者 应用服务器但是 最好不要选择集群中的成员作为ping 节点，ping节点 仅仅用来测试网络连接。如果指定了多个ping节点如

ping 192.168.0.1 192.168.0.2

那么只有当能ping通所有ping节点 时才认为网络是连通的，否则则认为不连通
#ping_group group1 172.16.103.254 172.16.103.212 #ping_group就是同时ping 多个ip,只有所有的ip都无法ping通时,ipfail才会执 行切换的动作,保证了不会是因为被ping的ip出了问 题而产生误切换。 注意，ping_group不能和ping 同时使用
respawn hacluster /usr/lib/heartbeat/ipfail #该选项是可选配置， 意思 是以 hacluster 这 个用户身份运行/usr/lib/heartbeat/ ipfail 这个 插件 respawn列出与heartbeat一起启动和关闭的 进 程，该进程一般是和heartbeat集成的插件，这些 进程遇到故障可以自动重新启动。最常用的进程是 ipfail，此进程用于检测和处理网络故障，需要配合 ping或者ping_group语句,其中指定的ping node 来检测网络的连通性。在v2版本中，ipfail和crm有 冲突，不能同时使用，如果启用crm的情况下，可以 使用pingd插件代替ipfail

apiauth ipfail gid=haclient uid=hacluster   #指定对客户端 api 的访问控制,缺省为不可 访问，这里指定了 有权限访问 ipfail用户和组。 apiauth的语法如下
apiauth apigroupname [uid=uid1,uid2 ...] [gid=gid1,gid2 ...]

示例
apiauth  ping gid=haclient uid=alanr,root
在指定api访问权限时，可以指定具有访问权限的组或者用户，也可以同时指定组和用户。当进行同时指定时，只要用户是所指定的组或者用户中的其中一员即可访问api库。

也可以配置api默认用户组，命令如下

apiauth default  gid=haclient
当配置了默认用户组时，其他所有api授权命令失效且该用户组中的成员可以访问任何api库

如果不在ha.cf文件指定api库的访问权限，则默认的访问权限如下

service	default apiauth
ipfail	uid=hacluster
ccm	gid=haclient
ping	gid=haclient
cl_status	gid=haclient
lha-snmpagent	uid=root
crm	uid=hacluster

#crm respawn                           #是否开启Cluster Resource Manager（集群资源 管 理）功能这里不开启。 注意这里，还可以使用crm on或者 crm yes的写法，有些文档上说crm on的写 法如果cib.xml文件配置错误，会导致heartbeat重 启服务器 ， 这点笔者没有遇到过，请读者自行尝试 。 注 意,当使用crm时，默认会自动使用下列命令

apiauth  stonithd uid=root
apiauth  crmd  uid=hacluster
apiauth  cib  uid=hacluster       
respawn hacluster       ccm
respawn hacluster       cib
respawn root            stonithd
respawn root            lrmd
respawn hacluster    crmd

关于上述命令，和ipfail插件命令的意义相同，这里不再赘述

#autojoin   none                           #该选项作用是将知道集权节点间密钥的服务器自动加入节点。autojoin有三个选项none,other,any他们各自的意义为

none：不使用autojoin功能

other：ha.cf文件中列出来的节点应自动加入集群，没有列出来的就无法自动加入集群

any：任何节点都可以自动加入集群

#hopfudge 1                                #设置串口的心跳信息最少的被转发次数，默认值为1

#deadping 30                               #设置的用来ping的节点的死亡时间，当超过该时间时则认为该节点网络无法连通，如果该值设置太小将导致系统过快的认为节点死亡。如果设置过大，则会延误系统判定时间。
#realtime off                                #允许/禁止实时执行将Heartbeat设置为高优先级，缺省为 on
#msgfmt   classic/netstring           #网线中的信息格式,可以是 classic 或 netstring

classic:利用base64库将二进制值转换为string值在网线中传输，该选项为默认选项。

netstring:在网线中直接传输二进制值，该选项由于不需要转换效率更高。
#use_logd yes/no                         #是否使用记录监控和日志的功能相似。虽然官方建议开启该选项，但是处于管理习惯，笔者没有开启该选项。
#conn_logd_time 60                     #如果前一个连接失败了,我们再次连接到记录监控器的间隔。
#compression bz2                        #配置压缩模块它可以为 zlib 或 bz2，可以通过查看/usr/lib/heartbeat/plugins/HBcompress/目录下的文件以确定是否有相应的库。一般在CPU空闲且网络资源紧张的情况下启用该选项。
#compression_threshold 2             #配置压缩的限度这个值决定压缩一个信息的限度,例如:如果限度为1,那么任何大于 1KB 的消息都会被压缩,缺省为2 (KB)
资源文件（/etc/ha.d/haresources）
Haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源，文件每一行可以包含一个或多个资源脚本名，资源之间使用空格隔开，参数之间使用两个冒号隔开，在两个HA节点上该文件必须完全一致，此文件的一般格式为：
                  node-name network  <resource-group>
node-name表示主节点的主机名，必须和ha.cf文件中指定的节点名一致。network用于设定集群的IP地址、子网掩码和网络设备标识等。需要注意的是，这里指定的IP地址就是集群对外服务的IP地址，resource-group用来指定需要Heartbeat托管的服务，也就是这些服务可以由Heartbeat来启动和关闭。如果要托管这些服务，就必须将服务写成可以通过start/stop来启动和关闭的脚步，然后放到/etc/init.d/或者/etc/ha.d/resource.d/目录下，Heartbeat会根据脚本的名称自动去/etc/init.d或者/etc/ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。
下面对配置方法进行具体说明：
node1 IPaddr::192.168.60.200/24/eth0/  Filesystem::/dev/sdb5::/webdata::ext3  httpd cp.sh db2::db2inst1 其中，node1是HA集群的主节点，IPaddr为heartbeat自带的一个执行脚步，Heartbeat首先将执行/etc/ha.d/resource.d/IPaddr 192.168.60.200/24 start的操作，也就是虚拟出一个子网掩码为255.255.255.0，IP为192.168.60.200的地址。此IP为Heartbeat对外提供服务的网络地址，同时指定此IP使用的网络接口为eth0。接着，Heartbeat将执行共享磁盘分区的挂载操作，"Filesystem::/dev/sdb5::/webdata::ext3"相当于在命令行下执行mount操作，即"mount -t ext3 /dev/sdb5 /webdata"，然后启动httpd，接下列执行cp.sh这个脚本文件之后以db2inst1的身份启动db2。

其中cp.sh必须放置在/etc/ha.d/resource.d/或/etc/init.d/目录中，该脚本内容如下

cp /etc/ha.d/db2nodes.cfg /home/db2inst1/sqllib/db2nodes.cfg
注意主节点和备份节点中资源文件haresources要完全一样。
认证文件（/etc/ha.d/authkeys）
authkeys文件用于设定Heartbeat的认证方式，共有3种可用的认证方式，即crc、md5和sha1。3种认证方式的安全性依次提高，但是占用的系统资源也依次增加。如果Heartbeat集群运行在安全的网络上，可以使用crc方式；如果HA每个节点的硬件配置很高，建议使用sha1，这种认证方式安全级别最高；如果是处于网络安全和系统资源之间，可以使用md5认证方式。这里我们使用crc认证方式，设置如下：
auth 1 
1 crc 
#2 sha1 sha1_any_password 
#3 md5 md5_any_password
需要说明的一点是：无论auth后面指定的是什么数字，在下一行必须作为关键字再次出现，例如指定了"auth 6"，下面一定要有一行"6 认证类型"。
最后确保这个文件的权限是600（即-rw-------）。

配置备份节点的Heartbeat
在备份节点上也需要安装Heartbeat，安装方式与在主节点安装过程一样，这里不再重述。依次安装libnet和heartbeat源码包，安装完毕，在备份节点上使用scp命令把主节点配置文件传输到备份节点。
#scp -r node1:/etc/ha.d/*  /etc/ha.d/
其中，node1是主节点的主机名。
设置主节点和备份节点时间同步
在双机高可用集群中，主节点和备份节点的系统时间也非常重要，因为节点之间的监控都是通过设定时间来实现的。主备节点之间的系统时间相差在10秒以内是正常的，如果节点之间时间相差太大，就有可能造成HA环境的故障。解决时间同步的办法有两个：一个办法是找一个时间服务器，两个节点通过ntpdate命令定时与时间服务器进行时间校准；另一个办法是让集群中的主节点作为ntp时间服务器，让备份节点定时去主节点进行时间校验。

启动Heartbeat

在主备节点上执行

#/etc/init.d/heartbeat start

如果需要设置开机启动Heartbeat服务

#ln -s  /etc/init.d/heartbeat  /etc/rc.d/rc0.d/K05heartbeat 
#ln -s  /etc/init.d/heartbeat  /etc/rc.d/rc3.d/S75heartbeat 
#ln -s  /etc/init.d/heartbeat  /etc/rc.d/rc5.d/S75heartbeat 
#ln -s  /etc/init.d/heartbeat  /etc/rc.d/rc6.d/K05heartbeat

或者

#chkconfig --level 0356 heartbeat on

感谢SanMeng的耐心指导

参考至:http://www.linux-ha.org/ha.cf

           http://book.51cto.com/art/200912/168034.htm

           http://www.linux-ha.org/ipfail

           http://hi.baidu.com/liheng_2009/blog/item/182e723a0c3436f9b211c79c.html

本文原创，转载请注明出处、作者

如有错误，欢迎指正

邮箱:[e-mail]

评论

2 楼 czmmiao 2013-05-03  

Ray_Mysterio 写道

请问一下，我现在安装heartbeat的时候出现了一个问题。两台虚拟机（主：192.168.1.55，从：192.168.1.58），虚拟ip是192.168.1.87.
安装完成之后，我只能在55机器通过浏览器访问192.168.1.87，或者停掉55号机器以后，可以在58机器通过浏览器访问192.168.1.87.但是只能这样在本机访问，不能在其他机器访问192.168.1.87.请问啥原因呢？

请检查虚拟机网络桥接方式，可以在两台虚拟机同时开启时在本地ping 55和58确认本地和两台虚拟机的连通性

1 楼 Ray_Mysterio 2013-05-02  

请问一下，我现在安装heartbeat的时候出现了一个问题。两台虚拟机（主：192.168.1.55，从：192.168.1.58），虚拟ip是192.168.1.87.
安装完成之后，我只能在55机器通过浏览器访问192.168.1.87，或者停掉55号机器以后，可以在58机器通过浏览器访问192.168.1.87.但是只能这样在本机访问，不能在其他机器访问192.168.1.87.请问啥原因呢？