MooseFS 3.0部署笔记(3)【原创】

本文介绍MooseFS+DRBD+KEEPALIVED实现高可用，以下是部署笔记。
一、DRBD（实现MFSMASTER META_DATA 的同步写）

1. 配置hosts
192.168.3.127 L-AP-3-127
192.168.3.131 L-AP-3-131

2. 下载依赖包flex,并安装
ftp://rpmfind.net/linux/centos/6.8/os/x86_64/Packages/flex-2.5.35-9.el6.x86_64.rpm
rpm -ivh flex-2.5.35-9.el6.x86_64.rpm
3. 下载drbd安装包,并安装
1) 安装内核包
http://oss.linbit.com/drbd/8.4/drbd-8.4.6.tar.gz
tar -xzvf drbd-8.4.6.tar.gz
cd drbd-8.4.6
cd drbd
#因为内核小于2.6.33，所以要装内核包，2.6.33以后版本已包含不需要装
make KDIR=/usr/src/kernels/2.6.32-220.el6.x86_64/
cp drbd.ko /lib/modules/`uname -r`/kernel/lib/
depmod
modprobe drbd
modinfo drbd

2) 安装工具包
下载http://oss.linbit.com/drbd/drbd-utils-8.9.6.tar.gz
tar -xzvf drbd-utils-8.9.6.tar.gz
cd drbd-utils-8.9.6
# --with-pacemaker，启用pacemaker集群支持，会创建ocf格式资源文件
./configure --prefix=/usr/local/drbd  --sysconfdir=/etc/ --localstatedir=/var/ --with-pacemaker
make && make install
（漫长的等待）

3） 修改配置
ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm
ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta
ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup

4） DRBD主配置文件（/etc/drbd.conf）
## global_common.conf文件包含global和common的DRBD全局配置部分； 
        ## *.res文件包含DRBD资源的配置信息。
vi /etc/drbd.d/global_common.conf
global {
        usage-count no;  # 是否加入DRBD官方统计
        # minor-count dialog-refresh disable-ip-verification
        # cmd-timeout-short 5; cmd-timeout-medium 121; cmd-timeout-long 600;
}

common {
        handlers {
                # 定义处理机制程序，/usr/lib/drbd/ 里有大量的程序脚本
                # These are EXAMPLE handlers only.
                # They may have severe implications,
                # like hard resetting the node under certain circumstances.
                # Be careful when chosing your poison.

                # pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                # pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                # local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
        }

        startup {
# 定义启动超时时间等
                # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
        }

        options {
                # cpu-mask on-no-data-accessible
        }

        disk {
# 磁盘相关公共设置，比如I/O、数据状态
                # size on-io-error fencing disk-barrier disk-flushes
                # disk-drain md-flushes resync-rate resync-after al-extents
                # c-plan-ahead c-delay-target c-fill-target c-max-rate
                # c-min-rate disk-timeout
                on-io-error detach; # 配置I/O错误处理策略为分离
        }

        net {
# 设置DRBD同步时使用的验证方式和密码信息。
                # protocol timeout max-epoch-size max-buffers unplug-watermark
                # connect-int ping-int sndbuf-size rcvbuf-size ko-count
                # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri
                # after-sb-1pri after-sb-2pri always-asbp rr-conflict
                # ping-timeout data-integrity-alg tcp-cork on-congestion
                # congestion-fill congestion-extents csums-alg verify-alg
                # use-rle
                cram-hmac-alg sha1;
                shared-secret "drbd";
        }
        syncer {
               verify-alg sha1;
# 定义网络传输速率，一般传输速度的30%
               rate 50M;
        }
}

## 创建资源配置文件(/etc/drbd.d/r0.res)
resource r0{
# 公用相同部分可以放到顶部，各节点会自动继承
# 使用drbd的第三种同步协议,表示收到远程主机的写入确认后,则认为写入完成
protocol  C;
device    /dev/drbd0; # DRBD逻辑设备的路径
# drbd的元数据存放方式，DRBD磁盘内部。
meta-disk internal;
# 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置.
on L-AP-3-127{
  # 此处是节点的主机名‘uname -n’
  address         192.168.3.127:7788;  # 设置DRBD的监听端口
  disk            /dev/mapper/vg_drbd-lv_drbd; # 节点物理设备
}
on L-AP-3-131{
    address         192.168.3.131:7788;
    disk            /dev/mapper/vg_drbd-lv_drbd;
}
}
5） 启动
/etc/rc.d/init.d/drbd start
drbdadm create-md r0
这一步出现 open(/dev/mapper/vg_drbd-lv_drbd) failed: Device or resource busy。 原因是文件系统格式不一致，且已挂载。
解决方案：
1. umount /drbd
2. dd if=/dev/zero of=/dev/mapper/vg_drbd-lv_drbd bs=1M count=100
3. 重新执行drbdadm create-md r0 即可
4. 删除自动挂载 vi /etc/fstab   删除 /drbd  这一行

在3.131机器上部署一模一样的一台。

service drbd start   启动服务

service drbd status  查看状态
如果出现 Secondary/Unknown， 关闭防火墙。

drbdadm primary --force r0 (设置主节点，仅执行3.127)

service drbd status  查看状态（可以看到主节点变化）

cat /proc/drbd  可以看到主备同步情况
mkfs -t ext4 /dev/drbd0（以下只在主节点3.127执行）
mkdir /mnt/drbd0
mount /dev/drbd0 /mnt/drbd0
chown -R mfs:mfs /mnt/drbd0/

从节点建立挂载目录
mkdir /mnt/drbd0
chown -R mfs:mfs /mnt/drbd0/


6） 修改mfsmaster配置
vi /etc/mfs/mfsmaster.cfg
修改DATA_PATH=/mnt/drbd0/mfs
mkdir /mnt/drbd0/mfs
chmod -R 777 /mnt/drbd0/mfs
cp /var/lib/mfs/* /mnt/drbd0/mfs/


7） 验证是否同步（因为备节点不能被读，所以只能进行主备切换后查看。）
原主节点 umount /mnt/drbd0
设置为从节点 drbdadm secondary r0
原从节点设置为主节点 drbdadm primary r0
原从节点 mount /dev/drbd0 /mnt/drbd0
查看相关目录数据是否一致。（注意执行顺序）

8） 验证同步后，因为一开始老是不能 umount , 直接reboot之后，发现两台机器脑裂了，谁也不认识谁。这时按以下方法修复：
在备机 3.131 上执行：
drbdadm disconnect r0
drbdadm secondary r0
drbdadm --discard-my-data connect r0
在主机 3.127 上执行：
drbdadm connect r0
在备机 3.131 上执行：
service drbd stop
service drbd start
查看状态：
service drbd status
红色部分可不执行
9） 重启之后恢复master
service drbd start
drbdadm primary --force r0
mount /dev/drbd0 /mnt/drbd0
10） 重启之后恢复slave
service drbd start
service drbd status

错误分析：
命令mount /dev/drbd0 /mnt/drbd0
提示mount: you must specify the filesystem type
方案：需要将drbd起来，然后设为primary 才能mount