`
wx1569466809
  • 浏览: 69126 次
文章分类
社区版块
存档分类
最新评论

Linux集群、Keepalived—Nginx高可用集群架构搭建

 
阅读更多

第十八章 Linux集群

18.1 集群介绍

Linux集群根据功能划分为两大类：高可用和负载均衡。

高可用集群

高可用集群通常为2台服务器，一台工作，另一台作为冗余，当提供服务的机器宕机时，冗余将接替继续提供服务。
实现高可用的开源软件有：heartbeat、Keepalived，其中heartbeat已无人维护，所以今后使用Keepalived来搭建高可用集群。

负载均衡集群

负载均衡集群，需要有1台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外就是给用户提供服务的服务器了，这些服务器数量至少为2台，所以负载均衡集群至少要3台服务器。
实现负载均衡的开源软件有：LVS、Keepalived、haproxy、nginx；商业软件有：F5、Netscaler。

18.2 Keepalived介绍

Keepalived通过VRRP（virtual router redundancy protocol）虚拟路由冗余协议来实现高可用。
在这个协议里会将多台功能相同的路由器组成一个小组，这个小组会有1个master角色和N（N≥1）个backup角色。
Keepalived有三个模块：core、check、vrrp。其中core模块为Keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析；check模块负责健康检查，vrrp负责实现vrrp协议。

18.3-18.5 用Keepalived配置高可用集群

操作环境：

两台虚拟机：
系统：centos 7.3_64位
master：192.168.8.131；编译安装nginx；yum install -y keepalived
backup：192.168.8.130；yum install -y nginx；yum install -y keepalived
VIP：192.168.8.100
注： VIP（virtual IP）虚拟IP，由Keepalived设置，用于服务器对外提供服务。

准备工作

master：

安装Keepalived：
[root@adailinux ~]# yum install -y keepalived

查看nginx版本：
[root@adailinux ~]# /usr/local/nginx/sbin/nginx -v
nginx version: nginx/1.12.1

backup：

安装Keepalived：
[root@localhost ~]# yum install -y keepalived

安装nginx：
[root@localhost ~]# yum install -y nginx

查看nginx版本：
[root@localhost ~]# nginx -v
nginx version: nginx/1.10.2

开始配置

配置master机器：

配置Keepalived：
在此使用自定义的Keepalived配置文件脚本(先清空或删除自带配置文件脚本)。

[root@adailinux ~]# vim /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
     aming@aminglinux.com                          
   }                                               #定义故障提醒邮件接收地址（本实验用不到）
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30                         
   router_id LVS_DEVEL                             #定义故障提醒邮件发送地址（本实验用不到）
}
vrrp_script chk_nginx {                            #定义监控脚本
    script "/usr/local/sbin/check_ng.sh"           #指定服务健康检测（check）脚本
    interval 3                                     #检测时间间隔
}
vrrp_instance VI_1 {                               
    state MASTER                                   #定义该服务的角色 
    interface ens33                                #定义在本机中监听VIP的网卡
    virtual_router_id 51                           #虚拟路由id（同组中的服务器保持该id一致）
    priority 100                                   #指定本机权重（决定优先级）
    advert_int 1                                   
    authentication {                               #定义认证相关信息  
        auth_type PASS                             #认证类型为密码形式
        auth_pass 123456                           #定义认证密码
    }
    virtual_ipaddress {                            #定义VIP
        192.168.188.100
    }
    track_script {                                 #加载监控服务（脚本）
        chk_nginx                                  #注意此处服务名称要与上面监控脚本名称一致
    }
}

创建监控脚本：

[root@adailinux ~]# vim /usr/local/sbin/check_ng.sh
#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived      #在此停止Keepalived服务是为了避免发生脑裂
        fi
fi

更改脚本权限：
[root@adailinux ~]# chmod 755 /usr/local/sbin/check_ng.sh

启动Keepalived服务：
[root@adailinux ~]# systemctl start keepalived

检测服务状态：
[root@adailinux ~]# ps aux |grep keep
root      4586  0.0  0.1 111708  1308 ?        Ss   15:44   0:00 /usr/sbin/keepalived -D
root      4587  0.1  0.2 111708  2556 ?        S    15:44   0:00 /usr/sbin/keepalived -D
root      4588  0.6  0.1 111708  1620 ?        S    15:44   0:00 /usr/sbin/keepalived -D
root      4682  0.0  0.0 112664   972 pts/1    S+   15:45   0:00 grep --color=auto keep
[root@adailinux ~]# ps aux |grep nginx
root      3380  0.0  0.1  45352  1164 ?        Ss   14:15   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    3381  0.0  0.4  47840  4064 ?        S    14:15   0:00 nginx: worker process
nobody    3382  0.0  0.3  47840  3804 ?        S    14:15   0:00 nginx: worker process
root      4696  0.0  0.0 112664   976 pts/1    R+   15:45   0:00 grep --color=auto nginx
[root@adailinux ~]# /etc/init.d/nginx stop
Stopping nginx (via systemctl):                            [  确定  ]
[root@adailinux ~]# ps aux |grep nginx
root      4814  0.0  0.1  45352  1184 ?        Ss   15:46   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    4816  0.0  0.3  47840  3820 ?        S    15:46   0:00 nginx: worker process
nobody    4817  5.0  0.3  47840  3820 ?        S    15:46   0:00 nginx: worker process
root      4827  0.0  0.0 112664   976 pts/1    S+   15:46   0:00 grep --color=auto nginx
注：由以上检测状态可知关闭nginx服务之后Keepalived会再次自动启动nginx服务

说明： “脑裂”，即当master宕机后仍然未释放VIP，同时backup接替master提供服务要使用同一VIP，因而导致两台机器争占同一VIP导致服务紊乱，所以当master宕机后需要关闭其Keepalived服务来避免脑裂现象发生。Keepalived服务的日志位置：/var/log/messages。
查看网卡信息：

[root@adailinux ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:8a:1b:5c brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.131/24 brd 192.168.8.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.8.100/32 scope global ens33
       valid_lft forever preferred_lft forever

说明： 在此不能使用ifconfig查看，ens33中增加了一个IP：192.168.8.100/32。

配置backup机器：

配置Keepalived：
同样使用自定义脚本。

[root@localhost ~]# vim /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}
vrrp_instance VI_1 {       #只有该部分与master有区别
    state BACKUP           #角色
    interface ens33        
    virtual_router_id 51   
    priority 90            #权重
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.8.100
    }   
    track_script {
        chk_nginx
    }   
}

说明： 如果是多台服务器，权重决定了master宕机后，backup接管master角色的顺序。

创建监控脚本：

[root@localhost ~]# vim /usr/local/sbin/check_ng.sh
#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

更改脚本权限：
[root@localhost ~]# chmod 755 /usr/local/sbin/check_ng.sh

启动Keepalived服务：
[root@localhost ~]# systemctl start keepalived.service

说明： 该检测脚本中与master检测脚本的区别在于：systemctl start nginx，即nginx的启动方式，因为在backup服务器中是使用yum安装的nginx，默认添加到系统服务中。

测试

master宕机前：

master：

mark

backup：

mark

使用VIP访问：

mark
此时默认访问到master服务器。

master宕机后：

master宕机后该机器上的Keepalived服务必将关闭，此处模拟master服务器上的Keepalived关闭后的情景：

关闭Keepalived服务：
[root@adailinux ~]# systemctl stop keepalived.service

查看master上IP状态：

[root@adailinux ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:8a:1b:5c brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.131/24 brd 192.168.8.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::65d2:adc:20d3:8c74/64 scope link 
       valid_lft forever preferred_lft forever

说明： ens33上已经没有了VIP。

查看back上IP状态：

[root@localhost ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:40:9f:e7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.130/24 brd 192.168.8.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.8.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::b61a:f99d:bfc0:e0b5/64 scope link 
       valid_lft forever preferred_lft forever

说明： VIP转移到backup的ens33网卡上。然后使用浏览器访问VIP。

mark
即，master宕机后由backup继续提供服务。

注： 恢复master上的Keepalived服务后,会由master服务器为该集群提供服务。如下：

在master上操作：
[root@adailinux ~]# systemctl start keepalived.service 
[root@adailinux ~]# ip add
2: ens33:
    inet 192.168.8.131/24 brd 192.168.8.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.8.100/32 scope global ens33
       valid_lft forever preferred_lft forever


在backup上：  
[root@localhost ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:40:9f:e7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.130/24 brd 192.168.8.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::b61a:f99d:bfc0:e0b5/64 scope link 
       valid_lft forever preferred_lft forever

再次使用浏览器访问VIP：

mark

即，Keepalived——Nginx高可用集群搭建完成！！！

转载于:https://my.oschina.net/1995blog/blog/1594704

分享到：
| Mysql分库分表方案
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Nginx+KeepAlived+Tomcat负载架构

    - **整体架构**：采用Nginx作为反向代理，后端部署多个Tomcat实例，利用KeepAlived实现Nginx的主备切换，形成一套完整的高可用架构。 - **关键组件**： - **Nginx**：作为前端负载均衡器。 - **KeepAlived**：用于...

    L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群

    ### L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群 #### 一、概述 随着互联网应用的不断发展，如何高效地处理大规模并发请求成为了现代Web架构设计的重要议题之一。在众多解决方案中，构建一个高可用、...

    linux搭建lvs虚拟vip实现nginx高可用

    总结来说，"linux搭建lvs虚拟vip实现nginx高可用"是一个包含多个层次的技术架构，通过Linux系统、Nginx服务器、LVS负载均衡和Keepalived故障恢复工具的组合，可以构建出一个高效且可靠的7*24小时运行的Web服务环境。...

    基于keepalived搭建高可靠nginx集群.docx

    本教程将介绍如何利用keepalived和Nginx来搭建一个主备模式的高可靠集群。Keepalived是一个开源项目，主要用于实现Linux上的VRRP（Virtual Router Redundancy Protocol）协议，它可以为网络服务提供高可用性。Nginx...

    keepalived+Nginx+tomcat 搭建集群

    keepalived+Nginx+Tomcat 集群搭建** 在高并发场景中，仅靠单台 Nginx 可能不足以应对，这时可以结合 keepalived 实现高可用和负载均衡。Keepalived 提供 VRRP 协议来监控 Nginx 主备节点状态，当主节点故障时，...

    linux下keepalived高可用

    本文档主要介绍了如何利用Keepalived在Linux环境下结合Nginx和Tomcat搭建高可用性架构。 #### 二、关键技术概念 **1. DR 模型** - **DR模型**（Direct Routing）是Keepalived支持的一种负载均衡模式，该模式中...

    Linux应用-nginx+keepalived高可用教程.zip

    本教程聚焦于Linux环境下的nginx和keepalived结合使用，来实现一个强大的、高可用的Web服务器集群。以下是对这个主题的详细解释： **1. nginx介绍** nginx是一款高性能的HTTP和反向代理服务器，以其轻量级、高效的...

    分布式架构高可用架构-Keepalived+Nginx实现高可用Web负载均衡.pdf

    ### 分布式架构高可用架构-Keepalived+Nginx实现高可用Web负载均衡 #### 一、场景需求 在互联网应用中，随着用户数量的增长和技术的发展，单一服务器已难以满足日益增长的服务需求。分布式系统架构应运而生于解决...

    企业级Nginx负载均衡与keepalived高可用实战

    本课程由国内知名运维架构大师老男孩老师主讲，旨在帮助学员掌握Nginx负载均衡技术及Keepalived高可用方案。通过理论结合实践的方式，让学员能够快速上手，为企业级项目提供可靠的技术支持。无论是对于刚毕业的大学...

    keepalived+nginx+fastdfs集群安装手册

    《keepalived+nginx+fastdfs集群安装手册》是一份详尽的IT技术文档，旨在指导用户构建基于这三个组件的高可用集群环境。这个集群方案主要用于实现网站服务的负载均衡和文件存储，确保服务的稳定性和数据的安全性。...

    nginx+keepalived安装包

    通过上述步骤，我们成功地搭建了一个基于Nginx和Keepalived的高可用Web服务集群。这样的架构不仅可以提高服务的稳定性和可靠性，还能在不影响用户体验的情况下，对后端服务器进行维护和升级。在实际应用中，可以根据...

    lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.rar

    这个文档"lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.docx"将详细解释每个组件的配置细节、集群的架构图以及可能出现的问题及解决方案，帮助你更好地理解和实施这个高性能的负载均衡集群。

    Keepalived&nginx;安装包.zip

    本篇将详细介绍如何利用LVS（Linux Virtual Server）、Keepalived和Nginx搭建一个高效且可靠的负载均衡解决方案。 首先，LVS是基于Linux内核的虚拟服务器技术，它可以通过IP负载均衡和TCP负载均衡来分散服务请求，...

    lvs+keepalived+nginx+tomcat 集群联系1

    在搭建基于`lvs+keepalived+nginx+...这个集群架构确保了服务的高可用性，当任何单个组件出现故障时，系统可以通过 keepalived 自动切换到备用组件，同时利用 LVS 和 Nginx 提供负载均衡，保证服务的连续性和性能。

    nginx+keepalived.rar

    在搭建高可用的Nginx服务器时，Keepalived的作用至关重要。它提供了VRRP（Virtual Router Redundancy Protocol）协议，使得在一个主服务器出现故障时，可以自动将流量切换到备份服务器，从而保证服务的不间断。Nginx...

    nginx+tomcat高可用、高性能jsp集群

    【搭建高可用、高性能的jsp集群】 在现代互联网服务中，提供高可用性和高性能的Web应用是至关重要的。本文将详细介绍如何使用Nginx作为负载均衡器，与Tomcat配合，构建一个支持JSP的集群环境。这个组合可以有效地...

    高性能Linux服务器构建实战 系统安全、故障排查、自动化运维与集群架构

    如使用Heartbeat或Keepalived实现服务的高可用，通过GlusterFS或Ceph构建大规模分布式存储，以及使用LVS、Nginx等搭建负载均衡系统，提升服务器的处理能力和容错能力。 总而言之，《高性能Linux服务器构建实战》一...

    PHP高级工程师必知必会Nginx+keepalived+MongoDB+haproxy+Sphinx实现分布式集群部署实战视频

    - 高可用集群搭建：构建基于LVS（Linux Virtual Server）架构的负载均衡系统。 - 服务监控与自动切换：确保关键业务不受单点故障影响。 ##### 3. MongoDB **定义**：MongoDB是一种开源文档数据库，属于NoSQL类型...

    高性能业务架构解决方案（LVS+Keepalived）

    ### 高性能业务架构解决方案（LVS+Keepalived） #### 概况 **1.1 应用场景** 在互联网行业中，随着业务量的增长和技术的发展，如何构建一个既能够应对高并发请求又具备高可用性的系统变得尤为重要。在众多的负载...

Magicbox
Global site tag (gtag.js) - Google Analytics