`
sundful
  • 浏览: 1253555 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

用NginX+keepalived实现高可用的负载均衡

 
阅读更多

1 规划和准备

  • 需要统一接入的应用系统
  应用系统 域名/虚拟目录 应用服务器及URL
svn dev.mycompany.com/svn http://50.1.1.21/svn
svn web管理 dev.mycompany.com/submin http://50.1.1.21/submin
网站 www.mycompany.com http://50.1.1.10http://50.1.1.11http://50.1.1.12
OA oa.mycompany.com http://50.1.1.13:8080http://50.1.1.14:8080
  • 接入服务器
  用途 IP
MASTER 50.1.1.3
BACKUP 50.1.1.4

操作系统: RHEL5.6x64,配置了yum 私服

两台接入服务器公用一个虚拟IP(VIP):50.1.1.2

2 安装

两台接入服务器分别安装NginX和keepalived:

  • 准备依赖包:
yum -y install gcc pcre-devel zlib-devel openssl-devel
  • 下载
wget http://nginx.org/download/nginx-1.2.4.tar.gz 
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
  • 安装NginX
复制代码
tar zxvf nginx-1.2.4.tar.gz

cd nginx-1.2.4

./configure --with-http_stub_status_module

make && make install
复制代码

 

  • 安装keepalived
复制代码
tar zxvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure
make 
make install

cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/
复制代码

 

  • 加入启动服务

echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
echo "/etc/init.d/keepalived start" >> /etc/rc.local

 

3 配置

 

3.1 配置NginX

两台接入服务器的NginX的配置完全一样,主要是配置/usr/local/nginx/conf/nginx.conf的http。其中多域名指向是通过虚拟主机(配置http下面的server)实现;同一域名的不同虚拟目录通过每个server下面的不同location实现;到后端的服务器在http下面配置upstream,然后在server或location中通过proxypass引用。要实现前面规划的接入方式,http的配置如下:

复制代码
http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;

    upstream dev.hysec.com {
        server 50.1.1.21:80;
    }


    upstream www.hysec.com {
      ip_hash;
      server 50.1.1.10:80;
      server 50.1.1.11:80;
      server 50.1.1.12:80;
    }

    upstream oa.hysec.com {
      ip_hash;
      server 50.1.1.13:8080;
      server 50.1.1.14:8080;
      

    server {
        listen      80;
        server_name dev.hysec.com;
        location /svn {
            proxy_pass http://dev.hysec.com;
        }

        location /submin {
            proxy_pass http://dev.hysec.com;
        }
    }

    server {
        listen       80;
        server_name  www.hysec.com;
        location / {
            proxy_pass http://www.hysec.com;
        }
    server {
        listen       80;
        server_name  oa.hysec.com;
        location / {
            proxy_pass http://oa.hysec.com;
        }
}
复制代码

 

验证方法:

  • 首先用IP访问前表中各个应用服务器的url
  • 再用域名和路径访问前表中各个应用系统的域名/虚拟路径

3.2 配置keepalived

按照上面的安装方法,keepalived的配置文件在/etc/keepalived/keepalived.conf。主、从服务器的配置相关联但有所不同。如下:

Master:

复制代码
! Configuration File for keepalived

global_defs {
notification_email {
        wanghaikuo@hysec.com
        wanghaikuo@gmail.com
   }

   notification_email_from wanghaikuo@hysec.com
   smtp_server smtp.hysec.com
   smtp_connect_timeout 30
   router_id nginx_master

}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        50.1.1.2
    }
}
复制代码

Backup:

复制代码
! Configuration File for keepalived

global_defs {
notification_email {
        wanghaikuo@hysec.com
        wanghaikuo@gmail.com
   }

   notification_email_from wanghaikuo@hysec.com
   smtp_server smtp.hysec.com
   smtp_connect_timeout 30
   router_id nginx_backup

}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        50.1.1.2
    }
}
复制代码

验证:

  • 先后在主、从服务器上启动keepalived: /etc/init.d/keepalived start
  • 在主服务器上查看是否已经绑定了虚拟IP: ip addr
  • 停止主服务器上的keepalived: /etc/init.d/keepalived stop 然后在从服务器上查看是否已经绑定了虚拟IP:
  • 启动主服务器上的keepalived,看看主服务器能否重新接管虚拟IP

3.3 让keepalived监控NginX的状态

经过前面的配置,如果主服务器的keepalived停止服务,从服务器会自动接管VIP对外服务;一旦主服务器的keepalived恢复,会重新接管VIP。 但这并不是我们需要的,我们需要的是当NginX停止服务的时候能够自动切换。

keepalived支持配置监控脚本,我们可以通过脚本监控NginX的状态,如果状态不正常则进行一系列的操作,最终仍不能恢复NginX则杀掉keepalived,使得从服务器能够接管服务。

  • 如何监控NginX的状态

最简单的做法是监控NginX进程,更靠谱的做法是检查NginX端口,最靠谱的做法是检查多个url能否获取到页面。

  • 如何尝试恢复服务

如果发现NginX不正常,重启之。等待3秒再次校验,仍然失败则不再尝试。

根据上述策略很容易写出监控脚本。这里使用nmap检查nginx端口来判断nginx的状态,记得要首先安装nmap。监控脚本如下:

复制代码
#!/bin/sh
# check nginx server status
NGINX=/usr/local/nginx/sbin/nginx
PORT=80

nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
    $NGINX -s stop
    $NGINX
    sleep 3
    nmap localhost -p $PORT | grep "$PORT/tcp open"
    [ $? -ne 0 ] && /etc/init.d/keepalived stop
fi
复制代码

 

不要忘了设置脚本的执行权限,否则不起作用。

假设上述脚本放在/opt/chk_nginx.sh,则keepalived.conf中增加如下配置:

复制代码
vrrp_script chk_http_port {
    script "/opt/chk_nginx.sh"
    interval 2
    weight 2
}

track_script {
    chk_http_port
}
复制代码

 

更进一步,为了避免启动keepalived之前没有启动nginx , 可以在/etc/init.d/keepalived的start中首先启动nginx:

复制代码
start() {
    /usr/local/nginx/sbin/nginx
    sleep 3
    echo -n $"Starting $prog: "
    daemon keepalived ${KEEPALIVED_OPTIONS}
    RETVAL=$?
    echo
    [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
复制代码

 

4 还可以做什么

对于简单重复性劳动,人总是容易犯错,这种事情最好交给机器去做。 比如,在这个案例中,作为统一接入服务器,可能经常要修改nginx的配置、nginx下面的html文件等。而且,一定要保证集群中的每台服务器的配置相同。 最好的做法是由配置管理服务器来管理,如果没有,也可以使用简单的linux文件同步来解决。

5 SSL配置

在nginx/conf下生成秘钥:

复制代码
#生成RSA密钥
openssl dsaparam -rand -genkey -out myRSA.key 1024

#生成CA密钥:(要输入一个自己记得的密码)
openssl gendsa -des3 -out cert.key myRSA.key

#用这个CA密钥来创建证书,需要上一步创建的密码
openssl req -new -x509 -days 365 -key cert.key -out cert.pem

#把证书设置为root专用
chmod 700 cert.*

#生成免密码文件
openssl rsa -in cert.key -out cert.key.unsecure
复制代码

 如果要启用SSL,在nginx中进行如下配置:

复制代码
# 这里是SSL的相关配置
server {
  listen 443;
  server_name www.example.com; # 你自己的域名
  root /home/www;
  ssl on;
  ssl_certificate cert.perm;
  #使用.unsecure文件可以在nginx启动时不输入密码  
  ssl_certificate_key cert.key.unsecure;
  location / {
  #...
  }
}
复制代码

 

分享到:
评论

相关推荐

    Nginx++Keepalived+Tomcat负载均衡&动静分离

    通过配置Nginx、Keepalived和Tomcat,可以实现高可用、高性能的Web应用系统。 六、Nginx知识点 * Nginx是一个轻量级的Web服务器,支持反向代理、负载均衡和动静分离。 * Nginx的配置文件包括nginx.conf,用于配置...

    Nginx+keepalived+tomcat实现性负载均衡(包含需要的包)

    在构建高性能、高可用性的Web服务时,使用Nginx+keepalived+tomcat的组合可以实现强大的负载均衡和故障转移功能。这个方案的核心思想是利用Nginx作为前端反向代理服务器,通过keepalived来确保服务的高可用性,并将...

    LVS+Keepalived高可用负载均衡集群

    随着你的网站业务量的增长你网站的服务器压力越来越大?需要负载均衡方案!商业的硬件如F5又太贵,你们又是创业型互联公司...我们利用LVS+Keepalived基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

    centos6.4安装nginx+keepalived实现高可用负载均衡.doc

    使用 Nginx 和 Keepalived 实现高可用负载均衡。主要步骤包括: * 部署多台 Nginx 服务器 * 使用 Keepalived 实现虚拟路由 * 配置 Nginx 和 Keepalived 之间的通信 * 实现高可用负载均衡 本文详细讲述了如何在 ...

    CentOS系统安装配置Nginx+keepalived实现负载均衡

    通过本文,读者将了解如何使用Nginx和keepalived来实现高可靠性的负载均衡架构,以提高网站的可用性和性能。 一、体系架构 在Keepalived+Nginx高可靠性负载均衡架构中,keepalived负责实现High-availability(HA)...

    Nginx+keepalived双机热备(主从模式)

    Nginx+keepalived双机热备(主从模式)是一种常见的负载均衡技术,用于实现高可用环境和故障转移。该技术通过将Nginx与keepalived结合,实现了前端负载均衡和高可用性。 Nginx是一款流行的开源Web服务器软件,具有...

    Nginx+KeepAlived+Tomcat负载架构

    - **整体架构**:采用Nginx作为反向代理,后端部署多个Tomcat实例,利用KeepAlived实现Nginx的主备切换,形成一套完整的高可用架构。 - **关键组件**: - **Nginx**:作为前端负载均衡器。 - **KeepAlived**:用于...

    nginx+keepalived实现高可用负载均衡方案.pdf

    本文介绍了如何利用Nginx和Keepalived搭建一个高可用的负载均衡系统。在此方案中,Nginx扮演Web服务器和负载均衡器的角色,而Keepalived则用于提供高可用性支持。以下是相关知识点的详细说明: 1. Nginx简介: ...

    nginx+keepalived实现高可用负载均衡方案.rar

    实现“nginx+keepalived”的高可用负载均衡方案,主要涉及以下几个步骤: 1. **安装Nginx和Keepalived**:在所有服务器上安装Nginx和Keepalived软件。 2. **配置Nginx**:设置反向代理和负载均衡策略,以及SSL证书...

    lvs+Keepalived+nginx高可用负载均衡搭建部署方案

    lvs+Keepalived+nginx高可用负载均衡搭建部署方案

    Nginx+Keepalived实现nginx高可用和负载均衡详细步骤

    【Nginx+Keepalived 实现 nginx 高可用和负载均衡详解】 在现代Web服务架构中,确保服务器高可用性和负载均衡至关重要。Nginx作为一款高性能的HTTP和反向代理服务器,常用于处理静态内容和反向代理任务。而...

    Keepalived+Nginx实现高可用Web负载均衡

    ### Keepalived+Nginx 实现高可用Web负载均衡 #### 场景需求 在现代互联网应用中,网站和应用程序需要处理大量的用户请求,并确保即使在服务器出现故障的情况下也能持续提供服务。为了满足这一需求,通常采用高可用...

    nginx+keepalived高可用学习资料

    Keepalived的配置文件中可以定义多个虚拟IP(VIP),并设置不同优先级,配合Nginx实现高可用的负载均衡集群。 **Nginx与Keepalived结合** 当Nginx与Keepalived结合使用时,可以构建出强大的高可用Web服务架构。...

    Nginx+keepalived+tomcat实现性负载均衡

    Nginx 是一个轻量级的Web服务器,keepalived 是一个高可用性解决方案,tomcat 是一个java应用服务器,三者结合可以实现高可用性和负载均衡。 负载均衡 负载均衡(Load Balancing)是指将网络流量分配到多个服务器...

    lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.rar

    这个文档"lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.docx"将详细解释每个组件的配置细节、集群的架构图以及可能出现的问题及解决方案,帮助你更好地理解和实施这个高性能的负载均衡集群。

    linux安装nginx+keepalived,和tomcat负载均衡配置,动静分离配置,主备和双主模式

    Keepalived是一款用于实现高可用性的工具,它可以监控并管理服务,当主服务器失效时,能将流量切换到备用服务器。安装过程如下: ```bash # 对于Debian/Ubuntu sudo apt-get update sudo apt-get install ...

    4 lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.docx

    【知识点详解】 在构建高性能负载均衡集群时,通常...通过这种架构,可以实现高可用性和负载均衡,有效提高Web服务的稳定性和性能。在实际操作中,还需要考虑监控、日志、安全等多方面因素,以确保整个集群的健壮性。

    Keepalived + Nginx 实现高可用 Web 负载均衡配置文件

    Keepalived + Nginx 实现高可用 Web 负载均衡配置文件,具体详情参见博文:http://blog.csdn.net/l1028386804/article/details/72801492

    nginx+keepalived双主负载均衡

    总结来说,"nginx+keepalived双主负载均衡"是一个强大且可靠的解决方案,通过结合Nginx的高效反向代理和Keepalived的高可用性保障,可以在复杂网络环境中实现高效、稳定的服务运行。了解和掌握这一技术对IT专业人员...

Global site tag (gtag.js) - Google Analytics