`
saiyaren
  • 浏览: 228200 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

nginx upstream 容错机制 原创-胡志广

阅读更多

1.   摘要

(1)       结论

详细描述了nginx记录失效节点的6种状态(time outconnect refuse500502503504,后四项5XX需要配置proxy_next_upstream中的状态才可以生效)、失效节点的触发条件和节点的恢复条件、所有节点失效后nginx会进行恢复并进行重新监听。

(2)       Nginx 负载均衡方式介绍

Nginx的负载均衡方式一共有4种:rr(轮询模式)ip_hashfairurl_hash

(3)       Ngxin负载均衡和相关反向代理配置内容

Nginx负载均衡和与容错相关的反向代理的配置。

(4)       获取后端流程

后端server的自动容错流程图。

(5)       测试环境和测试结果

针对几种错误方式进行自动容错测试。

2.   结论

(1)       nginx 判断节点失效状态

Nginx 默认判断失败节点状态以connect refusetime out状态为准,不以HTTP错误状态进行判断失败,因为HTTP只要能返回状态说明该节点还可以正常连接,所以nginx判断其还是存活状态;除非添加了proxy_next_upstream指令设置对404502503504500time out等错误进行转到备机处理,在next_upstream过程中,会对fails进行累加,如果备用机处理还是错误则直接返回错误信息(但404不进行记录到错误数,如果不配置错误状态也不对其进行错误状态记录),综述,nginx记录错误数量只记录timeout connect refuse5025005035046种状态,timeoutconnect refuse是永远被记录错误状态,而502500503504只有在配置proxy_next_upstreamnginx才会记录这4HTTP错误到fails中,当fails大于等于max_fails时,则该节点失效;

(2)       nginx 处理节点失效和恢复的触发条件

nginx可以通过设置max_fails(最大尝试失败次数)和fail_timeout(失效时间,在到达最大尝试失败次数后,在fail_timeout的时间范围内节点被置为失效,除非所有节点都失效,否则该时间内,节点不进行恢复)对节点失败的尝试次数和失效时间进行设置,当超过最大尝试次数或失效时间未超过配置失效时间,则nginx会对节点状会置为失效状态,nginx不对该后端进行连接,直到超过失效时间或者所有节点都失效后,该节点重新置为有效,重新探测;

(3)       所有节点失效后nginx将重新恢复所有节点进行探测

如果探测所有节点均失效,备机也为失效时,那么nginx会对所有节点恢复为有效,重新尝试探测有效节点,如果探测到有效节点则返回正确节点内容,如果还是全部错误,那么继续探测下去,当没有正确信息时,节点失效时默认返回状态为502,但是下次访问节点时会继续探测正确节点,直到找到正确的为止。

3.   nginx负载均衡

Nginx的负载均衡方式一共有4种:rr(轮询模式)ip_hashfairurl_hash

Nginx自带的2种负载均衡为rrip_hashfairurl_hash为第三方的插件,nginx在不配置负载均衡的模式下,默认采用rr负载均衡模式。

l  RR负载均衡模式:

每个请求按时间顺序逐一分配到不同的后端服务器,如果超过了最大失败次数后(max_fails,默认1),在失效时间内(fail_timeout,默认10),该节点失效权重变为0,超过失效时间后,则恢复正常,或者全部节点都为down后,那么将所有节点都恢复为有效继续探测,一般来说rr可以根据权重来进行均匀分配。

l  Ip_hash负载均衡模式:

每个请求按访问iphash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题,但是ip_hash会造成负载不均,有的服务请求接受多,有的服务请求接受少,所以不建议采用ip_hash模式,session共享问题可用后端服务的session共享代替nginxip_hash

l  Fair(第三方)负载均衡模式:

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

l  url_hash(第三方)负载均衡模式:

ip_hash算法类似,是对每个请求按urlhash结果分配,使每个URL定向到一个同 一个后端服务器,但是也会造成分配不均的问题,这种模式后端服务器为缓存时比较好。

4.   Nginx 负载均衡配置

Nginx的负载均衡采用的是upstream模块

其中默认的采用的负载均衡模式是轮询模式rr(round_robin),具体配置如下:

1)    指令:

ip_hash

语法:ip_hash 
默认值:none 
使用字段:upstream 
这个指令将基于客户端连接的IP地址来分发请求。
哈希的关键字是客户端的C类网络地址,这个功能将保证这个客户端请求总是被转发到一台服务器上,但是如果这台服务器不可用,那么请求将转发到另外的服务器上,这将保证某个客户端有很大概率总是连接到一台服务器。
无法将权重(weight)与ip_hash联合使用来分发连接。如果有某台服务器不可用,你必须标记其为“down”,如下例:

upstream backend {

  ip_hash;

  server   backend1.example.com;

  server   backend2.example.com;

  server   backend3.example.com  down;

  server   backend4.example.com;

}

server

语法:server name [parameters] 
默认值:none 
使用字段:upstream 
指定后端服务器的名称和一些参数,可以使用域名,IP,端口,或者unix socket。如果指定为域名,则首先将其解析为IP

l  weight = NUMBER - 设置服务器权重,默认为1

l  max_fails = NUMBER - 在一定时间内(这个时间在fail_timeout参数中设置)检查这个服务器是否可用时产生的最多失败请求数,默认为1,将其设置为0可以关闭检查,这些错误在proxy_next_upstreamfastcgi_next_upstream404错误不会使max_fails增加)中定义。

l  fail_timeout = TIME - 在这个时间内产生了max_fails所设置大小的失败尝试连接请求后这个服务器可能不可用,同样它指定了服务器不可用的时间(在下一次尝试连接请求发起之前),默认为10秒,fail_timeout与前端响应时间没有直接关系,不过可以使用proxy_connect_timeoutproxy_read_timeout来控制。

l  down - 标记服务器处于离线状态,通常和ip_hash一起使用。

l  backup - (0.6.7或更高)如果所有的非备份服务器都宕机或繁忙,则使用本服务器(无法和ip_hash指令搭配使用)。

示例配置

upstream  backend  {

  server   backend1.example.com    weight=5;

  server   127.0.0.1:8080          max_fails=3  fail_timeout=30s;

  server   unix:/tmp/backend3;

}

注意:如果你只使用一台上游服务器,nginx将设置一个内置变量为1,即max_failsfail_timeout参数不会被处理。
结果:如果nginx不能连接到上游,请求将丢失。
解决:使用多台上游服务器。

upstream

语法:upstream name { … } 
默认值:none 
使用字段:http 
这个字段设置一群服务器,可以将这个字段放在proxy_passfastcgi_pass指令中作为一个单独的实体,它们可以可以是监听不同端口的服务器,并且也可以是同时监听TCPUnix socket的服务器。
服务器可以指定不同的权重,默认为1
示例配置

upstream backend {

  server backend1.example.com weight=5;

  server 127.0.0.1:8080       max_fails=3  fail_timeout=30s;

  server unix:/tmp/backend3;

}

请求将按照轮询的方式分发到后端服务器,但同时也会考虑权重。
在上面的例子中如果每次发生7个请求,5个请求将被发送到backend1.example.com,其他两台将分别得到一个请求,如果有一台服务器不可用,那么请求将被转发到下一台服务器,直到所有的服务器检查都通过。如果所有的服务器都无法通过检查,那么将返回给客户端最后一台工作的服务器产生的结果。

2)    变量

版本0.5.18以后,可以通过log_module中的变量来记录日志:

log_format timing '$remote_addr - $remote_user [$time_local]  $request '

  'upstream_response_time $upstream_response_time '

  'msec $msec request_time $request_time';

 

log_format up_head '$remote_addr - $remote_user [$time_local]  $request '

  'upstream_http_content_type $upstream_http_content_type';

l  $upstream_addr

前端服务器处理请求的服务器地址

l  $upstream_cache_status

0.8.3版本中其值可能为:

MISS 

EXPIRED - expired。请求被传送到后端。

UPDATING - expired。由于proxy/fastcgi_cache_use_stale正在更新,将使用旧的应答。

STALE - expired。由于proxy/fastcgi_cache_use_stale,后端将得到过期的应答。

HIT

l  $upstream_status

前端服务器的响应状态。

l  $upstream_response_time

前端服务器的应答时间,精确到毫秒,不同的应答以逗号和冒号分开。

l  $upstream_http_$HEADER

随意的HTTP协议头,如:$upstream_http_host

l  $upstream_http_host

 

3)    Proxy指令:

proxy_next_upstream

语法:proxy_next_upstream

 [error|timeout|invalid_header|http_500|http_502|http_503|http_504|http_404|off] 
默认值proxy_next_upstream error timeout 
使用字段http, server, location 
确定在何种情况下请求将转发到下一个服务器:

error - 在连接到一个服务器,发送一个请求,或者读取应答时发生错误。

timeout - 在连接到服务器,转发请求或者读取应答时发生超时。

invalid_header - 服务器返回空的或者错误的应答。

http_500 - 服务器返回500代码。

http_502 - 服务器返回502代码。

http_503 - 服务器返回503代码。

http_504 - 服务器返回504代码。

http_404 - 服务器返回404代码。

off - 禁止转发请求到下一台服务器。

转发请求只发生在没有数据传递到客户端的过程中。

其中记录到nginx后端错误数量的有500502503504timeout404不记录错误。

proxy_connect_timeout

语法proxy_connect_timeout timeout_in_seconds 
默认值proxy_connect_timeout 60s 
使用字段http, server, location 
指定一个连接到代理服务器的超时时间,单位为秒,需要注意的是这个时间最好不要超过75秒。
这个时间并不是指服务器传回页面的时间(这个时间由proxy_read_timeout声明)。如果你的前端代理服务器是正常运行的,但是遇到一些状况(例如没有足够的线程去处理请求,请求将被放在一个连接池中延迟处理),那么这个声明无助于服务器去建立连接。
可以通过指定时间单位以免引起混乱,支持的时间单位有”s”(), “ms”(毫秒), “y”(), “M”(), “w”(), “d”(), “h”(小时), “m”(分钟)
这个值不能大于597小时。

proxy_read_timeout

语法proxy_read_timeout time 
默认值proxy_read_timeout 60s 
使用字段http, server, location 
决定读取后端服务器应答的超时时间,单位为秒,它决定nginx将等待多久时间来取得一个请求的应答。超时时间是指完成了两次握手后并且状态为established的超时时间。
相对于proxy_connect_timeout,这个时间可以扑捉到一台将你的连接放入连接池延迟处理并且没有数据传送的服务器,注意不要将此值设置太低,某些情况下代理服务器将花很长的时间来获得页面应答(例如如当接收一个需要很多计算的报表时),当然你可以在不同的location里面设置不同的值。
可以通过指定时间单位以免引起混乱,支持的时间单位有”s”(), “ms”(毫秒), “y”(), “M”(), “w”(), “d”(), “h”(小时), “m”(分钟)
这个值不能大于597小时。

proxy_send_timeout

语法proxy_send_timeout seconds 
默认值proxy_send_timeout 60s 
使用字段http, server, location 
设置代理服务器转发请求的超时时间,单位为秒,同样指完成两次握手后的时间,如果超过这个时间代理服务器没有数据转发到被代理服务器,nginx将关闭连接。
可以通过指定时间单位以免引起混乱,支持的时间单位有”s”(), “ms”(毫秒), “y”(), “M”(), “w”(), “d”(), “h”(小时), “m”(分钟)
这个值不能大于597小时。

 

 

5.   获取后端流程

GET_RR_PEER 通过RR算法获取后端流程

K:是判断peer是否宕机和判断失效状态算法

 

FAIL:尝试次数用尽有,跳转到失败流程,如果有备机,备机再尝试监听,如果监听失败则返回NGX_BUSY,成功则返回当前状态。

6.   测试环境

操作系统:centos5.6

Cpu:16

内存:32g

Web 服务器:nginx

Web 应用服务器:tomcat(2)

7.   测试结果

l  设置tomcat1超时时间,造成超时状态(总有一台server为有效状态):

Tomcat1connectionTimeout 设置为-1,永远超时,nginx设置tomcat1tomcat2权重为10tomcat1max_fails10fail_timeout=120;在连接tomcat110次后,返回给nginx10次超时,ngxin判断tomcat1为失效,然后将tomcat1超时时间恢复为1000重新启动tomcat1,在这段时间内nginx判断tomcat1还是失效状态,所以在2分钟后,nginx继续监听到tomcat1正常后,那么nginx会将tomcat1判断为有效,将连接继续均匀分配到2tomcat上。

l  设置tomcat1连接数量,造成超时状态(总有一台server为有效状态):

Tomcat1的线程数量设置为1nginx设置tomcat1tomcat2权重为10tomcat1max_fails10fail_timeout=120;在连接tomcat1超过线程接受数量后,tomcat1会返回超时状态,在返回给nginx10次超时状态后,ngxin判断tomcat1为失效,然后将tomcat线程数量恢复为700,重新启动tomcat1,在这段时间内nginx判断tomcat1还是失效状态,超过2分钟失效后,nginx继续监听到tomcat1正常后,那么nginx会将tomcat1判断为有效,将连接继续均匀分配到2tomcat上。

l  设置tomcat1关闭,造成拒绝状态(总有一台server为有效状态):

Tomcat1为关闭,nginx设置tomcat1tomcat2权重为10tomcat1max_fails10fail_timeout=120;在连接tomcat110次后,nginx收到tomcat1返回connect refuse状态,ngxin判断tomcat1为失效,然后重新启动tomcat1,在这段时间内nginx判断tomcat1还是失效状态,超过2分钟失效后,nginx继续监听到tomcat1正常后,那么nginx会将tomcat1判断为有效,将连接继续均匀分配到2tomcat上。

l  设置tomcat1nginx1标记失效,tomcat1恢复正常,在nginx失效范围内,将全部服务变为失效,然后重启:

Tomcat1为关闭,nginx设置tomcat1tomcat2权重为10tomcat1max_fails10fail_timeout=120;在连接tomcat110次后,nginx收到tomcat1返回connect refuse状态,ngxin判断tomcat1为失效,然后重新启动tomcat1,在这段时间内nginx判断tomcat1还是失效状态,然后将tomcat2关闭,然后重启tomcat2,由于所有服务均失效,所以nginx 将所有服务重新置为有效进行监听,然后将2连接均匀分布到了tomcat1tomcat2上。

l  http错误状态,nginx是否记录失效:

nginx设置tomcat1tomcat2权重为10tomcat1max_fails10fail_timeout=120;配置proxy_next_upstream 500404502503504timeout后,当HTTP状态为500502503504(timeoutrefuse默认是记录失效的)时,nginx会判断该次请求为失败记录失败状态,其他所有HTTP均不记录失败。

 

  • 大小: 51.1 KB
  • 大小: 54.9 KB
  • 大小: 30.7 KB
3
3
分享到:
评论
4 楼 saiyaren 2017-01-10  
husxwy 写道
请教一个问题,是否碰见一个请求,nginx认为tomcat1失败(为啥不懂),就请求了另一个tomcat2 
这样的处理机制,在web网页问题不是很大,但是在接口就存在问题了

对nginx不是很熟悉,配置,都是基础的配置,楼主能否给解答一下,谢谢

API 也不会存在问题啊
3 楼 husxwy 2016-03-10  
请教一个问题,是否碰见一个请求,nginx认为tomcat1失败(为啥不懂),就请求了另一个tomcat2 
这样的处理机制,在web网页问题不是很大,但是在接口就存在问题了

对nginx不是很熟悉,配置,都是基础的配置,楼主能否给解答一下,谢谢
2 楼 saiyaren 2013-07-30  
kfyfly 写道
顶一个老兄,排版还得加强

这个是我从word里面直接粘贴到文本编辑器中的,然后就直接贴上了,因为需要share时间少,所以就最接近word格式搞上去了,嘿嘿,以后有时间好好调整格式!
1 楼 kfyfly 2013-07-30  
顶一个老兄,排版还得加强

相关推荐

    nginx-upstream-jvm-route-1.15

    【标题】"nginx-upstream-jvm-route-1.15" 涉及的核心知识点是Nginx的upstream模块与JVM路由的整合,特别针对Nginx 1.15版本。这个项目旨在解决在配置Nginx时遇到的特定错误提示“nginx: [emerg] invalid parameter ...

    nginx-upstream-jvm-route 和 nginx 对应版本,亲测可用

    此资源有两个文件,含 nginx-upstream-jvm-route 和 nginx 对应版本,都是tar.gz文件。 安装方法网上很多就不写了,亲测可用。 不用担心版本不匹配造成安装失败,再浪费积分去到处下载尝试的烦恼。 此资源有两个文件...

    nginx-upstream-fair-master.zip

    "nginx-upstream-fair-master.zip"是一个包含Nginx公平负载均衡(fair)第三方模块的压缩包,该模块使得Nginx可以根据服务器的实际响应时间来分配请求,从而实现更公平的负载均衡策略。 公平负载均衡(fair)模块...

    nginx_upstream_hash-0.3.1.tar.gz

    《Nginx Upstream Hash模块详解与应用》 在Web服务器领域,Nginx以其高效、轻量级的特性赢得了广泛的应用。为了实现更灵活的负载均衡策略,Nginx提供了一系列的upstream模块,其中,`nginx_upstream_hash`模块是...

    nginx1.16+nginx-upstream-check-module-master+nginx-upload-module

    这里我们关注的是一个包含特定模块的Nginx配置:`nginx1.16`,`nginx-upstream-check-module-master` 和 `nginx-upload-module`。这三个组件将帮助我们增强Nginx在处理后端服务健康检查、文件上传等方面的功能。 ...

    nginx-upstream-jvm-route-1.12.0.tar.gz

    # ./configure --prefix=/usr/nginx-0.8.1 --with-http_stub_status_module --add-module=/path/to/this/directory/ #make #make install 例如以下配置: 1. Resin: upstream backend { server 192.168.0.100...

    nginx-upstream-jvm-route-0.1.tar.gz

    "nginx-upstream-jvm-route-0.1.tar.gz"正是为了解决这个问题而设计的一个解决方案。 首先,让我们了解一下Nginx的Upstream模块。Upstream模块允许Nginx将接收到的请求转发到一组后端服务器,可以根据配置的策略...

    nginx + nginx-http-flv-module-1.2.9

    标题 "nginx + nginx-http-flv-module-1.2.9" 暗示我们要讨论的是一个基于 Nginx 的 HTTP FLV 模块,版本号为 1.2.9。Nginx 是一个高性能的 Web 和反向代理服务器,而 nginx-http-flv-module 是 Nginx 的一个扩展...

    nginx-sticky-module-1.25.zip

    nginx sticky是nginx的module,可以实现基于cookie的负载均衡。 下载后,在编译安装nginx时,用--add-module... ./configure --prefix=/usr/local/nginx-1.6.0 --add-module=../nginx-sticky-module-1.25 --without-...

    win环境使用nginx的nginx-http-flv-module.zip

    在windows 7 64位 环境下使用nginx的nginx-http-flv-module搭建flv视频流播放所有的安装包,参考:https://blog.csdn.net/qq_33071429/article/details/102628008

    nginx-1.19.3_nginx-http-flv-module.rar

    标题中的"nginx-1.19.3_nginx-http-flv-module.rar"表明这是一个关于Nginx服务器的软件包,特别地,它包含了Nginx的1.19.3版本,并且已经集成了`nginx-http-flv-module`模块。这个模块是用于支持HTTP FLV(Flash ...

    添加nginx-http-flv-module模块并重新编译后的nginx(windows版)

    本资源提供的是一款针对Windows平台的Nginx,其中已经集成了`nginx-http-flv-module`模块,这个模块主要用于支持HTTP实时流(HTTP Live Streaming, HLS)和Flash视频流(Flash Video, FLV)。现在我们将深入探讨这一...

    nginx-http-flv-module(windows版)

    --> nginx-1.21.6 ======================== 在网上查找半天都只有教程,没有可免费下载的版本,深知没有积分遍地找资源的痛苦,无奈之下只好自己按照教程一步一个坑编译出来的,供大家免费下载使用。(无毒放心使用...

    nginx-upstream-check-module-master.zip

    借助淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态,如果后端服务器不可用,则会将其踢出upstream,所有的请求不转发到这台服务器。当期恢复正常时,将其加入upstream。 ...

    Nginx_upstream_hash-0.3.1.tar.gz

    在Nginx配置中,"upstream"模块是用于定义后端服务器组,它允许Nginx将请求分发到这些服务器,实现负载均衡。而"hash"策略则是Nginx upstream模块中的一个功能,用于根据特定的请求属性(例如URL)来决定请求应被...

    nginx上传下载之nginx-upload-module-2.3.0

    cp -r ../nginx-upload-module-2.3.0 nginx-1.21.x/ cd nginx-1.21.x/ ./configure --add-module=../nginx-upload-module-2.3.0 \ --prefix=/usr/local/nginx \ --with-http_ssl_module \ --with-pcre make ...

    windows下编译nginx-http-flv-moudle

    在Windows环境下编译`nginx-http-flv-module`是一项技术性的任务,主要目的是为了实现HTTP FLV协议的直播功能,使得用户可以通过浏览器中的FLVJS库或者无插件Flash播放器来观看直播内容。这个模块是Nginx的一个扩展...

    nginx带nginx-http-flv模块windows编译版rtmp

    **Nginx与Nginx-RTMP及Nginx-HTTP-FLV模块** Nginx是一款高性能、轻量级的Web服务器/反向代理服务器,被广泛应用于高并发场景,尤其在处理静态文件、HTTP缓存以及反向代理等方面表现出色。Nginx以其高效的事件驱动...

    nginx upstream 容错机制.pdf

    ### Nginx Upstream 容错机制解析 #### 一、摘要 本文档旨在深入探讨Nginx上游(upstream)的容错机制及其工作原理,包括但不限于节点失效的状态判定、触发条件、节点恢复条件以及所有节点失效后的处理策略。此外,...

    nginx-http-flv-module-1.2.10(包含nginx-rtmp-module)

    而nginx-rtmp-module则是一个额外的Nginx模块,它增加了对Real-Time Messaging Protocol (RTMP)的支持,使Nginx能够作为RTMP服务器接收并分发直播流。 1. **HTTP FLV 模块详解** HTTP FLV模块使得Nginx可以处理FLV...

Global site tag (gtag.js) - Google Analytics