一些运行在Nginx上的网站有时候会出现“502 Bad Gateway”错误,有些时候甚至频繁的出现。有些站长是在刚刚转移到Nginx之后就出现了这个问题,所以经常会怀疑这是不是Nginx的问题,但事实上这是个误区。
以下是从张宴和Ayou的博客搜集整理的一些Nginx 502错误的排查方法,供大家参考:
Nginx 502错误的原因比较多,是因为在代理模式下后端服务器出现问题引起的。这些错误一般都不是nginx本身的问题,一定要从后端找原因!但nginx把这些出错都揽在自己身上了,着实让nginx的推广者备受置疑,毕竟从字眼上理解,bad gateway?不就是bad nginx吗?让不了解的人看到,会直接把责任推在nginx身上,希望nginx下一个版本会把出错提示写稍微友好一些,至少不会是现在简单的一句502 Bad Gateway,另外还不忘附上自己的大名。
Nginx 502的触发条件
502错误最通常的出现情况就是后端主机当机。在upstream配置里有这么一项配置:proxy_next_upstream,这个配置指定了nginx在从一个后端主机取数据遇到何种错误时会转到下一个后端主机,里头写上的就是会出现502的所有情况拉,默认是error timeout。error就是当机、断线之类的,timeout就是读取堵塞超时,比较容易理解。我一般是全写上的:
proxy_next_upstream error timeout invalid_header http_500 http_503;不过现在可能我要去掉http_500这一项了,http_500指定后端返回500错误时会转一个主机,后端的jsp出错的话,本来会打印一堆stacktrace的错误信息,现在被502取代了。但公司的程序员可不这么认为,他们认定是nginx出现了错误,我实在没空跟他们解释502的原理了……
503错误就可以保留,因为后端通常是apache resin,如果apache死机就是error,但resin死机,仅仅是503,所以还是有必要保留的。
解决办法
遇到502问题,可以优先考虑按照以下两个步骤去解决。
1、查看当前的PHP FastCGI进程数是否够用:
netstat -anpo | grep "php-cgi" | wc -l如果实际使用的“FastCGI进程数”接近预设的“FastCGI进程数”,那么,说明“FastCGI进程数”不够用,需要增大。
2、部分PHP程序的执行时间超过了Nginx的等待时间,可以适当增加nginx.conf配置文件中FastCGI的timeout时间,例如:
......
http
{
......
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
......
}
......php.ini中memory_limit设低了会出错,修改了php.ini的memory_limit为64M,重启nginx,发现好了,原来是PHP的内存不足了。
如果这样修改了还解决不了问题,可以参考下面这些方案:
一、max-children和max-requests
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300W pv左右
最近经常会出现这样的情况: php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了
检查php-fpm的日志文件发现了一些线索
Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200
Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″
Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll
Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587在这几句的前面,是1000多行的关闭children和开启children的日志
原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间被关闭。
在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)
解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:
打开 /usr/local/php/etc/php-fpm.conf
调大以下两个参数(根据服务器实际情况,过大也不行)
<value name=”max_children”>5120</value>
<value name=”max_requests”>600</value>然后重启php-fpm。
二、增加缓冲区容量大小
将nginx的error log打开,发现“pstream sent too big header while reading response header from upstream”这样的错误提示。查阅了一下资料,大意是nginx缓冲区有一个bug造成的,我们网站的页面消耗占用缓冲区可能过大。参考老外写的修改办法增加了缓冲区容量大小设置,502问题彻底解决。后来系统管理员又对参数做了调整只保留了2个设置参数:client head buffer,fastcgi buffer size。
三、request_terminate_timeout
如果主要是在一些post或者数据库操作的时候出现502这种情况,而不是在静态页面操作中常见,那么可以查看一下php-fpm.conf设置中的一项:
request_terminate_timeout
这个值是max_execution_time,就是fast-cgi的执行脚本时间。
0s
0s为关闭,就是无限执行下去。(当时装的时候没仔细看就改了一个数字)
发现,问题解决了,执行很长时间也不会出错了。
优化fastcgi中,还可以改改这个值5s 看看效果。
php-cgi进程数不够用、php执行时间长、或者是php-cgi进程死掉,都会出现502错误。
如果您还有其他的解决方法,欢迎与编辑沟通!当然,如果你的网站并发量的确很大,那么最终也许需要寻求系统级的解决办法……
http://os.51cto.com/art/201011/233698.htm
以下是从张宴和Ayou的博客搜集整理的一些Nginx 502错误的排查方法,供大家参考:
Nginx 502错误的原因比较多,是因为在代理模式下后端服务器出现问题引起的。这些错误一般都不是nginx本身的问题,一定要从后端找原因!但nginx把这些出错都揽在自己身上了,着实让nginx的推广者备受置疑,毕竟从字眼上理解,bad gateway?不就是bad nginx吗?让不了解的人看到,会直接把责任推在nginx身上,希望nginx下一个版本会把出错提示写稍微友好一些,至少不会是现在简单的一句502 Bad Gateway,另外还不忘附上自己的大名。
Nginx 502的触发条件
502错误最通常的出现情况就是后端主机当机。在upstream配置里有这么一项配置:proxy_next_upstream,这个配置指定了nginx在从一个后端主机取数据遇到何种错误时会转到下一个后端主机,里头写上的就是会出现502的所有情况拉,默认是error timeout。error就是当机、断线之类的,timeout就是读取堵塞超时,比较容易理解。我一般是全写上的:
proxy_next_upstream error timeout invalid_header http_500 http_503;不过现在可能我要去掉http_500这一项了,http_500指定后端返回500错误时会转一个主机,后端的jsp出错的话,本来会打印一堆stacktrace的错误信息,现在被502取代了。但公司的程序员可不这么认为,他们认定是nginx出现了错误,我实在没空跟他们解释502的原理了……
503错误就可以保留,因为后端通常是apache resin,如果apache死机就是error,但resin死机,仅仅是503,所以还是有必要保留的。
解决办法
遇到502问题,可以优先考虑按照以下两个步骤去解决。
1、查看当前的PHP FastCGI进程数是否够用:
netstat -anpo | grep "php-cgi" | wc -l如果实际使用的“FastCGI进程数”接近预设的“FastCGI进程数”,那么,说明“FastCGI进程数”不够用,需要增大。
2、部分PHP程序的执行时间超过了Nginx的等待时间,可以适当增加nginx.conf配置文件中FastCGI的timeout时间,例如:
......
http
{
......
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
......
}
......php.ini中memory_limit设低了会出错,修改了php.ini的memory_limit为64M,重启nginx,发现好了,原来是PHP的内存不足了。
如果这样修改了还解决不了问题,可以参考下面这些方案:
一、max-children和max-requests
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300W pv左右
最近经常会出现这样的情况: php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了
检查php-fpm的日志文件发现了一些线索
Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200
Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″
Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll
Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587在这几句的前面,是1000多行的关闭children和开启children的日志
原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间被关闭。
在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)
解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:
打开 /usr/local/php/etc/php-fpm.conf
调大以下两个参数(根据服务器实际情况,过大也不行)
<value name=”max_children”>5120</value>
<value name=”max_requests”>600</value>然后重启php-fpm。
二、增加缓冲区容量大小
将nginx的error log打开,发现“pstream sent too big header while reading response header from upstream”这样的错误提示。查阅了一下资料,大意是nginx缓冲区有一个bug造成的,我们网站的页面消耗占用缓冲区可能过大。参考老外写的修改办法增加了缓冲区容量大小设置,502问题彻底解决。后来系统管理员又对参数做了调整只保留了2个设置参数:client head buffer,fastcgi buffer size。
三、request_terminate_timeout
如果主要是在一些post或者数据库操作的时候出现502这种情况,而不是在静态页面操作中常见,那么可以查看一下php-fpm.conf设置中的一项:
request_terminate_timeout
这个值是max_execution_time,就是fast-cgi的执行脚本时间。
0s
0s为关闭,就是无限执行下去。(当时装的时候没仔细看就改了一个数字)
发现,问题解决了,执行很长时间也不会出错了。
优化fastcgi中,还可以改改这个值5s 看看效果。
php-cgi进程数不够用、php执行时间长、或者是php-cgi进程死掉,都会出现502错误。
如果您还有其他的解决方法,欢迎与编辑沟通!当然,如果你的网站并发量的确很大,那么最终也许需要寻求系统级的解决办法……
http://os.51cto.com/art/201011/233698.htm
发表评论
-
Apache自带的压力测试工具——ab初体验
2011-12-27 16:36 850我们知道压力测试的软件确实很多,诸如微软的WAST, ... -
Nginx 502错误触发条件与解决办法汇总
2011-12-07 20:41 896一些运行在Nginx上的网 ... -
nginx+php
2011-09-06 11:12 13971. 安装系统组件 yum -y install gcc gc ... -
error while loading shared libraries的解決方法
2011-08-31 22:55 1018./tests: error while loading sh ... -
HTTP守护进程的运行参数
2011-08-26 16:45 1571httpd.conf中首先定义了一 ... -
apache页面压缩配置
2011-08-26 16:41 1051为了加快客户端的页面读取速度,我们需要安装配置mod_defl ... -
设置自动启动apache
2011-08-26 16:38 793安装完毕后,Apache并不会关机后自动启动,需要手工进行一些 ... -
apache线程参数设置
2011-08-26 16:20 2976如何知道apache是工作在哪个模式下的,答案很简单:apac ... -
linux下安装gd库
2011-08-26 16:16 80381. 先检查系统是否已经安装gd库 安装gd库 ... -
linux下配置solr
2011-08-23 09:41 18541. SOLR安装 将SOLR发行包解压,复制dist ... -
apache:与tomcat集群
2011-07-11 09:43 17491. 方法一:通过mod_jk集群 1.1 mod_jk下载 ... -
tomcat配置——连接池
2011-07-11 09:40 11071. Tomcat连接池配置 1. 1 Tomcat默认连接 ... -
tomcat 配置
2011-07-11 09:37 8551. 设置虚拟机内存 (1)方式一:在catalina.bat ... -
tomcat安装使用
2011-07-11 09:34 14111. 安装tomcat 从http://tomcat. ... -
linux PHP的安装
2011-07-08 16:46 142762. 红帽Linux PHP 2.1. 安装linux PHP ... -
Windows PHP的安装
2011-07-08 14:56 9681. Windows PHP 1.1. 安装 PHP (1) ... -
apache的安装
2011-07-08 10:37 14741. apache安装 软件获取:http://htt ... -
Apache 虚拟主机配置
2011-07-08 10:08 8951. 增加监听端口: Listen 80 Listen 808 ...
相关推荐
调整这些设置后,服务器将能够接受更大的请求实体,从而避免413错误的发生。但请注意,增加请求大小限制也可能带来安全风险,因为大文件上传可能导致服务器资源消耗过多,甚至可能成为DDoS攻击的途径。因此,根据...
### 互联网大厂超全前端面试经验汇总 #### HTTP协议中的POST与GET方法区别 - **GET**:主要用于获取资源,请求参数附加在URL之后,安全性较低,不适合传输敏感信息,但请求会被缓存,能被收藏,无长度限制。 - **...
如果在事务过程中发生错误,可以通过回滚事务撤销所有变更。 3. 查询系统时间: 在Oracle数据库中,可以使用`SELECT sysdate FROM dual`来获取当前系统时间。 4. 触发器的作用: 触发器是一种在特定数据库操作(如...
- **统计分析模块**:目前实现了一种模式,每分钟分析access.log,记录状态码数量、错误状态码请求,并监控CPU和内存使用率,与基准线对比,触发告警机制。 - **整体报告**:整合压测机器和WAF的分析数据,提供全面...
11 关于负载均衡下面说法错误的是( ) 单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备处理结束后,将结果汇总,返回给用户,系统处理能力得到大幅度提高 大量的并发访问或数据流量分担到多台节点...
- `Error`:通常是系统级错误或资源耗尽等无法通过修改程序逻辑来解决的问题。 - **运行时异常(RuntimeException)与非运行时异常的区别** - 运行时异常:通常由编程错误导致,如数组越界、空指针等,可以在编译...
- **错误恢复**:当某个节点发生故障时,集群能够自动切换到备用节点,实现故障的无缝迁移。 **1.3 集群分类** 集群主要分为以下几类: - **高可用集群(HA)**:当集群中的某个节点失效时,其他节点可以接管其工作,...
重写发生在子类中,方法名、返回类型和参数列表必须与父类方法一致,但实现可能不同。 5. **equals与==的区别**:equals通常用于比较对象内容,而==比较的是对象的引用。 **集合与数据结构** 1. **ArrayList和...
在使用FlinkCEP进行复杂事件处理时,未到达的事件可能会被暂存到系统的内存中,直到达到相应的模式匹配条件。 讲一下flink的运行架构: Flink运行架构主要由JobManager和TaskManager组成,JobManager负责调度任务和...
- **错误日志**:记录数据库运行时发生的错误。 - **二进制日志**:记录更改数据的所有操作。 - **慢查询日志**:记录执行时间超过阈值的查询。 - **执行计划**:SQL执行的具体步骤。 - **索引及优化策略**:通过...