nginx大量连接时，出现502错误

问题描述

Nginx的日志出现大量的upstream time out， dmesg 和 /var/log/messages查看系统日志后，发现很多的错误日志：ip_conntrack: table full, dropping packet

 

问题原因

nf_conntrack工作在3层，查看当前连接数的命令如下：

# grep conntrack /proc/slabinfo

nf_conntrack 跟 nat 有关，用来跟踪连接条目，它会使用一个哈希表来记录 established 的记录。nf_conntrack 在 2.6.15 被引入，如果该哈希表满了，就会出现：

nf_conntrack: table full, dropping packet

 

也就是说，这个问题是连接数过多引起的。

 

问题解决

从问题原因我们可以知道是因为连接数过多，nf_conntrack的哈希表满了引起的。

那么，比较简单的解决思路就是增大nf_conntrack_max数值。

 

将以下内容加入到/etc/sysctl.conf 中

 

Centos 6 :

1 2 3

net.nf_conntrack_max = 655360 net.netfilter.nf_conntrack_max = 655350 net.netfilter.nf_conntrack_tcp_timeout_established = 1200

Centos 5

1 2	net.ipv4.netfilter.ip_conntrack_max = 1655350 net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 1200

 

运行命令： sysctl -p /etc/sysctl.conf 

 

如果出现以下错误：

error: "net.netfilter.nf_conntrack_max" is an unknown key

 运行命令： modprobe nf_conntrack_ipv4

                     modprobe xt_state 

                     modprobe nf_conntrack

备注优化：

                modprobe nfnetlink_queue

                modprobe nfnetlink_log

                 modprobe nfnetlink

 

再次运行： sysctl -p /etc/sysctl.conf 

 

通过命令：sysctl -a | grep nf_conntrack 可以查看相关参数的数值。

 

注： 这里我还加了一行设置：net.ipv4.tcp_max_tw_buckets = 262144  用于解决TCP: time wait bucket table overflow问题，占用大量端口号，使得新连接无法绑定端口。

 

参考文档：

http://www.cnblogs.com/higkoo/articles/iptables_tunning_for_conntrack.html

http://www.d-kai.me/nf_conntrack-table-full-dropping-packet%E8%A7%A3%E5%86%B3%E5%8A%9E%E6%B3%95/

http://www.php-oa.com/2012/06/07/nginx-502-upstream-timed-out-110-connection-timed-out.html