彻底解决TCP客户端端口不够用的问题

【问题】
在进行大并发性能呼叫时，经常遇到一个问题：客户端端口用尽。

【问题原因】
经过分析，主要原因在于连接断开后会有一个timewait时间，继续保留socket、占用该端口。

【解决方案】
方案1
起初总是在timewait上做文章，想尽可能减小timewait的影响：
1、修改/proc/sys/net/ipv4/tcp_fin_timeout
2、修改/proc/sys/net/ipv4/tcp_max_tw_buckets
等等

方案2：
问题可能会有所减轻，但总是不能根除。
一次偶然机会，从朋友那里听到什么东东能支持单台机器“上百万并发量”，于是考虑如何解决tcp客户端端口不够的问题。
因为默认65535端口，经过设置，最多端口数不到60000，如何能达到百万呢？
看了下UNP，里面讲SO_REUSEADDR应用的4种场景时有说到：
SO_REUSEADDR允许单个进程捆绑同一端口到多个套接字上，只要每次捆绑指定不同的贝蒂IP地址即可。
于是猜测：当某个IP的端口用尽时可以选择另一个IP进行发送消息。
首先写了如下代码进行验证：

from socket import *
from time import *

s1 = socket(AF_INET, SOCK_STREAM)
## s1.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
s1.bind(('192.168.0.35', 5555))
s1.connect(('127.0.0.1', 1337))
print 'socket1 connect ok'

s2 = socket(AF_INET, SOCK_STREAM)
## s2.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
s2.bind(('192.168.1.105', 5555))
s2.connect(('127.0.0.1', 1337))
print 'socket2 connect ok'

sleep(4)

 

说明下环境：192.168.0.35和192.168.1.105是本机具备的IP地址，在1337端口上起了个TCP服务端。

结果：

s1和s2连接成功：

C:\Documents and Settings\Administrator>netstat -an|grep 1337
  TCP    0.0.0.0:1337           0.0.0.0:0              LISTENING
  TCP    192.168.0.35:1337      192.168.0.35:7780      ESTABLISHED
  TCP    192.168.0.35:5555      127.0.0.1:1337         TIME_WAIT
  TCP    192.168.0.35:7780      192.168.0.35:1337      ESTABLISHED
  TCP    192.168.1.105:5555     127.0.0.1:1337         TIME_WAIT

 可见该方案可行。

 

【其他问题】

剩下的问题就是如何在一个机器上虚拟出多个IP？

尝试使用127.0.0.2这类回环地址，发现绑定OK，调用connect错误，貌似这类回环地址只允许listen。

于是需要专门的方式来在一个网卡上绑定多个IP：

windows：可以使用我公司开发的ipop：http://www.itopdog.cn/networking-software/ip-tool/ipop.html

linux：直接通过命令或配置文件的方式在一个网卡上绑定多个IP，eth0:0/eth0:1...