`

关于 TCP 并发连接的几个思考题与试验

    博客分类:
  • Java
 
阅读更多
第一道初级题目是:

有一台机器,它有一个 IP,上面运行了一个 TCP 服务程序,程序只侦听一个端口,问:从理论上讲(只考虑 TCP/IP 这一层面,不考虑IPv6)这个服务程序可以支持多少并发 TCP 连接?答 65536 上下的直接刷掉。

具体来说,这个问题等价于:有一个 TCP 服务程序的地址是 1.2.3.4:8765,问它从理论上能接受多少个并发连接?

第二道进阶题目是:

一台被测机器 A,功能同上,同一交换机上还接有一台机器 B,如果允许 B 的程序直接收发以太网 frame,问:让 A 承担 10 万个并发 TCP 连接需要用多少 B 的资源?100万个呢?

从讨论的结果看,很多人做出了第一道题,而第二道题几乎无人问津。



这里先不公布答案(第一题答案见文末),让我们继续思考一个本质的问题:一个 TCP 连接要占用多少系统资源。

在现在的 Linux 操作系统上,如果用 socket()/connect() 或 accept() 来创建 TCP 连接,那么每个连接至少要占用一个文件描述符(file descriptor)。为什么说“至少”?因为文件描述符可以复制,比如 dup();也可以被继承,比如 fork();这样可能出现系统里边同一个 TCP 连接有多个文件描述符与之对应。据此,很多人给出的第一题答案是:并发连接数受限于系统能同时打开的文件数目的最大值。这个答案在实践中是正确的,却不符合原题意。



如果抛开操作系统层面,只考虑 TCP/IP 层面,建立一个 TCP 连接有哪些开销?理论上最小的开销是多少?考虑两个场景:

1. 假设有一个 TCP 服务程序,向这个程序成功发起连接需要做哪些事情?换句话说,如何才能让这个 TCP 服务程序认为有客户连接到了它(让它的 accept() 调用正常返回)?

2. 假设有一个 TCP 客户端程序,让这个程序成功建立到服务器的连接需要做哪些事情?换句话说,如何才能让这个 TCP 客户端程序认为它自己已经连接到服务器了(让它的 connect() 调用正常返回)?

以上这两个问题问的不是如何编程,如何调用 Sockets API,而是问如何让操作系统的 TCP/IP 协议栈认为任务已经成功完成,连接已经成功建立。



学过 TCP/IP 协议,理解三路握手的同学明白,TCP 连接是虚拟的连接,不是电路连接,维持 TCP 连接理论上不占用网络资源(会占用两头程序的系统资源)。只要连接的双方认为 TCP 连接存在,并且可以互相发送 IP packet,那么 TCP 连接就一直存在。

对于问题 1,向一个 TCP 服务程序发起一个连接,客户端(为明白起见,以下称为 faketcp 客户端)只需要做三件事情(三路握手):

1a. 向 TCP 服务程序发一个 IP packet,包含 SYN 的 TCP segment

1b. 等待对方返回一个包含 SYN 和 ACK 的 TCP segment

1c. 向对方发送一个包含 ACK 的 segment

在做完这三件事情之后,TCP 服务器程序会认为连接已建立。而做这三件事情并不占用客户端的资源(?),如果faketcp 客户端程序可以绕开操作系统的 TCP/IP 协议栈,自己直接发送并接收 IP packet 或 Ethernet frame 的话。换句话说,faketcp 客户端可以一直重复做这三件事件,每次用一个不同的 IP:PORT,在服务端创建不计其数的 TCP 连接,而 faketcp 客户端自己毫发无损。很快我们将看到如何用程序来实现这一点。

对于问题 2,为了让一个 TCP 客户端程序认为连接已建立,faketcp 服务端只需要做两件事情:

2a. 等待客户端发来的 SYN TCP segment

2b. 发送一个包含 SYN 和 ACK 的 TCP segment

2c. 忽视对方发来的包含 ACK 的 segment

在做完这两件事情(收一个 SYN、发一个 SYN+ACK)之后,TCP 客户端程序会认为连接已建立。而做这三件事情并不占用 faketcp 服务端的资源(?)换句话说,faketcp 服务端可以一直重复做这两件事件,接受不计其数的 TCP 连接,而 faketcp 服务端自己毫发无损。很快我们将看到如何用程序来实现这一点。



基于对以上两个问题的分析,说明单独谈论“TCP 并发连接数”是没有意义的,因为连接数基本上是要多少有多少。更有意义的性能指标或许是:“每秒钟收发多少条消息”、“每秒钟收发多少字节的数据”、“支持多少个活动的并发客户”等等。

faketcp 的程序实现

代码见: https://github.com/chenshuo/recipes/tree/master/faketcp 可以直接用 make 编译

为了验证我上面的说法,我写了几个小程序来实现 faketcp,这几个程序可以发起或接受不计其数的 TCP 并发连接,并且不消耗操作系统资源,连动态内存分配都不会用到。

我家里有一台运行 Ubuntu Linux 10.04 的 PC 机,hostname 是 atom,所有的试验都在这上面进行。

家里试验环境的网络配置是:



陈硕在《谈一谈网络编程学习经验》中曾提到“可以用 TUN/TAP 设备在用户态实现一个能与本机点对点通信的 TCP/IP 协议栈”,这次的试验正好可以用上这个办法。

试验的网络配置是:



具体做法是:在 atom 上通过打开 /dev/net/tun 设备来创建一个 tun0 虚拟网卡,然后把这个网卡的地址设为 192.168.0.1/24,这样 faketcp 程序就扮演了 192.168.0.0/24 这个网段上的所有机器。atom 发给 192.168.0.2~192.168.0.254 的 IP packet 都会发给 faketcp 程序,faketcp 程序可以模拟其中任何一个 IP 给 atom 发 IP packet。

程序分成几步来实现。

第一步:实现 icmp echo 协议,这样就能 ping 通 faketcp 了。

代码见 https://github.com/chenshuo/recipes/blob/master/faketcp/icmpecho.cc

其中响应 icmp echo request 的函数在 https://github.com/chenshuo/recipes/blob/master/faketcp/faketcp.cc#L57 这个函数在后面的程序中也会用到。

运行方法,打开 3 个命令行窗口:

1. 在第 1 个窗口运行 sudo ./icmpecho ,程序显示

allocted tunnel interface tun0

2. 在第 2 个窗口运行

$ sudo ifconfig tun0 192.168.0.1/24

$ sudo tcpdump -i tun0

3. 在第 3 个窗口运行

$ ping 192.168.0.2

$ ping 192.168.0.3

$ ping 192.168.0.234

发现每个 192.168.0.X 的 IP 都能 ping 通。



第二步:实现拒绝 TCP 连接的功能,即在收到 SYN TCP segment 的时候发送 RST segment。

代码见 https://github.com/chenshuo/recipes/blob/master/faketcp/rejectall.cc

运行方法,打开 3 个命令行窗口,头两个窗口的操作与前面相同,运行的 faketcp 程序是 ./rejectall

3. 在第 3 个窗口运行

$ nc 192.168.0.2 2000

$ nc 192.168.0.2 3333

$ nc 192.168.0.7 5555

发现向其中任意一个 IP 发起的 TCP 连接都被拒接了。



第三步:实现接受 TCP 连接的功能,即在收到SYN TCP segment 的时候发回 SYN+ACK。这个程序同时处理了连接断开的情况,即在收到 FIN segment 的时候发回 FIN+ACK。

代码见 https://github.com/chenshuo/recipes/blob/master/faketcp/acceptall.cc

运行方法,打开 3 个命令行窗口,步骤与前面相同,运行的 faketcp 程序是 ./acceptall。这次会发现 nc 能和 192.168.0.X 中的每一个 IP 每一个 PORT 都能连通。还可以在第 4 个窗口中运行 netstat –tpn ,以确认连接确实建立起来了。如果在 nc 中输入数据,数据会堆积在操作系统中,表现为 netstat 显示的发送队列(Send-Q)的长度增加。



第四步:在第三步接受 TCP 连接的基础上,实现接收数据,即在收到包含 payload 数据 的 TCP segment 时发回 ACK。

代码见 https://github.com/chenshuo/recipes/blob/master/faketcp/discardall.cc

运行方法,打开 3 个命令行窗口,步骤与前面相同,运行的 faketcp 程序是 ./acceptall。这次会发现 nc 能和 192.168.0.X 中的每一个 IP 每一个 PORT 都能连通,数据也能发出去。还可以在第 4 个窗口中运行 netstat –tpn ,以确认连接确实建立起来了,并且发送队列的长度为 0。

这一步已经解决了前面的问题 2,扮演任意 TCP 服务端。



第五步:解决前面的问题 1,扮演客户端向 atom 发起任意多的连接。

代码见 https://github.com/chenshuo/recipes/blob/master/faketcp/connectmany.cc

这一步的运行方法与前面不同,打开 4 个命令行窗口。

1. 在第 1 个窗口运行 sudo ./connectmany 192.168.0.1 2007 1000 ,表示将向 192.168.0.1:2007 发起 1000 个并发连接。

程序显示

allocted tunnel interface tun0
press enter key to start connecting 192.168.0.1:2007



2. 在第 2 个窗口运行

$ sudo ifconfig tun0 192.168.0.1/24

$ sudo tcpdump -i tun0

3. 在第 3 个窗口运行一个能接收并发 TCP 连接的服务程序,可以是 httpd,也可以是 muduo 的 echo 或 discard 示例,程序应 listen 2007 端口。

4. 回到第 1 个窗口中敲回车,然后在第 4 个窗口中用 netstat -tpn 来观察并发连接。



有兴趣的话,还可以继续扩展,做更多的有关 TCP 的试验,以进一步加深理解,验证操作系统 TCP/IP 协议栈面对不同输入的行为。甚至可以按我在《谈一谈网络编程学习经验》中提议的那样,实现完整的 TCP 状态机,做出一个简单的 mini tcp stack。



第一道题的答案:

在只考虑 IPv4 的情况下,并发数的理论上限是 2**48。考虑某些 IP 段被保留了,这个上界可适当缩小,但数量级不变。实际的限制是操作系统全局文件描述符的数量,以及内存大小。

一个 TCP 连接有两个 end points,每个 end point 是 {ip, port},题目说其中一个 end point 已经固定,那么留下一个 end point 的自由度,即 2 ** 48。客户端 IP 的上限是 2**32 个,每个客户端IP发起连接的上限是 2**16,乘到一起得理论上限。

即便客户端使用 NAT,也不影响这个理论上限。(为什么?)



在真实的 Linux 系统中,可以通过调整内核参数来支持上百万并发连接,具体做法见:

http://urbanairship.com/blog/2010/09/29/linux-kernel-tuning-for-c500k/

http://www.metabrew.com/article/a-million-user-comet-application-with-mochiweb-part-3


分享到:
评论

相关推荐

    更改TCP并发连接数

    TCP并发连接数是指同一时间一个用户或进程可以建立的TCP连接的最大数量。在打印机共享环境中,如果多个用户尝试同时连接到同一台打印机,可能就会遇到这个限制,从而影响打印效率。 描述中提到的问题解决方案可能是...

    Tcp并发测试连接模拟源代码

    本资源提供的“Tcp并发测试连接模拟源代码”是一个极好的学习工具,帮助开发者在有限的硬件资源下模拟大规模并发连接,从而更好地理解TCP的工作原理和性能瓶颈。 首先,TCP并发测试主要关注两个方面:连接建立和...

    STM32 TCP并发服务器源码(可与多个客户端通信)

    TCP并发服务器源码则是实现STM32设备作为服务器,能够同时处理多个客户端连接请求的软件设计。在这个项目中,STM32将作为服务器端,通过TCP/IP协议栈接收并响应来自多个客户端的通信请求。 TCP(传输控制协议)是一...

    如何测试Linux下tcp最大连接数限制详解

    关于TCP服务器最大并发连接数有一种误解就是“因为端口号上限为65535,所以TCP服务器理论上的可承载的最大并发连接数也是65535”。 先说结论:对于TCP服务端进程来说,他可以同时连接的客户端数量并不受限于可用端口...

    c# tcp 基于完成端口开发 高性能 高并发 吞吐量大 包含服务端 客户端完整代码 支持最大连接数支持65535个长连接

    1. **完成端口的创建**:首先,需要使用CreateIoCompletionPort函数创建一个完成端口,并将其与网络套接字关联,以便接收来自TCP连接的I/O完成通知。 2. **工作线程的管理**:通过GetQueuedCompletionStatus函数...

    SP3_TCPIP并发连接数修改

    修改TCP/IP并发连接数通常涉及以下几个方面: 1. **注册表编辑**:这是最常见的方式,通过修改注册表键值来调整并发连接限制。具体操作包括打开注册表编辑器(regedit),找到`HKEY_LOCAL_MACHINE\SYSTEM\...

    TCP/IP并发连接数修改--一键搞定~!

    并发连接数是指在同一时间,计算机可以处理的多个独立TCP连接。增加并发连接数可以提高下载多个文件或者浏览多个网页时的速度,因为更多的数据可以同时传输。 然而,需要注意的是,无限制地增加并发连接数可能会对...

    tcp 连接数设置,以及查看电脑的连接数

    TCP连接数指的是同一时间一个计算机系统通过TCP协议能够建立的并发连接的数量。这个值通常受到操作系统、硬件资源和配置参数的影响。了解如何设置和查看TCP连接数对于网络管理员和开发者来说是至关重要的,因为它...

    JMeter 之TCP服务器并发压力测试

    对于TCP服务器的并发压力测试,需要添加一个TCP取样器作为请求类型,然后配置TCP服务器的名称或IP地址、端口号以及连接超时、响应超时等参数。如果需要对TCP服务器发送特定数据,比如用户名和密码,可以在TCP取样器...

    UDP.rar_C C/S架构_UDP并发服务器_tcp 并发连接_并发服务器 c

    总的来说,这个项目旨在实现一个能够在Linux环境下运行的C/S架构网络服务器,它既能处理UDP并发连接,也能处理TCP并发连接。通过分析和理解这个项目,开发者可以深化对网络编程的理解,尤其是如何在C语言中实现并发...

    XP SP3 修改TCP/IP 最大并发连接数

    在Windows XP Service Pack 3 (SP3) 中,操作系统默认限制了TCP/IP协议的最大并发连接数,这在一定程度上可能会影响到多任务环境下的网络性能,尤其是对于那些需要大量并发连接的应用,如BT下载、P2P软件或者网络...

    高并发TCP连接时处理方法

    解决高并发TCP连接问题的方法有两个:一个是增加系统对端口并发连接数的限制,另一个是降低TIME_WAIT时长。在Linux平台上,可以使用ulimit命令修改Linux对当前用户的进程同时打开的文件数量的软限制(soft limit)和...

    tcp并发通信

    TCP并发通信是指在一个服务端程序中同时处理多个客户端连接请求的能力,这对于构建高性能的服务器至关重要。本文将深入探讨如何在Linux环境下,使用C语言和select系统调用来实现TCP并发通信。 首先,TCP并发通信的...

    TCPIP并发连接数修改

    修改TCP并发连接数通常涉及以下几个步骤: 1. **注册表编辑**:在Windows系统中,可以通过编辑注册表来更改这个值。打开注册表编辑器(regedit),导航到`HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\...

    TCP/IP并发连接数修改

    TCP/IP并发连接数是指在同一时间,一个系统能够同时保持的不同TCP连接的数量。默认情况下,操作系统对并发连接数有一定的限制,这主要是为了防止资源过度消耗和滥用。在某些场景下,比如服务器处理大量并发用户请求...

    查看本机tcp socket当前连接数(并发量).zip

    查看本机tcp socket当前连接数(并发量).zip

    XP SP2 修改TCP/IP 最大并发连接数

    在XP SP2中,系统默认限制了一个用户进程可同时打开的最大并发TCP连接数,通常为10个。 要修改这一限制,我们可以使用第三方工具,例如压缩包中的`sp2tcppatch.exe`。这是一个小型的补丁程序,它可以解除XP SP2的...

    WIN7+TCPIP并发连接数修改

    WIN7+TCPIP并发连接数修改

    TCP并发服务器模型-多线程TCP服务器

    在rt-thread中实现多线程TCP服务器,我们需要以下几个步骤: 1. **初始化网络接口**:首先,需要初始化网络接口,这包括设置网络配置(如IP地址、子网掩码、默认网关)以及启动TCP/IP协议栈。这通常通过调用rt_...

Global site tag (gtag.js) - Google Analytics