传统io&mmap&直接io&sendfile零拷贝 对比

 

解释：

1、问题叙述：程序请求硬盘上的系统文件的时候，一般请求文件会在’系统缓存’和‘应用缓存’各存储一份，然后再由cpu操作应用缓存展示给用户。所以一般用户请求系统硬盘的文件时，文件在内存中可占了双份，而且系统和应用之间上下文存在多次切换，所以内存跟性能之间存在优化的空间。

2、dma技术解释（Direct Memory Access）：dma技术未出现之前通过cpu操作磁盘io是非常占用cpu资源的；目前大多数的硬件设备，包括磁盘控制器、网卡、显卡以及声卡等都支持 DMA 技术，该技术解除了cpu在磁盘io方面的负载；

 

• 传统io

步骤：硬盘（dma）》内核缓冲（cpu）》用户缓冲（cpu）》socket缓冲（dma）》协议层

 

1、四次上下文切换。

 

2、四次copy

 

 

 

• Mmap（内存映射）:

步骤：硬盘（dma）》内核缓冲（share用户缓冲）（cpu）》socket缓冲（dma）》协议层

 

优点

较缓存io，因为系统内核缓存和用户缓存共享，通过mmap访问硬盘数据减少了一次系统缓存至应用缓存之间的copy，提升了性能。

实现用户区域与系统内核之间的高效交互。

提供进程间共享内存间的相互通信方式。（如k8s的共享内存就要到这种方式）

可用于实现高效的大规模数据传输。（因为mmap的内存可大于物理内存，采取淘汰算法，将需要淘汰的内存页换成新的内存页）

缺点

文件很小，小于4096，因为mmap是页为单位，因此连续小文件会浪费内存。

对变长文件不适合，文件无法扩展；mmap到内存，所能操作的访问就确认了。

更新文件操作很多的情况不适合，因为会产生大量脏页回写，引发随机io。

 

 

 rocketmq使用了mmap，java也能实现mmap

 

• 直接io

步骤：硬盘（dma？）》用户内存》协议层。

 

少了内核缓存这步骤，直接操作硬盘。

 

优点

不用经过内核缓冲，节省了内存，某种场景下算是加快了速度，nginx支持直接io；

 

数据库采用这种方式就很好，实时修改文件，及时响应修改。

 

缺点

没有内核缓冲，意味着每次访问文件都从硬盘访问，多线程同时访问同一文件的时候性能会比较差。

 

一般跟aio异步线程一起使用。

 

 

 

 

 

 

 

• sendFile （零拷贝）

 

步骤:

 

2.1内核：硬盘（dma）》内核缓冲（cpu）》socket缓存（dma）》协议层。（不经过用户层）

 

2.4内核以上：硬盘（dma）》内核缓冲（cpu）》des描述文件进入socket缓冲（dma）》协议层。（不经过用户层，文件不经过socket缓冲，只是描述文件进入socket缓冲）

 

2.1三次上下文切换，三次copy。

 

2.4三次上下文切换，两次copy，文件直接内核缓存传输到协议层。

 

 

 

 

 

优点

1、节省内存空间，只在内核缓冲存储了一份数据，减少内存拷贝（2-3次），上线文切换（3次）

 

2、充分利用了dma，减少cpu的负担。

 

 

 

缺点

1、数据不经过用户系统，都是在操作系统内核中传输，用户系统编写的对传输内容操作不了？

 

2、貌似传输文件大于2g会出问题。

 

暂未发现太多。。

 

kafka、nginx都支持零拷贝，用于加速外部请求；java也能实现零拷贝