`

Java IO:面向缓冲区、同步、非阻塞式IO(NIO)

 
阅读更多

转自:

引言

 

JDK1.4中引入了NIO,即New IO,目的在于提高IO速度。特别注意JavaNIO不完全是非阻塞式IO(No-Blocking IO),因为其中部分通道(如FileChannel)只能运行在阻塞模式下,而其他的通道可以在阻塞式和非阻塞式之间进行选择。

尽管这样,我们还是习惯将Java NIO看作是非阻塞式IO,而前面介绍的面向流(字节/字符)的IO类库则是阻塞的,它们在数据从介质->OS内核这个阶段需要应用程序阻塞等待完成,详细来看,面向流的IO和非阻塞式IO的区别如下:

IO

NIO

面向流(Stream oriented)

面向缓冲区(Buffer oriented)

阻塞式(Blocking IO)

非阻塞式(Non blocking IO)

选择器(Selectors)

但是千万记住,两者没有孰优孰劣,NIOJava io的拓展,根据不同的场景,两者各有用处。

 

面向流与面向缓冲

Java NIO和IO之间第一个最大的区别是,IO是面向流的,NIO是面向缓冲区的。 JavaIO面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。

 

阻塞与非阻塞IO

Java IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。

介质 <---->  OS内核空间  <----> 应用程序空间   不管是非阻塞式读还是写,介质到OS内核这一段都不会阻塞调用程序,不过因为是同步(非异步)读取和写入,所以OS到应用程序这段还是需要同步阻塞的。 

 

选择器(Selectors)

Java NIO的选择器允许一个单独的线程来监视多个输入通道,你可以注册多个通道使用一个选择器,然后使用一个单独的线程来“选择”通道:这些通道里已经有可以处理的输入,或者选择已准备写入的通道。这种选择机制,使得一个单独的线程很容易来管理多个通道。

 

Java NIO最关键的三个概念分别是通道,缓冲区和选择器:

 

一、通道(Channel)

Java NIO的通道类似流,但又有些不同:

n  通道是双向的,可读也可写,而流的读写是单向的。

n  通道可以异步地读写。

n  无论读写,通道只能和Buffer交互。

所以双向通信、只能与buffer交互、异步写(因为buffer)使其主要特征。

 

JavaNIO中最重要的几个Channel的实现:

u  FileChannel:从文件中读写数据(只有阻塞模式)。

u  DatagramChannel:通过UDP读写网络中的数据(阻塞和非阻塞可选)。

u  SocketChannel:通过TCP读写网络中的数据(阻塞和非阻塞可选)。

u  ServerSocketChannel:可以监听新进来的TCP连接,像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

 

下面是一个通过FileChannel来向文件中写入数据的例子:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. public class Test {  
  2.    public static void main(String[] args) throws IOException  {  
  3.        File file = new File("test.txt");  
  4.        FileOutputStream os = new FileOutputStream(file);  
  5.        FileChannel channel = os.getChannel();  
  6.        ByteBuffer buffer = ByteBuffer.allocate(1024);  
  7.        String str = "hello,jiyiqin";  
  8.        buffer.put(str.getBytes());  
  9.        buffer.flip();  
  10.        channel.write(buffer);  
  11.        channel.close();  
  12.        os.close();  
  13.    }   
  14. }  

 

备注:上面示例有两个关键的地方:

(1)一个是通过FileOutputStream文件输出流获取通道,旧的IO类库(或者说面向流的IO类库)中FileInputStream/FileOutputStream和RandomAccessFile三个类被修改以能够产生FileChannel通道,但是面向字符的流Reader/Writer不能产生通道。

(2)另外在将缓冲区数据写入通道之前必须要调用缓冲区的flip方法转换为读模式,让通道可从缓冲区读取数据。

 

二、缓冲区(Buffer)

Java NIO中的Buffer用于和NIO通道进行交互,数据是从通道读入缓冲区或从缓冲区写入到通道中。当向buffer写入数据时,buffer会记录下写了多少数据。一旦要读取数据,需要通过flip()方法将Buffer从写模式切换到读模式。在读模式下,可以读取之前写入到buffer的所有数据。一旦读完了所有的数据,就需要清空缓冲区,让它可以再次被写入。有两种方式能清空缓冲区:调用clear()或compact()方法。clear()方法会清空整个缓冲区。compact()方法只会清除已经读过的数据。任何未读的数据都被移到缓冲区的起始处,新写入的数据将放到缓冲区未读数据的后面。

缓冲区本质上是一块可以写入数据,然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象,并提供了一组方法,用来方便的访问该块内存。

下面是一个从文件通道FileChannel读取数据的例子:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. RandomAccessFile aFile = newRandomAccessFile("data/nio-data.txt""rw");   
  2. FileChannel inChannel =aFile.getChannel();   
  3. ByteBuffer buf = ByteBuffer.allocate(48);   
  4. int bytesRead = inChannel.read(buf);  
  5. while (bytesRead != -1) {   
  6.  buf.flip();  //使缓冲区可读  
  7.  while(buf.hasRemaining()){  
  8.      System.out.print((char)buf.get()); //一次读取一字节  
  9.   }  
  10.  buf.clear();  
  11.   bytesRead= inChannel.read(buf);  
  12. }  
  13. aFile.close();  

 

 

三、选择器(Selector)

Selector允许单线程处理多个Channel。如果你的应用打开了多个连接(通道),但每个连接的流量都很低,使用Selector就会很方便。例如,在一个聊天服务器中。

仅用单个线程来处理多个Channels的好处是,只需要更少的线程来处理通道。事实上,可以只用一个线程处理所有的通道。对于操作系统来说,线程之间上下文切换的开销很大,而且每个线程都要占用系统的一些资源(如内存)。因此,使用的线程越少越好。

但是,需要记住,现代的操作系统和CPU在多任务方面表现的越来越好,所以多线程的开销随着时间的推移,变得越来越小了。实际上,如果一个CPU有多个内核,不使用多任务可能是在浪费CPU能力。不管怎么说,关于那种设计的讨论应该放在另一篇不同的文章中。在这里,只要知道使用Selector能够处理多个通道就足够了。

下图用一张转载的图展示在一个单线程中使用一个Selector处理3个Channel:

 

步骤1:Selector的创建

通过调用Selector.open()方法创建一个Selector,如下:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. Selectorselector = Selector.open();   

 

步骤2:向Selector注册通道

为了将Channel和Selector配合使用,实现单个线程处理多个通道的梦想,必须将channel注册到selector上。可以通过SelectableChannel.register()方法来实现,如下:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. channel.configureBlocking(false);   
  2. SelectionKey key= channel.register(selector, Selectionkey.OP_READ);  

 

其中第一句代码设置通道为非阻塞模式,然后第二句向selector注册该通道。register()方法的第二个参数。这是一个“interest集合”,意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件:

SelectionKey.OP_CONNECT

SelectionKey.OP_ACCEPT

SelectionKey.OP_READ

SelectionKey.OP_WRITE

特别注意:与Selector一起使用时,Channel必须处于非阻塞模式下。这意味着不能将FileChannel与Selector一起使用,因为FileChannel不能切换到非阻塞模式(因为其本身特性,要注意这里指的文件和Linux中的文件不同,Linux中的文件可以是代表磁盘文件、打印机设备、网卡等,而这里说的文件就只是磁盘文件)。而套接字通道都可以。

 

步骤3:阻塞监视通道

一旦向Selector注册了一或多个通道,就可以调用几个重载的select()方法。这些方法返回你所感兴趣的事件(如连接、接受、读或写)已经准备就绪的那些通道。换句话说,如果你对“读就绪”的通道感兴趣,select()方法会返回读事件已经就绪的那些通道。 

下面是select()方法:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. int select()  
  2. int select(long timeout)  
  3. int selectNow()  

 

select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()一样,除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞,不管什么通道就绪都立刻返回(译者注:此方法执行非阻塞的选择操作。如果自从前一次选择操作后,没有通道变成可选择的,则此方法直接返回零。)。

 

步骤4:遍历selectedKeys()访问就绪通道

一旦调用了select()方法,并且返回值表明有一个或更多个通道就绪了,然后可以通过调用selector的selectedKeys()方法,访问“已选择键集(selected key set)”中的就绪通道。如下所示:

Set selectedKeys =selector.selectedKeys(); 

可以遍历这个已选择的键集合来访问就绪的通道。

 

下面给出一个完整的Channel和Selector结合的例子:

 

[java] view plain copy
 
 print?在CODE上查看代码片派生到我的代码片
  1. Selector selector = Selector.open();   
  2. channel.configureBlocking(false);  //配置Channel为非阻塞  
  3. SelectionKey key =channel.register(selector, SelectionKey.OP_READ);   //用selector注册该通道上的读事件  
  4. while(true) {   
  5.   intreadyChannels = selector.select(); //开始监听通道  
  6.  if(readyChannels == 0continue;   
  7.   SetselectedKeys = selector.selectedKeys();   
  8.  Iterator keyIterator = selectedKeys.iterator();   
  9.  while(keyIterator.hasNext()) { //轮训通道事件类型,进行对应处理  
  10.    SelectionKey key = keyIterator.next();   
  11.    if(key.isAcceptable()) {   
  12.        // a connection was accepted by a ServerSocketChannel.   
  13.     }else if (key.isConnectable()) {   
  14.        // a connection was established with a remote server.   
  15.     }else if (key.isReadable()) {   
  16.        // a channel is ready for reading   
  17.     }else if (key.isWritable()) {   
  18.        // a channel is ready for writing   
  19.    }   
  20.  }   
  21. }   

 

NIO = 选择器 + 非阻塞模式的套接字通道

套接字通道包括:SocketChannel、ServerSocketChannel和DatagramChannel。

SocketChannel是一个连接到TCP网络套接字的通道。可以通过2种方式创建:

1) 打开一个SocketChannel并连接到互联网上的某台服务器。

2) 一个新连接到达ServerSocketChannel时创建一个SocketChannel。

ServerSocketChannel通过ServerSocketChannel.accept() 方法监听新进来的连接。当 accept()方法返回的时候,它返回一个包含新进来的连接的 SocketChannel。因此,accept()方法会一直阻塞到有新连接到达。DatagramChannel是一个能收发UDP包的通道。因为UDP是无连接的网络协议,所以不能像其它通道那样读取和写入。它发送和接收的是数据包。

 

将套接字通道和Selector结合,因为选择器的多路复用特性(事件驱动)和套接字通道的非阻塞特性,可有效地解决高并发环境下对于客户端请求处理会耗费大量线程资源的情况。

(1)传统的同步阻塞式IO(网络套接字编程Socket):针对客户端的每一个请求的连接,都需要分配一个单独的线程进行处理,因为要随时监视其是否有数据读写,而且在数据读写操作时,因为是阻塞式的,所以即使没有数据到来,也会一直阻塞等待。这显然会浪费大量CPU和线程资源。

(2)而多路复用的选择器和非阻塞式的套接字通道的结合:不但可以用一个线程来监视多个与客户端建立的网络连接,还能够在读写数据时,一旦数据没有准备好,就立刻返回而不会阻塞(虽然实际上一旦执行读写是一般数据都已经准备好)。所以在并发较高的场景下,这种方式大大节约了CPU和线程(内存)资源。具体可以参考我这篇文章。

 

参考资料:

http://www.iteye.com/magazines/132-Java-NIO

http://www.cnblogs.com/dolphin0520/p/3919162.html

http://tutorials.jenkov.com/java-nio/nio-vs-io.html

分享到:
评论

相关推荐

    Java IO_NIO

    1. 阻塞与非阻塞:Java IO是阻塞的,而NIO是非阻塞的,可以在没有数据可读时不做等待,而是继续处理其他任务。 2. 多路复用:NIO的选择器允许单线程管理多个通道,而传统的IO需要为每个连接创建一个新的线程,导致...

    java io 与java nio区别

    Java IO,也称为传统的阻塞式IO或同步阻塞式IO,是Java早期版本中的主要I/O处理方式。它主要包括以下几种核心类: - `InputStream`/`OutputStream` - `Reader`/`Writer` 这些类提供了一系列用于读写文件、网络数据...

    java NIO 视频教程

    Java NIO: Non-blocking IO(非阻塞IO) Java NIO可以让你非阻塞的使用IO,例如:当线程从通道读取数据到缓冲区时,线程还是可以进行其他事情。当数据被写入到缓冲区时,线程可以继续处理它。从缓冲区写入通道也...

    JAVA IO and NIO

    Java IO (Input/Output) 和 NIO (Non-blocking Input/Output) 是Java平台...对于Java IO,IntelliJ IDEA会自动处理流的关闭,对于NIO,它也提供了对通道和缓冲区的智能感知,帮助开发者更好地理解和使用这些高级特性。

    Java NIO非阻塞服务端与客户端相互通信

    Java NIO(New IO)是Java 1.4版本引入的一种新的IO模型,它提供了不同于传统阻塞IO的处理方式,极大地提高了IO操作的效率。非阻塞IO的核心在于,当数据不可用时,不会使线程等待,而是立即返回并进行其他操作,这样...

    Java IO应届生培训讲义

    Java IO应届生培训讲义是一份面向刚毕业的大学生进行Java IO相关知识的培训资料,它涵盖了Java IO的基础知识、不同的IO模型以及Java中的BIO、NIO和AIO高级IO类库。下面详细解释这些知识点: 1. 用户空间和内核空间 ...

    Java IO与NIO文档

    Java IO还包括文件操作、缓冲区、转换流、过滤流等机制。例如,BufferedReader和BufferedWriter用于提高读写效率,FileInputStream和FileOutputStream用于文件操作,DataInputStream和DataOutputStream则支持基本...

    Java.nio 与Java.io比较

    3. **阻塞性**:Java.io是阻塞式的,而Java.nio支持非阻塞模式,能够提高系统的并发能力。 4. **API设计**:Java.nio的API设计更加面向对象,提供了更丰富的功能集和更灵活的控制机制。 总之,Java.nio与Java.io各...

    深入Java NIO:释放IO性能的新维度

    ### 深入Java NIO:释放IO性能的新维度 #### 一、Java NIO的革新特性 ##### 1. 非阻塞 I/O 操作 非阻塞I/O操作是NIO的一个核心特性,它与传统的阻塞式I/O相比,在性能上有了质的飞跃。在传统的阻塞式I/O模型中,当...

    JavaNIO浅析IO模型Java开发Java经验技巧共1

    与传统的IO模型相比,NIO具有非阻塞、多路复用等优点,尤其适用于高并发、低延迟的网络应用。本文将深入浅出地探讨Java NIO的基本概念、主要组件以及它如何改进了传统的IO模型。 一、Java NIO概述 在Java传统的IO...

    Java-NIO非阻塞服务器示例.docx

    Java-NIO(New I/O)包是Java 1.4版本中引入的新IO处理机制,可以实现非阻塞式的IO操作。NIO包提供了Channel、Buffer、Selector等接口,用于实现高效的IO处理。 二、非阻塞服务器端模式 非阻塞服务器端模式是指...

    Java NIO与IO性能对比分析.pdf

    Java NIO支持面向缓冲区的(Buffer-oriented)I/O操作,使用通道(Channels)而不是流(Streams)来传输数据,同时NIO引入了选择器(Selectors),允许单个线程来监视多个输入通道(Channel),并且只在某个输入通道...

    nio学习demo 处理因缓冲区满导致写入失败问题

    在Java的IO编程中,NIO(Non-blocking Input/Output,非阻塞输入输出)是一种高效的数据处理方式,尤其适用于高并发场景。本示例主要关注如何使用NIO解决“沾包”问题以及处理因缓冲区满导致的写入失败问题。首先,...

    java nio与io性能测试

    在Java IO中,数据的读写是通过流进行的,而NIO则引入了通道(Channel)和缓冲区(Buffer)的概念,使得数据操作更加高效。本文将深入探讨Java NIO与IO的性能测试,并通过代码实例来展示它们之间的差异。 首先,...

    java NIO详细教程

    Java NIO 支持非阻塞IO模式,这意味着当线程从通道读取数据到缓冲区时,即使没有数据可读,线程也不会被挂起。同样地,当从缓冲区写入数据到通道时,如果通道不可写,线程也不会阻塞。这种非阻塞性质极大地提高了...

    JavaIO和NIO练习

    Java IO(Input/Output)和NIO(New IO)是Java平台中用于处理输入和输出操作的核心库。这两个系统提供了不同的方式来读取和写入数据,分别适用于不同类型的场景和需求。 Java IO体系主要基于流(Stream)的概念,...

    基于NIO非阻塞的java聊天demo(支持单聊和群聊)

    在传统的IO模型中,数据是从流的一端流向另一端,而在NIO中,数据则是通过Channel(通道)在Buffer(缓冲区)之间传输。Selector(选择器)则用于监听多个Channel上的事件,例如连接建立、数据可读或可写等,从而...

    NIO学习系列:缓冲区更多特性及分散/聚集IO

    本篇文章将深入探讨NIO中的缓冲区特性以及分散/聚集IO操作,这对于理解和优化Java程序的I/O性能至关重要。 缓冲区是NIO中处理数据的主要方式,它允许我们高效地读写数据。缓冲区在内存中分配一块区域,用于存储特定...

Global site tag (gtag.js) - Google Analytics