java io bio nio aio 详解

http://blog.csdn.net/liuj2511981/article/details/8658440

 

BIO、NIO、AIO的区别：
BIO就是基于Thread per Request的传统server/client实现模式，

NIO通常采用Reactor模式，

AIO通常采用Proactor模式，

AIO简化了程序的编写，stream的读取和写入都有OS来完成，不需要像NIO那样子遍历Selector。Windows基于IOCP实现AIO，Linux只有eppoll模拟实现了AIO。

Java7之前的JDK只支持NIO和BIO，从7开始支持AIO。

4种通信方式：TCP/IP+BIO, TCP/IP+NIO, UDP/IP+BIO, UDP/IP+NIO。

一、 Reactor and Proactor

IO读写时，多路复用机制都会依赖对一个事件多路分离器，负责把源事件的IO 事件分离出来，分别到相应的read/write事件分离器。涉及到事件分离器的两种模式分别就是 Reactor和Proactor，Reactor是基于同步IO的，Proactor是基于异步IO的。

关于同步和异步IO

Io的两个重要步骤：发起IO请求，和实际的IO操作。在unix网络编程的定义里异步和非异步概念的区别就是实际的IO操作是否阻塞。如果不是就是异步，如果是就是同步。
而阻塞和非阻塞的区别在于发起IO请求的时候是否会阻塞，如果会就是阻塞，不会就是非阻塞。

本人理解能力有限，想了个例子来辅助自己理解：
小明想要买一本<深入java虚拟机>的书，以下几个场景可以来理解这几种io模式：
1. 如果小明每天都去书店问售货员说有没有这本书，如果没有就回去继续等待，等下次再过来文。(阻塞)
2. 如果小明告诉售货员想买一本<深入java虚拟机>的书，那么就在家里等着做其他事情去了，如果书到了售货员就通知小明，小明再自己过去取。
3. 如果小明告售货员想买一本<深入java虚拟机>的书，然后告诉售货员到了帮他送到某某地方去，就做其他事情去了。小明就不管了，等书到了，售货员就帮他送到那个地方了。

售货员可以认为是操作系统的一个服务，而小明是一个用户进程。不知道是否有误，如果有误请大家拍砖指出，谢谢。
可以看出2,3的效率明显要比1高。但是1最简单，而2,3需要一些协作。充分证明了团队合作的力量。

在Reactor模式中，事件分离者等待某个事件或者可应用或个操作的状态发生(比如文件描述符可读写，或者是socket可读写),事件分离者就把这个事件传给事先注册的事件处理函数或者回调函数，由后者来做实际的读写操作。

在Proactor模式中，事件处理者(或者代由事件分离者发起)直接发起一个异步读写操作(相当于请求)，而实际的工作是由操作系统来完成的。发起时，需要提供的参数包括用于存放读到数据的缓存区，读的数据大小，或者用于存放外发数据的缓存区，以及这个请求完后的回调函数等信息。事件分离者得知了这个请求，它默默等待这个请求的完成，然后转发完成事件给相应的事件处理者或者回调。举例来说，在Windows上事件处理者投递了一个异步IO操作(称有 overlapped的技术)，事件分离者等IOCompletion事件完成. 这种异步模式的典型实现是基于操作系统底层异步API的，所以我们可称之为“系统级别”的或者“真正意义上”的异步，因为具体的读写是由操作系统代劳的。

举个例子，将有助于理解Reactor与Proactor二者的差异，以读操作为例(类操作类似)。

在Reactor中实现读：

- 注册读就绪事件和相应的事件处理器

- 事件分离器等待事件

- 事件到来，激活分离器，分离器调用事件对应的处理器。

- 事件处理器完成实际的读操作，处理读到的数据，注册新的事件，然后返还控制权。

与如下Proactor(真异步)中的读过程比较：

- 处理器发起异步读操作(注意：操作系统必须支持异步IO)。在这种情况下，处理器无视IO就绪事件，它关注的是完成事件。

- 事件分离器等待操作完成事件

- 在分离器等待过程中，操作系统利用并行的内核线程执行实际的读操作，并将结果数据存入用户自定义缓冲区，最后通知事件分离器读操作完成。

- 事件分离器呼唤处理器。

- 事件处理器处理用户自定义缓冲区中的数据，然后启动一个新的异步操作，并将控制权返回事件分离器。

可以看出，两个模式的相同点，都是对某个IO事件的事件通知(即告诉某个模块，这个IO操作可以进行或已经完成)。在结构

上，两者也有相同点：demultiplexor负责提交IO操作(异步)、查询设备是否可操作(同步)，然后当条件满足时，就回调handler;

不同点在于，异步情况下(Proactor)，当回调handler时，表示IO操作已经完成;同步情况下(Reactor)，回调handler时，表示

IO设备可以进行某个操作(can read or can write)，handler这个时候开始提交操作。

 

二、BIO、NIO、AIO

NIO通常采用Reactor模式，AIO通常采用Proactor模式。AIO简化了程序的编写，stream的读取和写入都有OS来完成，不需要像NIO那样子遍历Selector。Windows基于IOCP实现AIO，Linux只有eppoll模拟实现了AIO。

Java7之前的JDK只支持NIO和BIO，从7开始支持AIO。

4种通信方式：TCP/IP+BIO, TCP/IP+NIO, UDP/IP+BIO, UDP/IP+NIO。

(1)TCP/IP+BIO

Socket和ServerSocket实现，ServerSocket实现Server端端口监听，Socket用于建立网络IO连接。不适用于处理多个请求 1.生成Socket会消耗过多的本地资源。2. Socket连接的建立一般比较慢。
BIO情况下，能支持的连接数有限，一般都采取accept获取Socket以后采用一个thread来处理，one connection one thread。无论连接是否有真正数据请求，都需要独占一个thread。
    可以通过设立Socket池来一定程度上解决问题，但是使用池需要注意的问题是：1. 竞争等待比较多。 2. 需要控制好超时时间。Socket和ServerSocket实现，ServerSocket实现Server端端口监听，Socket用于建立网络IO连接。

服务器，使用ServerSocket监听指定的端口，端口可以随意指定（由于1024以下的端口通常属于保留端口，在一些操作系统中不可以随意使用，所以建议使用大于1024的端口），等待客户连接请求，客户连接后，会话产生；在完成会话后，关闭连接。

package test;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.ServerSocket;
import java.net.Socket;

public class Server {
    private Socket socket;
    private ServerSocket ss;

    public Server() throws IOException {
        ss = new ServerSocket(7777);
        while (true) {
            socket = ss.accept();
            BufferedReader br = new BufferedReader(new InputStreamReader(socket
                    .getInputStream()));
            System.out.println("you input is : " + br.readLine());
        }
    }

    public static void main(String[] args) {
        try {
            new Server();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

客户端，使用Socket对网络上某一个服务器的某一个端口发出连接请求，一旦连接成功，打开会话；会话完成后，关闭Socket。客户端不需要指定打开的端口，通常临时的、动态的分配一个1024以上的端口。

package test;

import java.io.BufferedRear;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.Socket;
import java.net.UnknownHostException;

ublic class Client {
   Socket client;
   PrintWriter pw;
   public Client() throws UnknownHostException, IOException {
       client=new Socket("Socket服务器IP",7777);
       pw=new PrintWriter(client.getOutputStream());
       BufferedReader br=new BufferedReader(new InputStreamReader(System.in));
       pw.write(br.readLine());
       pw.close();
       br.close();
   }
   public static void main(String[] args) {
       try {
           new Client();
       } catch (UnknownHostException e) {
           e.printStackTrace();
       } catch (IOException e) {
           e.printStackTrace();
    }
   }

不适用于处理多个请求 1.生成Socket会消耗过多的本地资源。2. Socket连接的建立一般比较慢。

BIO情况下，能支持的连接数有限，一般都采取accept获取Socket以后采用一个thread来处理，one connection one thread。无论连接是否有真正数据请求，都需要独占一个thread。

可以通过设立Socket池来一定程度上解决问题，

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.io.PrintWriter;

import java.net.ServerSocket;

import java.net.Socket;

import java.util.concurrent.ExecutorService;

import java.util.concurrent.Executors;



public class BIOPoolServer {

ExecutorService pool = null;

    public  BIOPoolServer(){

    try {

ServerSocket server = new ServerSocket(29001);

pool = Executors.newFixedThreadPool(1);

while(true){

pool.execute(new Handler(server.accept()));

}

} catch (IOException e) {

e.printStackTrace();

}finally{

pool.shutdown();

}

    }



    class Handler implements Runnable{

    Socket socket;

    public Handler(Socket socket){

    this.socket = socket;

    }

public void run() {

try {

BufferedReader in = new BufferedReader(new InputStreamReader(socket.getInputStream()));

PrintWriter out = new PrintWriter(socket.getOutputStream(),true);

                String msg = in.readLine();

                System.out.println("The client send the msg : "+msg);

    out.println("The server has received!");

} catch (IOException e) {

e.printStackTrace();

}

}

    }

    public static void main(String[] args) {

new BIOPoolServer();

}

}

但是使用池需要注意的问题是：1. 竞争等待比较多。 2. 需要控制好超时时间。

 

(2)TCP/IP+NIO

使用Channel(SocketChannel和ServerSocketChannel)和Selector。

Server端通常由一个thread来监听connect事件，另外多个thread来监听读写事件。这样做的好处是这些连接只有在真是请求的时候才会创建thread来处理，one request one thread。这种方式在server端需要支持大量连接但这些连接同时发送请求的峰值不会很多的时候十分有效。

 

server端：



import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.IntBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.ServerSocketChannel;

import java.nio.channels.SocketChannel;

import java.nio.channels.spi.SelectorProvider;

import java.util.Iterator;

import java.util.Set;



public class NIOServer {
ServerSocketChannel channel = null;
   public NIOServer(){
  try {

  openChannel();
  waitForConnection();

} catch (IOException e) {

e.printStackTrace();

}

   }
   private void openChannel() throws IOException{
channel = ServerSocketChannel.open();
//绑定监听端口
channel.socket().bind(new InetSocketAddress(29000));
//设置为非阻塞形式
channel.configureBlocking(false);
  }
   private void waitForConnection() throws IOException{
  Selector acceptSelector = SelectorProvider.provider().openSelector();
  channel.register(acceptSelector, SelectionKey.OP_ACCEPT);
  int keyAdded = 0;
  while((keyAdded=acceptSelector.select())>0){

// 某客户已经准备好可以进行I/O操作了，获取其ready键集合
  Set readKeys = acceptSelector.selectedKeys();
  Iterator iter = readKeys.iterator();
  while(iter.hasNext()){
  SelectionKey sk = (SelectionKey)iter.next();
  iter.remove();
  if(sk.isAcceptable()){
  ServerSocketChannel server = (ServerSocketChannel) sk.channel();
  SocketChannel socket = server.accept();
  ByteBuffer _buffer = ByteBuffer.allocate(8);
  IntBuffer _intBuffer = _buffer.asIntBuffer();
   _buffer.clear();

   socket.read(_buffer);
       int result = _intBuffer.get(0) + _intBuffer.get(1);
       _buffer.flip();
       _buffer.clear();
       _intBuffer.put(0, result);
       socket.write(_buffer);

  }
  }
  }

   }
   public static void main(String[] args) {

 new NIOServer();

}

}


client端:



import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.IntBuffer;

import java.nio.channels.SocketChannel;
public class NIOClient {
 public void start(int first, int second){
SocketChannel channel = null;
try {

InetSocketAddress socketAddress = new InetSocketAddress("localhost", 29000);
channel = SocketChannel.open(socketAddress);
channel.configureBlocking(false);
ByteBuffer _buffer = ByteBuffer.allocate(8);
IntBuffer _intBuffer = _buffer.asIntBuffer();
_buffer.clear();
_intBuffer.put(0, first);
_intBuffer.put(1, second);
channel.write(_buffer);
System.out.println("发送加法请求 " + first + "+" + second);
_buffer.clear();

    channel.read(_buffer);
    int result = _intBuffer.get(0);
    System.out.println("运算结果："+result);
} catch (IOException e) {
e.printStackTrace();

}finally {

        if (channel != null) {

            try {

            channel.close();

            } catch (IOException e) {

            }

        }

    }

 }

 public static void main(String[] args) {

new NIOClient().start(3, 23);

}

}

使用Channel(SocketChannel和ServerSocketChannel)和Selector。

Server端通常由一个thread来监听connect事件，另外多个thread来监听读写事件。这样做的好处是这些连接只有在真是请求的时候才会创建thread来处理，one request one thread。这种方式在server端需要支持大量连接但这些连接同时发送请求的峰值不会很多的时候十分有效。

 

(3)UDP/IP+BIO

DatagramSocket和DatagramPacket。DatagramSocket负责监听端口以及读写数据，DatagramPacket作为数据流对象进行传输。

UDP/IP是无连接的，无法进行双向通信，除非双方都成为UDP Server。

(4)UDP/IP+NIO

通过DatagramChannel和ByteBuffer实现。DatagramChannel负责端口监听及读写。ByteBuffer负责数据流传输。

如果要将消息发送到多台机器，如果为每个目标机器都建立一个连接的话，会有很大的网络流量压力。这时候可以使用基于UDP/IP的Multicast协议传输，Java中可以通过MulticastSocket和DatagramPacket来实现。

Multicast一般多用于多台机器的状态同步，比如JGroups。SRM, URGCP都是Multicast的实现方式。eBay就采用SRM来实现将数据从主数据库同步到各个搜索节点机器。