最近参与实现底层高并发处理的项目,接收socket客户端的连接请求,然后调用主机服务进行通讯。系统需要满足100TPS(吞吐量(tps)=活动的用户数/响应时间)的性能要求。
通过查阅相关的文献及网上的资料,最终采用java NIO技术方案来实现。系统上线后各方面性能表现不错,也给我们技术团队更多的信心。以下分享一下Java NIO这块的程序,希望对各位有帮助。
Java NIO:提供多路(non-bloking) 非阻塞式的高伸缩性网络I/O 。
Java NIO非堵塞技术实际是采取Reactor模式,或者说是Observer模式为我们监察I/O端口,如果有请求过来,会自动通知监听服务,不需要开启多个线程一直监听请求,从外界看,实现了流畅的I/O读写,不堵塞了。
机制的实现是通过它的Selector当发现某个channel有数据时,会通过SelectorKey来告知我们,从而实现事件和handler的绑定。
以下是代码部分,出于项目隐私,相关的业务处理已注释掉,但不影响运行。
服务器端:
- import java.io.IOException;
- import java.net.InetSocketAddress;
- import java.net.ServerSocket;
- import java.nio.ByteBuffer;
- import java.nio.channels.SelectionKey;
- import java.nio.channels.Selector;
- import java.nio.channels.ServerSocketChannel;
- import java.nio.channels.SocketChannel;
- import java.nio.charset.Charset;
- import java.util.Set;
- /**
- * @author think
- *
- */
- public class NIOServer implements Runnable{
- private int port = 7070;
- // 解码buffer
- private Charset cs = Charset.forName("gbk");
- private static Selector selector;
- public NIOServer() {
- }
- /**
- * 启动服务器端,配置为非阻塞,绑定端口,注册accept事件ACCEPT事件:当服务端收到客户端连接请求时,触发该事件
- * @throws IOException
- */
- private void initchannel(){
- try{
- //初始化SOCKET通道
- ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
- serverSocketChannel.configureBlocking(false);
- ServerSocket serverSocket = serverSocketChannel.socket();
- serverSocket.bind(new InetSocketAddress(port));
- selector = Selector.open();
- serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
- System.out.println("Init NIOServer listening port:" + port);
- } catch (Exception e) {
- System.out.println("Init NIOServer failed! error:"+e.getMessage());
- }
- }
- /**
- * 服务器端轮询监听,select方法会一直阻塞直到有相关事件发生或超时
- */
- private void listen() {
- //初始化SOCKET通道
- initchannel();
- while (true) {
- try {
- selector.select();// 返回值为本次触发的事件数
- Set<SelectionKey> selectionKeys = selector.selectedKeys();
- for (SelectionKey key : selectionKeys) {
- //处理客户端请求
- handle(key);
- }
- selectionKeys.clear();// 清除处理过的事件
- } catch (Exception e) {
- System.out.println("Exit listen port:"+this.port+" error:"+e.getMessage());
- }
- }
- }
- /**
- * 处理不同的事件
- */
- private void handle(SelectionKey selectionKey) throws IOException {
- ServerSocketChannel server = null;
- SocketChannel client = null;
- if (selectionKey.isAcceptable()) {
- /*
- * 客户端请求连接事件 serversocket为该客户端建立socket连接,将此socket注册READ事件,监听客户端输入
- * READ事件:当客户端发来数据,并已被服务器控制线程正确读取时,触发该事件
- */
- server = (ServerSocketChannel) selectionKey.channel();
- client = server.accept();
- //System.out.println("Client IP:"+client.getRemoteAddress().toString());
- client.configureBlocking(false);
- client.register(selector, SelectionKey.OP_READ);
- } else if (selectionKey.isReadable()) {
- ByteBuffer sBuffer = ByteBuffer.allocate(1024);
- /*
- * READ事件,收到客户端发送数据,读取数据后继续注册监听客户端
- */
- client = (SocketChannel) selectionKey.channel();
- sBuffer.clear();
- int n = -1;
- try {
- n = client.read(sBuffer);
- //log.info("输入字节数:" + n);
- } catch (Exception e) {
- n=-1;
- client.close();
- selectionKey.cancel();
- }
- if (n > 0) {
- sBuffer.flip();
- String receiveText = String.valueOf(cs.decode(sBuffer).array());
- //实际业务处理部分忽略
- channelWriteBytes(client,"Server:" +receiveText);
- }
- }
- }
- @Override
- public void run() {
- //线程开启SOCKET监听
- listen();
- }
- /**
- * 结果回写
- */
- public void channelWriteBytes(SocketChannel socketChannel,String result){
- ByteBuffer byBuffer = ByteBuffer.allocate(10240);
- byBuffer.put((result).getBytes(Charset.forName("gbk")));
- byBuffer.flip();
- // 输出到通道
- try {
- socketChannel.write(byBuffer);
- } catch (IOException e) {
- System.out.println("NIOServer write back failed:"+e.getMessage());
- }
- }
- public static void main(String[] args) throws IOException {
- NIOServer server = new NIOServer();
- server.listen();
- }
- }
import java.io.IOException; import java.net.InetSocketAddress; import java.net.ServerSocket; import java.nio.ByteBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio.channels.SocketChannel; import java.nio.charset.Charset; import java.util.Set; /** * @author think * */ public class NIOServer implements Runnable{ private int port = 7070; // 解码buffer private Charset cs = Charset.forName("gbk"); private static Selector selector; public NIOServer() { } /** * 启动服务器端,配置为非阻塞,绑定端口,注册accept事件ACCEPT事件:当服务端收到客户端连接请求时,触发该事件 * @throws IOException */ private void initchannel(){ try{ //初始化SOCKET通道 ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); serverSocketChannel.configureBlocking(false); ServerSocket serverSocket = serverSocketChannel.socket(); serverSocket.bind(new InetSocketAddress(port)); selector = Selector.open(); serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT); System.out.println("Init NIOServer listening port:" + port); } catch (Exception e) { System.out.println("Init NIOServer failed! error:"+e.getMessage()); } } /** * 服务器端轮询监听,select方法会一直阻塞直到有相关事件发生或超时 */ private void listen() { //初始化SOCKET通道 initchannel(); while (true) { try { selector.select();// 返回值为本次触发的事件数 Set<SelectionKey> selectionKeys = selector.selectedKeys(); for (SelectionKey key : selectionKeys) { //处理客户端请求 handle(key); } selectionKeys.clear();// 清除处理过的事件 } catch (Exception e) { System.out.println("Exit listen port:"+this.port+" error:"+e.getMessage()); } } } /** * 处理不同的事件 */ private void handle(SelectionKey selectionKey) throws IOException { ServerSocketChannel server = null; SocketChannel client = null; if (selectionKey.isAcceptable()) { /* * 客户端请求连接事件 serversocket为该客户端建立socket连接,将此socket注册READ事件,监听客户端输入 * READ事件:当客户端发来数据,并已被服务器控制线程正确读取时,触发该事件 */ server = (ServerSocketChannel) selectionKey.channel(); client = server.accept(); //System.out.println("Client IP:"+client.getRemoteAddress().toString()); client.configureBlocking(false); client.register(selector, SelectionKey.OP_READ); } else if (selectionKey.isReadable()) { ByteBuffer sBuffer = ByteBuffer.allocate(1024); /* * READ事件,收到客户端发送数据,读取数据后继续注册监听客户端 */ client = (SocketChannel) selectionKey.channel(); sBuffer.clear(); int n = -1; try { n = client.read(sBuffer); //log.info("输入字节数:" + n); } catch (Exception e) { n=-1; client.close(); selectionKey.cancel(); } if (n > 0) { sBuffer.flip(); String receiveText = String.valueOf(cs.decode(sBuffer).array()); //实际业务处理部分忽略 channelWriteBytes(client,"Server:" +receiveText); } } } @Override public void run() { //线程开启SOCKET监听 listen(); } /** * 结果回写 */ public void channelWriteBytes(SocketChannel socketChannel,String result){ ByteBuffer byBuffer = ByteBuffer.allocate(10240); byBuffer.put((result).getBytes(Charset.forName("gbk"))); byBuffer.flip(); // 输出到通道 try { socketChannel.write(byBuffer); } catch (IOException e) { System.out.println("NIOServer write back failed:"+e.getMessage()); } } public static void main(String[] args) throws IOException { NIOServer server = new NIOServer(); server.listen(); } }
客户端进行调用即可:
- import java.net.Socket;
- /**
- * @author think
- */
- public class Client{
- public static void main(String[] args) {
- try {
- Socket socket = new Socket("127.0.0.1", 7070);
- String res = null;
- try {
- String request = "NIO Test...";
- byte[] bts = request.getBytes();
- socket.getOutputStream().write(bts);
- socket.getOutputStream().flush();
- byte[] resb = new byte[60000];
- socket.getInputStream().read(resb);
- res = new String(resb);
- System.out.println(res);
- } catch (Exception e) {
- e.printStackTrace();
- }
- } catch (Exception e) {
- // TODO Auto-generated catch block
- e.printStackTrace();
- }
- }
- }
import java.net.Socket; /** * @author think */ public class Client{ public static void main(String[] args) { try { Socket socket = new Socket("127.0.0.1", 7070); String res = null; try { String request = "NIO Test..."; byte[] bts = request.getBytes(); socket.getOutputStream().write(bts); socket.getOutputStream().flush(); byte[] resb = new byte[60000]; socket.getInputStream().read(resb); res = new String(resb); System.out.println(res); } catch (Exception e) { e.printStackTrace(); } } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
其实实现系统优异的高并发性能,还涉及到更多的方面去学习。例如并发锁的控制,及线程安全的问题。
相关推荐
7. **Netty底层原理**:探讨Netty如何利用Java NIO实现异步非阻塞I/O,以及零拷贝技术的工作机制,帮助读者理解Netty的高效性。 8. **案例分析**:通过实际项目案例,展示Netty在实际场景中的应用,如P2P下载、...
### Netty源码剖析与NIO及Netty5各种RPC架构实战演练三部曲知识点解析 #### 一、Netty概述 Netty是一款基于Java NIO的高性能服务器端编程框架,用于快速开发可维护的网络应用程序。它简化了网络编程的复杂性,使...
在这个压缩包"基于JAVA IO, NIO, Netty, 多线程并发实战源码.zip"中,我们可以期待找到一些实际应用这些技术的代码示例。 **Java IO**: Java IO库提供了大量的类来处理输入和输出,包括文件操作、网络通信、字符流...
通过学习《Netty权威指南(第2版)》,读者可以掌握Netty的精髓,不仅能够理解其底层原理,还能熟练运用到实际项目中,提升网络应用的开发效率和性能。无论你是初学者还是资深开发者,这本书都将是你学习Netty不可或...
- 传统BIO模型在高并发场景下容易遇到线程数量过多的问题,而NIO通过非阻塞读写,可以显著减少线程资源消耗,提高系统性能。 - NIO中的Buffer(缓冲区)是数据交互的核心,提供了更高效的内存管理。 2. **Netty...
Netty采用非阻塞I/O(NIO)模型,基于Java的Selector机制,实现了高效的异步事件驱动。这种模型允许在处理大量并发连接时保持低资源消耗,提高了系统性能。 3. **Channel与Handler**: - **Channel**:在Netty中...
- **设计理念**:Netty 的设计目标是简化网络应用的开发,提供一个高度抽象的API,让开发者可以专注于业务逻辑,而非底层网络通信细节。 - **异步事件驱动**:Netty 基于非阻塞 I/O 模型,利用 Java NIO(非阻塞...
- **BossGroup与WorkerGroup**:Netty使用NIO模型,BossGroup负责接受新的连接请求,WorkerGroup处理已建立连接的读写事件。 - **Channel**:代表一个网络连接,可以是TCP、UDP或者其他的传输协议。 - **...
- **NIO介绍**:Java NIO (New IO) 是Java 1.4版本后引入的新API,用于替代传统的BIO (Blocking IO),旨在提高文件读写的性能。 - **NIO关键组件**: - **Buffer**:缓冲区,用于数据的存储与处理。 - **Channel**...
1. **异步事件驱动**:Netty 采用非阻塞 I/O 模型,利用 Java NIO(Non-blocking Input/Output)库,提高了网络通信的效率。通过事件循环(EventLoop)和通道(Channel)机制,Netty 能够处理大量并发连接,降低系统...
描述:本文将全面介绍Java中的新输入输出(NIO),一个自JDK 1.4版本引入的重要库,旨在提供高速、块导向的输入输出处理能力,相较于传统的Java I/O包,NIO通过数据缓冲和块处理技术充分利用了底层优化,无需依赖...
- NIO(非阻塞IO):学习选择器、通道、缓冲区等新特性,了解NIO在高并发场景下的优势。 - 文件操作:熟悉File类,学习文件的创建、读写、删除等操作。 ### 4. Java与系统底层交互 这部分涉及到Java Native ...
这个“Netty 实战源码”压缩包很可能是为了帮助开发者深入理解 Netty 的工作原理和实现机制,通过源码分析来提升对网络编程的理解。 Netty 的核心特性包括: 1. **异步事件驱动**:Netty 使用非阻塞 I/O(NIO)...
ByteBuf是Netty提供的高效字节缓冲区,它优于Java NIO的ByteBuffer,提供了一组丰富的API来读写字节,同时支持内存池,提高了性能。 6. **EventLoopGroup**: EventLoopGroup是Netty的线程模型,它管理一组Event...
- 缓冲区可以减少与底层系统的交互次数,提高性能。 - **BufferedInputStream**、**BufferedOutputStream**、**BufferedReader** 和 **BufferedWriter** 都使用了缓冲技术。 8. **随机访问文件**: - **...
1. Buffer(缓冲区):在Java NIO中,所有数据都通过缓冲区进行读写操作。缓冲区实质上是一个数组,并提供了对数据的结构化访问方法。 2. Channel(通道):通道表示打开到IO设备(如文件、套接字)的连接。通过...
- **高级I/O流式编程**:理解NIO与传统IO的区别,掌握NIO编程技巧。 - **图形界面程序设计**:学会使用Swing或JavaFX创建GUI应用。 - **Eclipse的使用**:掌握Eclipse集成开发环境的基本操作。 - **JavaSE高级...
Channel接口提供了读写操作,以及连接、断开、绑定等网络操作。 3. **EventLoop**: 事件循环,负责处理I/O事件,如读取、写入等。每个EventLoop都可以处理多个Channel,降低了线程数量,提升了效率。 4. **...
- **数据读写操作**:演示如何进行数据的读取和写入操作。 **第6章:通道处理器** - **通道处理器的作用**:解释通道处理器在Netty中的作用及其工作原理。 - **自定义处理器**:介绍如何编写自定义的通道处理器来...