`
hpgary
  • 浏览: 81980 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Netty Reactor模型

    博客分类:
  • Java
 
阅读更多

1、单线程

时间回到十几年前,那时主流的CPU都还是单核(除了商用高性能的小机),CPU的核心频率是机器最重要的指标之一。

在Java领域当时比较流行的是单线程编程,对于CPU密集型的应用程序而言,频繁的通过多线程进行协作和抢占时间片反而会降低性能。

2、多线程

随着硬件性能的提升,CPU的核数越来越越多,很多服务器标配已经达到32或64核。通过多线程并发编程,可以充分利用多核CPU的处理能力,提升系统的处理效率和并发性能。

 

从2005年开始,随着多核处理器的逐步普及,java的多线程并发编程也逐渐流行起来,当时商用主流的JDK版本是1.4,用户可以通过 new Thread()的方式创建新的线程。

由于JDK1.4并没有提供类似线程池这样的线程管理容器,多线程之间的同步、协作、创建和销毁等工作都需要用户自己实现。由于创建和销毁线程是个相对比较重量级的操作,因此,这种原始的多线程编程效率和性能都不高。

3、线程池

为了提升Java多线程编程的效率和性能,降低用户开发难度。JDK1.5推出了java.util.concurrent并发编程包。在并发编程类库中,提供了线程池、线程安全容器、原子类等新的类库,极大的提升了Java多线程编程的效率,降低了开发难度。

 

从JDK1.5开始,基于线程池的并发编程已经成为Java多核编程的主流。

4、Reactor模型

无论是C++还是Java编写的网络框架,大多数都是基于Reactor模式进行设计和开发,Reactor模式基于事件驱动,特别适合处理海量的I/O事件。

 

4.1 单线程模型

Reactor单线程模型,指的是所有的IO操作都在同一个NIO线程上面完成,NIO线程的职责如下:

1)作为NIO服务端,接收客户端的TCP连接;

2)作为NIO客户端,向服务端发起TCP连接;

3)读取通信对端的请求或者应答消息;

4)向通信对端发送消息请求或者应答消息。

示意图如下:

由于Reactor模式使用的是异步非阻塞IO,所有的IO操作都不会导致阻塞,理论上一个线程可以独立处理所有IO相关的操作。从架构层面看,一个NIO线程确实可以完成其承担的职责。例如,通过Acceptor类接收客户端的TCP连接请求消息,链路建立成功之后,通过Dispatch将对应的ByteBuffer派发到指定的Handler上进行消息解码。用户线程可以通过消息编码通过NIO线程将消息编码发送给客户端

注意:对于一些小容量应用场景,可以使用单线程模型。但是对于高负载、大并发的应用场景却不合适,主要原因如下:

1)一个NIO线程同时处理成百上千的链路,性能上无法支撑,即便NIO线程的CPU负荷达到100%,也无法满足海量消息的编码、解码、读取和发送;

2)当NIO线程负载过重之后,处理速度将变慢,这会导致大量客户端连接超时,超时之后往往会进行重发,这更加重了NIO线程的负载,最终会导致大量消息积压和处理超时,成为系统的性能瓶颈;

3)可靠性问题:一旦NIO线程意外跑飞,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,造成节点故障。

为了解决这些问题,演进出了Reactor多线程模型,下面我们一起学习下Reactor多线程模型。

5、多线程模型

Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理IO操作,它的原理图如下: 

 

Reactor多线程的特点:

1)有一个专门的Reator线程-Acceptor线程监听服务器端,接收客户端的TCP请求。

2)网络IO操作读写有一个NIO线程池负责,线程池采用标准的jdk线程实现,包括了一个任务队列和N个可用的线程,由他们负责消息读取、编码、解码、和发送给客户端。

3)1个NIO线程可以同时处理N条链路,但是1个链路只对应1个NIO线程。
 

 

  • 大小: 9.6 KB
  • 大小: 10.9 KB
分享到:
评论

相关推荐

    简单了解Java Netty Reactor三种线程模型

    Netty的线程模型在设计理念上与Reactor模型类似,但更注重实际应用中的性能和可扩展性。Netty服务端通常采用监听线程和IO线程分离的模型,监听线程接收连接后,将新的连接分配给工作线程处理。客户端线程模型则确保...

    Netty核心精讲之Reactor线程模型源码分析.mp4

    Netty的Reactor模型主要由三部分组成:主线程(BossGroup)、工作线程(WorkerGroup)和事件循环(EventLoop)。 主线程BossGroup通常只有一个,它的职责是接收新的连接请求,一旦接收到新连接,它会将连接交由工作...

    04-Netty线程模型源码剖析1

    Netty采用主从Reactor线程模型,旨在最大化并发处理能力,减少线程上下文切换的开销,实现高效的非阻塞I/O。 首先,Netty的线程模型由NioEventLoop(主Reactor)和一系列的子Reactor组成。NioEventLoop负责处理I/O...

    java nio&netty系列之三netty网络模型代码以及简化版代码示例

    首先,Netty的核心是它的事件驱动模型,也称为Reactor模式。在Netty中,BossGroup负责接收新的连接请求,WorkerGroup则处理已连接的SocketChannel上的读写事件。BossGroup通常只有一个线程,而WorkerGroup可以有多个...

    一文聊透 Netty 核心引擎 Reactor 的运转架构.doc

    总的来说,Netty的Reactor模型通过高效地处理I/O事件和调度任务执行,实现了网络服务的高性能和可扩展性。理解Reactor的工作原理对于优化和调试Netty应用程序至关重要。本文提供的概述是后续深入研究Reactor如何处理...

    开源 MQTT 服务器(基于reactor-netty实现高性能的、可扩展、支持千万级设备接入集群)

    开发,底层采用Reactor3反应堆模型,支持单机部署,支持容器化部署,具备低延迟,高吞吐量,支持百万TCP连接,同时支持多种协议交互,是一款非常优秀的消息中间件! 1. 消息质量等级实现(支持qos0,qos1,qos2) 2. ...

    Netty原理架构解析

    Reactor模型以及服务端Netty的工作架构,希望对您的学习有所帮助。Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。JDK原生也有一套网络应用程序API,NIO,但是存在一些...

    reactor-netty-jar.zip

    总结,Reactor Netty是Java开发高性能网络应用的利器,它结合了Netty的底层性能优势和Reactor的反应式编程模型,为开发者提供了简单易用且高效的网络编程接口。了解并熟练掌握Reactor Netty,对于提升Java网络应用的...

    聊聊Netty那些事儿之从内核角度看IO模型.doc

    Netty中的Reactor模型是使用Reactor模型来实现的。 5. Netty中的Reactor模型 Netty中的Reactor模型是使用一个或多个线程来处理IO事件的模型。这些线程可以是固定线程池,也可以是动态线程池。Netty使用Reactor模型...

    聊聊 Netty 那些事儿之 Reactor 在 Netty 中的实现(创建篇).doc

    在 Netty 中,Reactor 模型是其处理 I/O 事件的关键设计,它允许服务端高效地处理大量并发连接。在本文中,我们将探讨 Reactor 在 Netty 中的具体实现,尤其是主从 Reactor 线程组的创建。 Netty 支持多种 I/O 模型...

    Java编程方法论 之 Spring Reactor Reactor-Netty Spring Webflux 全面解读.pdf

    Java编程方法论中,Spring Reactor、Reactor-Netty和Spring Webflux是现代Java开发中用于构建反应式应用程序的关键组件。Spring Reactor是响应式流(Reactive Streams)规范的实现,它提供了用于处理异步事件和数据...

    毕设&课程作业_基于netty,Reactor3的大型响应式分布式智能家电管理系统.zip

    Netty的非阻塞I/O模型和高度优化的缓冲区处理机制使其在高并发环境下表现出色,非常适合用于构建实时、低延迟的网络服务。 2. **Reactor模式**:Reactor3是反应式编程的一种实现,它是一种事件驱动的设计模式,用于...

    learning-netty

    `NIOEventLoop`是Netty针对NIO模型设计的事件循环实现,主要用于处理NIO操作。 ### 温习JDKExecutor 这部分内容可能是指对Java标准库中的并发工具进行回顾,如`Executor`框架等,以便更好地理解Netty中的`Event...

    Netty实现原理浅析

    Netty支持多种Reactor模型的变体,包括但不限于: - **单Reactor单线程模型**:在这种模型中,一个线程同时承担Selector、Acceptor和Handler的角色。这种方式简单但效率不高,不适合高并发场景。 - **单Reactor多...

    深入理解Netty线程模型

    当我们谈论Netty的线程模型时,首先会想到的是经典的Reactor IO多路复用线程模型。从这篇文章中,大家可以学习到如下知识:什么是I/O多路复用Reactor三种线程模型Netty线程模型NioEventLoop源码分析JDKepollbug学习I...

    p401 - p418 proactor -Reactor模型

    Reactor 模式已经被广泛应用于开源软件中,例如 Redis、Nginx、Netty 等。学习 Reactor 模式的设计思想可以帮助我们更好地理解这些开源软件,并且也可以帮助我们设计高性能的服务器程序。 小结 Reactor 模式是一种...

    MINA2与Netty4比较分析

    Netty4同样使用了Reactor模式,但其线程模型更为灵活,包括了单线程模型、多线程模型和主从Reactor多线程模型。Netty4的Reactor单线程模型适用于小容量的应用场景,当NIO线程负载过重时,单线程模型就会成为瓶颈。...

    Netty使用与实现.pdf

    Netty通过采用优化过的Reactor模式,结合多线程模型和NIO技术,为开发者提供了一个高性能且灵活的网络框架。其主从多线程模型不仅提高了系统的并发处理能力,还有效降低了主Reactor的压力,使得系统能够在大规模并发...

    new-proxy:带有Netty的Reactor的现代Java SIP框架

    它利用了Java 8以上的特性,并且整合了Netty和Reactor库,以提供高效的网络通信和事件驱动的编程模型。 【描述】中提到,这是一个"基于响应式的现代Java SIP框架",意味着它采用了反应式编程范式。反应式编程是一种...

Global site tag (gtag.js) - Google Analytics