Netty 4.x学习笔记 – 线程模型

转自http://hongweiyi.com/2014/01/netty-4-x-thread-model/

Netty 4.x学习笔记 – 线程模型

1、前言

前面两篇学习笔记已经说完了ByteBuf和Channel和Pipeline，这篇开始讲讲前面欠的债——线程模型（EventLoop和EventExecutor）。

 

 

2、Netty线程模型

将具体代码实现前，先来谈谈Netty的线程模型。正如许多博客所提到的，Netty采用了Reactor模式，但是许多博客也只是提到了而已，同时大家 也不会忘记附上几张Doug Lee大神的图，但是并不会深入的解释。为了更好的学习和理解Netty的线程模型，我在这里稍微详细的说一下我对它的理解。

Reactor模式有多个变种，Netty基于Multiple Reactors模式（如下图）做了一定的修改，Mutilple Reactors模式有多个reactor：mainReactor和subReactor，其中mainReactor负责客户端的连接请求，并将请求 转交给subReactor，后由subReactor负责相应通道的IO请求，非IO请求（具体逻辑处理）的任务则会直接写入队列，等待worker threads进行处理。

 

Netty的线程模型基于Multiple Reactors模式，借用了mainReactor和subReactor的结构，但是从代码里看来，它并没有Thread Pool这个东东。Netty的subReactor与worker thread是同一个线程，采用IO多路复用机制，可以使一个subReactor监听并处理多个channel的IO请求，我给称之为：「Single Thread with many Channel」。我根据代码整理出下面这种Netty线程模型图：

上图中的parentGroup和childGroup是Bootstrap构造方法中传入的两个对象，这两个group均是线程 池，childGroup线程池会被各个subReactor充分利用，parentGroup线程池则只是在bind某个端口后，获得其中一个线程作为 mainReactor。上图我将subReactor和worker thread合并成了一个个的loop，具体的请求操作均在loop中完成，下文会对loop有个稍微详细的解释。 

以上均是Nio情况下。Oio采用的是Thread per Channel机制，即每个连接均创建一个线程负责该连接的所有事宜。

Doug Lee大神的Reactor介绍：Scalable IO in Java

 

3、EventLoop和EventExecutor实现

EventLoop和EventExecutor实现共有4个主要逻辑接口，EventLoop、EventLoopGroup、 EventExecutor、EventExecutorGroup，内部实现、继承的逻辑表示无法直视，有种擦边球的感觉。具体的类图如下：

EventLoopGroup:

主要方法是newChild，我理解为EventLoop的工厂类。**EventLoopGroup.newChild创建**EventLoop对 象。OioEventLoopGroup除外，它没有实现newChild方法，调用父类的并创建ThreadPerChannelEventLoop对 象。

EventLoop:

主要方法是run()，是整个Netty执行过程的逻辑代码实现，后面细说。

EventExecutorGroup:

线程池实现，主要成员是children数组，主要方法是next()，获得线程池中的一个线程，由子类调用。由于Oio采用的是Thread per Channel机制，所以没有实现前面两个。

EventExecutor:

Task的执行类，主要成员是taskQueue以及真正的运行线程对象executor，主要方法是taskQueue操作方法execute、takeTask、addTask等，以及doStartThread方法，后面细说。

 

4、NioEventLoopGroup实现

这里以常用的NioEventLoopGroup为例。NioEventLoopGroup在Bootstrap初始化时作为参数传入构造方法，由于NioEventLoopGroup涉及的代码较多，就不大篇幅的贴代码了，只写流程性的文字或相应类和方法：

mainReactor:

1. Bootstrap.bind(port)

2. Bootstrap.initAndRegister()

    2.1 Bootstrap.createChannel()

根据EventLoop创建相应的Channel，EventLoop从group().next()中获得。

    2.2 Boostrap.init()

初始化Channel，配置Channel参数，以及Pipeline。其中初始化Pipeline中，需要插入 ServerBootstrapAcceptor对象用作acceptor接收客户端连接请求，acceptor也是一种 ChannelInboundHandlerAdapter。

1	p.addLast(new ChannelInitializer<Channel>() {

2

@Override

3	public void initChannel(Channel ch) throws Exception {

4	ch.pipeline().addLast(new ServerBootstrapAcceptor(currentChildHandler, currentChildOptions,

5	currentChildAttrs));

6

}

7

});

调用channel的unsafe对象注册selector，具体实现类为AbstractChannel$AbstractUnsafe.register。如下：

1	public final void register(final ChannelPromise promise) {

2	if (eventLoop.inEventLoop()) {  // 是否在Channel的loop中

3	register0(promise);

4	} else {  // 不在

5

try {

6	eventLoop.execute(new Runnable() {  // EventLoop执行一个任务

7

@Override

8	public void run() {

9	register0(promise);

10

}

11

});

12	} catch (Throwable t) {

13

// ...

14

}

15

}

16

}

eventLoop.execute(runnable);是比较重要的一个方法。在没有启动真正线程时，它会启动线程并 将待执行任务放入执行队列里面。启动真正线程(startThread())会判断是否该线程已经启动，如果已经启动则会直接跳过，达到线程复用的目的。 启动的线程，主要调用方法是NioEventLoop的run()方法，run()方法在下面有详细介绍：

1	public void execute(Runnable task) {

2	if (task == null) {

3	throw new NullPointerException("task");

4

}

5

6	boolean inEventLoop = inEventLoop();

7	if (inEventLoop) {

8	addTask(task);

9

} else {

10	startThread();  // 启动线程

11	addTask(task);  // 添加任务队列

12

13

// ...

14

15

}

16

17	if (!addTaskWakesUp) {

18	wakeup(inEventLoop);

19

}

20

}

3. 接收连接请求

由NioEventLoop.run()接收到请求：

    3.1 AbstractNioMessageChannel$NioMessageUnsafe.read()

    3.2 NioServerSocketChannel.doReadMessages()

获得childEventLoopGroup中的EventLoop，并依据该loop创建新的SocketChannel对象。

    3.3 pipeline.fireChannelRead(readBuf.get(i));

readBuf.get(i)就是3.2中创建的SocketChannel对象。在2.2初始化Bootstrap的时候，已经将acceptor处理器插入pipeline中，所以理所当然，这个SocketChannel对象由acceptor处理器处理。

    3.4 ServerBootstrapAcceptor$ServerBootstrapAcceptor.channelRead();

该方法流程与2.2、2.3类似，初始化子channel，并注册到相应的selector。注册的时候，也会调用eventLoop.execute用以执行注册任务，execute时，启动子线程。即启动了subReactor。

subReactor:

subReactor的流程较为简单，主体完全依赖于loop，用以执行read、write还有自定义的NioTask操作，就不深入了，直接跳过解释loop过程。

loop:

loop是我自己提出来的组件，仅是代表subReactor的主要运行逻辑。例子可以参考NioEventLoop.run()。

loop会不断循环一个过程：select -> processSelectedKeys(IO操作) -> runAllTasks(非IO操作)，如下代码：

1	protected void run() {

2	for (;;) {

3

// ...

4

try {

5	if (hasTasks()) { // 如果队列中仍有任务

6	selectNow();

7

} else {

8

select();

9

// ...

10

}

11

12

// ...

13

14	final long ioStartTime = System.nanoTime();  // 用以控制IO任务与非IO任务的运行时间比

15	needsToSelectAgain = false;

16

// IO任务

17	if (selectedKeys != null) {

18	processSelectedKeysOptimized(selectedKeys.flip());

19

} else {

20	processSelectedKeysPlain(selector.selectedKeys());

21

}

22	final long ioTime = System.nanoTime() - ioStartTime;

23

24	final int ioRatio = this.ioRatio;

25

// 非IO任务

26	runAllTasks(ioTime * (100 - ioRatio) / ioRatio);

27

28	if (isShuttingDown()) {

29	closeAll();

30	if (confirmShutdown()) {

31

break;

32

}

33

}

34	} catch (Throwable t) {

35

// ...

36

37

}

38

}

39

}

就目前而言，基本上IO任务都会走processSelectedKeysOptimized方法，该方法即代表使用了优化的SelectedKeys。除非采用了比较特殊的JDK实现，基本都会走该方法。

selectedKeys在openSelector()方法中初始化，Netty通过反射修改了Selector的selectedKeys成员和publicSelectedKeys成员。替换成了自己的实现——SelectedSelectionKeySet。

从OpenJDK 6/7的SelectorImpl中可以看到，selectedKeys和publicSeletedKeys均采用了HashSet实现。 HashSet采用HashMap实现，插入需要计算Hash并解决Hash冲突并挂链，而SelectedSelectionKeySet实现使用了双 数组，每次插入尾部，扩展策略为double，调用flip()则返回当前数组并切换到另外一个数据。

ByteBuf中去掉了flip，在这里是否也可以呢？

processSelectedKeysOptimized主要流程如下：

1	final Object a = k.attachment();

2

3	if (a instanceof AbstractNioChannel) {

4	processSelectedKey(k, (AbstractNioChannel) a);

5

} else {

6	@SuppressWarnings("unchecked")

7	NioTask<SelectableChannel> task = (NioTask<SelectableChannel>) a;

8	processSelectedKey(k, task);

9

}

在获得attachment后，判断是Channel呢还是其他，其他则是NioTask。找遍代码并没有发现Netty有注册NioTask的行为，同 时也没发现NioTask的实现类。只有在NioEventLoop.register方法中有注册NioTask至selector的行为，便判断该行 为是由用户调用，可以针对某个Channel注册自己的NioTask。这里就只讲第一个processSelectdKey(k, (AbstractNioChannel) a)，但代码就不贴了。

和常规的NIO代码类似，processSelectdKey是判断SeletedKeys的readyOps，并做出相应的操作。操作均是unsafe 做的。如read可以参考：AbstractNioByteChannel$NioByteUnsafe.read()。IO操作的流程大致都是：

• 获得数据
• 调用pipeline的方法，fireChannel***
• 插入任务队列

unsafe这名字实在是太难看了，又没有任何逻辑意义，也没讲明白哪里不safe。

执行完所有IO操作后，开始执行非IO任务（runAllTasks）。Netty会控制IO和非IO任务的比例，ioTime * (100 – ioRatio) / ioRatio，默认ioRatio为50。runAllTasks乃是父类SingleThreadExecutor的方法。方法主体很简单，将任务从 TaskQueue拎出来，直接调用任务的run方法即可。

代码调用的是task.run()，而不是task.start()。即是单线程执行所有任务

1	protected boolean runAllTasks(long timeoutNanos) {

2	fetchFromDelayedQueue();

3	Runnable task = pollTask();

4	if (task == null) {

5	return false;

6

}

7

8

// 控制时间

9	final long deadline = ScheduledFutureTask.nanoTime() + timeoutNanos;

10	long runTasks = 0;

11	long lastExecutionTime;

12	for (;;) {

13

try {

14	task.run();

15	} catch (Throwable t) {

16	logger.warn("A task raised an exception.", t);

17

}

18

19	runTasks ++;

20

21	// Check timeout every 64 tasks because nanoTime() is relatively expensive.

22	// XXX: Hard-coded value - will make it configurable if it is really a problem.

23	if ((runTasks & 0x3F) == 0) {

24	lastExecutionTime = ScheduledFutureTask.nanoTime();

25	if (lastExecutionTime >= deadline) {

26

break;

27

}

28

}

29

30	task = pollTask();

31	if (task == null) {

32	lastExecutionTime = ScheduledFutureTask.nanoTime();

33

break;

34

}

35

}

36

37	this.lastExecutionTime = lastExecutionTime;

38	return true;

39

}

 

5、总结

以上内容从设计和代码层面总结Netty线程模型的大致内容，中间有很多我的不成熟的思考与理解，请朋友轻拍与指正。

看源码过程中是比较折磨人的。首先得了解你学习东西的业务价值是哪里？即你学了这个之后能用在哪里，只是不考虑场景仅仅为了看代码而看代码比较难以深入理 解其内涵；其次，看代码一定一定得从逻辑、结构层面看，从细节层面看只会越陷越深，有种一叶障目不见泰山的感觉；最后，最好是能够将代码逻辑、结构画出 来，或者整理出思维导图啥的，可以用以理清思路。前面两篇文章思维道路较为清晰，线程模型的导图有一些但是比较混乱，就不贴出来了，用作自己参考，有兴趣 的可以找我要噢。