`

Vert.x3异步框架实战

 
阅读更多

      作者:刘小溪 来源:《程序员》电子刊   发布于 2015-12-25

摘要:作为异步无阻塞的网络框架,Vert.x的参照物是Node.js,基本可以完成Node.js能完成的所有事情。它是作者目前见过功能最强大,依赖第三方库最少的Java框架。本文将带你深入了解Vert.x。
Vert.x的由来

Vert.x诞生于2011年,当时叫node.x,不过后来因 为某些原因改名位Vert.x。经过三年多的发展,现在已经到了3.2版本,社区也越来越活跃,在最新的官网Vertx.io上,作者用一句话介绍了 它,JVM上的Reative开发套件。Vert.x目前是见过最功能最强大,第三方库依赖最少的Java框架,它只依赖Netty4以及 Jacskon,另外如果你需要建立分布式的Vert.x则再依赖HazelCast这个分布式框架,注意Vert.x3必须基于Java8。由于基于 JVM,所以Vert.x可以用其他语言来实现你的业务。默认官方维护的语言是Groovy,JavaScript以及 JRuby。

Vert.x是一个异步无阻塞的网络框架,其参照物是 node.js。基本上node.js能干的事情,Vert.x都能干。Vert.x利用Netty4的EventLoop来做单线程的事件循环,所以跑 在Vert.x上的业务不能做CPU密集型的运算,这样会导致整个线程被阻塞。

图1是一个简单的通过Vert.x起HTTP服务的例子(Java实现)。你可以从官方找到其他语言实现。


图1 Vert.x实现HTTP服务

刚才上面提到了Vert.x的分布式,Vert.x与 node.js有一个很大不同点,在于Vert.x支持分布式,与多核利用。通过Hazelcast管理各个Vert.x节点的信息,然后通过 EventBus在节点之间互相发消息,于此同时Vert.x还能支持应用的高可用,只需简单的在启动时加参数-ha即可。具体的可以去官网查看一下用 法。下面是Vert.x提供的核心API。

HTTP/HTTPS Server/Client

Websocket SockJS

TCP/SSL Server/Client

UDP / DNS

Files / Timer

Json / Buffer / Flow Control

EventBus ( 集群 )

Distribution (Lock, Map, Counter)

Vert.x的执行单元叫verticle。即程序的入口,每个语言可能实现的方式不一样,比如Java需要继承一个AbstractVerticle抽象类,而javascript则直接require(“vertx”)就可以了。

verticle分两种,一种是基于EventLoop的适合 I/O密集型的,还有一种是适合CPU密集型的worker verticle。而verticle之间相互通信只能通过Eventbus,可以支持point to point 的通信,也可以支持publish & subscribe通信方式。

我们重点说一下基于EventLoop的verticle。这个本质上是跟node.js一样的。下面的图其实就是node.js的翻版。


图2 node.js的翻版

所有业务逻辑其实都会跑在Netty里的EventLoop上,而EventLoop通过循环事件队列来执行所有的业务逻辑,这样可以把一些I/O操作频繁的事件及时从CPU上剥离开来,最后通过注册一个回调Handler来处理所有的事件回调。

另外一种worker verticle。主要是用来处理同步处理的。比如第三方框架没有异步接口,最典型就是JDBC。所以可以通过worker verticle来退化到传统的基于多线程模型的实现。这也是匹配一些原项目的手段。

图3是Vert.x的内部整体架构


图3 Vert.x的内部整体架构

大家可以看到,我们的业务逻辑其实都是基于verticle来实 现的,然后Vert.x框架会将你的verticle绑定到相关的线程模型上,这里verticle1,verticle2是I/O密集型项目,所有的逻 辑都会跑在NIO Worker上。而Verticle3会有一些同步的耗时的请求,则会被绑定到Worker线程模型上。另外两个Vert.x节点则通过EventBus 互相通信,而EventBus通过HazelCast来获取整个集群里的节点信息。注意这里每一个verticle其实都是一个线程(启动的时候指定实例 数目参数即可),这样可以充分的利用多核。而node.js其实只能通过Cluster来提升多核利用。

Vert.x的部署场景及开发痛点

图4是一个典型的Vert.x部署场景。


图4 Vert.x部署场景

我们会把逻辑拆成小的verticle。这里你可以把这些小的 verticle看成是微服务,然后水平扩展这些服务,同时也可以把自己的业务按CPU密集与I/O密集型拆分。服务与服务之间可以通过EventBus 互相调用,另外Vert.x的EventBus调用目标verticle的时候会按RoundRobin算法来做balance。

我们来看看Vert.x开发的痛点,这其实是所有异步开发都会遇 到的痛点,就是Callback Hell。因为你所有的业务逻辑都会被拆成一个个不连贯的代码块,也就是说一个业务逻辑如果涉及到I/O操作你必须要通过回调接口来继续完成,这样就丢失 了局部变量,而且异常捕获也会变得非常麻烦。

图5是一个Callback Hell的例子


图5 Callback Hell代码示例

这里代码的含义是通过EventBus给service- address1发送一个消息,然后等待返回后再把结果发送给service-address2,再等待service-address2的返回结果发送 给service-address3。这里形成了调用链,即下一步的行为依赖上一步的返回结果。这个在前端用Ajax的同学肯定很熟悉。

那解决办法呢,node.js里是用promise,而Vert.x可以使用Java8自带的CompletableFuture来实现同样的效果。图6就是用CompletableFuture改写的例子


图6 Callback Hell代码示例

大家可以发现代码变得更扁平了,没有那么多的嵌套,然后通过一些介词比如,then, when等来组合各个异步的业务逻辑,最后在一个地方统一的捕获异常。

这里大量用了Java8的新功能,比如Lambda表达式,如果觉得奇怪的同学,建议先去熟悉一下Java8的Lambda表达式。


图7 CompletableFuture代码示例

那有没有更好的实现方式了呢,能不能变成同步方式呢。这里Vert.x提供了一个库vertx-sync可以实现Fiber。通过Fiber来防止线程Block,从而将异步代码完全的变成同步代码。

这里代码瞬间变得非常清晰,完全是同步的样式。vertx- sync其实是依赖了quasar这个Java库,它通过修改Java字节码来实现相关的逻辑,这里其实是在EventLoop线程里又开辟了一个线程 池,所有的在EventLoop里的同步的方法会被这个线程池接管,处理完后会再返回给EventLoop线程。这样可以避免EventLoop线程被阻 塞。


图8 vertx-sync代码示例

但是个人不推荐在生产环境使用这个库,因为它毕竟不是语言级别的支持Fiber。需要JVM启动的时候通过javaAgent来加载相关的quasar库。

这里还有一个库,在今天特别的火——RxJava。这个其实是Reactive的Java实现,官方也提供了相关的支持,但是Reactive比较复杂,除非的业务涉及很多的流式操作,否则不建议你使用。下面是官方的一个例子。

简单说明一下,这里定义了一个EventBus,用来接受发给 heat-sensor的消息,然后每隔1秒钟对累积的消息进行一次批处理,这里通过Java8的Stream接口做了一次求平均值,最后将结果通过 EventBus发给news-feed这个verticle做进一步的处理。

这里大家可以发现RxJava可以做更多的事情,前提是大家要对FRP编程思想能够接受。

Vert.x3常用工具

最后在提一下几个Vert.x3的一些小工具。

一个是metrics。这个可以用来统计整个Vert.x内部的一些指标信息,比如HTTP请求数,TCP接受或者发送的流量等等,具体可以看官方文档,通过这个接口我们可以实时的统计Vert.x内部性能信息。

另外Vert.x提供了专门针对异步代码的单元测试框架vertx-test-unit。

通过redeploy这个参数可以动态的热部署整个verticle,这个对开发调试时非常有用。

最重要的是Vert.x3内置了EventLoopChecker这个动态监测所有EventLoop线程的工具,默认EventLoop被阻塞了2秒钟的时候会触发报警,如果持续阻塞则会直接打印那一块的异常栈到日志里,非常方便开发者来检查自己的异步代码。

Vert.x目前在国内还不是很火,但是在国外已经有很多企业在使用了,比较注明的比如英孚教育、Hulu、以及做JVM监控的一家公司jClarity等。

作者简介

刘小溪,Maxleap.com 高级开发工程师。Vert.x社区一员,贡献vert.x的Clojure实现,同时扩展了Vert.x的分布式实现。目前在Maxleap.com推进基于Vert.x的微服务化,容器化相关技术。

分享到:
评论

相关推荐

    vert.x中文 PDF 下载

    4. **异步编程模型**:vert.x 的API设计鼓励使用非阻塞式编程,所有的I/O操作都是异步的,这意味着在等待I/O操作完成时,程序可以继续执行其他任务,提高了并发处理能力。 5. **消息总线(Message Bus)**:vert.x ...

    Vert.x 4 核心手册中文版

    在集群环境中,创建 Vert.x 实例通常是异步的,以避免阻塞主线程。 总之,Vert.x Core 提供了构建分布式、反应式应用所需的基本工具,通过其事件驱动、非阻塞的特性,以及多语言支持,为现代微服务架构提供了强大的...

    Java vert.x微服务框架资料

    ### Java Vert.x 微服务框架知识点详解 #### 一、Vert.x 概述及核心特性 **1.1 Vert.x 定义与定位** - **工具集定义:** Vert.x 被定义为一个在 JVM 上构建响应式应用的工具集。这意味着它并不是一个传统意义上的...

    Vert.x应用开发实例教程

    Vert.x是事件驱动的,其处理请求的高性能也是基于其事件机制。Vert.x的事件机制中有几个非常重要的概念:Event Loop、Event Loop Vertical、Worker Vertical、Event Bus、Vert.x Module。 Event Loop:即事件循环,...

    vert.x-2.1.2

    vert.x 是一个轻量级、高性能的Java应用框架,它主要设计用于构建反应式和异步应用程序。在2.1.2版本中,vert.x 提供了一种创新的方式来开发分布式、事件驱动的应用程序,充分利用了Java平台的非阻塞I/O(NIO)能力...

    基于Vert.x(java)开发的API网关,是一个分布式,全异步,高性能,可扩展,轻.zip

    描述中提到的API网关特性,包括“分布式”、“全异步”、“高性能”、“可扩展”和“轻”,这些都反映了Vert.x框架的优势。分布式特性意味着API网关可以跨越多个节点部署,以实现更高的可用性和容错性。全异步和高...

    vert.x结合springboot开发mqtt服务,真实可用

    本教程将探讨如何使用Vert.x和Spring Boot结合来开发一个真实的MQTT服务器。 首先,让我们了解一下Vert.x。Vert.x是一个用于构建反应式应用的Java平台,它提供了一种事件驱动、非阻塞I/O模型,使得开发者可以高效地...

    vertx应用开发实例教程-完整版

     《Vert.x应用开发实例教程》旨在为Vert.x的初学者和大中专院校学生提供易于入门,全面了解和掌握Vert.x框架技术和应用的教材和辅导资料,为使用Vert.x开发实时应用和企业级应用打下良好的基础。

    vert.x 3.3.3

    5. **集成Netty**:Vert.x底层使用了Netty库,一个高性能的异步网络应用框架,提供了高效的网络I/O处理。 6. **HTTP服务器和客户端**:Vert.x内置了HTTP服务器和客户端,可以方便地构建Web服务和API。 7. **...

    Vert.x学习

    3. **异步编程**:Vert.x 强调非阻塞I/O,鼓励开发者使用回调、Promise或者Future来编写异步代码,以充分利用多核CPU资源。 4. **多语言支持**:Vert.x 提供了一套统一的API,允许开发者用Java、JavaScript、Ruby、...

    Vert.x的Http和TCP实战

    Vert.x实战一:Vert.x通过Http发布数据:https://blog.csdn.net/haoranhaoshi/article/details/89284847 Vert.x实战二:TCP通信:https://blog.csdn.net/haoranhaoshi/article/details/89296522 Vert.x实战三:TCP...

    Vert.x线程模型揭秘

    Vert.x是一个强大的JVM框架,主要用于构建反应式(Reactive)应用。该框架能够帮助开发者实现异步、可伸缩且高性能的Web应用(当然不仅仅限于Web应用)。与Node.js相比,Vert.x更加灵活,因为它支持多种编程语言如...

    Vert.x 初始demo

    Vert.x 是一个轻量级、高性能且反应式的应用开发框架,主要用于构建现代的、事件驱动的、非阻塞式的Java应用程序。它支持多种编程语言,包括Java、JavaScript、Ruby、Groovy和 Kotlin,提供了一个统一的API来处理...

    Vert.x配置项VertxOptions的使用

    在使用Vert.x框架开发分布式应用时,为了更好地控制和优化应用性能,开发者通常需要通过`VertxOptions`类来定制化配置Vert.x实例。`VertxOptions`是用于创建`Vertx`实例时的一个配置对象,它提供了丰富的配置选项来...

    vert.x-springboot模版项目

    vert.x是内存占用极小的快速开发框架,springboot模版项目

    使用Eclipse_Vert.x开发响应式应用_英文.pdf

    1. **事件循环(Event Loop)**:Vert.x 使用一组事件循环来处理异步操作,这种模型避免了线程上下文切换的开销,提高了系统的并行性和效率。每个Verticle(Vert.x 应用程序的基本执行单元)都会绑定到一个事件循环上...

    Vert.xguide-for-java-devs.pdf

    Eclipse Vert.x is event driven and non blocking. This means your app can handle a lot of concurrency using a small number of kernel threads. Vert.x lets your app scale with minimal hardware.

Global site tag (gtag.js) - Google Analytics