`
kevin.wang
  • 浏览: 250980 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

CEP 复杂事件处理及Esper框架

阅读更多
使用 Esper 的基本步骤
(1)创建一个 Configuration 配置
(2)通过 EPServiceProviderManager通过参数configuration,获得EPServiceProvider(引擎实例epService);
(3)通过 EPServiceProvider 获得 EPAdministrator 对象;
(4)通过 EPAdministrator 和 EPL 查询语句,创建 EPStatement
(5)创建一个 class 实现 UpdateListener 接口, 并把这个 listener 和 EPStatement 挂钩
(6)使用epService.getEPRuntime().sendEvent(event)发送事件



1.1介绍CEP和事件流分析
Esper引擎是为了满足对事件进行分析并做出反应等这些应用需求而产生的。这些应用要求事实或接近事实处理事件(或消息)。有时候是为了应对复杂事件处理(CEP)和事件流分析的。关键要考虑这些类型应用的(高)吞吐量、(低)响应时间和需求逻辑的复杂程度(复杂计算)。esper可以用在股票系统、风险监控系统等等要求实时性比较高的系统中。
1.2 CEP和关系数据库
关系型数据库不适合每秒成百上千的数据量的查询
内存数据库与比传统的关系数据库相比,有更好的查询性能,更适合处理CEP应用。
1.3 专注于CEP的Esper 引擎
这个Esper引擎工作起来有点像数据库的倒置。Esper 引擎允许应用存储查询并运行数据通过,来代替存储数据并且执行查询存储数据的工作方式。esper提供两种机制来处理事件:
1、Esper提供了一个事件模式语言去指定基于表达式的事件模式匹配。这个模式匹配引擎是通过一个状态机来实现的。这个事件处理的方法匹配期望存在的队列或者不存在的事件或者事件的组合。它包括以时间为基础的各个事件之间的关系。
2、Esper还提供事件流查询。这个样可以使事件流分析CEP应用的需求。事件流查询提供窗口、聚合、连接和分析的函数来处理事件流。这些查询是通过EPL语句来实现的。EPL用于视图。视图表示需要将构造的数据放入到一个事件流中并且去驱动数据的流动。在数据流动的过程中对数据进行处理,来得到我们最后所需要的结果。

下面是在网上找到的资料,觉得总结的挺好的:
Esper提供这两种方法作为互补是通过相同的API来实现的
1.4事件驱动应用服务器(Event Driven Application Server)
事件驱动应用服务器是一种新型的服务器,为每秒需要处理超过100,000个事件的服务器提供一个运行时和多种支撑基础设施服务(如传输、安全、事件日志、高可靠性和连接器等)。除了事件处理以外,事件驱动服务器还可以将事件信息和长时间存在的数据(通常从关系数据库查询中获取)结合起来,以及在事件流上执行临时的关联关系和匹配操作。
事件系统(Event System)存在两个概念,可使之与消息传送系统(Messaging System)区分开来:
1、事件流处理(Event Stream Processing,ESP)——检测事件数据流,分析出那些符合条件的事件,然后通知监听器
2、复杂事件处理(Complex Event Processing,CEP)——可以监察各事件间的模式
全功能的事件驱动服务器尚需数年时间方可实现,但现在开发者就可通过来自Codehaus的Esper,在独立应用、Java企业级应用和Spring应用中实现事件驱动架构。Esper的1.0版本(InfoQ曾报道过)是在2006年6月发布的,它是一个轻量级、可嵌入的ESP和CEP的开源实现。
把Esper集成到独立应用中其实很简单。步骤如下:
1、获取一个Esper引擎实例
2、生成一个Statement(用Esper的查询语言)
3、使用引擎注册这个Statement
4、生成一个Listener(通过实现一个Java接口,该接口在Statement所得值为true会被触发),并把它跟Statement绑定起来
事件能以Java对象、XML或Map的形式展现,当它们通过系统的时候,系统会评估Statement的值,并执行Listener中的逻辑。
Esper查询语言提供了丰富的语法,这些语法可以表达复杂的临时逻辑,此外还有如下的一些特征:
1、事件过滤
2、滑动窗口和聚集(计算在最近30秒内所有报告的有意义的信息)
3、分组窗口和对输出率的限制(获取最近10分钟内每个区域的信息数量)
4、连接和外连接(允许事件流之间的连接)
5、与历史数据或引用数据集成(访问关系型数据库)
6、生成所有Statement都可以访问的虚拟流

官网的英文简介如下:
http://www.espertech.com/products/esper.php
分享到:
评论

相关推荐

    esper复杂事件处理引擎参考

    esper是一个用于复杂事件处理(Complex Event Processing, CEP)的框架,它在面向服务的架构(SOA)中扮演着不可或缺的角色。 首先,让我们了解什么是CEP以及事件流分析。CEP是一种特殊的处理模式,它能够从实时的、...

    java使用esper实现事件分批处理

    Java 使用 Esper 实现事件分批处理是大数据实时分析领域中的一种常见技术,Esper 是一个强大的事件处理引擎,尤其适用于复杂事件处理(CEP,Complex Event Processing)。在 Java 应用程序中集成 Esper 可以帮助我们...

    Esper参考书1

    Esper是一种专为复杂事件处理(CEP)和事件流分析设计的引擎,适用于需要实时或准实时响应的场景。CEP技术的核心在于处理大量快速流动的数据,对事件进行关联、过滤、窗口分析等复杂运算,以识别模式并作出即时反应...

    Esper相关包

    Esper是一种强大的事件处理引擎,常用于实时分析和复杂事件处理(CEP,Complex Event Processing)。在IT领域,Esper被广泛应用于金融交易、物联网、监控系统等需要实时数据流分析的场景。Esper的核心功能是能够从...

    esper官网文档中英文对照1-200页

    - **Esper**:Esper是一款专为事件流处理和复杂事件处理(Complex Event Processing, CEP)设计的强大引擎。它能够在事件流中检测到特定模式时触发预定义的动作。 - **应用场景**:Esper特别适用于需要处理大量数据...

    事件驱动架构

    Esper是一个流行的开源框架,它专门用于实现复杂的事件处理(Complex Event Processing,CEP)和事件流分析。Esper提供了一种高效的方式来识别、过滤和响应大量事件流中的复杂模式,适用于诸如事件监控、网络监控等...

    esper_reference

    - **处理模型**: 描述了Esper如何处理事件流的基本框架。 **3.2 Insert Stream** - **定义**: 描述了如何将事件插入到Esper的处理流程中。 - **作用**: 是所有事件处理的基础。 **3.3 Insert and Remove Stream**...

    esper官网文档中英文对照401-600页

    #### 二、事件流处理与复杂事件处理(Complex Event Processing, CEP) Esper是一个强大的事件流处理和复杂事件处理引擎。它能实现实时事件驱动的框架,当检测到特定事件时触发预定义的操作。 - **核心概念**: - *...

    esper官网文档中英文对照801-900页

    **Esper** 是一个事件流处理和复杂事件处理(Complex Event Processing,简称 CEP)的引擎。它提供了一个强大的实时事件驱动框架,能够监测并响应事件流中的特定事件。这使得Esper在诸如金融市场交易监控、网络安全...

    事件驱动的应用架构和应用.pdf

    - **事件流处理(ESP)**与**复杂事件处理(CEP)**:这类处理通常没有统一的标准,但市场上有一些成熟的产品和技术,如IBM、WebLogic以及Esper等。 #### 六、Esper介绍 **Esper**是一个基于JAVA的ESP/CEP容器,...

    jetstream-esper:Jetstream Esper处理器实施

    Jetstream通常是一个高性能的数据流处理系统,而Esper则是复杂事件处理(Complex Event Processing, CEP)引擎。让我们深入了解一下这两个技术以及它们的集成。 Jetstream是一个强大的实时数据流处理框架,它支持低...

    esper_client:POC Esper(客户)

    Esper 是一个强大的事件处理引擎,常用于实时流数据分析和复杂事件处理(CEP,Complex Event Processing)。在Java开发环境中,Esper 提供了丰富的API和工具,使得开发者能够构建实时应用程序,对持续流入的数据流...

    StormEPL-jar.zip )

    EPL 是一种事件处理语言,通常用于复杂事件处理(CEP)系统中,用于检测、分析和响应来自实时数据流的模式和事件。 描述中提到,这个压缩包是为了实现 EPL 与 Apache Storm 的集成。Apache Storm 是一个分布式实时...

    5-韩鹏-3-基于Flink构建CEP引擎的挑战和实践-韩鹏-2019-11-27_compressed1

    然而,在构建复杂事件处理(Complex Event Processing, CEP)引擎时,Flink面临着一些挑战。 技术演进: 2015年,基于Esper的CEP系统依赖单服务器,硬件资源有限,性能表现不佳。 2017年,采用C++实现的Dolphin ...

    esper-services:用于esper的REST服务

    Esper是一个强大的事件处理引擎,广泛应用于实时数据分析、复杂事件处理(CEP)等领域。下面将详细介绍这个项目的相关知识点。 **Esper简介** Esper是Java开发的事件处理引擎,它允许开发者在运行时对持续流入的...

    epl-builder:为 Esper 构建 EPL

    在IT领域,Esper是一种实时事件处理引擎,常用于复杂事件处理(CEP)。Esper Engine 支持Esper Process Language(EPL),一种专为流数据处理设计的SQL-like查询语言。EPL Builder,正如其名,是一个专门用于构建和...

    flink_study

    它基于Esper库,允许用户定义复杂事件规则并实时响应这些事件。 7. **学习资源** - Apache Flink官网提供最新的文档和下载链接,包括Table API的详细教程和DataStream API的编程指南。 - Flink China社区和...

    PSP:服务和流程编程 (DAM2 @ CEP)

    在实际应用中,PSP可能是一个框架或工具集,帮助开发者构建基于服务和事件的系统,有效地处理复杂的业务流程,并在CEP环境中进行监控和优化。它可能提供了服务的创建、部署、治理以及流程的建模、执行和优化等功能,...

Global site tag (gtag.js) - Google Analytics