`
尚将军
  • 浏览: 34661 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

storm之bolt定时给自己发送tuple

 
阅读更多

继承BasicRichBolt之后,实现如下方法:

public Map<String, Object> getComponentConfiguration() {
        Map<String, Object> conf = new HashMap<String, Object>();
        /**
         * default tick tuple freq: 5 min
         */
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS,
                com.htsc.zl.app.log.util.Configuration
                        .getInteger("topology.tick.tuple.freq.secs"));
        return conf;
    }

分享到:
评论

相关推荐

    Storm中spout和bolt之间发送和接收数据的java源代码实例

    Spout使用`emit`方法将数据分组到一个元组(Tuple)中,并将其发送给Bolt。元组是Storm中数据的基本单元,包含一组键值对。在Java中,你可以使用`OutputCollector`对象的`emit`方法来实现这一过程: ```java public...

    storm之Tuple元组分词操作Java代码.zip

    综上所述,"storm之Tuple元组分词操作Java代码"这个主题涵盖了Storm的核心概念,如tuples、Bolts、Spouts以及在Java环境中实现分词处理的细节,对于理解和实践Storm实时流处理具有重要意义。通过学习和理解这些代码...

    storm利用ack保证数据的可靠性源码

    - **确认**:一旦一个tuple的所有子tuple被处理完成,Bolt会发送一个ack信号回溯到Spout,表明该tuple已被成功处理。 - **重试**:如果在某个点上tuple处理失败,Storm会记录这个失败,并在超时后重试未确认的...

    storm-wordcount例子

    2. **Split Bolt**:接收到Spout发送的Tuples后,Split Bolt负责对每个Tuple中的文本进行分词操作,将单词分离出来。这个Bolt会创建新的Tuples,每个Tuple包含一个单词,然后将这些Tuples发送到下一个阶段。 3. **...

    Storm源码走读笔记

    在Storm中,Tuple的接收和发送使用了一种称为disruptor的高性能内存队列。Tuple接收过程包括worker创建接收线程、从socket接收消息、disruptor在线程间传递消息以及消息被executor处理。而Tuple发送则涉及到...

    storm原理分析

    8. **Bolt**:数据处理单元,负责处理从 Spout 或其他 Bolt 发送过来的数据,并将结果发送给其他 Bolt 或输出到外部系统。 9. **Tuple**:数据的基本单位,是由 Spout 发出的,并由 Bolt 处理的一组值。 10. **...

    storm程序代码示例

    // 如果需要,可以向下游Bolt发送新的tuple collector.emit(new Values(result1, result2)); } ``` **五、配置与提交** 在Java程序中,我们还需要设置拓扑参数,如worker数量、task数量等,然后使用`...

    Storm Executor Task QuartzJob流式框架定时任务处理框架

    本篇文章将深入探讨“Storm Executor Task QuartzJob流式框架定时任务处理框架”,它结合了强大的Storm流处理系统和QuartzJob的批处理能力,为实时数据处理提供了高效且灵活的解决方案。 首先,让我们了解Storm。...

    Getting Started with Storm

    - **Direct 分组**:直接将 tuple 发送给特定的 bolt 实例。 - **Global 分组**:将 tuple 发送到每一个 bolt 实例。 - **None 分组**:默认的分组策略,等同于 Shuffle 分组。 **LocalCluster versus ...

    Storm定时匹配插入mysql,源数据录入hdfs

    在本场景中,"定时匹配"可能指的是使用Storm定义的一个特定的Bolt(处理组件),这个Bolt会对流入的数据进行周期性的匹配操作。这可能是基于时间窗口、滑动窗口或会话窗口的实时数据分析。 1. **Storm的实时处理**...

    Storm的文档详解

    - **Bolt**:数据处理组件,接收来自 Spout 或上游 Bolt 的数据 Tuple,根据业务逻辑对数据进行处理,并将处理后的结果发送给下一个 Bolt 或存储到外部存储系统中。 - **Tuple**:Storm 中数据传输的基本单元,通常...

    storm实时数据分析 用到的技术分析

    Spout会向Topology中发送数据,而Bolt则负责对数据进行处理。一个Bolt可以连接到一个或多个Spout,也可以连接到其他的Bolt,这些组件通过Tuple(数据包)互相传递数据。Storm中的Topology是由一个或多个Spout和Bolt...

    Storm 源码分析

    3. **消息传递机制**:Storm通过Tuple来表示数据流中的单个元素,Tuple在Spout和Bolt之间传递。消息传递机制确保了数据流的可靠性和有序性。 4. **任务调度算法**:Storm采用了基于资源利用率的任务调度策略,能够...

    storm记录级容错.docx

    例如,如图4-1所示,Message 1绑定的tuple1和tuple2经过bolt1和bolt2处理,生成新的tuple,最终都到达bolt3。当这个流程完成后,即可认为Message 1已被完全处理。 **三、acker组件** Storm拓扑中包含一个系统组件...

    storm剖析(pdf)

    Tick Tuple机制则是一种定时机制,允许用户在固定间隔内向Bolts发送特殊的Tuple,用于周期性处理。 MTStorm则涉及到Storm的多租户特性,这是一个在不同组织间隔离资源和拓扑的机制,使得多个用户可以共享同一个...

    02、Storm入门到精通storm3-1.pptx

    当一个Bolt处理完一个Tuple后,它会发送一个确认(Ack),如果某个Bolt在处理过程中失败,Storm会重新调度处理,直到成功。此外,如果任务失败,Storm会自动重分配任务。 6. **数据模型**: Storm使用`Tuple`作为...

    storm 示例demo

    import backtype.storm.tuple.Tuple; import backtype.storm.tuple.Values; public class WordNormalizer extends BaseBasicBolt { public void cleanup() {} /** * The bolt will receive the line from the ...

    STORM学习文档

    * Bolt:负责处理 Spout 发送来的数据,并将处理结果发送给下游的 Bolt 或者输出结果。 * Executor:是一个线程池,负责执行具体的任务,包括 Spout 和 Bolt 任务。 三、Storm 集群工作流程 Storm 集群的工作流程...

Global site tag (gtag.js) - Google Analytics