`
brucewei777
  • 浏览: 84764 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

初步接触storm(二)----RollingTopWords中如何定时的

 
阅读更多
    又看了一下RollingTopWords,让我比较关注的地方是在RollingCountBolt类里,是通过方法TupleHelpers.isTickTuple(tuple)来判断是否应该发射当前窗口数据,但是判断的依据一开始让我很迷惑,居然是判断该tuple是否来源于“__system”的组件和“__tick”流。
   
    作为对storm了解不多的人,我真的糊涂了,tuple不都是上游的spout发射来的吗,哪里冒出来源不同的tuple。

    好吧,我就开始猜了,莫非有个隐藏的spout?或者RollingCountBolt自己给自己发什么特殊的tuple。

    正毫无头绪时,奇迹出现了,我把鼠标移到Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS这个常量上时,出现了一行小提示:

How often a tick tuple from the "__system" component and "__tick" stream should be sent to tasks. Meant to be used as a component-specific configuration.

哦,在方法getComponentConfiguration() 里

        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);

这句话告诉系统,需要按照emitFrequencyInSeconds的频率,产生来源于“__system”的组件和“__tick”流的tuple给task。

     好了,这就是RollingTopWords中,定时产生特殊tuple的方法,对于我这种新手,算是又有点进步了。
分享到:
评论

相关推荐

    storm项目-流数据监控系列5《zookeeper统一配置》

    分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...

    storm项目-流数据监控系列1《设计文档》

    分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...

    storm项目-流数据监控系列3《实例运行》

    分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...

    storm项目-流数据监控系列2《代码解析》

    分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...

    STorM32-BGC串口通讯协议

    在这个协议中,STorM32-BGC作为串口通讯的一部分,使用特定的协议规则与无人机的飞控系统进行通信。 STorM32-BGC串口通讯协议的开发基础是基于开源云台,这意味着它是一种开放式的协议,开发者可以自由地获取、研究...

    storm32-bgc-v130电路图

    在电路图中,`storm32-bgc-v130-top-bottom.png`展示了电路板的顶层和底层布局。顶层通常包含大部分电子元件,而底层则主要负责电源和地线的布线,以确保电磁兼容性和稳定性。这种双层布局有利于优化信号传输,减少...

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码)

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与...

    apache-storm-2.4.0.tar.gz

    标题 "apache-storm-2.4.0.tar.gz" 指的是 Apache Storm 的特定版本,即 2.4.0 版本的源码或二进制包,通常以 tar.gz 格式打包,这是一种常见的在 Linux 和类 Unix 系统上使用的归档和压缩格式。这个压缩包包含了...

    Apache Storm(apache-storm-2.3.0.tar.gz)

    Apache Storm(apache-storm-2.3.0.tar.gz) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何编程语言...

    storm32-bgc云台硬件原理图.rar

    《storm32-bgc云台硬件解析》 在IT领域,云台技术广泛应用于无人机、监控设备以及机器人等领域,提供精确的定位和控制能力。本文将深入探讨"storm32-bgc"云台的硬件原理,基于提供的"storm32-bgc-v130-scheme-sheet...

    storm-core源码

    storm-core-1.0.3-sources.jar 源码文件,1.0.3版本

    storm-starter-master

    标题中的"storm-starter-master"指的是Apache Storm的一个入门示例项目,它是一个开源的分布式实时计算系统。Apache Storm被广泛应用于大数据的实时处理,能够处理无界的数据流,并且保证消息的精确一次处理...

    storm1.2.1-wangzs-jms

    1. **定制的Storm JMS Bolt**: Apache Storm中的Bolt是处理数据的基本单元,wangzs可能创建了一个新的Bolt实现,使得Storm拓扑能够消费和生产JMS消息。 2. **配置文件**:可能包含了配置JMS连接的示例文件,如`...

    storm-ui:Apache Storm 的用户界面

    主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...

    Storm2009-55暴风影音

    总的来说,"Storm2009-55暴风影音"是一款具有强大功能和广泛格式支持的多媒体播放器,其简易的操作方式和全面的解码能力使其在当时的市场中具有很高的竞争力。尽管随着时间的推移,新的播放器不断涌现,但暴风影音的...

    Storm Real-time Processing Cookbook实例代码

    Storm is a distributed, reliable, fault-tolerant system for processing streams of data. The work is delegated to different types of components that are each responsible for a simple specific ...

    storm1.2.1-helloword

    - **依赖库**:可能包含Storm和其他必要的JAR文件,如`storm-core.jar`。 - **测试数据**:可能用于验证Topology正确性的输入数据。 通过这个项目,学习者可以了解如何编写Storm Topology,如何在本地模式下运行...

    Apache Storm(apache-storm-2.3.0-src.zip 源码)

    Apache Storm(apache-storm-2.3.0-src.zip 源码) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何...

    STORM-User-guide-V3.2

    #### 二、STORM软件安装 对于STORM软件的安装步骤,请参考官方网站提供的“Getting Started”文档:<http://storm.rts-software.org/>。 #### 三、XML文件作为仿真规格说明 本节将详细介绍作为STORM输入的XML文件...

    storm1.2.1-wangzs-可靠单词计数

    《storm1.2.1-wangzs-可靠单词计数》是基于Apache Storm的一个实践项目,专注于演示如何在分布式环境中实现可靠且精确的单词计数。Apache Storm是一个开源的流处理系统,它允许实时处理数据流,确保每个事件都能得到...

Global site tag (gtag.js) - Google Analytics