How does Storm implement reliability in an efficient way?
A Storm topology has a set of special "acker" tasks that track the DAG of tuples for every spout tuple.
acker 英文中文翻译为 :涡流，海啸，水的波纹
但这里个人认为取自track 中ack ,意为跟踪的意思.
zhouchaofei2010
- 浏览: 1104132 次
- 性别:
- 来自: 上海
-
最新评论
-
zhouchaofei2010：
Saro 写道在log4j配置里把mapper所在包设为deb ...
mybatis出现sql异常时的日志优化-打印sql参数 -
Saro：
在log4j配置里把mapper所在包设为debug就行了，参 ...
mybatis出现sql异常时的日志优化-打印sql参数 -
pyl574069214：
...
poi Excel 水平居中 垂直居中 -
zhouchaofei2010：
杀手请杀人 写道能看到scala太难得了 谢谢
scala 下划线解析报错： missing parameter type for expanded function -
杀手请杀人：
能看到scala太难得了
scala 下划线解析报错： missing parameter type for expanded function
storm中acker任务的名字由来猜测?
相关推荐
Storm，是于90年代突然崛起，颇受年轻消费者追崇的，一个专注于时尚生活的品牌，主要产品集中在时尚腕表、珠宝首饰、箱包、雨伞以及香水等。她是由其创始人Steve Sun于1989年创立。 自诞生之日起，Storm就以独特的...
标题中的"storm中文学习资料"表明这是一份关于Apache Storm的中文学习资源，Apache Storm是一个开源的分布式实时计算系统，常用于实时数据处理。在这个压缩包中，我们可以预期找到一系列帮助理解和掌握Storm技术的...
Storm 的核心概念包括拓扑、工作者、任务、 bolts 和 spouts，这些组件共同构成了一个强大的实时处理框架。 在 Apache Storm 0.8.1 版本中，API 文档提供了对这些关键概念的深入理解。以下是一些主要知识点： 1. *...
- 使用acker任务机制来优化消息确认，以保障消息的可靠处理。 5. 故障排查与监控： - 理解Storm的故障转移机制以及如何进行故障的快速定位和恢复。 - 利用日志和监控工具对故障进行记录和分析。 - 常用的监控...
Ack（确认）机制是Storm中的一个核心组件，它的主要任务是跟踪和确保每个数据包（tuple）在拓扑中正确处理。当一个tuple被Spout发出后，它会在bolt之间传递并进行处理。Ack机制通过追踪tuple的生命周期，确保每个...
1. **Spout**: Spout是Storm中的数据源，模拟实时数据的生成。在“Hello World”示例中，这个Spout可能是产生固定字符串（如"Hello World"）的简单类。Spout会不断向拓扑中的Bolt发送这些消息，展示如何将输入数据流...
- **拓扑（Topology）**：在Storm中，一个拓扑是由多个Bolt和Spout组成的数据处理流程。Spout负责生成数据流，而Bolt则用于处理和转换数据。 - **工作者（Worker）**：运行在节点上的进程，负责执行拓扑中的任务...
消息通过Tuple的形式在网络中进行传递，Tuple是Storm中传递消息的基本单位。在Storm的快速起步过程中，需要学会如何创建和发送Tuple。 快速起步还需要了解Storm中的容错机制。Storm提供了acker机制来确保每个消息...
Topology是Storm的计算逻辑单元，Spout是数据源，Bolt是处理单元，acker是任务执行单元。 Storm的基本架构 Storm的架构主要包括Nimbus、Supervisor、Worker三个组件。Nimbus是Storm的master节点，负责管理Topology...
在Storm中，Zookeeper确保了高可用性和一致性。 3. **Supervisor**：Supervisor是运行在每个工作节点上的进程，它负责启动和停止Worker进程。当Nimbus分配任务时，Supervisor会在本地启动相应的Worker进程来执行...
在本节中，我们将深入探讨Storm的核心概念和特性，包括它的记录级容错原理、配置详解、批处理、TOPN操作、流程聚合、DRPC（Direct RPC）以及executor、worker、task之间的关系和调优。 **Storm记录级容错原理** ...
- `storm.zookeeper.root`：在 ZooKeeper 中 Storm 的根目录位置。 - `storm.zookeeper.session.timeout`：客户端与 ZooKeeper 的会话超时时间。 - `storm.id`：运行中的拓扑 ID，由 Storm 名称和唯一的随机数组成。...
本压缩包提供的Java代码示例主要讲解了如何在Storm中对Tuple进行分词操作，这在构建自然语言处理、文本分析等实时流处理应用时非常常见。以下是对这一主题的详细说明： 1. **Storm基础**： Storm 是一个开源的实时...
在Storm中，topology是一个逻辑工作单元，它定义了数据流的处理方式，包括从spout（数据源）到bolt（处理组件）的数据流图。提交topology到Storm集群主要包括以下几个步骤： 1. **构建topology**：首先，开发者需要...
在Storm中，用户可以通过在Spout发射新源tuple时指定一个Message ID，此ID可以是任意Object对象。多个源tuple可以共享同一Message ID，表明它们对于用户来说属于同一消息单元。记录级容错的核心在于跟踪和确认每个...
4. **流（Stream）**：流是数据在Storm中的基本单位，表示从一个组件到另一个组件的一系列连续的数据记录。 5. **acker**：Storm提供了可靠的消息处理机制，acker组件负责确认每个tuple（数据单元）是否被完全处理...
拓扑是Storm中的工作单元，它定义了数据流的处理方式。worker是运行在节点上的进程，负责执行拓扑中的任务。spout是数据源，负责生成数据流，可以是从数据库、消息队列或其他系统读取数据。bolt则是处理数据的组件，...
在Storm中，WordCount示例会演示如何实时地统计文本中的单词出现次数，这将帮助初学者快速上手Storm的编程模型。 通过深入学习这些资料，你不仅能掌握Storm的集群搭建，还能了解到其核心概念、编程模型以及实际应用...
在这里，可能包括如何连接到数据源，以及如何生成并发布Tuples（Storm中的数据结构）。 - **编写Bolt**：Bolt执行数据处理逻辑，如过滤、聚合、转换等。每个Bolt接收Tuples，处理后生成新的Tuples并发送到下游Bolt...