Storm-topology-grouping
Stream Grouping
storm的grouping 用来决定如何在topology的组件中如何交换数据。类似在haddoop中的partition的过程。spout和bolt都可以产生数据流，但是grouping可以决定如何选择下一个处理stream。
Shufle Grouping
使用频率:高
使用参数:数据源id
特点特性:将数据随机分发到每个bolt,且保证每个bolt接收到同样数量的tuple。
Fields Grouping
使用频率:中
使用参数:数据源id+fields
特点特性:保证将一个或者一组给定的field分发到相同的bolt上。
All Grouping
使用频率:中
使用参数:数据源id
特点特性:广播式的将每个tuple分发到每个bolt上。
Custom Grouping
使用频率:中
使用参数:数据源id
特点特性:自定义grouping.
Direct Grouping
使用频率:中
使用参数:数据源id
特点特性:由数据源去决定将数据分发到那个bolt上。
Global Grouping
使用频率:中
使用参数:数据源id
特点特性:由将tuple send到一个单独的taskid最小的bolt上
None Grouping
使用频率:中
使用参数:数据源id
特点特性:和Shufle Grouping一样不关心tuple被send到哪里。
分享到：
相关推荐
风暴拓扑示例 概述： 该项目提供了有关使用各种Apache Storm拓扑的示例集合... cd /tmp/storm-topology-examples && bash -x bin/install_mongodb.sh 如果使用HiveBolt，则创建表（您可能要修改ddl） cd /tmp/storm
6. 开发拓扑（Topology）并部署到集群，这通常涉及编写 Java 或者 Clojure 代码，然后使用 `bin/storm jar` 命令提交。 在使用 Storm 进行实时数据处理时，开发者需要理解以下几个核心概念： - **拓扑（Topology）*...
在"storm-starter-master"这个项目中，通常会包含一系列的示例，如简单的单词计数（WordCount）、日志分析等，这些示例有助于初学者理解如何在Storm中创建拓扑结构（Topology）并部署运行。每个示例都会展示如何定义...
在进行云计算实验时，学生可以通过部署这个压缩包来学习Storm的基本概念，如Topology（拓扑）、Bolt（处理逻辑）、Spout（数据源）以及容错机制。同时，也可以结合Hadoop和Spark，探索不同的大数据处理场景和解决...
7. **创建和提交拓扑**：编写Storm拓扑（Topology）定义数据处理逻辑，然后通过Storm CLI提交到集群。 标签"storm"表明这个压缩包是关于Apache Storm的，Storm的核心概念包括： - **Spout**：Spout是数据源，负责...
开发 Storm 应用通常涉及定义 bolts（处理逻辑）和 spouts（数据源），并通过 Topology 连接它们形成数据处理流程。 在实际开发中，你可能还需要了解 Storm 的关键概念，如 Trident（一种高级接口，提供更强大的...
1. **Topology**：Storm应用的基本单元，定义了数据流的处理逻辑。 2. **Spout**：数据源，负责读取和生成数据流。 3. **Bolt**：数据处理器，执行计算、过滤、聚合等操作。 4. **Stream Groupings**：用于定义数据...
在`storm-core`模块的`backtype.storm.topology`包下，你可以找到关于Topology的定义和操作，如`TopologyBuilder`用于构建拓扑结构。 4. Stream Groupings：流分组是决定数据如何在Bolt之间传递的策略，包括Shuffle...
1. **拓扑（Topology）**：拓扑是Storm的基本计算单元，它定义了数据流如何在各个组件之间传输。每个拓扑由多个Spout和Bolt组成，它们通过流（Stream）连接。 2. **Spout**：Spout是数据流的源头，负责生成或读取...
1. **Topology**：这是Storm中的核心工作单元，它定义了数据流的处理逻辑。一个拓扑由多个 Bolt 和 Spout 组成，Bolt 负责数据处理，Spout 负责生成数据流。 2. **Spout**：Spout 是 Storm 拓扑的输入源，它可以是...
1. **拓扑（Topology）**：在 Storm 中，用户通过编写拓扑来定义数据流的处理逻辑。一个拓扑由多个 bolts 和 spouts 组成，它们通过 streams 相互连接。Bolts 执行复杂的处理任务，而 Spouts 是数据流的源头，通常从...
6. **运行 Storm Topology**：提交 topology 到本地或集群运行，开始实时处理数据。 7. **监控和调试**：通过 Storm UI 监控 topology 的运行状态，进行必要的性能调优和错误排查。 总之，"kafka-storm-starter-...
2. `Topology.java` - 定义了Storm拓扑结构，创建Spout和Bolt的实例，并设置它们之间的连接。 3. `KafkaBolt.java` - 实现了处理Kafka数据和State更新的自定义Bolt。 4. `KafkaConfig.java` - 存储Kafka消费者配置，...
Topology是Storm中的核心概念，它定义了数据流的处理逻辑，包括Spout（数据源）和Bolt（数据处理器）。这些Spout和Bolt组成了一张有向无环图（DAG），决定了数据流的流向和处理方式。通过阅读和分析示例中的Topology...
Topology是Storm中的核心概念，它定义了数据流如何在各个处理组件（Spout和Bolt）之间传输。这里提到Task之间的计算进行了隔离，这意味着每个Task（执行单元）只处理一部分数据，保证了计算的并行性和效率。 "标签...
6. 在 Storm 作业中启用 Hook，通常是在 topology 定义中进行，这样 Hook 就会在数据处理过程中触发元数据操作。 一旦设置完成，Apache Atlas Storm Hook 将自动捕获 Storm 作业的元数据信息，包括源、转换和目标。...
1. **Topology**：是Storm中的核心概念，代表了一个数据处理的工作流程。由多个Bolt和Spout组成，通过Stream Groupings连接它们，定义了数据流的处理方式。 2. **Spout**：是数据流的源头，负责生成数据。可以是从...
Storm 的核心概念包括拓扑（Topology）、worker、spout 和 bolt。 1. **拓扑（Topology）**：拓扑是 Storm 应用的核心，它定义了数据流的处理逻辑，由 spout 和 bolt 组成。 2. **worker**：worker 是运行在集群...
在Storm 0.9.0版本中，开发者需要构建自己的jar包来部署拓扑（topology）。这个过程涉及到以下几个关键知识点： 1. **安装与配置**：首先，你需要在本地安装Java Development Kit (JDK) 并配置好环境变量。然后，...
拓扑的配置文件（如`topology.yaml`或`storm.yaml`）会指定Spout和Bolt的类型，以及它们之间的连接关系。 四、运行与调试 为了运行这个示例项目，首先需要解压"storm-word-count-demo4.zip"，然后使用Storm命令行...