Local mode
Local mode simulates a Storm cluster in process and is useful for developing and testing topologies. Running topologies in local mode is similar to running topologies on a cluster.
To create an in-process cluster, simply use the LocalCluster
class. For example:
import backtype.storm.LocalCluster;
LocalCluster cluster = new LocalCluster();
You can then submit topologies using the submitTopology
method on the LocalCluster
object. Just like the corresponding method onStormSubmitter, submitTopology
takes a name, a topology configuration, and the topology object. You can then kill a topology using thekillTopology
method which takes the topology name as an argument.
To shutdown a local cluster, simple call:
cluster.shutdown();
Common configurations for local mode
You can see a full list of configurations here.
- Config.TOPOLOGY_MAX_TASK_PARALLELISM: This config puts a ceiling on the number of threads spawned for a single component. Oftentimes production topologies have a lot of parallelism (hundreds of threads) which places unreasonable load when trying to test the topology in local mode. This config lets you easy control that parallelism.
- Config.TOPOLOGY_DEBUG: When this is set to true, Storm will log a message every time a tuple is emitted from any spout or bolt. This is extremely useful for debugging.
come form github wiki
相关推荐
The book starts off with the basics of Storm and its components along with setting up the environment for the execution of a Storm topology in local and distributed mode. Moving on, you will explore ...
这个测试可能包括设置本地模式(Local Mode)进行快速开发测试,或者配置集群模式(Cluster Mode)进行生产环境的部署。 总的来说,"storm实时单词计数"这个主题涵盖了Storm的核心概念:数据流处理、实时计算、组件...
- `storm.local.mode.zmq`:在本地模式下是否使用 ZeroMQ,如果不设置,则使用 Java 消息系统,默认为 false。 - `storm.zookeeper.root`:在 ZooKeeper 中 Storm 的根目录位置。 - `storm.zookeeper.session.time...
1.本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。 2.远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个...
7. **本地模式(Local Mode)与集群部署** - Storm提供本地模式,方便开发和调试,所有组件运行在同一JVM上。而集群部署则将拓扑分布到多台机器上,实现水平扩展。"StormDemo"可能有本地运行和集群提交的示例代码。 ...
- `storm.local.mode.zmq`:在本地模式下是否使用ZeroMQ作为消息系统,默认为false,否则使用Java消息系统。 - `storm.zookeeper.root`:Storm在ZooKeeper中的根目录。 - `storm.zookeeper.session.timeout`:...
5. **本地模式(Local Mode)**:在学习和开发阶段,可以先在本地模式下运行拓扑,以快速验证逻辑。本地模式下,所有的进程都在单个JVM上运行,方便调试。 6. **提交拓扑(Submit Topology)**:当拓扑在本地验证...
The book starts off with the basics of Storm and its components along with setting up the environment for the execution of a Storm topology in local and distributed mode. Moving on, you will explore ...
- **`storm.local.mode.zmq`**:控制在`local`模式下是否使用ZeroMQ作为消息传递系统。若设置为`false`,则使用Java消息系统。默认为`false`。 #### 拓扑配置 - **`storm.id`**:标识正在运行的拓扑ID,由拓扑名称...
4. **storm.cluster.mode**:Storm集群的运行模式,可以是分布式(distributed)或本地模式(local)。分布式是生产环境,而本地模式通常用于开发和测试。 5. **storm.local.mode.zmq**:在本地模式下,是否使用...
5. storm.local.mode.zmq:在本地模式下,Storm可以选择使用ZeroMQ或者Java消息系统作为底层通信机制。默认情况下,这个配置项的值为false,意味着使用Java消息系统。 6. storm.id:这个配置项在运行中的拓扑中设置...
Storm 提供了本地模式(Local Mode)进行开发和测试,可以在单机上模拟完整的集群环境。此外,`storm-starter` 项目包含了示例代码,帮助开发者快速了解如何创建和提交拓扑。 8. **监控与调试**: 通过 Storm UI...
5. **Local Mode(本地模式)**:在本地模式下,Storm会模拟分布式环境,但所有进程都在单个JVM中运行,便于快速调试。 以下是你可能遇到的步骤: 1. **环境准备**:确保已安装Java和Apache Maven。Storm库可以...
- **本地模式(Local Mode)**:在单个JVM中模拟整个Storm集群的运行环境,主要用于开发和测试阶段。 - **远程模式(Remote Mode)**:在真实的分布式环境中运行,需要配置Nimbus、Supervisor等组件。 #### 四、...
7. **本地模式(Local Mode)**:Storm提供了一个本地模式,允许开发者在单机上模拟整个集群环境,便于快速开发和测试。 8. ** Trident**:Trident是Storm的一个高级API,提供了一种声明式的处理模型,可以实现精确一...
提交拓扑句法: $ storm < jar> storm.trident.StormRunner --app < application> --mode (local | remote) [OTHER OPTIONS...] 选项: --config-str= < str> A serialized list of key/value pairs (ex.: sa.
这个开发框架可以模拟风暴拓扑运行行为(Local Cluster Mode Style),也可以模拟元组样式的数据类型。 我在这个项目中使用了下面提到的库- jeromq-0.3.4.jar jackson-annotations-2.1.2.jar ...
- 本地模式(Local Mode):在小数据量测试时,可以提高执行速度。 - 桶表:通过预定义的哈希函数将数据分布到特定的桶中,以优化JOIN操作。 5. **Hive与Hadoop的交互** - Hive依赖于Hadoop的HDFS存储数据,...