`
wbj0110
  • 浏览: 1603216 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Storm Local mode

阅读更多

Local mode

Local mode simulates a Storm cluster in process and is useful for developing and testing topologies. Running topologies in local mode is similar to running topologies on a cluster.

To create an in-process cluster, simply use the LocalCluster class. For example:

import backtype.storm.LocalCluster;

LocalCluster cluster = new LocalCluster();

You can then submit topologies using the submitTopology method on the LocalCluster object. Just like the corresponding method onStormSubmittersubmitTopology takes a name, a topology configuration, and the topology object. You can then kill a topology using thekillTopology method which takes the topology name as an argument.

To shutdown a local cluster, simple call:

cluster.shutdown();

Common configurations for local mode

You can see a full list of configurations here.

  1. Config.TOPOLOGY_MAX_TASK_PARALLELISM: This config puts a ceiling on the number of threads spawned for a single component. Oftentimes production topologies have a lot of parallelism (hundreds of threads) which places unreasonable load when trying to test the topology in local mode. This config lets you easy control that parallelism.
  2. Config.TOPOLOGY_DEBUG: When this is set to true, Storm will log a message every time a tuple is emitted from any spout or bolt. This is extremely useful for debugging.

            come form github wiki

 

分享到:
评论

相关推荐

    Real-time.Analytics.with.Storm.and.Cassandra.1784395498

    The book starts off with the basics of Storm and its components along with setting up the environment for the execution of a Storm topology in local and distributed mode. Moving on, you will explore ...

    storm实时单词计数

    这个测试可能包括设置本地模式(Local Mode)进行快速开发测试,或者配置集群模式(Cluster Mode)进行生产环境的部署。 总的来说,"storm实时单词计数"这个主题涵盖了Storm的核心概念:数据流处理、实时计算、组件...

    Storm深入学习.pdf

    - `storm.local.mode.zmq`:在本地模式下是否使用 ZeroMQ,如果不设置,则使用 Java 消息系统,默认为 false。 - `storm.zookeeper.root`:在 ZooKeeper 中 Storm 的根目录位置。 - `storm.zookeeper.session.time...

    第一个Storm应用

    1.本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。 2.远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个...

    storm练习代码

    7. **本地模式(Local Mode)与集群部署** - Storm提供本地模式,方便开发和调试,所有组件运行在同一JVM上。而集群部署则将拓扑分布到多台机器上,实现水平扩展。"StormDemo"可能有本地运行和集群提交的示例代码。 ...

    02、Storm入门到精通storm3-0.pptx

    - `storm.local.mode.zmq`:在本地模式下是否使用ZeroMQ作为消息系统,默认为false,否则使用Java消息系统。 - `storm.zookeeper.root`:Storm在ZooKeeper中的根目录。 - `storm.zookeeper.session.timeout`:...

    Storm 简单示例

    5. **本地模式(Local Mode)**:在学习和开发阶段,可以先在本地模式下运行拓扑,以快速验证逻辑。本地模式下,所有的进程都在单个JVM上运行,方便调试。 6. **提交拓扑(Submit Topology)**:当拓扑在本地验证...

    Real-time Analytics with Storm and Cassandra(PACKT,2015)

    The book starts off with the basics of Storm and its components along with setting up the environment for the execution of a Storm topology in local and distributed mode. Moving on, you will explore ...

    Storm配置项详解

    - **`storm.local.mode.zmq`**:控制在`local`模式下是否使用ZeroMQ作为消息传递系统。若设置为`false`,则使用Java消息系统。默认为`false`。 #### 拓扑配置 - **`storm.id`**:标识正在运行的拓扑ID,由拓扑名称...

    Storm配置项详解.docx

    4. **storm.cluster.mode**:Storm集群的运行模式,可以是分布式(distributed)或本地模式(local)。分布式是生产环境,而本地模式通常用于开发和测试。 5. **storm.local.mode.zmq**:在本地模式下,是否使用...

    Storm配置详解

    5. storm.local.mode.zmq:在本地模式下,Storm可以选择使用ZeroMQ或者Java消息系统作为底层通信机制。默认情况下,这个配置项的值为false,意味着使用Java消息系统。 6. storm.id:这个配置项在运行中的拓扑中设置...

    storm源码包 apache-0.9.4

    Storm 提供了本地模式(Local Mode)进行开发和测试,可以在单机上模拟完整的集群环境。此外,`storm-starter` 项目包含了示例代码,帮助开发者快速了解如何创建和提交拓扑。 8. **监控与调试**: 通过 Storm UI...

    Storm本地模式WordCount亲测可用

    5. **Local Mode(本地模式)**:在本地模式下,Storm会模拟分布式环境,但所有进程都在单个JVM中运行,便于快速调试。 以下是你可能遇到的步骤: 1. **环境准备**:确保已安装Java和Apache Maven。Storm库可以...

    [BOOK] Getting Started with Storm

    - **本地模式(Local Mode)**:在单个JVM中模拟整个Storm集群的运行环境,主要用于开发和测试阶段。 - **远程模式(Remote Mode)**:在真实的分布式环境中运行,需要配置Nimbus、Supervisor等组件。 #### 四、...

    storm-0.7.2

    7. **本地模式(Local Mode)**:Storm提供了一个本地模式,允许开发者在单机上模拟整个集群环境,便于快速开发和测试。 8. ** Trident**:Trident是Storm的一个高级API,提供了一种声明式的处理模型,可以实现精确一...

    trident-examples:用 Storm Trident 编写的一组应用程序

    提交拓扑句法: $ storm < jar> storm.trident.StormRunner --app < application> --mode (local | remote) [OTHER OPTIONS...] 选项: --config-str= < str> A serialized list of key/value pairs (ex.: sa.

    Storm-Dev-TestingFramework

    这个开发框架可以模拟风暴拓扑运行行为(Local Cluster Mode Style),也可以模拟元组样式的数据类型。 我在这个项目中使用了下面提到的库- jeromq-0.3.4.jar jackson-annotations-2.1.2.jar ...

    hive 20160130

    - 本地模式(Local Mode):在小数据量测试时,可以提高执行速度。 - 桶表:通过预定义的哈希函数将数据分布到特定的桶中,以优化JOIN操作。 5. **Hive与Hadoop的交互** - Hive依赖于Hadoop的HDFS存储数据,...

Global site tag (gtag.js) - Google Analytics