`
woodding2008
  • 浏览: 289575 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Storm常用配置参数

 
阅读更多

storm.zookeeper.connection.timeout

storm.zookeeper.session.timeout      

ZooKeeper客户端连接/session超时时间

 

nimbus.monitor.freq.secs            

nimbus检查心跳和重分配任务的时间间隔.注意如果是机器宕掉nimbus会立即接管并处理。

 

supervisor.heartbeat.frequency.secs  

supervisor发送心跳间隔

 

supervisor.monitor.frequency.secs    

supervisor检查worker心跳的频率

 

worker.heartbeat.frequency.secs      

worker发送心跳间隔

 

task.heartbeat.frequency.secs        

executor发送心跳间隔

 

nimbus.task.timeout.secs 

心跳超时时间,超时后nimbus会认为task死掉并重分配给另一个地址。

 

nimbus.task.launch.secs     

 task启动时的一个特殊超时设置.在启动后第一次心跳前会使用该值来临时替代nimbus.task.timeout.secs.

 

nimbus.supervisor.timeout.secs

 supervisor的心跳超时时间,一旦超过nimbus会认为该supervisor已死并停止为它分发新任务.

 

 

supervisor.worker.start.timeout.secs

supervisor初始启动时,worker的心跳超时时间,当超过该时间supervisor会尝试重启worker。 因为JVM初始启动和配置会带来的额外消耗,从而使得第一次心跳会超过supervisor.worker.timeout.secs的设定

 

supervisor.worker.timeout.secs      

supervisor中的worker心跳超时时间,一旦超时supervisor会尝试重启worker进程

 

 

参考资料:

http://storm.apache.org/documentation/Configuration.html

分享到:
评论

相关推荐

    log4j+flume+kafka+storm

    这些配置指定了Kafka Sink的相关参数,包括Kafka Topic名称、Broker列表等。 #### 2.3 验证整合结果 重新启动Flume服务,并运行之前编写的测试类。此时,日志数据将通过Flume发送到Kafka,并可以在Kafka Consumer...

    zeromq-3.12.5.zip

    zeromq-3.12.5.tar.gz, ...在实际操作中,可能还需要根据具体环境和需求进行调整,例如配置Zookeeper、调整Storm的配置参数等。理解这些基础组件的工作原理和安装过程,对于高效地利用Storm处理实时数据流至关重要。

    大数据课程体系

    - **Storm常用组件和编程API**: - **Topology**:拓扑是Storm中的核心概念之一。 - **Spout**:数据源。 - **Bolt**:数据处理逻辑。 - **Storm分组策略(streamgroupings)**:配置不同的数据分组策略。 - **使用...

    大数据课程体系.docx

    - **Storm常用组件和编程API**:介绍Topology、Spout、Bolt等核心组件的使用方法。 - **Storm分组策略(stream groupings)**:解释不同的数据分发策略,如shuffle grouping、fields grouping等。 - **使用Storm开发...

    交换机常用命令[参照].pdf

    * 关闭广播风暴:Ruijie> en Ruijie# con Ruijie(config)# interface+ 具体接口 Ruijie(config‐if‐range)# no storm ‐control unicast Ruijie(config‐if‐range)# no storm ‐control broadcast 3.3、查看产品...

    05-端口相关配置命令.pdf

    以上知识点涵盖了配置网络设备端口的常用命令,对于网络工程师来说,了解并熟练运用这些命令对优化网络性能、提高网络可靠性至关重要。配置时应该根据实际网络环境和需求来选择适当的命令参数,以确保网络设备的高效...

    精品专题(2021-2022年收藏)Cisco设备配置命令.docx

    本篇将深入解析Cisco设备配置的常用命令,包括模式切换、配置查看、中断操作以及流量限制等方面。 一、模式切换 在Cisco设备上,操作通常涉及以下四种模式: 1. 用户模式(Router>):默认登录状态,可执行有限的...

    php_storm_settings:我的工作php风暴设置

    5. **运行/调试配置**:在`Run/Debug Configurations`中,你可以预设不同项目的运行和调试参数,包括服务器配置、环境变量等,一键启动,无需每次手动配置。 6. **键绑定与操作快捷方式**:通过`Keymap`,你可以...

    全面的Cicso交换知识精华Switching

    本文全面介绍了Cisco交换机配置的关键技术点,包括但不限于接口配置、MAC地址表、Trunk、DTP、VTP、STP及其变种、Spanning-Tree Feature、EtherChannel、Port Security、Storm Control、SPAN and RSPAN、UDLD以及...

    kafka集群.doc

    在 storm02 或 storm03 作为消费者,运行 `kafka-console-consumer.sh` 从 `mykafka` 主题消费消息,使用 `--from-beginning` 参数从头开始消费。 8. 测试。在生产者处输入消息,然后在消费者端查看是否收到这些...

    基于ANN的改进Spark系统在空管大数据处理中的应用.pdf

    这种方法能够自动调整Spark系统中庞大的配置参数,解决了手动调整参数时耗时和效率低下的问题。通过使用Dell PowerEdge T430服务器对空管大数据的五种常用不同大小的数据集进行测试,验证了该方法的有效性。研究显示...

    《大数据平台搭建与配置管理》期中试题试卷及答案.docx

    - **详细解析**:网络管理的主要任务包括监控网络状态和配置网络参数。 40. **Linux删除文件命令** - **知识点**:Linux中用于删除文件的命令。 - **详细解析**:在Linux中,`rm`命令用于删除文件。 #### 三、...

    F-Engine S3600系列 电信级以太网多业务平台命令行(CLI)手册(V2.0)

    它包括了常用的配置命令,例如退出配置模式的`exit`或`end`、显示帮助信息的`help`、配置系统信息的`hostname`、修改密码的`password`等。还有用于显示系统版本、重启设备、查看CPU和内存状态、添加用户账号等高级...

    iSpirit3224G-用户操作手册V1.pdf

    **3.3 配置STORM-CONTROL** - **3.3.1 缺省配置:** - 默认情况下可能没有启用风暴控制。 - **3.3.2 广播抑制配置:** - 控制广播流量的数量。 - 防止广播风暴导致网络拥堵。 - **3.3.3 组播抑制配置:** - ...

    Kafka视频教程-从入门到实战轻松学Kafka系统教程(13讲)

    - 创建Properties对象并配置参数。 - 使用`KafkaProducer`类创建生产者实例。 - 调用`send()`方法发送消息。 - 关闭生产者实例。 **3.2 消费者API** 消费者API用于从Kafka主题中读取消息。同样地,使用Java API...

    大数据处理效率解决方案.rar

    10. 持续监控与调优:定期监控系统的性能指标,根据实际运行情况调整配置参数,以达到最佳性能。 以上是针对大数据处理效率的一些通用解决方案。具体实施时,需要结合实际业务场景和资源状况,灵活选择和组合各种...

    大数据开发架构简述(入门级).docx

    Flume是一种高度可靠的数据传输系统,支持管道流的方式,能够方便地通过参数配置和API扩展。Kafka则是一个分布式消息队列,具备高吞吐量和持久化特性。两者结合使用,如Flume + Kafka,能够实现高效的数据摄取和传输...

    PHP安全问题:远程溢出、DoS、safe_mode绕过漏洞.pdf

    公开的攻击程序(如Packet Storm和Shadow Penguin提供的示例)展示了这一漏洞的易受攻击性,强调了升级至最新稳定版本的重要性。 **远程拒绝服务(DoS)漏洞**存在于PHP-4.2.0和PHP-4.2.1版本中,涉及对multipart/...

    Ansible学习文档

    - **常用参数**: - `backup`: 是否备份(默认不备份)。 - `content`: 直接设置文件内容。 - `dest`: 目标文件路径。 - `directory_mode`: 设置目录权限。 - `force`: 强制覆盖已有文件。 - `src`: 源文件...

    Hadoop实战(第2版)

    - **配置文件详解**:详细介绍Hadoop的关键配置文件,如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等,以及它们各自的参数含义。 - **集群管理**:涵盖如何启动和关闭Hadoop服务、监控集群状态...

Global site tag (gtag.js) - Google Analytics