`

Storm: monitor storm with supervisor

    博客分类:
  • Solr
 
阅读更多

 

#yum install supervisor

#vi /etc/supervisord.conf

[program:storm-supervisor]
command=/opt/apache-storm-0.9.3/bin/storm  supervisor
user=root
autostart=true
autorestart=true
startsecs=10
startretries=999
log_stdout=true
log_stderr=true
logfile=/var/log/storm/supervisor.out
logfile_maxbytes=20MB
logfile_backups=10

 

#cd /opt/apache-storm-0.9.3/conf

#vi storm_env.ini 

JAVA_HOME:/opt/jdk1.7.0_51

#chkconfig supervisord on

#service supervisord start

 

#supervisorctl status

 

 

Prefrences

http://www.michael-noll.com/tutorials/running-multi-node-storm-cluster/

http://stackoverflow.com/questions/17646704/run-a-process-under-supervision-using-supervisor

分享到:
评论

相关推荐

    storm深入学习.pdf

    2. Supervisor:Storm的slave节点,负责执行任务。 3. Worker:Storm的执行单元,负责执行具体的任务。 五、Storm应用场景 Storm广泛应用于数据处理、实时计算、机器学习等领域。Storm的优点包括: 1. 高性能:...

    storm学习入门《Getting started with Storm》中英文版

    "storm学习入门《Getting started with Storm》中英文版" 指的是一个关于Apache Storm的初学者教程资源,包含了该技术的入门介绍。Apache Storm是一个开源的分布式实时计算系统,用于处理流数据,即持续不断的数据流...

    storm:storm 基本知识学习

    2. **Supervisor**:Supervisor是Storm集群的工作节点,类似于Hadoop的TaskTracker,负责管理运行在本地机器上的worker进程。 3. **Worker**:每个worker进程中运行着多个执行任务(Task)的线程,这些任务是Storm...

    docker-storm:Baqend的Apache Storm Docker映像

    Storm允许您通过命令行参数提供任何属性,如下所示: bin/storm ui \ -c storm.local.hostname="nimbus"您不仅限于字符串,还可以提供整数列表: bin/storm supervisor \ -c supervisor.slots.ports="[6700,6701]...

    Storm入门到精通

    * Supervisor:Storm 的工作节点,负责执行拓扑结构。 * Worker:Storm 的执行节点,负责执行具体的计算任务。 Storm 属性 Storm 的主要属性包括: * fault-tolerant:Storm 可以自动恢复故障节点,保证系统的高...

    Storm实战构建大数据实时计算

    《Storm实战构建大数据实时计算》一书主要涵盖了利用Apache Storm进行大数据实时处理的核心技术和实践案例。Apache Storm是一个开源的分布式实时计算系统,它允许开发者处理无界数据流,具有高吞吐量、低延迟和容错...

    kafka-storm:通过storm打印kafka消息的测试环境和代码

    nimbus :192.168.111.101 上的storm numbus VM,运行supervisor、nimbus 和storm UI worker1 :storm worker VM,在 192.168.111.102 上运行受监督的主管 Storm-code 目录包含一个用于部署和测试的简单风暴拓扑。...

    Storm配置详解

    23. supervisor.monitor.frequency.secs:Supervisor检查worker心跳的频率。 24. supervisor.enable:Supervisor是否应当运行分配给他的workers,默认为true。 25. worker.heartbeat.frequency.secs:Worker的心跳...

    Storm配置项详解.docx

    27. **supervisor.monitor.frequency.secs**:supervisor检查worker心跳的频率。 28. **worker.childopts**:worker启动时使用的JVM选项。 29. **worker.heartbeat.frequency.secs**:worker发送心跳的时间间隔。 ...

    apache-storm-2.4.0.tar.gz

    4. 使用 `bin/storm nimbus` 和 `bin/storm supervisor` 分别启动 Nimbus 和 Supervisor 服务。 5. 如果需要,启动 UI 服务 `bin/storm ui` 以监控 Storm 集群的状态。 6. 开发拓扑(Topology)并部署到集群,这通常...

    storm:冲向Mesos!

    无法通过Storm UI的链接将Supervisor日志加载到每个工作人员的Logviewer,因为在Mesos下运行时Supervisor日志是按拓扑划分的专用日志。 建造 运行下载Storm发行版,并将Storm与该框架捆绑到一个tar版本中。 STORM_...

    细细品味Storm_Storm简介及安装

    - **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...

    my-own-storm:学习Storm

    Storm的核心组件包括:Nimbus、Supervisor、Worker、Spout和Bolt。Nimbus负责任务调度,将工作分配给各个Supervisor节点。Supervisors管理运行在工作节点上的Worker进程,而每个Worker则负责运行一个或多个Tuples的...

    udacity-storm:使用 Apache Storm 课程的 Udacity 实时分析代码

    6. **Supervisor**: Supervisor 是运行在每个工作节点上的进程,负责管理其上的工作进程(Worker),并根据 Nimbus 的指示启动或停止任务。 在 Udacity 的课程中,你将学习如何使用 Java API 创建 Storm 应用程序。...

    Storm 源码分析

    ### Storm源码分析 #### 一、Storm简介与应用场景 Apache Storm是一款开源的分布式实时计算系统,它提供了简单而强大的API来定义数据流处理逻辑,同时保证了消息处理的容错性和高性能。Storm的设计目标是成为实时...

    Storm:内容改编自https

    6. **Supervisor**:Supervisors是运行在工作节点上的守护进程,它们管理着运行拓扑的worker进程。 7. **Zookeeper**:Storm依赖Zookeeper进行分布式协调,如状态管理和任务调度。 **使用Java开发Storm应用** 在...

    storm部署(包括所有依赖rpm包、集群搭建详解)

    6. **启动Supervisor**:在所有工作节点上,执行`storm supervisor`启动Supervisor服务。 7. **启动UI**:在任意节点(通常与Nimbus在同一节点)上,执行`storm ui`启动Web UI服务。可以通过浏览器访问`...

    apache-storm:学习阿帕奇风暴

    6. **Supervisor**:Supervisors是在工作节点上运行的进程,负责管理执行拓扑的worker进程。 7. **Worker**:Worker是实际执行拓扑的进程,每个Worker包含了多个执行Bolt和Spout的线程。 8. **Zookeeper**:Storm...

    storm 流式处理 安装软件(包括zookeeper,jzmq,zeroMQ,storm)

    5. **启动Storm**: 分别启动nimbus、supervisor和服务UI,可以通过脚本`bin/storm nimbus`、`bin/storm supervisor`和`bin/storm ui`来执行。 6. **验证安装**: 使用`bin/storm version`命令检查Storm是否正常运行。...

    zookeeper+storm安装包

    5. 启动Storm:执行`bin/storm nimbus`启动nimbus节点,`bin/storm supervisor`启动supervisor节点,`bin/storm ui`启动web界面。 6. 测试安装:创建一个简单的拓扑并提交到Storm,查看是否正常运行。 Zookeeper和...

Global site tag (gtag.js) - Google Analytics