提交topology成功后,发现运行不正常
- 验证topology提交成功:打开nimbus ui,看看提交的topology是否存在
- 检查自己的topology,在ui中点击自己的topology后查看spout是否有emit计数,如果有,那么storm集群ok,如果不正常,那是程序的问题
- 在ui中看看是否有可用的supervisor
- 在ui中看是否有free slot
- 在ui中检查自己的topology,看看是否显示了spout和bolt运行在哪儿,如果没有说明根本没起来,如果重启集群后,依然无法起来,那么是你的程序问题
程序问题排查
- submit日志在nimbus.log
- 生成work命令行的日志输出在supervisor.log
- 程序运行时的日志在work-xxx.log
相关推荐
【标题】"storm提交topology的过程"涉及到的是Apache Storm这一分布式实时计算系统中的核心操作——部署和运行流处理任务,即topology。Apache Storm被广泛应用于实时数据处理、在线机器学习、持续计算以及大规模...
由于提供的信息中并没有实际的电子书内容,而仅仅是重复的广告信息和联系QQ,这导致无法生成具体的知识点。...通过掌握以上知识点,可以让Storm集群在各种企业环境中高效稳定地运行,同时快速响应各种业务需求的变化。
7. **监控与管理**:Storm提供了Web UI,用于监控拓扑的运行状态,查看每组件的处理速度,以及故障排查。 在提供的文件名“storm-book-examples-ch02-getting_started-8e42636”中,我们可以推断这是某个关于Storm...
7. **监控和调试**:通过 Storm UI 监控 topology 的运行状态,进行必要的性能调优和错误排查。 总之,"kafka-storm-starter-develop" 是一个很好的起点,为开发者提供了实现 Kafka 和 Storm 集成的基础。通过这个...
最后,监控和调试也是Storm使用过程中不可或缺的部分。Storm提供了丰富的监控工具和API,例如Web UI和JMX接口,可以查看拓扑状态、节点性能、错误日志等信息。在“stormdemo”中,我们应学会如何利用这些工具进行...
第3章深入讲解了Storm的基本概念,同时实现一个Topology运行;第4章和第5章阐述了Storm的并发度、可靠处理的特性;第6章~第8章详细而系统地讲解了几个高级特性:事务、DRPC和Trident;第9章以实例的方式讲解了Storm...
3. **Topology**:拓扑结构,定义了Spout和Bolt之间的数据流关系,是Storm程序的基本执行单元。 4. **Stream Groupings**:数据分发策略,决定了Bolt如何接收来自Spout的数据。 在描述中提到的“大数据相关代码”,...
4. **安装与配置**:书中会详细介绍如何在多节点集群上安装和配置Storm,包括设置Zookeeper、配置Nimbus和Supervisor、创建Storm Topology等步骤。 5. **开发实践**:使用Java或Clojure编写Spouts和Bolts,以及如何...
1. **Storm核心概念**:包括Spouts(数据源)、Bolts(处理逻辑)、Topology(任务拓扑结构)以及Stream Groupings(数据分发策略)等。 2. **故障排查与调试**:如何通过日志分析、监控工具(如Ganglia、Zabbix)...
在实际操作中,当 topology 运行时,可以在 `/var/log/storm/workers-artifacts` 路径下找到 worker 节点的日志文件。例如,当 `worker.log` 文件达到 100MB 时,它会被重命名并压缩为 `worker.log.7.gz`,然后旧的 ...
Apache Storm的核心概念是拓扑(Topology),它由 bolts(处理组件)和 spouts(数据源)组成。Bolts 执行业务逻辑,而 Spouts 生成数据流。这些组件通过流(Stream)连接,形成一个有向无环图(DAG),在集群中...
拓扑的配置文件(如`topology.yaml`或`storm.yaml`)会指定Spout和Bolt的类型,以及它们之间的连接关系。 四、运行与调试 为了运行这个示例项目,首先需要解压"storm-word-count-demo4.zip",然后使用Storm命令行...
Storm的核心概念包括:拓扑(Topology)、工作者(Worker)、任务(Task)和 bolts(处理逻辑)。它的灵活性和可扩展性使其成为实时数据分析和处理的理想选择。 2. **Apache Kafka**: Kafka是一个高可用、高性能...
4. **Nimbus**:类似于Hadoop的JobTracker,负责任务调度和资源分配,监控拓扑状态,确保任务的正常运行。 5. **Supervisor**:运行在每个节点上的服务,负责接收Nimbus的指令,启动或停止Worker进程。 6. **...
在这个场景中,Storm被用作处理大规模实时数据流的平台,而JavaScript可能是实现Storm拓扑(topology)的编程语言。 Apache Storm是一个分布式实时计算系统,它能够连续处理数据流,并在数据到达时立即进行计算,而...
在分布式计算领域,JStorm是一个强大的实时计算系统,由阿里巴巴开源,基于Apache Storm,专为大数据实时处理而设计。它以其高可用性、高性能和低延迟著称,广泛应用于互联网行业的实时数据分析。本文将深入探讨...