Storm UI
本文主要解释下storm ui上各项属性的含义。
1. mainpage
首页主要分为3块:
a. Cluster Summary
Nimbus uptime: nimbus的启动时间
Supervisors: storm集群中supervisor的数目
used slots: 使用了的slots数
free slots: 剩余的slots数
total slots: 总的slots数
Running tasks: 运行的任务数
b. topology summary
Name: topology name
id: topology id (由storm生成)
status: topology的状态,包括(ACTIVE, INACTIVE, KILLED, REBALANCING)
uptime: topology运行的时间
num workers: 运行的workers数
num tasks: 运行的task数
c. supervisor summary
host: supervisor(主机)的主机名
uptime: supervisor启动的时间
slots: supervisor的端口数
used slots: 使用的端口数
2. topologypage
topology页面主要包括4个部分
a. topology summary(同主页)
b. topology stats
window: 时间窗口,显示10m、3h、1d和all time的运行状况
emitted: emitted tuple数
transferred: transferred tuple数, 说下与emitted的区别:如果一个task,emitted一个tuple到2个task中,则
transferred tuple数是emitted tuple数的两倍
complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间
acked: ack tuple数
failed: 失败的tuple数
c. spouts
id: spout id
parallelism: 任务数
last error: 最近的错误数,只显示最近的前200个错误
emitted, transferred, complete latency, acked和failed上面已解释
d. bolts
process latency: bolt收到一个tuple到bolt ack这个tuple的平均时间
其他参数都解释过了
还有componentpage和taskpage, 参数的解释同上。
taskpage中的Component指的是spoutid 或者 boltid, time指的是错误发生的时间,error是指错误的具体内容。
相关推荐
本篇文章将详细解析如何进行Storm的部署,包括所需的依赖RPM包以及集群搭建步骤。 首先,Storm部署前需要准备的依赖RPM包主要包括Java开发环境(JDK)、Zookeeper、Nimbus、Supervisor和UI等组件。JDK是运行Storm的...
### Storm配置项详解 #### 概述 Apache Storm是一款免费开源、分布式、高容错性的实时计算系统。Storm因其灵活性及高效性,在大数据处理领域占据了重要地位。本文将基于Storm 0.6.0版本,深入解析其核心配置项,...
18. **ui.port**:Storm UI的服务端口,用于监控和管理拓扑。 19. **drpc.servers**:DRPC服务器列表,DRPCSpout使用这些服务器进行通信。 20. **drpc.port**:Storm的DRPC服务端口。 21. **supervisor.slots....
**Storm API实现词频统计详解** 在大数据处理领域,Apache Storm是一个实时计算系统,它能够持续处理数据流,实现低延迟、高吞吐量的数据分析。在这个“Storm API实现词频统计”的案例中,我们将深入探讨如何利用...
Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...
**Storm 0.9 源码解析** Storm是一个分布式实时计算系统,它允许开发者编写“定义了永不停止的处理逻辑”的程序,这些程序可以在大规模集群上运行,以每秒处理数百万条数据的速度执行。Storm 0.9 是其较早的一个...
【Storm Webservice接口调试工具】是一款专为Web服务接口调试设计的应用程序,它以其简约而实用的界面,为开发者提供了一种比传统工具如SOAP UI更为便捷的接口测试体验。这款工具尤其适用于处理Storm相关的Web服务...
### Storm 1.0 集群搭建详解 #### 一、概述 Storm 是一个开源的分布式实时计算系统,能够处理大规模数据流。Storm 1.0 版本相较于之前的版本,在架构上进行了较大的改进,使得其在部署、管理以及性能上都有显著...
#### Storm框架详解 **Storm** 是一款强大的实时数据流处理系统,其设计目的是为了处理持续不断涌入的数据流,并将其处理后输出至数据库或其它系统。相较于 **Hadoop** 主要用于批处理,**Storm** 专注于实时处理。...
6. **配置优化**:在搭建环境中,可能需要对Storm的配置参数进行调整,如worker数量、executor线程数、心跳间隔等,以适应不同的性能需求。 7. **监控和调试**:Storm提供了一套监控工具,包括Web UI,可以查看拓扑...
16. ui.port:StormUI服务的端口。 17. drpc.servers和drpc.ports:DRPC(分布式远程过程调用)服务器列表和服务端口。 18. supervisor.slots.ports:Supervisor上能运行workers的端口列表。每个worker占用一个...
5. `jetty-6.1.26.jar`:Jetty是一个轻量级的HTTP服务器和Servlet容器,Storm可能使用它来处理内部的HTTP请求,例如通过Web UI监控拓扑状态。 6. `logback-core-1.0.13.jar`:Logback是另一个日志框架,比log4j更...
**Kafka Storm Starter Develop 深度解析** 在大数据处理领域,Kafka 和 Storm 是两个不可或缺的组件。Kafka 是一个分布式流处理平台,而 Storm 则是一个实时计算系统。当两者结合,可以构建出强大的实时数据处理...
### Storm实时计算框架详解 #### 一、Storm概述 Storm是一种分布式的实时计算框架,能够高效地处理大量的数据流,并且具有低延迟的特点。相比于传统的批处理方式,Storm提供了更实时的数据处理能力,使得它在...
Storm这款工具以其轻量级、易用性而著称,相较于传统的SOAP UI,它为开发人员和测试工程师提供了更为便捷的Web服务调用体验。 【描述】:在Web服务开发与测试过程中,有效的调用工具至关重要。"webservice可视化...
- **配置storm.yaml**:在Storm的conf目录下,编辑storm.yaml文件,配置nimbus、supervisor、zookeeper等相关参数,例如主机名、端口等。 - **安装Zookeeper**:Storm依赖Zookeeper进行集群协调,所以需要先搭建...
6. **监控与调试**:介绍JStorm提供的监控工具,如Web UI和日志,以及如何调试运行中的拓扑。 7. **实时流处理原理**:简述实时计算的基本原理,如数据窗口、状态管理和容错机制。 8. **最佳实践**:分享一些使用...
然而,Storm也有一些问题,如编程门槛较高,框架缺乏持久化存储,没有提供消息接入模块,Storm UI功能简单,跨topology的bolt复用问题,以及Nimbus单点故障和topology不支持动态部署等问题。 阿里巴巴数据平台部的...
### Storm集群安装与配置知识点详解 #### 一、概述 Storm是一个免费且开源的分布式实时计算系统,可以处理大量的实时数据流。它被设计用于在集群环境中运行,能够确保每个消息都被正确处理,并且能够自动地恢复任何...
8. **操作和监控**:Storm提供了一个Web UI,用于管理和监控运行中的拓扑,包括查看拓扑状态、节点性能指标以及错误报告等。 9. **与其他技术集成**:Storm可以与Hadoop、Cassandra、HBase等大数据存储系统集成,...