`

storm ui 参数详解

 
阅读更多

Storm UI

本文主要解释下storm ui上各项属性的含义。

1. mainpage

    首页主要分为3块:

    a. Cluster Summary

    Nimbus uptime: nimbus的启动时间

    Supervisors: storm集群中supervisor的数目

    used slots: 使用了的slots数

    free slots: 剩余的slots数

    total slots: 总的slots数

    Running tasks: 运行的任务数

    b. topology summary

    Name: topology name

    id: topology id (由storm生成)

    status: topology的状态,包括(ACTIVE, INACTIVE, KILLED, REBALANCING)

    uptime: topology运行的时间

    num workers: 运行的workers数

    num tasks: 运行的task数

    c. supervisor summary

    host: supervisor(主机)的主机名

    uptime: supervisor启动的时间

    slots: supervisor的端口数

    used slots: 使用的端口数

 

 2. topologypage

   topology页面主要包括4个部分

   a. topology summary(同主页)

   b. topology stats

   window: 时间窗口,显示10m、3h、1d和all time的运行状况

   emitted: emitted tuple数

   transferred: transferred tuple数, 说下与emitted的区别:如果一个task,emitted一个tuple到2个task中,则

                       transferred tuple数是emitted tuple数的两倍

   complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间

   acked: ack tuple数

   failed: 失败的tuple数

   c. spouts

   id: spout id

   parallelism: 任务数

   last error: 最近的错误数,只显示最近的前200个错误

   emitted, transferred, complete latency, acked和failed上面已解释

   d. bolts

   process latency:   bolt收到一个tuple到bolt ack这个tuple的平均时间

   其他参数都解释过了

 

   还有componentpage和taskpage, 参数的解释同上。

   taskpage中的Component指的是spoutid 或者 boltid, time指的是错误发生的时间,error是指错误的具体内容。

分享到:
评论

相关推荐

    storm部署(包括所有依赖rpm包、集群搭建详解)

    本篇文章将详细解析如何进行Storm的部署,包括所需的依赖RPM包以及集群搭建步骤。 首先,Storm部署前需要准备的依赖RPM包主要包括Java开发环境(JDK)、Zookeeper、Nimbus、Supervisor和UI等组件。JDK是运行Storm的...

    Storm配置项详解

    ### Storm配置项详解 #### 概述 Apache Storm是一款免费开源、分布式、高容错性的实时计算系统。Storm因其灵活性及高效性,在大数据处理领域占据了重要地位。本文将基于Storm 0.6.0版本,深入解析其核心配置项,...

    Storm配置项详解.docx

    18. **ui.port**:Storm UI的服务端口,用于监控和管理拓扑。 19. **drpc.servers**:DRPC服务器列表,DRPCSpout使用这些服务器进行通信。 20. **drpc.port**:Storm的DRPC服务端口。 21. **supervisor.slots....

    Storm API实现词频统计

    **Storm API实现词频统计详解** 在大数据处理领域,Apache Storm是一个实时计算系统,它能够持续处理数据流,实现低延迟、高吞吐量的数据分析。在这个“Storm API实现词频统计”的案例中,我们将深入探讨如何利用...

    storm集群部署和配置过程详解

    Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...

    storm0.9-源码包

    **Storm 0.9 源码解析** Storm是一个分布式实时计算系统,它允许开发者编写“定义了永不停止的处理逻辑”的程序,这些程序可以在大规模集群上运行,以每秒处理数百万条数据的速度执行。Storm 0.9 是其较早的一个...

    Storm-webservice接口调试工具

    【Storm Webservice接口调试工具】是一款专为Web服务接口调试设计的应用程序,它以其简约而实用的界面,为开发者提供了一种比传统工具如SOAP UI更为便捷的接口测试体验。这款工具尤其适用于处理Storm相关的Web服务...

    storm1.0 搭建

    ### Storm 1.0 集群搭建详解 #### 一、概述 Storm 是一个开源的分布式实时计算系统,能够处理大规模数据流。Storm 1.0 版本相较于之前的版本,在架构上进行了较大的改进,使得其在部署、管理以及性能上都有显著...

    storm与spark简介

    #### Storm框架详解 **Storm** 是一款强大的实时数据流处理系统,其设计目的是为了处理持续不断涌入的数据流,并将其处理后输出至数据库或其它系统。相较于 **Hadoop** 主要用于批处理,**Storm** 专注于实时处理。...

    批量下载】storm环境搭建v1等.zip

    6. **配置优化**:在搭建环境中,可能需要对Storm的配置参数进行调整,如worker数量、executor线程数、心跳间隔等,以适应不同的性能需求。 7. **监控和调试**:Storm提供了一套监控工具,包括Web UI,可以查看拓扑...

    Storm配置详解

    16. ui.port:StormUI服务的端口。 17. drpc.servers和drpc.ports:DRPC(分布式远程过程调用)服务器列表和服务端口。 18. supervisor.slots.ports:Supervisor上能运行workers的端口列表。每个worker占用一个...

    storm所需jar包

    5. `jetty-6.1.26.jar`:Jetty是一个轻量级的HTTP服务器和Servlet容器,Storm可能使用它来处理内部的HTTP请求,例如通过Web UI监控拓扑状态。 6. `logback-core-1.0.13.jar`:Logback是另一个日志框架,比log4j更...

    kafka-storm-starter-develop

    **Kafka Storm Starter Develop 深度解析** 在大数据处理领域,Kafka 和 Storm 是两个不可或缺的组件。Kafka 是一个分布式流处理平台,而 Storm 则是一个实时计算系统。当两者结合,可以构建出强大的实时数据处理...

    storm实时计算

    ### Storm实时计算框架详解 #### 一、Storm概述 Storm是一种分布式的实时计算框架,能够高效地处理大量的数据流,并且具有低延迟的特点。相比于传统的批处理方式,Storm提供了更实时的数据处理能力,使得它在...

    webservice调用工具storm

    Storm这款工具以其轻量级、易用性而著称,相较于传统的SOAP UI,它为开发人员和测试工程师提供了更为便捷的Web服务调用体验。 【描述】:在Web服务开发与测试过程中,有效的调用工具至关重要。"webservice可视化...

    storm集群搭建Java客户端测试代码.zip

    - **配置storm.yaml**:在Storm的conf目录下,编辑storm.yaml文件,配置nimbus、supervisor、zookeeper等相关参数,例如主机名、端口等。 - **安装Zookeeper**:Storm依赖Zookeeper进行集群协调,所以需要先搭建...

    jstorm storm入门demo

    6. **监控与调试**:介绍JStorm提供的监控工具,如Web UI和日志,以及如何调试运行中的拓扑。 7. **实时流处理原理**:简述实时计算的基本原理,如数据窗口、状态管理和容错机制。 8. **最佳实践**:分享一些使用...

    基于storm的实时计算架构

    然而,Storm也有一些问题,如编程门槛较高,框架缺乏持久化存储,没有提供消息接入模块,Storm UI功能简单,跨topology的bolt复用问题,以及Nimbus单点故障和topology不支持动态部署等问题。 阿里巴巴数据平台部的...

    storm集群安装

    ### Storm集群安装与配置知识点详解 #### 一、概述 Storm是一个免费且开源的分布式实时计算系统,可以处理大量的实时数据流。它被设计用于在集群环境中运行,能够确保每个消息都被正确处理,并且能够自动地恢复任何...

    基于Java的开放实时数据处理平台 Twitter Storm.zip

    8. **操作和监控**:Storm提供了一个Web UI,用于管理和监控运行中的拓扑,包括查看拓扑状态、节点性能指标以及错误报告等。 9. **与其他技术集成**:Storm可以与Hadoop、Cassandra、HBase等大数据存储系统集成,...

Global site tag (gtag.js) - Google Analytics