`
wangmengbk
  • 浏览: 292151 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Storm ui 展示字段说明

阅读更多
  1. Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:

  •  Cluster Summary

Version: storm 版本号

Nimbus uptime: nimbus 运行时间

Supervisor:storm集群中supervisor的数目

User slots:使用的slots数Free slots:剩余的slots数

Total slots:总的slots 数(对应配置文件的supervisor.slots.ports 属性配置的端口数,集群的总和)

Executors:线程数

Tasks:任务数

 

  • Topology summary

Name : topology 名称

Id: 系统生成的topology id

Status: 运行状态(ACTIVE, INACTIVE, KILLED, REBALANCING)

Uptime:运行时间

Num workers: 运行的 workers 数

Num Exectors: workers 运行的线程数

Num Tasks: Excetors 运行的任务数

 

  • Supervisor summary

Id: 系统生成的 supervisor Id

Host: supervisor(主机)的主机名

Uptime:运行时间

Slots:supervisor的端口数

User slots: 使用的端口数

 

  • Nimbus Configuration

是 nimbus 集群中的配置文件信息,不在详细解说(关键的可以在storm 安装章节查看)

 

2 Topology 页面

Topology 页面主要分6块:Topology summary,Topology actions,Topology stats,Spouts (All time),Bolts (All time),Topology Visualization,Topology Configuration

 

  •  Topology summary

同 首页中的 Topology summary

 

  • Topology actions

Topology 运行状态,可以手动更改状态(ACTIVE, DEACTIVATE, KILLED, Rebalance)

 

  •  Topology stats

Window:时间窗口,显示10m、3h、1d和all time的运行状况

Emitted: emit tuple数

Transferred :  transferred tuple数, 说下与emitted的区别:如果一个task,emitted一个tuple到2个task中,则transferred tuple数是emitted tuple数的两倍

complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间

Acked:成功 tuple数

Failed:失败tuple数

 

  • Spouts (All time)

Id: spout id

Executors:线程数

Emitted: emit tuple数

Transferred :  transferred tuple数,

complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间

Acked:成功 tuple数

Failed:失败tuple数

Error Host: 发生错误的机器

Error Port: 发生错误的端口号

last error: 最近的错误数

 

  • Bolts (All time)

Execute latency(ms) : bolt 执行 execute 方法的平均时间

Executed: tuple 处理数

Process latency(ms):bolt收到一个tuple到bolt ack这个tuple的平均时间,如果没有启用Acker机制,那么Process latency的值为0。

注:其他字段都在上面讲过,就不在说明

 

  • Topology Visualization

拓扑图展示

 

  • Topology Configuration

配置说明,不在详解

 

注 spout,bolt 页面可以参考topology 页面中的 spout,bolt 中的字段说明

 

 

 

 

  • 大小: 54.9 KB
  • 大小: 63.9 KB
分享到:
评论

相关推荐

    storm组件应用说明书

    **Storm组件应用说明书** 本文档将全面介绍Apache Storm的基础应用,旨在为初学者提供一份详细的入门教程,帮助读者理解并掌握Storm在大数据流计算中的核心功能和操作步骤。Storm是一款开源的分布式实时计算系统,...

    storm0.9-源码包

    - **UI界面**: Storm 提供了一个 Web UI,展示拓扑状态、性能指标以及错误信息,方便监控和调试。 - **日志系统**: Storm 使用 Log4j 或其他日志框架记录运行日志,帮助开发者追踪和解决问题。 通过阅读和理解 ...

    storm的测试源码

    - **UI监控**:Storm提供了一个Web UI,可以监控拓扑的运行状态,查看节点性能,调整拓扑配置等。 通过分析和运行"storm-starter-master"中的源码,你可以了解到如何使用Storm API创建实时数据处理应用,以及如何...

    Storm编程实例

    可以通过Storm UI来监控拓扑的运行状态,包括任务执行情况、错误信息等。 4. **动态调整**:在运行时,可以动态调整拓扑的执行参数,如增加或减少工作节点,调整并行度等。 在"storm-test"这个文件中,很可能包含...

    从零开始学Storm+第2版(2016).pdf

    9. ** Storm UI**:Storm 提供了一个 Web 界面,用于监控拓扑的运行状态,查看节点性能指标,以及管理正在运行的拓扑。 10. **与其他技术集成**:Storm 可以与 Hadoop、Cassandra、HBase 等大数据技术集成,构建...

    从零开始学习storm最新版

    书中还会涉及Storm的监控与运维,包括如何使用Storm UI查看拓扑运行状态、如何调整拓扑参数优化性能,以及如何处理常见的运行时问题。这部分内容对于实际生产环境中部署和维护Storm拓扑至关重要。 在Storm的实战...

    apache-storm-1.0.2.tar.gz

    Storm 提供了一个基于 Web 的 UI,可以查看 Topologies 的运行状态、节点统计信息以及日志等,方便运维监控。 总结,Apache Storm 1.0.2 是一个强大的实时大数据处理工具,尤其适用于需要对海量数据进行实时分析的...

    apache-storm-0.9.3

    - **监控与日志**:Storm UI提供监控界面,展示拓扑状态、任务运行情况等信息;通过log4j配置,可以方便地管理和查看日志。 5. **应用场景** - **实时分析**:在广告定向、社交媒体分析等领域,实时处理用户行为...

    论Storm分布式实时计算工具.pdf

    随着 Storm 社区的发展和技术的演进,这些挑战也得到了相应的解决方案和工具,如 Storm UI 和 Storm Metrics 等,这些工具提供了对运行中的 Storm 集群状态的可视化监控和性能指标的记录,帮助用户更好地管理和优化...

    storm集群搭建Java客户端测试代码.zip

    - **启动Storm服务**:依次启动Zookeeper、Nimbus、Supervisor和UI服务,确保所有服务正常运行。 2. **Java客户端测试代码**: - **storm-starter**:通常,Storm的Java客户端测试代码会基于storm-starter项目,...

    apache-storm-0.9.6.tar及使用说明

    - Storm UI:访问`http://nimbus_host:8080`查看正在运行的Topologies、Workers、Tasks状态等。 - `storm logs`命令可以查看特定组件的日志,帮助诊断问题。 - 配置日志级别以获取更详细的调试信息。 **5. 使用...

    Real-Time-Analytics-with-Apache-Storm

    - Storm UI提供可视化界面,用于监控拓扑性能、错误和日志。 - 工具如Log4j和JMX用于调试和优化。 12. **扩展性**: - Storm支持动态调整拓扑的并行度,以应对负载变化。 - 可与Hadoop YARN或Mesos集成,利用...

    JStorm 2.1.1 API

    JStorm是阿里巴巴开源的一款分布式实时计算系统,它基于Apache Storm并进行了大量的优化,提供了一种高效、稳定且易用的流处理框架。JStorm 2.1.1是其一个重要的版本,此版本的API为开发者提供了丰富的功能和便利的...

    stroem-io_github_io-源码.rar

    - **Storm UI**: 提供了一个Web界面,用于查看拓扑的运行状态、监控性能、调试错误等。 - **Trident Debugging**: 特有的调试工具,帮助开发者追踪Trident操作的状态。 7. **社区和生态**: - strom-io有一个...

    《大数据平台搭建与配置管理》期中试题试卷及答案2套AB卷.docx

    - Stream Grouping是Storm中的数据分发策略之一,常见的类型包括Shuffle Grouping、Fields Grouping等。 15. **Storm并行处理**: - Storm可以根据设置的并行度,在集群中分配相应数量的工作线程(Executor)来执行...

    《大数据平台搭建与配置管理》期末试题试卷及答案AB卷2套.docx

    - FieldsGrouping按照指定字段进行分组,保证相同字段的数据分配到同一个Task中。 #### 三、判断题解析 41. **命令在前台运行** - 正确。如果命令在前台运行,则用户必须等待该命令执行完毕才能继续使用当前...

    《大数据平台搭建与配置管理》期末试题试卷及答案.docx

    - FieldsGrouping按照指定字段分组,保证相同字段的Tuple被分配到同一个Task中。 #### 三、判断题解析 41. **命令在前台运行的影响** - 如果命令在前台运行,那么用户确实不能在该进程结束前继续使用当前的shell...

    《大数据平台搭建与配置管理》期中试题试卷及答案.docx

    - **详细解析**:Storm提供了多种StreamGrouping方式,例如FieldGrouping、DirectGrouping等,但不包括RandomGrouping。FieldGrouping根据指定字段对数据流进行分组,DirectGrouping允许直接指定目标任务,而...

    Strom流处理的基础知识总结

    常见的分组方式有:随机分组(Shuffle Grouping)、字段分组(Field Grouping)、全局分组(Global Grouping)和全连接分组(All Grouping)。 5. **Tuples**:是Strom中数据的基本单元,由一组键值对构成,可以...

    Apache Hadoop---Atlas.docx

    Atlas 提供精细的数据治理功能,如数据血缘追踪,能够追踪到字段级别,这是其他框架难以企及的。同时,它还提供了权限管理,确保数据访问的安全性和合规性。通过与Apache Ranger的集成,可以实现元数据驱动的安全...

Global site tag (gtag.js) - Google Analytics