- Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:
- Cluster Summary
Version: storm 版本号
Nimbus uptime: nimbus 运行时间
Supervisor:storm集群中supervisor的数目
User slots:使用的slots数Free slots:剩余的slots数
Total slots:总的slots 数(对应配置文件的supervisor.slots.ports 属性配置的端口数,集群的总和)
Executors:线程数
Tasks:任务数
- Topology summary
Name : topology 名称
Id: 系统生成的topology id
Status: 运行状态(ACTIVE, INACTIVE, KILLED, REBALANCING)
Uptime:运行时间
Num workers: 运行的 workers 数
Num Exectors: workers 运行的线程数
Num Tasks: Excetors 运行的任务数
- Supervisor summary
Id: 系统生成的 supervisor Id
Host: supervisor(主机)的主机名
Uptime:运行时间
Slots:supervisor的端口数
User slots: 使用的端口数
- Nimbus Configuration
是 nimbus 集群中的配置文件信息,不在详细解说(关键的可以在storm 安装章节查看)
2 Topology 页面
Topology 页面主要分6块:Topology summary,Topology actions,Topology stats,Spouts (All time),Bolts (All time),Topology Visualization,Topology Configuration
- Topology summary
同 首页中的 Topology summary
- Topology actions
Topology 运行状态,可以手动更改状态(ACTIVE, DEACTIVATE, KILLED, Rebalance)
- Topology stats
Window:时间窗口,显示10m、3h、1d和all time的运行状况
Emitted: emit tuple数
Transferred : transferred tuple数, 说下与emitted的区别:如果一个task,emitted一个tuple到2个task中,则transferred tuple数是emitted tuple数的两倍
complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间
Acked:成功 tuple数
Failed:失败tuple数
- Spouts (All time)
Id: spout id
Executors:线程数
Emitted: emit tuple数
Transferred : transferred tuple数,
complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间
Acked:成功 tuple数
Failed:失败tuple数
Error Host: 发生错误的机器
Error Port: 发生错误的端口号
last error: 最近的错误数
- Bolts (All time)
Execute latency(ms) : bolt 执行 execute 方法的平均时间
Executed: tuple 处理数
Process latency(ms):bolt收到一个tuple到bolt ack这个tuple的平均时间,如果没有启用Acker机制,那么Process latency的值为0。
注:其他字段都在上面讲过,就不在说明
- Topology Visualization
拓扑图展示
- Topology Configuration
配置说明,不在详解
注 spout,bolt 页面可以参考topology 页面中的 spout,bolt 中的字段说明
相关推荐
**Storm组件应用说明书** 本文档将全面介绍Apache Storm的基础应用,旨在为初学者提供一份详细的入门教程,帮助读者理解并掌握Storm在大数据流计算中的核心功能和操作步骤。Storm是一款开源的分布式实时计算系统,...
- **UI界面**: Storm 提供了一个 Web UI,展示拓扑状态、性能指标以及错误信息,方便监控和调试。 - **日志系统**: Storm 使用 Log4j 或其他日志框架记录运行日志,帮助开发者追踪和解决问题。 通过阅读和理解 ...
- **UI监控**:Storm提供了一个Web UI,可以监控拓扑的运行状态,查看节点性能,调整拓扑配置等。 通过分析和运行"storm-starter-master"中的源码,你可以了解到如何使用Storm API创建实时数据处理应用,以及如何...
可以通过Storm UI来监控拓扑的运行状态,包括任务执行情况、错误信息等。 4. **动态调整**:在运行时,可以动态调整拓扑的执行参数,如增加或减少工作节点,调整并行度等。 在"storm-test"这个文件中,很可能包含...
9. ** Storm UI**:Storm 提供了一个 Web 界面,用于监控拓扑的运行状态,查看节点性能指标,以及管理正在运行的拓扑。 10. **与其他技术集成**:Storm 可以与 Hadoop、Cassandra、HBase 等大数据技术集成,构建...
书中还会涉及Storm的监控与运维,包括如何使用Storm UI查看拓扑运行状态、如何调整拓扑参数优化性能,以及如何处理常见的运行时问题。这部分内容对于实际生产环境中部署和维护Storm拓扑至关重要。 在Storm的实战...
Storm 提供了一个基于 Web 的 UI,可以查看 Topologies 的运行状态、节点统计信息以及日志等,方便运维监控。 总结,Apache Storm 1.0.2 是一个强大的实时大数据处理工具,尤其适用于需要对海量数据进行实时分析的...
- **监控与日志**:Storm UI提供监控界面,展示拓扑状态、任务运行情况等信息;通过log4j配置,可以方便地管理和查看日志。 5. **应用场景** - **实时分析**:在广告定向、社交媒体分析等领域,实时处理用户行为...
随着 Storm 社区的发展和技术的演进,这些挑战也得到了相应的解决方案和工具,如 Storm UI 和 Storm Metrics 等,这些工具提供了对运行中的 Storm 集群状态的可视化监控和性能指标的记录,帮助用户更好地管理和优化...
- **启动Storm服务**:依次启动Zookeeper、Nimbus、Supervisor和UI服务,确保所有服务正常运行。 2. **Java客户端测试代码**: - **storm-starter**:通常,Storm的Java客户端测试代码会基于storm-starter项目,...
- Storm UI:访问`http://nimbus_host:8080`查看正在运行的Topologies、Workers、Tasks状态等。 - `storm logs`命令可以查看特定组件的日志,帮助诊断问题。 - 配置日志级别以获取更详细的调试信息。 **5. 使用...
- Storm UI提供可视化界面,用于监控拓扑性能、错误和日志。 - 工具如Log4j和JMX用于调试和优化。 12. **扩展性**: - Storm支持动态调整拓扑的并行度,以应对负载变化。 - 可与Hadoop YARN或Mesos集成,利用...
JStorm是阿里巴巴开源的一款分布式实时计算系统,它基于Apache Storm并进行了大量的优化,提供了一种高效、稳定且易用的流处理框架。JStorm 2.1.1是其一个重要的版本,此版本的API为开发者提供了丰富的功能和便利的...
- **Storm UI**: 提供了一个Web界面,用于查看拓扑的运行状态、监控性能、调试错误等。 - **Trident Debugging**: 特有的调试工具,帮助开发者追踪Trident操作的状态。 7. **社区和生态**: - strom-io有一个...
- Stream Grouping是Storm中的数据分发策略之一,常见的类型包括Shuffle Grouping、Fields Grouping等。 15. **Storm并行处理**: - Storm可以根据设置的并行度,在集群中分配相应数量的工作线程(Executor)来执行...
- FieldsGrouping按照指定字段进行分组,保证相同字段的数据分配到同一个Task中。 #### 三、判断题解析 41. **命令在前台运行** - 正确。如果命令在前台运行,则用户必须等待该命令执行完毕才能继续使用当前...
- FieldsGrouping按照指定字段分组,保证相同字段的Tuple被分配到同一个Task中。 #### 三、判断题解析 41. **命令在前台运行的影响** - 如果命令在前台运行,那么用户确实不能在该进程结束前继续使用当前的shell...
- **详细解析**:Storm提供了多种StreamGrouping方式,例如FieldGrouping、DirectGrouping等,但不包括RandomGrouping。FieldGrouping根据指定字段对数据流进行分组,DirectGrouping允许直接指定目标任务,而...
常见的分组方式有:随机分组(Shuffle Grouping)、字段分组(Field Grouping)、全局分组(Global Grouping)和全连接分组(All Grouping)。 5. **Tuples**:是Strom中数据的基本单元,由一组键值对构成,可以...
Atlas 提供精细的数据治理功能,如数据血缘追踪,能够追踪到字段级别,这是其他框架难以企及的。同时,它还提供了权限管理,确保数据访问的安全性和合规性。通过与Apache Ranger的集成,可以实现元数据驱动的安全...