本地起了namenode以后就会注册一些Metrics 到本地的MBeanServer上去,这样你随时可以查看当前namenode上那些Metrics状态了,例如NamenodeActivity 和RpcActivity等等。
0.20.2版本的hadoop还没提供原生的访问jmx的接口出来,不过这个倒是留了一些可配置参数在hadoop-env.sh里,例如jmxremote的port,这里注意port必须要不一样,因为每个配置都是对应的一个java进程而言,每个端口只能绑定一个进程,其实如果用 HtmlAdaptorServer这样的方式会更加方便的,只是对于权限的控制没有做。
如果真的是需要访问多个机器上的,建议自己写个jmx的webconsole就好了,或者借助开源的也有很多方案。
metrics放在jmx上的优点是可以实时看到当前的状态,缺点是没有历史数据的统计等,在前面的blog里我有列出hadoop默认的metrics配置,在注释里有关于统计信息持久化的配置,例如每隔多久就写入到文件中去,这个对于分析趋势来说是个很不错的数据,不管是实时还是统计主要看想解决什么问题才行。
在新版本的hadoop 0.21.0中提供了jmx原生访问支持,不过是基于cmd的,这对于服务器来说没浏览器的情况下要方便多了(其实自己写个main函数也可以搞定,哈哈)
https://issues.apache.org/jira/browse/HADOOP-4756
更多信息请查看 java进阶网 http://www.javady.com
分享到:
相关推荐
在本实战中,我们将深入探讨如何利用JMX对HBase和Hadoop进行监控,以确保系统的稳定性和性能。 首先,我们需要理解HBase。HBase是一个基于Google的Bigtable设计的开源NoSQL数据库,它运行在Hadoop之上,提供高度可...
Prometheus通过jmx_exporter这样的插件可以与JMX接口交互,收集Hadoop组件的运行时信息,如CPU使用率、内存占用、网络流量等。 Hadoop作为大数据处理的核心,其组件包括HDFS(Hadoop Distributed File System)、...
实战开发通过jmx获取HBase运行时数据,监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...
org.apache.hadoop.jmx org.apache.hadoop.lib.lang org.apache.hadoop.lib.server org.apache.hadoop.lib.service org.apache.hadoop.lib.service.hadoop org.apache.hadoop.lib.service.instrumentation org...
同时,利用Hadoop自带的监控工具(如JMX、Web UI)监控集群状态。 10. **安全与高可用**:在生产环境中,通常需要启用Hadoop的安全模式,如Kerberos认证,以及设置高可用的NameNode和ResourceManager,以保证服务的...
例如,使用JMX监控工具监控Hadoop和HBase集群,可以帮助运维人员实时了解集群状态,及时发现并解决问题。 在Hadoop的学习过程中,理解并应用其生态系统中的其他工具也是不可或缺的。例如,ZooKeeper是一个分布式...
- **日志与调试工具**:如Hadoop的日志框架Log4j和JMX监控,帮助开发者诊断问题。 5. **Hadoop生态与扩展** - **Hadoop与其他组件的集成**:如Spark、Flink、Hive、Pig等,构建大数据处理流水线。 - **Hadoop...
为了实现这些功能,你需要配置Grafana的数据源(可能是Prometheus或JMX Exporter等),将Hadoop组件的日志和指标数据暴露出来。然后,导入提供的模板文件,调整配置以匹配你的环境。一旦设置完成,Grafana将成为你...
- **监控和调优**:使用Hadoop自带的监控工具,如JMX,监控系统性能,并根据需求进行调优。 7. **其他组件**:Hadoop生态系统还包括HBase、Spark、Hive等,它们可以与Hadoop配合使用,提供更丰富的数据分析功能。 ...
7. **http**: 这里包含了HTTP和Web服务相关的代码,例如Hadoop的WebUI(WebHDFS)和JMX监控接口,它们允许用户通过Web浏览器或HTTP请求来管理和监控Hadoop集群。 8. **Hadoop源码分析**:通过对这些源码的学习,...
此外,还有监控相关组件,如JMX接口,允许管理员通过JMX工具监控Hadoop集群的性能和状态。 6. **安全和认证**:Hadoop的安全机制,如Kerberos认证,其相关的配置和API也包含在share包中,使得集群能够实现安全的...
10. **监控与日志**:Hadoop提供了一系列的监控工具,如JMX、Web UI,以及日志文件,用于检查集群状态、性能指标和诊断问题。 11. **Hadoop生态**:Hadoop生态还包括许多其他项目,如Hive(SQL-like查询工具)、Pig...
Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin ...
- 调试工具,如Hadoop的日志系统和JMX监控,可以帮助定位和解决问题。 6. 性能优化 - 通过对源码的理解,可以针对性地调整参数,优化数据读写速度、内存使用和CPU利用率。 - 可以针对特定业务场景优化MapReduce...
- 连接到Hadoop集群的管理接口(如HTTP或JMX端口)。 - 使用Hadoop的API或命令行工具收集信息。 - 分析收集到的数据,确定系统是否运行正常。 - 返回Nagios兼容的状态码和警报信息。 通过这些Python脚本,管理员...
Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 ...
- **JMX (Java Management Extensions)**:监控Hadoop集群的健康状况。 #### 十一、推荐阅读 - **《Hadoop权威指南》**:全面介绍Hadoop的技术细节和最佳实践。 - **Apache官方网站**:获取最新的文档和技术更新。 ...
HBase提供了丰富的监控工具,如JMX、Web UI,可以实时查看集群状态、Region分布、请求延迟等。针对性能调优,可以调整Region大小、优化数据模型、合理划分RowKey等。 总结,HBase 0.98.12.1是Hadoop1生态中的关键...
- **JMX端口冲突**:NameNode的JMX端口需要配置成不同的值,以避免冲突。 在配置过程中,建议遵循以下步骤: 1. 全面了解Hadoop HA的原理和组件。 2. 使用模板创建配置文件,并在所有节点上应用。 3. 使用`hdfs ...