`

hadoop jmx

Hadoop浏览器ApacheAccessBlog 
阅读更多

本地起了namenode以后就会注册一些Metrics 到本地的MBeanServer上去，这样你随时可以查看当前namenode上那些Metrics状态了，例如NamenodeActivity 和RpcActivity等等。

 

0.20.2版本的hadoop还没提供原生的访问jmx的接口出来，不过这个倒是留了一些可配置参数在hadoop-env.sh里，例如jmxremote的port，这里注意port必须要不一样，因为每个配置都是对应的一个java进程而言，每个端口只能绑定一个进程，其实如果用  HtmlAdaptorServer这样的方式会更加方便的，只是对于权限的控制没有做。

如果真的是需要访问多个机器上的，建议自己写个jmx的webconsole就好了，或者借助开源的也有很多方案。

 

metrics放在jmx上的优点是可以实时看到当前的状态，缺点是没有历史数据的统计等，在前面的blog里我有列出hadoop默认的metrics配置，在注释里有关于统计信息持久化的配置，例如每隔多久就写入到文件中去，这个对于分析趋势来说是个很不错的数据，不管是实时还是统计主要看想解决什么问题才行。

 

在新版本的hadoop 0.21.0中提供了jmx原生访问支持，不过是基于cmd的，这对于服务器来说没浏览器的情况下要方便多了（其实自己写个main函数也可以搞定，哈哈）

Create a command line tool to access JMX exported properties from a NameNode server

https://issues.apache.org/jira/browse/HADOOP-4756

分享到：
| jps could not synchronize with target
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hbase和Hadoop JMX监控实战

    在本实战中，我们将深入探讨如何利用JMX对HBase和Hadoop进行监控，以确保系统的稳定性和性能。 首先，我们需要理解HBase。HBase是一个基于Google的Bigtable设计的开源NoSQL数据库，它运行在Hadoop之上，提供高度可...

    prometheus grafana 基于开源监控apache Hadoop模板大全

    Prometheus通过jmx_exporter这样的插件可以与JMX接口交互，收集Hadoop组件的运行时信息，如CPU使用率、内存占用、网络流量等。 Hadoop作为大数据处理的核心，其组件包括HDFS（Hadoop Distributed File System）、...

    Hbase+Spring boot实战分布式文件存储

    实战开发通过jmx获取HBase运行时数据，监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...

    hadoop0.23.9离线api

    org.apache.hadoop.jmx org.apache.hadoop.lib.lang org.apache.hadoop.lib.server org.apache.hadoop.lib.service org.apache.hadoop.lib.service.hadoop org.apache.hadoop.lib.service.instrumentation org...

    hadoop-3.2.2.tar.gz

    同时，利用Hadoop自带的监控工具（如JMX、Web UI）监控集群状态。 10. **安全与高可用**：在生产环境中，通常需要启用Hadoop的安全模式，如Kerberos认证，以及设置高可用的NameNode和ResourceManager，以保证服务的...

    【推荐】大数据时代，你不得不知的Hadoop使用技巧

    例如，使用JMX监控工具监控Hadoop和HBase集群，可以帮助运维人员实时了解集群状态，及时发现并解决问题。 在Hadoop的学习过程中，理解并应用其生态系统中的其他工具也是不可或缺的。例如，ZooKeeper是一个分布式...

    hadoop-3.1.3-src.tar.gz

    - **日志与调试工具**：如Hadoop的日志框架Log4j和JMX监控，帮助开发者诊断问题。 5. **Hadoop生态与扩展** - **Hadoop与其他组件的集成**：如Spark、Flink、Hive、Pig等，构建大数据处理流水线。 - **Hadoop...

    hadoop-3.3.1.tar.gz

    - **监控和调优**：使用Hadoop自带的监控工具，如JMX，监控系统性能，并根据需求进行调优。 7. **其他组件**：Hadoop生态系统还包括HBase、Spark、Hive等，它们可以与Hadoop配合使用，提供更丰富的数据分析功能。 ...

    基于hadoop监控的grafana模板

    为了实现这些功能，你需要配置Grafana的数据源（可能是Prometheus或JMX Exporter等），将Hadoop组件的日志和指标数据暴露出来。然后，导入提供的模板文件，调整配置以匹配你的环境。一旦设置完成，Grafana将成为你...

    hadoop 1.2.1核心源码

    7. **http**: 这里包含了HTTP和Web服务相关的代码，例如Hadoop的WebUI（WebHDFS）和JMX监控接口，它们允许用户通过Web浏览器或HTTP请求来管理和监控Hadoop集群。 8. **Hadoop源码分析**：通过对这些源码的学习，...

    hadoop工具包中的share包

    此外，还有监控相关组件，如JMX接口，允许管理员通过JMX工具监控Hadoop集群的性能和状态。 6. **安全和认证**：Hadoop的安全机制，如Kerberos认证，其相关的配置和API也包含在share包中，使得集群能够实现安全的...

    hadoop1.0.0.tar.gz

    10. **监控与日志**：Hadoop提供了一系列的监控工具，如JMX、Web UI，以及日志文件，用于检查集群状态、性能指标和诊断问题。 11. **Hadoop生态**：Hadoop生态还包括许多其他项目，如Hive（SQL-like查询工具）、Pig...

    Hadoop权威指南 第二版(中文版)

    　Java管理扩展(JMX) 　维护 　日常管理过程 　委任节点和解除节点 　升级 第11章 Pig简介 　安装与运行Pig 　执行类型 　运行Pig程序 　Grunt 　Pig Latin编辑器 　示例 　生成示例 　与数据库比较 　PigLatin 　...

    hadoop 2.5.2 源码

    - 调试工具，如Hadoop的日志系统和JMX监控，可以帮助定位和解决问题。 6. 性能优化 - 通过对源码的理解，可以针对性地调整参数，优化数据读写速度、内存使用和CPU利用率。 - 可以针对特定业务场景优化MapReduce...

    用python编写nagios hadoop监控脚本

    - 连接到Hadoop集群的管理接口（如HTTP或JMX端口）。 - 使用Hadoop的API或命令行工具收集信息。 - 分析收集到的数据，确定系统是否运行正常。 - 返回Nagios兼容的状态码和警报信息。 通过这些Python脚本，管理员...

    Hadoop权威指南（中文版）2015上传.rar

    Java管理扩展（JMX） 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 ...

    hadoop原理介绍

    - **JMX (Java Management Extensions)**：监控Hadoop集群的健康状况。 #### 十一、推荐阅读 - **《Hadoop权威指南》**：全面介绍Hadoop的技术细节和最佳实践。 - **Apache官方网站**：获取最新的文档和技术更新。 ...

    hbase-0.98.12.1-hadoop1-bin.tar.gz

    HBase提供了丰富的监控工具，如JMX、Web UI，可以实时查看集群状态、Region分布、请求延迟等。针对性能调优，可以调整Region大小、优化数据模型、合理划分RowKey等。 总结，HBase 0.98.12.1是Hadoop1生态中的关键...

    配hadoopHA最怕就是配置文件错了

    - **JMX端口冲突**：NameNode的JMX端口需要配置成不同的值，以避免冲突。 在配置过程中，建议遵循以下步骤： 1. 全面了解Hadoop HA的原理和组件。 2. 使用模板创建配置文件，并在所有节点上应用。 3. 使用`hdfs ...

Magicbox
Global site tag (gtag.js) - Google Analytics