`

Hadoop JMX

阅读更多

1.修改配置开发JMX端口

假设hadoophadoop-0.20.0)安装目录用$hadoop_home表示。修改$hadoop_home/conf/hadoop_env.sh配置文件,修改之处如下:

 

# Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="-Djava.rmi.server.hostname=10.132.30.46 \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.access.file=$HADOOP_CONF_DIR\jmxremote.access \
-Dcom.sun.management.jmxremote.password.file=$HADOOP_CONF_DIR\jmxremote.password"

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8004"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8005"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS -Dcom.sun.management.jmxremote.port=8006"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS -Dcom.sun.management.jmxremote.port=8007"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS -Dcom.sun.management.jmxremote.port=8008"
export HADOOP_TASKTRACKER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8009"
 

2.执行$hadoop_home/bin/stop-all.shstart-all.sh,进行重启。

 

3. 通过jconsole连接JMX端口,进行测试。

 

分享到:
评论
2 楼 biyahui 2015-12-27  
1 楼 biyahui 2015-12-27  
师大撒

相关推荐

    Hbase和Hadoop JMX监控实战

    在本实战中,我们将深入探讨如何利用JMX对HBase和Hadoop进行监控,以确保系统的稳定性和性能。 首先,我们需要理解HBase。HBase是一个基于Google的Bigtable设计的开源NoSQL数据库,它运行在Hadoop之上,提供高度可...

    prometheus grafana 基于开源监控apache Hadoop模板大全

    Prometheus通过jmx_exporter这样的插件可以与JMX接口交互,收集Hadoop组件的运行时信息,如CPU使用率、内存占用、网络流量等。 Hadoop作为大数据处理的核心,其组件包括HDFS(Hadoop Distributed File System)、...

    Hbase+Spring boot实战分布式文件存储

    实战开发通过jmx获取HBase运行时数据,监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...

    hadoop0.23.9离线api

    org.apache.hadoop.jmx org.apache.hadoop.lib.lang org.apache.hadoop.lib.server org.apache.hadoop.lib.service org.apache.hadoop.lib.service.hadoop org.apache.hadoop.lib.service.instrumentation org...

    hadoop-3.2.2.tar.gz

    同时,利用Hadoop自带的监控工具(如JMX、Web UI)监控集群状态。 10. **安全与高可用**:在生产环境中,通常需要启用Hadoop的安全模式,如Kerberos认证,以及设置高可用的NameNode和ResourceManager,以保证服务的...

    【推荐】大数据时代,你不得不知的Hadoop使用技巧

    例如,使用JMX监控工具监控Hadoop和HBase集群,可以帮助运维人员实时了解集群状态,及时发现并解决问题。 在Hadoop的学习过程中,理解并应用其生态系统中的其他工具也是不可或缺的。例如,ZooKeeper是一个分布式...

    hadoop-3.1.3-src.tar.gz

    - **日志与调试工具**:如Hadoop的日志框架Log4j和JMX监控,帮助开发者诊断问题。 5. **Hadoop生态与扩展** - **Hadoop与其他组件的集成**:如Spark、Flink、Hive、Pig等,构建大数据处理流水线。 - **Hadoop...

    基于hadoop监控的grafana模板

    为了实现这些功能,你需要配置Grafana的数据源(可能是Prometheus或JMX Exporter等),将Hadoop组件的日志和指标数据暴露出来。然后,导入提供的模板文件,调整配置以匹配你的环境。一旦设置完成,Grafana将成为你...

    hadoop-3.3.1.tar.gz

    - **监控和调优**:使用Hadoop自带的监控工具,如JMX,监控系统性能,并根据需求进行调优。 7. **其他组件**:Hadoop生态系统还包括HBase、Spark、Hive等,它们可以与Hadoop配合使用,提供更丰富的数据分析功能。 ...

    hadoop 1.2.1核心源码

    7. **http**: 这里包含了HTTP和Web服务相关的代码,例如Hadoop的WebUI(WebHDFS)和JMX监控接口,它们允许用户通过Web浏览器或HTTP请求来管理和监控Hadoop集群。 8. **Hadoop源码分析**:通过对这些源码的学习,...

    hadoop工具包中的share包

    此外,还有监控相关组件,如JMX接口,允许管理员通过JMX工具监控Hadoop集群的性能和状态。 6. **安全和认证**:Hadoop的安全机制,如Kerberos认证,其相关的配置和API也包含在share包中,使得集群能够实现安全的...

    hadoop1.0.0.tar.gz

    10. **监控与日志**:Hadoop提供了一系列的监控工具,如JMX、Web UI,以及日志文件,用于检查集群状态、性能指标和诊断问题。 11. **Hadoop生态**:Hadoop生态还包括许多其他项目,如Hive(SQL-like查询工具)、Pig...

    Hadoop权威指南 第二版(中文版)

     Java管理扩展(JMX)  维护  日常管理过程  委任节点和解除节点  升级 第11章 Pig简介  安装与运行Pig  执行类型  运行Pig程序  Grunt  Pig Latin编辑器  示例  生成示例  与数据库比较  PigLatin  ...

    hadoop 2.5.2 源码

    - 调试工具,如Hadoop的日志系统和JMX监控,可以帮助定位和解决问题。 6. 性能优化 - 通过对源码的理解,可以针对性地调整参数,优化数据读写速度、内存使用和CPU利用率。 - 可以针对特定业务场景优化MapReduce...

    用python编写nagios hadoop监控脚本

    - 连接到Hadoop集群的管理接口(如HTTP或JMX端口)。 - 使用Hadoop的API或命令行工具收集信息。 - 分析收集到的数据,确定系统是否运行正常。 - 返回Nagios兼容的状态码和警报信息。 通过这些Python脚本,管理员...

    Hadoop权威指南(中文版)2015上传.rar

    Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 ...

    hadoop原理介绍

    - **JMX (Java Management Extensions)**:监控Hadoop集群的健康状况。 #### 十一、推荐阅读 - **《Hadoop权威指南》**:全面介绍Hadoop的技术细节和最佳实践。 - **Apache官方网站**:获取最新的文档和技术更新。 ...

    hbase-0.98.12.1-hadoop1-bin.tar.gz

    HBase提供了丰富的监控工具,如JMX、Web UI,可以实时查看集群状态、Region分布、请求延迟等。针对性能调优,可以调整Region大小、优化数据模型、合理划分RowKey等。 总结,HBase 0.98.12.1是Hadoop1生态中的关键...

    配hadoopHA最怕就是配置文件错了

    - **JMX端口冲突**:NameNode的JMX端口需要配置成不同的值,以避免冲突。 在配置过程中,建议遵循以下步骤: 1. 全面了解Hadoop HA的原理和组件。 2. 使用模板创建配置文件,并在所有节点上应用。 3. 使用`hdfs ...

Global site tag (gtag.js) - Google Analytics