`
BlackWing
  • 浏览: 200058 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

把hadoop的metrics加入ganglia监控

阅读更多
hadoop的metrics加入ganglia其实是很简单的,但网络上都是copy,而且文档新旧不一,居然还折腾了一会,太out了。

hadoop版本1.0.3,ganglia版本3.1.2,以下是主要步骤:

1. 修改hadoop/conf/hadoop-metrics2.properties文件
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10

*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

namenode.sink.ganglia.servers=239.2.11.71:8649

datanode.sink.ganglia.servers=239.2.11.71:8649

jobtracker.sink.ganglia.servers=239.2.11.71:8649

tasktracker.sink.ganglia.servers=239.2.11.71:8649

maptask.sink.ganglia.servers=239.2.11.71:8649

reducetask.sink.ganglia.servers=239.2.11.71:8649


这里有疑惑的是,开始我把以上IP改成NN,JT等这些机器对应ip,ganglia界面死活显示不了hadoop的监控信息,后来还是使用这个239.2.11.71:8649默认地址就行,不管这个ip是否自己的。

补充:239.2.11.71这个是ganglia默认的多播地址,在gmond.conf中设置,如果之前安装的ganglia是配置成集群中某台机器作为单播的统一收集机器,则这里的ip也要随之更改。

2. 重启hadoop集群
分享到:
评论

相关推荐

    hadoop0.23.9离线api

    org.apache.hadoop.metrics2.sink.ganglia org.apache.hadoop.metrics2.source org.apache.hadoop.metrics2.util org.apache.hadoop.net org.apache.hadoop.record org.apache.hadoop.record.compiler org....

    Hadoop 管理

    本章旨在帮助读者深入了解并掌握Hadoop的管理技巧,包括但不限于HDFS命令行工具的使用方法、如何有效地添加或删除节点、使用Ganglia进行集群性能监控以及利用Sqoop实现数据导入与导出等功能。 #### HDFS命令行工具 ...

    ganglia

    在实际应用中,Ganglia广泛应用于Hadoop、Spark等大数据处理框架的监控,以及云计算环境的资源监控。通过集成Ganglia,管理员可以及时发现性能瓶颈,优化系统资源分配,提升整体系统的效率和稳定性。 总的来说,...

    hadoop stat resource

    为了有效管理和优化Hadoop集群,监控工具如Hadoop Metrics2和Ganglia用于收集和展示系统的实时性能指标。这些工具可以帮助管理员快速识别性能瓶颈,及时调整资源分配,确保集群的稳定运行。 6. **Hadoop的扩展性**...

    ganglia-3.7.2

    在Hadoop集群中,Ganglia能够监控各个节点的资源使用情况,帮助管理员识别瓶颈,优化任务调度。例如,通过Ganglia可以监控到MapReduce任务的执行情况,包括CPU占用、磁盘I/O和网络流量,对于解决作业延迟或资源争抢...

    Linux 5 下安装Ganglia 3.0.3

    如果你的环境中还有Hadoop,Ganglia可以很好地集成Hadoop,通过修改Hadoop配置文件,比如`hadoop-metrics2.properties`,添加Ganglia作为指标报告的目标,然后重启Hadoop服务,就可以看到Hadoop集群的监控数据在...

    监控HBase集群

    为了配置HBase把指标信息输出到Ganglia,需要设置$HBASE_HOME/conf/目录下的hadoop-metrics.properties文件中的参数。 结论: 监控HBase集群对于确保系统的高可用性和性能非常重要。通过使用Java代码实现HBase集群...

    基于云服务的Hadoop大数据平台挖掘算法及实现.docx

    通过监控工具(如Hadoop Metrics2和Ganglia)收集Hadoop集群的性能指标,如CPU利用率、磁盘I/O、网络带宽和任务执行时间等。 5.2 性能瓶颈识别 通过分析监控数据,识别出影响系统性能的关键因素,如网络延迟、磁盘...

    hadoop作业记录档案

    6. **监控工具**:除了基本的日志系统,Hadoop社区还开发了许多监控工具,如Ganglia、Ambari Metrics Collector和Flume等,这些工具可以集成到Hadoop集群中,收集更丰富的性能指标和作业统计信息,进一步提高运维...

    典型大数据平台监控运维实战 (1).zip

    常用的工具有Hadoop Metrics2、Ganglia、Ambari等,它们能帮助识别性能瓶颈、预测故障,确保平台的高可用性和稳定性。 6. **大数据平台项目综合案例**:实验15可能是一个具体的大数据项目实践,可能涵盖数据清洗、...

    【IT十八掌徐培成】Hadoop第02天-05.hadoop类库和配置文件抽取-2nn配置.zip

    这涉及到配置如Ganglia、Ambari Metrics、Flume等工具,以便及时发现和解决问题。 通过深入学习和实践Hadoop类库和配置文件的管理,开发者不仅能提升处理大数据的能力,还能更好地应对各种分布式计算挑战。Hadoop第...

    Hadoop测试

    4. **Hadoop性能监控**:掌握如何使用诸如Ganglia、Ambari或Hadoop自带的Metrics2来监控集群性能。 5. **故障检测和恢复**:理解Hadoop的容错机制,如NameNode HA和DataNode的自动恢复。 6. **安全测试**:检查...

    基于HadoopHBase的一淘搜索离线系统PPT课件.pptx

    监控系统采用Ganglia和JMX,确保集群的稳定运行和性能监控。 - **HBase主要数据**:存储的数据包括大规模的电子商务网页库、全网B2C商品信息、全网导购信息(如资讯、问答、论坛、点评等)、淘宝与天猫的商品数据...

    2HDFS 调优篇.zip

    - **性能监控工具**:使用如Hadoop Metrics2和Ganglia等工具持续监控性能。 总的来说,HDFS调优是一个系统性的工作,涉及到硬件配置、软件参数、网络优化、数据管理和安全策略等多个层面。通过对这些环节的精细...

    HBase架构图

    - HBase的监控和调优,包括JMX、HBase Metrics、Ganglia和Ambari的使用 - HBase的故障恢复和高可用性方案 - 使用HBase Shell进行基本操作和高级功能,如扫描器设置 - HBase与其他大数据组件(如Spark、Hive、Phoenix...

    Hbase-GUI-1.2.3.zip

    10. **监控和运维**:HBase提供了丰富的监控指标,如JMX接口、Metrics2等,可以与监控系统如Ganglia、Graphite、Prometheus等集成,进行实时性能监控和告警。 总的来说,“Hbase-GUI-1.2.3.zip”可能是为了提供一个...

    CDH4.3.0 HDFS 读写性能测试

    8. **监控与分析**:性能测试后,需要使用Hadoop的监控工具(如Ganglia、Ambari Metrics Collector)来分析结果,找出瓶颈并进行调优。 文件名“6154873-76c94b8d6570a1fe09d2301b734c8ab6bf69d16e”可能是测试报告...

    23:Spark2.3.x分布式集群安装部署.zip

    11. **监控与日志管理**:理解Spark的Web UI、Metrics系统和日志配置,以便监控应用性能和排查问题。还可以通过整合如Ganglia、Prometheus等监控工具,实现更详细的性能分析。 通过以上步骤,你将能够成功地在...

    HBase参数修改 PDF 下载

    2. Hadoop的Metrics2系统,可以集成Ganglia、Graphite等工具进行性能监控。 3. JMX接口,可以利用JConsole、VisualVM等工具查看和调整HBase的运行参数。 总结,HBase参数修改是确保系统高效稳定运行的关键步骤,...

Global site tag (gtag.js) - Google Analytics