`

hadoop-metrics配置说明

阅读更多

hadoop提供了各种运行时指标数据  默认的监测配置如下

 

# Configuration of the "dfs" context for null
dfs.class=org.apache.hadoop.metrics.spi.NullContext

# Configuration of the "dfs" context for file
#dfs.class=org.apache.hadoop.metrics.file.FileContext
#dfs.period=10
#dfs.fileName=/tmp/dfsmetrics.log

# Configuration of the "dfs" context for ganglia
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
# dfs.period=10
# dfs.servers=localhost:8649


# Configuration of the "mapred" context for null
mapred.class=org.apache.hadoop.metrics.spi.NullContext

# Configuration of the "mapred" context for file
#mapred.class=org.apache.hadoop.metrics.file.FileContext
#mapred.period=10
#mapred.fileName=/tmp/mrmetrics.log

# Configuration of the "mapred" context for ganglia
# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
# mapred.period=10
# mapred.servers=localhost:8649


# Configuration of the "jvm" context for null
jvm.class=org.apache.hadoop.metrics.spi.NullContext

# Configuration of the "jvm" context for file
#jvm.class=org.apache.hadoop.metrics.file.FileContext
#jvm.period=10
#jvm.fileName=/tmp/jvmmetrics.log

# Configuration of the "jvm" context for ganglia
# jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
# jvm.period=10
# jvm.servers=localhost:8649
 

 

 

分享到:
评论

相关推荐

    hadoop-core-0.20.2 源码 hadoop-2.5.1-src.tar.gz 源码 hadoop 源码

    6. **日志和监控**:Hadoop使用`org.apache.hadoop.log`和`org.apache.hadoop.metrics`包来收集和处理系统的日志和性能指标,帮助管理员监控和诊断系统状态。 **Hadoop 2.5.1源码解析** 从hadoop-2.5.1-src中,...

    hadoop-2.7.6src.tar.gz的压缩包

    1. **Hadoop Common**: 这部分包含了Hadoop的基础工具和库,如网络通信、文件系统操作、配置管理等,这些是所有Hadoop服务的基础。 2. **Hadoop HDFS (Hadoop Distributed File System)**: HDFS是Hadoop的核心组件...

    hadoop-1.2.1-安装配置手册(含安装介质)

    - `hadoop-metrics2.properties` - `log4j.properties` 6. **进行Hadoop格式化**: - 格式化HDFS: ```bash [hadoop@testdbconf]$/home/hadoop/hadoop-1.1.2/bin/hadoop namenode -format ``` 7. **启动...

    大数据HDPAmbariambari-metrics-collector-2.7.7.0-0.x86-64.rpm

    Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。 ambari-metrics-collector是用于管理收集群集节点的指标的代理器。详细安装...

    无jar版windows平台hadoop-2.6.1.zip

    6. **测试Hadoop**:使用`hadoop fs -ls /`检查Hadoop是否正常工作,如果返回根目录下的内容,说明Hadoop已经启动成功。 7. **MapReduce编程**:Hadoop的主要用途之一是执行MapReduce任务,你可以通过编写Java程序...

    hadoop-2.6.0-cdh5.16.2 for windows

    同时,利用日志和Hadoop的管理工具(如Hadoop Metrics2)进行性能监控和问题排查。 总的来说,Hadoop 2.6.0-cdh5.16.2 for Windows为Windows用户提供了一条在本地进行Hadoop测试和开发的途径,虽然相比Linux环境...

    hadoop-3.1.1编译

    - **Hadoop Metrics2**:提供了一套统一的接口,用于收集、聚合和暴露Hadoop组件的度量信息,方便系统监控和性能分析。 - **Ambari集成**:Ambari是一个用于部署、管理和监控Hadoop集群的工具,3.1.1版本中对...

    用于与Apache Hadoop的同步hadoop-build-tools.rar

    7. **性能分析工具**:可能包括监控和性能测试工具,如Hadoop的YARN Timeline Server和Hadoop Metrics2,用于收集和分析集群的运行时性能。 8. **安全工具**:Hadoop支持多种安全性特性,如Kerberos认证、访问控制...

    用于与Apache Hadoop的同步hadoop-client-modules.rar

    这些模块通常需要配置相应的Hadoop配置文件(如core-site.xml、hdfs-site.xml、yarn-site.xml等),以连接到实际的Hadoop集群。 总结来说,`hadoop-client-modules.rar`是一个包含Hadoop客户端各种组件的压缩包,...

    Apache Hadoop---Ambari.docx

    它通过一个直观的Web界面提供了丰富的功能,使管理员能够轻松地供应、配置、管理和监控Hadoop集群。Hadoop在这里指的是整个生态系统,包括但不限于HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop和HCatalog等...

    hadoop-2.8.5所需jar

    5. 其他相关模块:如Hadoop Shuffle服务、Hadoop Metrics2、Zookeeper客户端等。 为了在Eclipse中正确使用这些JAR文件,你需要按照以下步骤操作: 1. **创建新项目**:在Eclipse中创建一个新的Java项目,或者打开...

    spark-3.2.4-bin-hadoop3.2-scala2.13 安装包

    为了与Hadoop集群对接,还需要配置Spark的`spark-env.sh`文件,设置Hadoop的相关路径。 5. **运行Spark**: Spark可以通过命令行工具启动,例如`spark-shell`(交互式Spark会话)或`pyspark`(Python版本的交互式...

    hadoop&spark环境配置.pdf

    - **`hadoop-metrics.properties`**: 控制Hadoop性能度量的发布方式。 - **`log4j.properties`**: 配置系统日志、NameNode审计日志及tasktracker子进程的任务日志。 **2.4 JDK 安装与配置** 1. **安装JDK**: - ...

    hadoop-hdfs-fsimage-exporter:将Hadoop HDFS内容统计信息导出到Prometheus

    总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布(可选) 块数 文件复制(总体/每个用户摘要) 导出器使用解析FSImage。 这种方法的优点是 快速(2.6 GB FSImage〜50s) ...

    基于SpringBoot的Hadoop-Yarn资源监控系统源码.zip

    通常,一个Java项目中,master分支代表主要的开发分支,可能包含`pom.xml`(Maven的项目配置文件)、`src/main/java`(源代码目录)、`src/main/resources`(资源配置)、`README.md`(项目说明)等文件和目录。...

    Hadoop 2 配置.docx

    ### Hadoop 2.0 的关键改进及其配置详解 #### 一、Hadoop 2.0 的重要变化 Hadoop 2.0 相比于 Hadoop 1.x 在架构和技术上进行了重大的升级和改进,特别是在 HDFS 和 MapReduce 两方面。以下是这些改进的具体内容: ...

    hadoop-0.20.2.tar.gz

    Hadoop 0.20.2提供了更好的集群管理和监控工具,如Hadoop JobTracker可以实时跟踪和管理MapReduce作业的执行状态,Hadoop Metrics系统则可以收集和展示集群的性能指标,帮助管理员优化集群性能。 5. 性能提升: ...

    hadoop-2.9.2-src:hadoop

    此外,Hadoop 2.9.2源码还涵盖了配置文件、脚本和测试用例,这些都是深入了解Hadoop运行机制的重要资源。通过阅读和修改这些配置,开发者可以更好地理解和定制Hadoop集群的行为。 总的来说,Hadoop 2.9.2源码是一份...

    GraphiteMetrics2:与metrics2一起使用的石墨的hadoop上下文包

    石墨上下文 像 Hadoop 的 GangliaContext 一样,将指标发送到 Graphite 编译: ... *.sink.graphite.class=org.apache.hadoop.metrics2.graphite.GraphiteContext # default sampling period *.p

    【IT十八掌徐培成】Hadoop第02天-05.hadoop类库和配置文件抽取-2nn配置.zip

    【IT十八掌徐培成】Hadoop第02天-05.hadoop类库和配置文件抽取-2nn配置.zip这个压缩包聚焦于Hadoop技术,特别是关于Hadoop类库的使用以及配置文件的管理和抽取,特别是针对2NN(Secondary NameNode)的配置。Hadoop...

Global site tag (gtag.js) - Google Analytics