`
san_yun
  • 浏览: 2662711 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

Hadoop Metrics体系架构分析

 
阅读更多
本文基于Hadoop 0.20.XX版本分析,和现在的Metrics2稍有不同

1:概述

Hadoop Metrics用来统计集群运行数据,比如接口调用次数,响应时间,队列长度等等,现阶段(0.19版本)支持为数不多的几个层级的数据,分别是dfs,jvm,rpc,mepred等。这些数据收集之后可以sink(通过context)到不同的目的地,比如文件,ganglia,等,也可以自己实现一个context去sink这些数据到你指定的地方。
2:架构
基本上由四个部分构成:
1、context,context是用来sink收集的数据的。而所有需要sink的数据存放在context内的一个map来保存所有put进来的metricsRecord中,然后startmonitor之后启动一个timer来定时将map中所有的record通过调用update函数来将调用context实现类的emitRecords发送出去。
    • context一般不直接实例化,而是从ContextFactory中get出来,首先ContextFactory的实例通过静态方法getFactory()来实例化,在getFactory()的实例化过程中,会读取hadoop-metrics.properties配置,然后依据传入的context名在配置中找到对应的构建方法进行构建,构建完了之后,立即进行初始化。
    MetricsUtil类负责上从ContextFactory实例中获取context实例,并且startmonitor。在startmonitor中启动一个timer,这个timer定时类里边,首先调用updater.doUpdates(),然后调用emitRecords();将context中的所有metricsRecord全部通过调用各个context的emitRecord->emitMetrics发送出去
    • 从上面也能看出一个context中包含有多个updater(通过Set<Updater>来保存,在updater构造函数中将自己注册到相应的context中),也包含多个Record(通过Map<String,RecordMap> bufferedData->RecordMap extends HashMap<TagMap,MetricMap>->TagMap extends TreeMap<String,Object> : MetricMap extends TreeMap<String,Number>)
    • 现有的context包括Filesystem,Ganglia,Nullcontext,当然也可以自己实现一个来达到自己的目的
    • 收集到自己所有的数据之后,还需要到hadoop-metrics.properties中去配置一个context,然后让数据(Record在构建函数中绑定context)随这个context而sink出去。
    • ganglia中,每个图的命名由contextname.recordname.metricsname组成
2、metricsRecord可以看成一个map容器,内面存放了各种string:number的刻度值,作为一个信息的载体被context发送出去
    • 数据存放在Map<String,MetricValue> metricTable结构,MetricValue保存数值型数据,并且标识出该数据是绝对值还是相对值
    • 比较操蛋的是,Record中不会保留过去的数值,只保留最近一次数据(即使是相对数据),所以Record中有个update方法,在这个方法内调用context的update方法,Record中的数值更新到context中对应的Record中去(相对值则会加上context中的老数据)
    • 每个Record都有一个RecordName,所以context中即使有多个RecordMap也能通过名字表示出来,然后存放到bufferData中去。
    • 在构造函数中,每个Record绑定一个context,通过context将数据sink出去。
3、Updater这个是重头戏,如果要实现自己的收据收集,这个是比不可少的。updater的本义就是为了将过程中收集的数据更新到update对应的Record中。然后在调用Record的update(内部调context的update,见前述)将数据更新到context的Recordmap中。
    • 这个类目的是为了将过程中收集数据更新到信息载体中去,准备发布了,但是谁来发起这个更新呢,如前所述是由context中的timer定时调用的,先更新,后sink。
    • 在构造函数中首先获取对应的context,然后创建一个Record(同时将该Record加入到context的Recordmap中去),最后将自己注册到context中。
    • 有一个结构为Map<String, MetricsBase> metricsList的来保存这个updater类中所有的统计数据,在update方法中将metricList(MetricsRegistry registry )中所有的metrics更新到Record中去。
    • 基本上每一类需要统计的数据都有一个对应的updater来完成上述的操作
    • 在程序运行过程中,需要进行数据统计的时候,就会从updater的
    • metrics可以动态添加(RpcMetrics)到metricList(MetricsRegistry registry )中,也可以预先定义好(NamenodeMtrics),视场景而定。
4、MetricsBase,基类,过程中收集数据的时候,依赖这个类来做数据收集,现阶段有三个类型的数据收集
    • 时间累积型,一直做累加操作
    • 时间值型,只看某个时间的数据值,不叠加任何数据
    • 时间率型,时间作为分母,如速率,平均响应时间等。
 
3:叠加所有的东西
    1. 数据需要统计数据时,首先实现好updater,在update中定义需要收集的数据(metircList),最后数据sink的地方(context),这些数据的名称及存放载体(MetricRecord)等等。 
    2. 在程序需要数据统计的地方,通过update来获取对应统计项[通过mericsList(动态),或预先定义的名字(静态)]进行数据叠加或者统计
    3. 通过context的定时程序将Updater中数据定时sink出去。
分享到:
评论

相关推荐

    Hadoop-体系架构(非常完整)

    "Hadoop 体系架构的组成和工作机理" Hadoop 体系架构是大数据处理的核心组件之一,它由MapReduce引擎和分布式文件系统两部分组成。MapReduce引擎能够在整个集群上执行Map和Reduce任务并报告结果,而分布式文件系统...

    Hadoop集群架构搭建分析

    Hadoop 集群架构搭建分析 Hadoop 集群架构搭建分析是指设计和搭建一个高效、可靠、可扩展的 Hadoop 集群环境,以满足大数据处理和分析的需求。本文将从概述、环境准备、环境搭建三个方面对 Hadoop 集群架构搭建进行...

    云计算hadoop和体系架构和关键技术

    本文将深入探讨云计算的体系架构以及Hadoop的关键技术。 云计算的体系架构通常分为三个层次:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。 1. 基础设施即服务(IaaS):这是云计算的基础,...

    Hadoop体系架构.docx

    Hadoop 体系架构 Hadoop 体系架构是大数据处理的核心组件之一。它是一个分布式计算框架,能够处理大量数据。Hadoop 体系架构主要由两部分组成:MapReduce 引擎和分布式文件系统(HDFS)。MapReduce 引擎能够在整个...

    基于Hadoop豆瓣电影数据分析实验报告

    【基于Hadoop豆瓣电影数据分析实验报告】 在大数据时代,对海量信息进行高效处理和分析是企业决策的关键。Hadoop作为一款强大的分布式计算框架,自2006年诞生以来,已经在多个领域展现了其卓越的数据处理能力。本...

    基于Hadoop的大数据应用分析.ppt

    1.大数据背景介绍 2. HADOOP体系架构 3. 基于HADOOP的大数据产品分析 4. 基于HADOOP的大数据行业应用分析 5.东软基于HADOOP的大数据应用建议

    Hadoop豆瓣电影数据分析(Hadoop)操作源码

    Hadoop豆瓣电影数据分析(Hadoop)操作源码

    Hadoop 2.0基本架构和发展趋势

    ### Hadoop 2.0基本架构和发展趋势 #### 什么是Hadoop 2.0? Hadoop 2.0是Apache Hadoop的一个重大升级版本,它引入了YARN(Yet Another Resource Negotiator)作为其核心组件之一,以解决Hadoop 1.x版本中...

    Hadoop分布式存储架构的性能分析.pdf

    分布式存储架构的性能分析是一个广泛的研究领域,尤其是随着...通过对这些关键词的深入分析,可以帮助开发者和研究者了解Hadoop分布式存储架构的关键组件和性能评估方法,进而对整体云计算技术体系有更全面的认识。

    徐老师大数据 Hadoop架构完全分析课程 Hadoop入门学习视频教程

    -020.Hadoop架构分析之单节点体系.mp4 021.Hadoop架构分析之集群结构分析.mp4 022.Hadoop架构分析之HDFS架构分析.mp4 023.Hadoop架构分析之NN和DN原生文档解读.mp4 024.Hadoop架构分析之启动脚本分析(集群id的兼容...

    Hadoop大数据处理讲义-C3. Hadoop体系架构

    **Hadoop大数据处理讲义-C3. Hadoop体系架构** Hadoop是Apache软件基金会开发的一个开源框架,专门用于处理和存储大规模数据集。本讲义将深入探讨...理解并掌握Hadoop的体系架构,对于大数据处理和分析至关重要。

    Hadoop 体系架构.doc

    "Hadoop 体系架构" Hadoop 体系架构是大数据处理和存储的核心组件,主要分为两个抽象实体:MapReduce 引擎和分布式文件系统。MapReduce 引擎能够在整个集群上执行 Map 和 Reduce 任务并报告结果,而分布式文件系统...

    基于Hadoop的电影影评数据分析

    【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业,旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架,专为处理和存储大规模数据而设计。它由四个核心...

    2022毕业设计,基于 Hadoop 的游戏数据分析系统源码.zip

    【标题】:“2022毕业设计,基于 Hadoop 的游戏数据分析系统源码” 这个毕业设计项目主要聚焦于使用Hadoop框架开发一个游戏数据分析系统。Hadoop是Apache软件基金会的一个开源分布式计算平台,专为处理和存储大规模...

    基于Hadoop的成绩分析系统.docx

    基于Hadoop的成绩分析系统 本文档介绍了基于Hadoop的成绩分析系统的设计和实现。Hadoop是一个分布式开源计算平台,具有高可靠性、高扩展性、高效性和高容错性等特点。该系统使用Hadoop的分布式文件系统HDFS和...

    Hadoop大数据分布式架构与设计详细介绍文档

    Hadoop大数据分布式架构与设计详细介绍文档,详细介绍了hadoop的应用原理,由haddop团队开发者Dhruba Borthakur亲自编写,国内一线人员翻译校对,是一个不可多得的hadoop大数据学习文档。

    Hadoop之外卖订单数据分析系统

    本文将深入探讨“Hadoop之外卖订单数据分析系统”,并介绍如何利用Hadoop进行大规模数据处理,以及如何将分析结果通过可视化手段进行展示。 首先,我们需要理解Hadoop的核心组件:HDFS(Hadoop Distributed File ...

    基于Hadoop网站流量日志数据分析系统.zip

    基于Hadoop网站流量日志数据分析系统 1、典型的离线流数据分析系统 2、技术分析 - Hadoop - nginx - flume - hive - mysql - springboot + mybatisplus+vcharts nginx + lua 日志文件埋点的 基于Hadoop网站流量...

    使用hadoop进行天气数据分析.zip

    使用hadoop进行数据分析天气数据分析.zip使用hadoop进行数据分析天气数据分析.zip使用hadoop进行数据分析天气数据分析.zip使用hadoop进行数据分析天气数据分析.zip使用hadoop进行数据分析天气数据分析.zip使用hadoop...

Global site tag (gtag.js) - Google Analytics