`
qindongliang1922
  • 浏览: 2184727 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117556
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125937
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59942
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71311
社区版块
存档分类
最新评论

Ganglia入门

 
阅读更多
Ganglia是一款非常优秀的开源的监控框架,下面引自百科的解释:
Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。
每台计算机都运行一个收集和发送度量数据的名为 gmond 的守护进程。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式,才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少,这使得它成为在集群中各台计算机上运行的一段代码,而不会影响用户性能。所有这些数据多次收集会影响节点性能。网络中的 “抖动”发生在大量小消息同时出现时,可以通过将节点时钟保持一致,来避免这个问题。
gmetad可以部署在集群内任一台节点或者通过网络连接到集群的独立主机,它通过单播路由的方式与gmond通信,收集区域内节点的状态信息,并以XML数据的形式,保存在数据库中。
由RRDTool工具处理数据,并生成相应的的图形显示,以Web方式直观的提供给客户端。


一、Ganglia的组件
Ganglia包括如下程序,他们之间通过XML格式传递监控数据,达到监控效果。
Gmetad 这个程序负责收集各个cluster的数据,并更新到rrd数据库中。
Gmond 收集本机的监控数据,发送到其他机器上。收集其他机器的监控数据,供Gmetad读取。默认监听端口8649
web front-end 一个基于web的监控界面,需要和Gmetad安装在同一个节点上,从Gmetad取数据,并且读取rrd数据库,生成图片,显示出来。
二、Ganglia的工作模式
Ganglia的收集数据工作可以工作在单播(unicast)或多播(multicast)模式下,默认为多播模式。
单播:发送自己收集到的监控数据到特定的一台或几台机器上,可以跨网段
多播:发送自己收集到的监控数据到同一网段内所有的机器上,同时收集同一网段内的所有机器发送过来的监控数据。因为是以广播包的形式发送,因此需要同一网段内。但同一网段内,又可以定义不同的发送通道。

单台ganglia的拓扑图如下所示:



集群的ganglia的拓扑图如下所示:



gmond节点之间以及gmond与gmetad之间的数据都以xml格式传输,gmond节点间的数据传输方式除支持单播点对点传送外,还支持多播,如果数以百计的服务器堆叠在一个局域网内,每15秒发送一次数据,这个特性还是能节省一些网络开销
为了更快的看懂ganglia报表,在报表中有几个名词需要弄清楚,这些也是架构层次的体现
node: 最小单位,即单台服务器
cluster: 服务器集群,由多台服务器组成
grid: 网格,由多个服务器集群组成
以上几个名词和实体间的关系是:
1、一个grid对应一个gmetad,在gmetad.conf中可以指定多行data_source
2、一个cluster在gmetad.conf中即为一行data_source,一行可指定一个或多个gmond供gmetad进行采集
3、一个node即为一个gmond,gmond负责采集其所在机器的数据,同时gmond还可以暂存来自其它gmond的数据
从名词与实体间的对应关系加上刚才的两幅数据流图可以看出,同样的需求可以有多种配置方案,这一点与大多数软件不太一样,所以在初次接触ganglia时容易搞晕,举个例子:
一个cluster有多个gmond,可以在gmetad的data_source中罗列所有gmond,由gmetad来轮询所有gmond来获取数据,也可以将多个gmond的数据汇聚到一个gmond,gmetad轮询汇总的gmond从而获取整个cluster的数据
gmond的几个特点:
1、gmond可以等待gmetad亲自来把数据采集走,也可以将自己的数据交由其它gmond交付gmetad
2、gmond节点间的通讯基于udp,接收gmetad的poll请求是基于tcp(port:8649),gmond可以同时将数据发送给多个gmond
3、还有就是前面说到的gmond之间的通讯除支持单播还支持广播
  • 大小: 231.3 KB
  • 大小: 225.1 KB
分享到:
评论

相关推荐

    g2n:从Ganglia(gmetad)获取主机的简单脚本

    入门: 在config.example/*查找以供参考 在config/g2n.yml设置所有必需的配置设置。 编辑config/mappings.yml以将Ganglia集群config/mappings.yml到Nagios模板(默认情况下位于config/templates ) 运行g2n ...

    storm学习入门《Getting started with Storm》中英文版

    "storm学习入门《Getting started with Storm》中英文版" 指的是一个关于Apache Storm的初学者教程资源,包含了该技术的入门介绍。Apache Storm是一个开源的分布式实时计算系统,用于处理流数据,即持续不断的数据流...

    Linux Perf Master(Linux性能大师)-第二版

    Chapter 1: 入门ABC 基于Linux单机的负载评估 ABC:六十秒完成Linux性能分析 Chapter 2: 工具平台篇 基于Ganglia实现集群性能态势感知 新一代Ntopng网络流量监控—可视化和架构分析 Chapter 3: 系统内核篇 How Linux...

    Linux Perf Master(Linux性能大师)-第二版-mobi

    Chapter 1: 入门ABC 基于Linux单机的负载评估 ABC:六十秒完成Linux性能分析 Chapter 2: 工具平台篇 基于Ganglia实现集群性能态势感知 新一代Ntopng网络流量监控—可视化和架构分析 Chapter 3: 系统内核篇 How Linux...

    Linux Perf Master(Linux性能大师)-第二版-epub

    Chapter 1: 入门ABC 基于Linux单机的负载评估 ABC:六十秒完成Linux性能分析 Chapter 2: 工具平台篇 基于Ganglia实现集群性能态势感知 新一代Ntopng网络流量监控—可视化和架构分析 Packet Capturing:网络数据包的...

    大数据技术 讲解Hadoop单机安装和集群部署的方法和步骤入门文档 适用于centos等操作系统(共24页).rar

    3. **监控与日志**:启用Hadoop自带的监控工具,如Ganglia或Ambari,实时监控集群状态。 五、Hadoop安全 1. **HDFS安全**:启用HDFS的权限和访问控制,保护数据安全。 2. **YARN安全**:实施YARN的Secure Mode,...

    Big Data Made Easy (英文高清原版)

    为了确保数据处理的质量和效率,书中还介绍了数据监控的相关知识,使用Hue、Nagios和Ganglia等工具来监控数据处理状态和集群性能。 对于大数据集群的管理,本书讲解了使用Ambari和CDH等管理平台来维护和优化Hadoop...

    Linux Perf Master

    本书介绍了如何使用Ganglia进行计算集群性能态势感知,使用Ntopng进行网络流量监控,以及Graphite体系结构详解和开源地理信息系统简史。这些内容不仅包括了监控数据的可视化,还深入探讨了如何对基础设施进行标准化...

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    课时6:使用Ganglia监控HBase 课时7:过滤器实战之比较过滤器 课时8:过滤器实战之专用过滤器与FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协...

    HBase 编程指南

    在集群监控部分,介绍了HBase如何利用Ganglia、JMX、Nagios等工具进行性能监控和故障检测。同时,提供了运维人员日常管理所需的一系列任务列表,包括数据导入导出、日志级别调整、问题排查等,以确保HBase集群的稳定...

    Hadoop学习总结

    通过Hadoop提供的日志和监控工具,如Ganglia、Ambari或Hadoop自带的Web界面,可以跟踪作业的进度,检查失败任务的原因,以及调整资源分配以提高系统性能。 总结来说,Hadoop的学习涵盖了HDFS的基础概念、数据读写...

    hadoop配置

    文档《Hadoop源代码分析完整版》、《Hadoop0.20.0源码流程分析》和《Hadoop源码的入门解析》将深入讲解Hadoop的内部机制,包括数据读写流程、任务调度和资源管理等。 五、Linux操作命令 在Hadoop环境中,经常需要...

    hadoop 权威指南(中文版)

    通过以上知识点的介绍可以看出,《Hadoop权威指南》是一本全面覆盖Hadoop技术栈的书籍,不仅适合初学者入门学习,也适合有一定基础的技术人员深入研究。无论是编程人员还是系统管理员都能从中获得有价值的信息。

    Big Data Made Easy

    《Big Data Made Easy》一书旨在为读者提供一个全面且易于理解的大数据Hadoop生态系统入门教程。本书通过实践案例的形式,深入浅出地介绍了Hadoop及其周边工具的安装、配置、使用及故障排除等各个方面,特别适合希望...

    linux 系统管理

    ### Linux系统管理知识点详解 ... - **《鸟哥的Linux私房菜》**: 非常适合初学者入门。 通过上述内容的学习和实践,可以有效地提升Linux系统管理的能力,并为解决实际工作中遇到的问题打下坚实的基础。

Global site tag (gtag.js) - Google Analytics