hadoop 配置文件配置
hadoop-metrics.properties
修改如下:
# Configuration of the "dfs" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=239.2.11.71:8649 /*该地址为必须为广播地址,否则采集不到数据!!
# Configuration of the "mapred" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=239.2.11.71:8649
# Configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.period=10
jvm.servers=239.2.11.71:8649
servers地址 239.2.11.71:8649 是广播地址,必须如此设置。
来源:http://blog.csdn.net/a221133/article/details/6947448
--------------------------------------------------
安装ganglia
首先,也是最最最重要的,配置好yum,配置好之后,就非常非常简单了。
注意,如果配置完成后,无法登录ganglia的web页面,而是返回403 forbidden 消息的话。
应该查看 /etc/httpd/conf.d/ganglia.conf,
查看里面的内容,
将
<Location /ganglia>
Order deny,allow
Deny from all
Allow from 127.0.0.1
Allow from ::1
</Location>
改为
<Location /ganglia>
Order deny,allow
# Deny from all
Allow from 127.0.0.1
Allow from ::1
Allow from all
</Location>
其他安装配置内容如下所述。
配置好yum之后,安装方法见链接:
http://heipark.iteye.com/blog/1183270
原文如下:-------------
安装
server端
yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php
client端
yum install ganglia-gmond
配置
Server端
①
> vi /etc/gmond.conf
cluster {
name = "heipark" // 这个名称很重要
....
}
udp_send_channel {
host = 192.168.1.5 // 使用host为单播,mcast_join为多播
port = 8649
ttl = 1
}
udp_recv_channel { // 如果使用单机广播,要删除“mcast_join”和“bind”
port = 8649
}
②
> vi /etc/gmetad.conf
# 配置一个数据源,名称“heipark”要和/etc/gmond.conf中一致,后面的ip为server的ip
data_source "heipark" 192.168.1.5:8649
③
# 开机运行采集进程
chkconfig --levels 235 gmond on
# 开机运行数据存储进程
chkconfig --levels 235 gmetad on
# 开机运行apache服务
chkconfig --levels 235 httpd on
client端
①
# 在server端执行scp,将配置文件分发到client端
scp /etc/gmond.conf root@{ip}:/etc/gmond.conf
②
# 设置开机运行数据采集进程
chkconfig --levels 235 gmond on
运行
Server端
service gmond start
service gmetad start
service httpd start
Client端
service gmond start
测试
# 命令行打印当前活动client
gstat -a
# web显示当前client状态
http://{your_ip}/ganglia
Apache密码验证
通过web方式访问ganglia不需要密码,所以我们通过apache设置密码达到安全目的。
①
htpasswd -c /etc/httpd/conf.d/passwords {your_name}
②
cd /usr/share/ganglia
vi .htaccess // 创建apache目录密码文件,并写入下面内容
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /etc/httpd/conf.d/passwords
Require user {your_name}
③
vi /etc/httpd/conf/httpd.conf
<Directory />
Options FollowSymLinks
AllowOverride None
</Directory>
修改为:
<Directory />
Options FollowSymLinks
AllowOverride AuthConfig
</Directory>
其他参考链接:
----------------------
http://blog.csdn.net/lengzijian/article/details/7102320
★老外神作版本:
http://linuxcluster.wordpress.com/2010/01/01/installing-and-configuring-ganglia-on-centos-5-4/
阿泰菜园版本:
http://arch.huatai.me/?p=280&cpage=1#comment-586
手工配置版本:
http://www.blogjava.net/xylz/archive/2011/07/21/354744.html
分享到:
相关推荐
### Ganglia安装与配置详解 #### 一、前言 Ganglia是一种分布式监控系统,主要用于监测集群中的各个节点的状态,比如CPU使用率、内存占用情况等。它能够有效地帮助管理员掌握系统的整体运行状况,及时发现潜在的...
### Ganglia 安装与配置详解 #### 一、Ganglia简介 Ganglia 是一个高性能、可扩展的分布式监控系统,它主要用于监控大型计算集群的资源使用情况。Ganglia 可以实时地收集并展示服务器节点的 CPU 使用率、内存使用量...
### Ganglia安装与配置详解 #### 一、Ganglia简介 Ganglia是一个用于监控高性能计算集群(HPC)的开源系统。它能够收集、分析并展示集群中各节点的资源利用情况,如CPU使用率、内存使用量、磁盘空间等。Ganglia的...
《Ganglia安装配置详解》 Ganglia是一款开源的分布式监控系统,它能够收集并显示网络中的各种节点(如服务器、工作站等)的性能数据,包括CPU使用率、内存使用情况、磁盘I/O、网络流量等。本文将详细介绍在Red Hat ...
### 云监控Ganglia安装步骤详解 #### 一、环境准备 为了确保Ganglia在CentOS 6.4环境中正确安装与运行,我们首先需要了解并准备好所需的硬件及软件环境。 **主机配置信息** - **duangr-1(主节点)** - IP: 192...
零基础Ganglia安装教程,详细介绍安装过程
在Linux环境中,通常通过RPM(Red Hat Package Manager)包来安装Ganglia。RPM是一种软件包管理器,它使得软件的安装、升级和卸载过程变得简单。 在这个场景中,提到的四个RPM包分别是: 1. `yum-3.2.29-40.el6....
在本文中,我们将详细探讨Ganglia的安装过程以及CGILIB的相关知识。 首先,我们来看如何在Linux环境中通过YUM安装Ganglia。YUM(Yellowdog Updater, Modified)是Fedora和RHEL系列操作系统中常用的包管理器,它能...
本教程将详细讲解Ganglia的安装过程,以及所需的依赖和软件包。 一、Ganglia依赖 在安装Ganglia之前,必须确保系统中已经安装了以下关键依赖项: 1. **编译工具**:如GCC,用于编译源代码。通常,这些工具在`...
在安装Ganglia之前,你需要了解以下关键知识点: 1. **系统要求**:Ganglia适用于多种操作系统,包括Linux(如Ubuntu、CentOS)、FreeBSD等。确保你的服务器支持这些操作系统,并且是最新稳定版本。 2. **组件组成...
在本文中,我们将详细探讨如何在CentOS 6.6环境下安装Ganglia监控系统,这是一个广泛用于Linux集群性能监控的开源工具。首先,我们确保系统是64位的CentOS基本服务器版本。 1. **Ganglia简介** Ganglia是一个...
3. **安装Ganglia**: 使用`yum install`或`rpm -ivh`命令安装Ganglia的RPM包,包括gmetad、gmond及相关依赖。 4. **配置Gmond**: 修改`/etc/ganglia/gmond.conf`,配置gmond监听的端口、上报数据的gmetad地址以及...
expat是一个用C语言编写的XML解析器库,是Ganglia安装所需的基础之一。 ``` wget http://downloads.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz tar -zvxf expat-2.1.0.tar.gz cd expat-2.1.0 ....
本安装文档将指导你如何在基于CentOS 5.6的环境中安装Ganglia来监控Hadoop集群。 首先,确保你的系统满足必要的依赖。在开始安装前,需要安装一些基础的开发库,如zlib、freetype、libart_lgpl和libpng。你可以通过...
5. **安装和启动服务**:使用`make install`将Ganglia安装到系统中。然后,启动Gmetad(数据聚合服务器)和Gmond(数据收集代理)。在Debian/Ubuntu上: ``` sudo make install sudo service gmond start sudo ...
这里包括ganglia安装需要的所有安装包,源码安装,包括教程,亲自在centos上测试可以安装,在编译ganglia时需要将/usr/local/apr/include/apr-1下的所有文件拷贝到/usr/local/apr/include/下才可以成功哦!
在所有依赖安装完成后,可以继续安装Ganglia本身,配置相应的`gmond.conf`和`gmetad.conf`文件以适应特定的集群环境。安装完成后,启动gmond和gmetad服务,并确保它们能够正确通信和更新数据。 总之,Ganglia是一个...
### 在CentOS 6.2 64位系统上安装Ganglia-3.4 #### 一、环境准备 为了确保安装过程顺利进行,首先需要确保系统的基础环境已搭建好,包括Apache服务器、PHP环境等。以下是安装Ganglia前的一些基本步骤: 1. **安装...
测试Ganglia安装是否成功,可以通过访问Web界面查看。如果能正常显示各个节点的状态和性能数据,那么Ganglia监控系统就已经成功安装并运行。总的来说,Ganglia提供了一个高效、可扩展的分布式监控解决方案,对于大型...
三、Ganglia安装与配置 1. **系统准备**:确保所有节点都安装了必要的库,如开发工具、PHP、RRDTool等。 2. **安装gmond**:在所有节点上安装gmond,配置文件`/etc/ganglia/gmond.conf`需指定集群名称、端口等信息...