ubuntu下配置Ganglia监控hadoop2.2与hbase0.96

                                配置Ganglia监控hadoop2.2与hbase0.96

OS: ubuntu12.04 LTS

ganglia版本3.1.7

Hadoop版本2.2.0

Hbase 0.96

1 Ganglia的架构

Ganglia有3部分组成
1. gmond
运行在每个节点上监视收集统计信息，同时可以收发统计信息,它可以运行在广播模式或单播模式
2. gmetad
从gmond以poll的方式收集和存储原数据
3. ganglia-web
跑在gmetad的机器上，访问gmetad存储的元数据并由apache web提供用户访问接口

2 安装Ganglia

2.1 Ganglia服务器端安装
Ganglia服务器端收集监控端信息，并提供访问接口，使用以下命令安装：
    $ sudo apt-get install rrdtool apache2 php5 gmetad ganglia-monitor ganglia-webfrontend

2.2 Ganglia客户端安装
    $ sudo apt-get  install  ganglia-monitor

3 配置Ganglia

说明：本文以组播的方式配置ganglia，单播方式没有配置成功。

3.1 服务器端

 $ sudo vim /etc/ganglia/gmetad.conf
data_source "hadoop" ubuntu01 ubuntu02 ubuntu03

只需要更改 data_source一行，"hadoop"代表集群的名字，ubuntu01,ubuntu02,ubuntu03，就是要监控的机器列表。默认端口8649。

3.2 监控端配置

 $ sudo vim /etc/ganglia/gmond.conf
将cluster选项中 name设置为gmetad.conf中data_source指定的名称即可(hadoop)。

3.3 安装新版本的ganglia-web(可选)

1、将 ganglia-web-3.5.12.tar.gz拷贝到gmetad的机器上。

下载地址：http://jaist.dl.sourceforge.net/project/ganglia/ganglia-web/3.5.12/ganglia-web-3.5.12.tar.gz

2、tar xvzf ganglia-web-3.5.12.tar.gz

3、cd ganglia-web-3.5.12

4、sudo make install

5、sudo rm –rf /var/www/ganglia

6、sudo ln -s /usr/share/ganglia-webfrontend /var/www/ganglia

4 启动服务

    $sudo service gmetad start  //启动server端

     $ sudo service ganglia-monitor start //启动client端

5 配置hadoop hbase

  sudo vi hadoop-metrics2.properties  #其他都注释掉

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

#以下配置根据主机实际部署的情况进行配置
namenode.sink.ganglia.servers=239.2.11.71:8649
resourcemanager.sink.ganglia.servers=239.2.11.71:8649
datanode.sink.ganglia.servers=239.2.11.71:8649
nodemanager.sink.ganglia.servers=239.2.11.71:8649
maptask.sink.ganglia.servers=239.2.11.71:8649
reducetask.sink.ganglia.servers=239.2.11.71:8649

 

sudo vi hadoop-metrics2-hbase.properties  #其他都注释掉

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
hbase.sink.ganglia.period=10
hbase.sink.ganglia.servers=239.2.11.71:8649

 

说明：

这里再说下server里的IP和端口，是从哪里获取的，就是从我刚才介绍的第二个文件里获取，网上很多资料在介绍的过程中，并没有说明这个，第二个内容截取部分内容如下：

udp_send_channel {
  #bind_hostname = yes # Highly recommended, soon to be default.
                       # This option tells gmond to use a source address
                       # that resolves to the machine's hostname.  Without
                       # this, the metrics may appear to come from any
                       # interface and the DNS names associated with
                       # those IPs will be used to create the RRDs.
  mcast_join = 239.2.11.71
  port = 8654
  ttl = 1
}

 

6 启动 apache，重启hbase hadoop集群

   检查一下/var/www/ganglia 目录下是否有ganglia目录，http://gmetadIP/ganglia