`
weitao1026
  • 浏览: 1057773 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Ganglia的安装

Ganglia的安装 
阅读更多

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。

 

Ganglia的安装，可以使用yum和rpm来进行，对于刚装的系统需要分别执行以下几个命令，来完成初始化安装：

Java代码 复制代码 收藏代码
  1. yum install –y wget apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel rrdtool*  
  2.   
  3. rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm  
  4. rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm  
  5.  rpm -ivh http://github.com/downloads/jmxtrans/jmxtrans/jmxtrans-20121016.145842.6a28c97fbb-0.noarch.rpm  
  6.   
  7. yum install ganglia*  
yum install –y wget apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel rrdtool*

rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
 rpm -ivh http://github.com/downloads/jmxtrans/jmxtrans/jmxtrans-20121016.145842.6a28c97fbb-0.noarch.rpm

yum install ganglia*


安装完成后，即可配置。

1， 修改ganglia的conf配置，
    修改 /etc/ganglia/gmetad.conf，数据源的配置
    data_source "solr cluster" 127.0.0.1
集群IP，可以设置多个IP地址，也可以设置多个数据源。


2，修改 /etc/ganglia/gmond.conf的配置，把name对应起来
cluster {
  name = "solr cluster"
  owner = "unspecified"
  latlong = "unspecified"
  url = "unspecified"
}
3，修改/etc/httpd/conf.d/ganglia.conf，Apache的配置，不拦截ganglia的数据包
  Alias /ganglia /usr/share/ganglia

  <Location /ganglia>
    Order deny,allow
    Allow  from all
    Allow from 192.168.46.21
    Allow from ::1
    # Allow from .example.com
  </Location>


4，cd  /var/lib/jmxtrans
配置jmxtrans
添加solr.json

solr.json的配置如下：

Java代码 复制代码 收藏代码
  1. {  
  2.     "servers" : [  
  3.     {  
  4.         "host" : "192.168.46.23",  
  5.         "alias" : "solr23",  
  6.         "port" : "3000",  
  7.         "queries" : [  
  8.         {  
  9.             "obj" : "java.lang:type=Memory",  
  10.             "resultAlias": "solr23.heap",  
  11.             "attr" : [ "HeapMemoryUsage", "NonHeapMemoryUsage" ],  
  12.             "outputWriters" : [  
  13.              {  
  14.                  "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  15.                  "settings" : {  
  16.                      "groupName" : "Solr-JVM",  
  17.                      "host" : "239.2.11.71",  
  18.                      "port" : "8649"  
  19.                  }  
  20.              }]  
  21.         },  
  22.         {  
  23.             "obj" : "java.lang:name=CMS Old Gen,type=MemoryPool",  
  24.             "resultAlias": "solr23.cmsoldgen",  
  25.             "attr" : [ "Usage" ],  
  26.             "outputWriters" : [  
  27.              {  
  28.                  "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  29.                  "settings" : {  
  30.                      "groupName" : "Solr-JVM",  
  31.                      "host" : "239.2.11.71",  
  32.                      "port" : "8649"  
  33.                  }  
  34.              }]  
  35.         },  
  36.         {  
  37.             "obj" : "java.lang:type=GarbageCollector,name=*",  
  38.             "resultAlias": "solr23.gc",  
  39.             "attr" : [ "CollectionCount", "CollectionTime" ],   
  40.             "outputWriters" : [  
  41.              {  
  42.                  "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  43.                  "settings" : {  
  44.                      "groupName" : "Solr-JVM",  
  45.                      "host" : "239.2.11.71",  
  46.                      "port" : "8649"  
  47.                  }  
  48.              }]  
  49.         },  
  50.         {  
  51.             "obj" : "java.lang:type=Threading",  
  52.             "resultAlias": "solr23.threads",  
  53.             "attr" : [ "DaemonThreadCount", "PeakThreadCount", "ThreadCount", "TotalStartedThreadCount" ],  
  54.             "outputWriters" : [  
  55.              {  
  56.                  "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  57.                  "settings" : {  
  58.                      "groupName" : "Solr-JVM",  
  59.                      "host" : "239.2.11.71",  
  60.                      "port" : "8649"  
  61.                  }  
  62.              }]  
  63.         },  
  64.         {  
  65.             "obj" : "solr/collection1:type=queryResultCache,id=org.apache.solr.search.LRUCache",  
  66.             "resultAlias": "solr23.queryCache",  
  67.             "attr" : [ "warmupTime","size","lookups","evictions","hits","hitratio","inserts","cumulative_lookups","cumulative_hits","cumulative_hits","cumulative_hitratio","cumulative_inserts","cumulative_evictions" ],  
  68.             "outputWriters" : [  
  69.             {  
  70.                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  71.                 "settings" : {  
  72.                     "groupName" : "Solr-JVM",  
  73.                     "host" : "239.2.11.71",  
  74.                     "port" : "8649"  
  75.                 }  
  76.             }]  
  77.         },  
  78.         {  
  79.             "obj" : "solr/collection1:type=searcher,id=org.apache.solr.search.SolrIndexSearcher",  
  80.            "resultAlias": "solr23.searcher",  
  81.             "attr" : [ "maxDoc","numDocs","warmupTime" ],  
  82.             "outputWriters" : [  
  83.             {  
  84.                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",  
  85.                 "settings" : {  
  86.                     "groupName" : "Solr-JVM",  
  87.                     "host" : "239.2.11.71",  
  88.                     "port" : "8649"  
  89.                 }  
  90.             }]  
  91.         }]  
  92.     }]  
  93. }  
{
    "servers" : [
    {
        "host" : "192.168.46.23",
        "alias" : "solr23",
        "port" : "3000",
        "queries" : [
        {
            "obj" : "java.lang:type=Memory",
            "resultAlias": "solr23.heap",
            "attr" : [ "HeapMemoryUsage", "NonHeapMemoryUsage" ],
            "outputWriters" : [
             {
                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                 "settings" : {
                     "groupName" : "Solr-JVM",
                     "host" : "239.2.11.71",
                     "port" : "8649"
                 }
             }]
        },
        {
            "obj" : "java.lang:name=CMS Old Gen,type=MemoryPool",
            "resultAlias": "solr23.cmsoldgen",
            "attr" : [ "Usage" ],
            "outputWriters" : [
             {
                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                 "settings" : {
                     "groupName" : "Solr-JVM",
                     "host" : "239.2.11.71",
                     "port" : "8649"
                 }
             }]
        },
        {
            "obj" : "java.lang:type=GarbageCollector,name=*",
            "resultAlias": "solr23.gc",
            "attr" : [ "CollectionCount", "CollectionTime" ], 
            "outputWriters" : [
             {
                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                 "settings" : {
                     "groupName" : "Solr-JVM",
                     "host" : "239.2.11.71",
                     "port" : "8649"
                 }
             }]
        },
        {
            "obj" : "java.lang:type=Threading",
            "resultAlias": "solr23.threads",
            "attr" : [ "DaemonThreadCount", "PeakThreadCount", "ThreadCount", "TotalStartedThreadCount" ],
            "outputWriters" : [
             {
                 "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                 "settings" : {
                     "groupName" : "Solr-JVM",
                     "host" : "239.2.11.71",
                     "port" : "8649"
                 }
             }]
        },
        {
            "obj" : "solr/collection1:type=queryResultCache,id=org.apache.solr.search.LRUCache",
            "resultAlias": "solr23.queryCache",
            "attr" : [ "warmupTime","size","lookups","evictions","hits","hitratio","inserts","cumulative_lookups","cumulative_hits","cumulative_hits","cumulative_hitratio","cumulative_inserts","cumulative_evictions" ],
            "outputWriters" : [
            {
                "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                "settings" : {
                    "groupName" : "Solr-JVM",
                    "host" : "239.2.11.71",
                    "port" : "8649"
                }
            }]
        },
        {
            "obj" : "solr/collection1:type=searcher,id=org.apache.solr.search.SolrIndexSearcher",
           "resultAlias": "solr23.searcher",
            "attr" : [ "maxDoc","numDocs","warmupTime" ],
            "outputWriters" : [
            {
                "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter",
                "settings" : {
                    "groupName" : "Solr-JVM",
                    "host" : "239.2.11.71",
                    "port" : "8649"
                }
            }]
        }]
    }]
}




配置完成后，需要依次，启动如下服务：

Java代码 复制代码 收藏代码
  1. service httpd start  //启动apache服务  
  2. /etc/init.d/gmetad start   //启动绘图服务  
  3. /etc/init.d/gmond start   //启动数据收集服务  
  4. 这个放在solr前执行  jmx  
  5. /etc/init.d/jmxtrans start  //启动jmx  
  6. /home/solr/start-solr.sh  //启动solr   
service httpd start  //启动apache服务
/etc/init.d/gmetad start   //启动绘图服务
/etc/init.d/gmond start   //启动数据收集服务
这个放在solr前执行  jmx
/etc/init.d/jmxtrans start  //启动jmx
/home/solr/start-solr.sh  //启动solr


注意，solr启动的jetty的jar需要加上JMX的监控参数，内容如下：

Java代码 复制代码 收藏代码
  1. java -Djava.rmi.server.hostname=192.168.46.23    -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -jar start.jar   
java -Djava.rmi.server.hostname=192.168.46.23    -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -jar start.jar



最后需要注意一点，为了防止访问apache服务出错，
如果出现：There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied  .  错误，我们需要进行以下的设置：

Java代码 复制代码 收藏代码
  1. （1）：临时可以使用命令setenforce 0来关闭selinux而不需要重启，刷新页面，即可访问！  
  2. （2）:永久的使用，需要关闭selinux：vi /etc/selinux/config，把SELINUX=enforcing改成SELINUX=disable；需要重启机器。  
（1）：临时可以使用命令setenforce 0来关闭selinux而不需要重启，刷新页面，即可访问！
（2）:永久的使用，需要关闭selinux：vi /etc/selinux/config，把SELINUX=enforcing改成SELINUX=disable；需要重启机器。


一切完成后，我们就是访问我们本机的ip地址，看到的界面如下所示：





到此，我们的单机监控solr的demo，就部署成功了，以同样的方式，我们还可以对hadoop进行监控，另外我们还可以配置多个datasource来监控多个应用。

分享到：
| 大数据平台用到的技术
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    ganglia安装文档--亲自安装成功

    ### Ganglia安装与配置详解 #### 一、前言 Ganglia是一种分布式监控系统，主要用于监测集群中的各个节点的状态，比如CPU使用率、内存占用情况等。它能够有效地帮助管理员掌握系统的整体运行状况，及时发现潜在的...

    ganglia安装配置

    ### Ganglia 安装与配置详解 #### 一、Ganglia简介 Ganglia 是一个高性能、可扩展的分布式监控系统，它主要用于监控大型计算集群的资源使用情况。Ganglia 可以实时地收集并展示服务器节点的 CPU 使用率、内存使用量...

    ganglia安装指南

    ### Ganglia安装与配置详解 #### 一、Ganglia简介 Ganglia是一个用于监控高性能计算集群（HPC）的开源系统。它能够收集、分析并展示集群中各节点的资源利用情况，如CPU使用率、内存使用量、磁盘空间等。Ganglia的...

    ganglia安装配置汇编.pdf

    《Ganglia安装配置详解》 Ganglia是一款开源的分布式监控系统，它能够收集并显示网络中的各种节点（如服务器、工作站等）的性能数据，包括CPU使用率、内存使用情况、磁盘I/O、网络流量等。本文将详细介绍在Red Hat ...

    云监控Ganglia安装步骤

    ### 云监控Ganglia安装步骤详解 #### 一、环境准备 为了确保Ganglia在CentOS 6.4环境中正确安装与运行，我们首先需要了解并准备好所需的硬件及软件环境。 **主机配置信息** - **duangr-1（主节点）** - IP: 192...

    零基础Ganglia安装教程.pdf

    零基础Ganglia安装教程，详细介绍安装过程

    ganglia安装所需rpm包

    在Linux环境中，通常通过RPM（Red Hat Package Manager）包来安装Ganglia。RPM是一种软件包管理器，它使得软件的安装、升级和卸载过程变得简单。 在这个场景中，提到的四个RPM包分别是： 1. `yum-3.2.29-40.el6....

    ganglia安装所需要包

    在本文中，我们将详细探讨Ganglia的安装过程以及CGILIB的相关知识。 首先，我们来看如何在Linux环境中通过YUM安装Ganglia。YUM（Yellowdog Updater, Modified）是Fedora和RHEL系列操作系统中常用的包管理器，它能...

    ganglia安装所需依赖和软件总包附安装教程

    本教程将详细讲解Ganglia的安装过程，以及所需的依赖和软件包。 一、Ganglia依赖 在安装Ganglia之前，必须确保系统中已经安装了以下关键依赖项： 1. **编译工具**：如GCC，用于编译源代码。通常，这些工具在`...

    服务器监控软件ganglia安装包及其安装文档

    在安装Ganglia之前，你需要了解以下关键知识点： 1. **系统要求**：Ganglia适用于多种操作系统，包括Linux（如Ubuntu、CentOS）、FreeBSD等。确保你的服务器支持这些操作系统，并且是最新稳定版本。 2. **组件组成...

    CentOS_Ganglia安装.doc

    在本文中，我们将详细探讨如何在CentOS 6.6环境下安装Ganglia监控系统，这是一个广泛用于Linux集群性能监控的开源工具。首先，我们确保系统是64位的CentOS基本服务器版本。 1. **Ganglia简介** Ganglia是一个...

    ganglia安装文件

    3. **安装Ganglia**: 使用`yum install`或`rpm -ivh`命令安装Ganglia的RPM包，包括gmetad、gmond及相关依赖。 4. **配置Gmond**: 修改`/etc/ganglia/gmond.conf`，配置gmond监听的端口、上报数据的gmetad地址以及...

    走进Ganglia—源码安装

    expat是一个用C语言编写的XML解析器库，是Ganglia安装所需的基础之一。 ``` wget http://downloads.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz tar -zvxf expat-2.1.0.tar.gz cd expat-2.1.0 ....

    HADOOP监控GANGLIA安装文档.docx

    本安装文档将指导你如何在基于CentOS 5.6的环境中安装Ganglia来监控Hadoop集群。 首先，确保你的系统满足必要的依赖。在开始安装前，需要安装一些基础的开发库，如zlib、freetype、libart_lgpl和libpng。你可以通过...

    ganglia的linux安装包

    5. **安装和启动服务**：使用`make install`将Ganglia安装到系统中。然后，启动Gmetad（数据聚合服务器）和Gmond（数据收集代理）。在Debian/Ubuntu上： ``` sudo make install sudo service gmond start sudo ...

    ganglia源码安装（包括教程和所有安装包）

    这里包括ganglia安装需要的所有安装包，源码安装，包括教程，亲自在centos上测试可以安装，在编译ganglia时需要将/usr/local/apr/include/apr－1下的所有文件拷贝到/usr/local/apr/include/下才可以成功哦！

    ganglia安装文档

    在所有依赖安装完成后，可以继续安装Ganglia本身，配置相应的`gmond.conf`和`gmetad.conf`文件以适应特定的集群环境。安装完成后，启动gmond和gmetad服务，并确保它们能够正确通信和更新数据。 总之，Ganglia是一个...

    在 Centos6.2 64 安装 Ganglia-3.4

    ### 在CentOS 6.2 64位系统上安装Ganglia-3.4 #### 一、环境准备 为了确保安装过程顺利进行，首先需要确保系统的基础环境已搭建好，包括Apache服务器、PHP环境等。以下是安装Ganglia前的一些基本步骤： 1. **安装...

    ganglia相关安装文件

    三、Ganglia安装与配置 1. **系统准备**：确保所有节点都安装了必要的库，如开发工具、PHP、RRDTool等。 2. **安装gmond**：在所有节点上安装gmond，配置文件`/etc/ganglia/gmond.conf`需指定集群名称、端口等信息...

    ganglia 安装过程及问题处理（各种问题 各种）

    NULL 博文链接：https://pppqqq800.iteye.com/blog/1936695

Magicbox
Global site tag (gtag.js) - Google Analytics