- 浏览: 2183802 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
Ganglia的安装,可以使用yum和rpm来进行,对于刚装的系统需要分别执行以下几个命令,来完成初始化安装:
安装完成后,即可配置。
1, 修改ganglia的conf配置,
修改 /etc/ganglia/gmetad.conf,数据源的配置
data_source "solr cluster" 127.0.0.1
集群IP,可以设置多个IP地址,也可以设置多个数据源。
2,修改 /etc/ganglia/gmond.conf的配置,把name对应起来
cluster {
name = "solr cluster"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
3,修改/etc/httpd/conf.d/ganglia.conf,Apache的配置,不拦截ganglia的数据包
Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
Allow from all
Allow from 192.168.46.21
Allow from ::1
# Allow from .example.com
</Location>
4,cd /var/lib/jmxtrans
配置jmxtrans
添加solr.json
solr.json的配置如下:
配置完成后,需要依次,启动如下服务:
注意,solr启动的jetty的jar需要加上JMX的监控参数,内容如下:
最后需要注意一点,为了防止访问apache服务出错,
如果出现:There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied . 错误,我们需要进行以下的设置:
一切完成后,我们就是访问我们本机的ip地址,看到的界面如下所示:
到此,我们的单机监控solr的demo,就部署成功了,以同样的方式,我们还可以对hadoop进行监控,另外我们还可以配置多个datasource来监控多个应用。
yum install –y wget apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel rrdtool* rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm rpm -ivh http://github.com/downloads/jmxtrans/jmxtrans/jmxtrans-20121016.145842.6a28c97fbb-0.noarch.rpm yum install ganglia*
安装完成后,即可配置。
1, 修改ganglia的conf配置,
修改 /etc/ganglia/gmetad.conf,数据源的配置
data_source "solr cluster" 127.0.0.1
集群IP,可以设置多个IP地址,也可以设置多个数据源。
2,修改 /etc/ganglia/gmond.conf的配置,把name对应起来
cluster {
name = "solr cluster"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
3,修改/etc/httpd/conf.d/ganglia.conf,Apache的配置,不拦截ganglia的数据包
Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
Allow from all
Allow from 192.168.46.21
Allow from ::1
# Allow from .example.com
</Location>
4,cd /var/lib/jmxtrans
配置jmxtrans
添加solr.json
solr.json的配置如下:
{ "servers" : [ { "host" : "192.168.46.23", "alias" : "solr23", "port" : "3000", "queries" : [ { "obj" : "java.lang:type=Memory", "resultAlias": "solr23.heap", "attr" : [ "HeapMemoryUsage", "NonHeapMemoryUsage" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }, { "obj" : "java.lang:name=CMS Old Gen,type=MemoryPool", "resultAlias": "solr23.cmsoldgen", "attr" : [ "Usage" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }, { "obj" : "java.lang:type=GarbageCollector,name=*", "resultAlias": "solr23.gc", "attr" : [ "CollectionCount", "CollectionTime" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }, { "obj" : "java.lang:type=Threading", "resultAlias": "solr23.threads", "attr" : [ "DaemonThreadCount", "PeakThreadCount", "ThreadCount", "TotalStartedThreadCount" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }, { "obj" : "solr/collection1:type=queryResultCache,id=org.apache.solr.search.LRUCache", "resultAlias": "solr23.queryCache", "attr" : [ "warmupTime","size","lookups","evictions","hits","hitratio","inserts","cumulative_lookups","cumulative_hits","cumulative_hits","cumulative_hitratio","cumulative_inserts","cumulative_evictions" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }, { "obj" : "solr/collection1:type=searcher,id=org.apache.solr.search.SolrIndexSearcher", "resultAlias": "solr23.searcher", "attr" : [ "maxDoc","numDocs","warmupTime" ], "outputWriters" : [ { "@class" : "com.googlecode.jmxtrans.model.output.GangliaWriter", "settings" : { "groupName" : "Solr-JVM", "host" : "239.2.11.71", "port" : "8649" } }] }] }] }
配置完成后,需要依次,启动如下服务:
service httpd start //启动apache服务 /etc/init.d/gmetad start //启动绘图服务 /etc/init.d/gmond start //启动数据收集服务 这个放在solr前执行 jmx /etc/init.d/jmxtrans start //启动jmx /home/solr/start-solr.sh //启动solr
注意,solr启动的jetty的jar需要加上JMX的监控参数,内容如下:
java -Djava.rmi.server.hostname=192.168.46.23 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=3000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -jar start.jar
最后需要注意一点,为了防止访问apache服务出错,
如果出现:There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied . 错误,我们需要进行以下的设置:
(1):临时可以使用命令setenforce 0来关闭selinux而不需要重启,刷新页面,即可访问! (2):永久的使用,需要关闭selinux:vi /etc/selinux/config,把SELINUX=enforcing改成SELINUX=disable;需要重启机器。
一切完成后,我们就是访问我们本机的ip地址,看到的界面如下所示:
到此,我们的单机监控solr的demo,就部署成功了,以同样的方式,我们还可以对hadoop进行监控,另外我们还可以配置多个datasource来监控多个应用。
发表评论
-
Apache Flink在阿里的使用(译)
2019-02-21 21:18 1176Flink是未来大数据实时 ... -
计算机图形处理的一些知识
2018-04-25 17:46 1229最近在搞opencv来做一些 ... -
如何在kylin中构建一个cube
2017-07-11 19:06 1268前面的文章介绍了Apache Kylin的安装及数据仓 ... -
Apache Kylin的入门安装
2017-06-27 21:27 2145Apache Kylin™是一个开源的分布式分析引擎,提供 ... -
ES-Hadoop插件介绍
2017-04-27 18:07 1992上篇文章,写了使用spark集成es框架,并向es写入数据,虽 ... -
如何在Scala中读取Hadoop集群上的gz压缩文件
2017-04-05 18:51 2130存在Hadoop集群上的文件,大部分都会经过压缩,如果是压缩 ... -
如何收集项目日志统一发送到kafka中?
2017-02-07 19:07 2792上一篇(http://qindongliang.iteye. ... -
Hue+Hive临时目录权限不够解决方案
2016-06-14 10:40 4702安装Hue后,可能会分配多个账户给一些业务部门操作hive,虽 ... -
Hadoop的8088页面失效问题
2016-03-31 11:21 4450前两天重启了测试的hadoop集群,今天访问集群的8088任 ... -
Hadoop+Hbase集群数据迁移问题
2016-03-23 21:00 2524数据迁移或备份是任何 ... -
如何监控你的Hadoop+Hbase集群?
2016-03-21 16:10 4920前言 监控hadoop的框架 ... -
Logstash与Kafka集成
2016-02-24 18:44 11630在ELKK的架构中,各个框架的角色分工如下: Elastic ... -
Kakfa集群搭建
2016-02-23 15:36 2647先来整体熟悉下Kafka的一些概念和架构 (一)什么是Ka ... -
大数据日志收集框架之Flume入门
2016-02-02 14:25 4186Flume是Cloudrea公司开源的一款优秀的日志收集框架 ... -
Apache Tez0.7编译笔记
2016-01-15 16:33 2523目前最新的Tez版本是0.8,但还不是稳定版,所以大家还 ... -
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
2016-01-14 15:52 3832这两天,打算给现有的 ... -
Hadoop2.7.1和Hbase0.98添加LZO压缩
2016-01-04 17:46 26041,执行命令安装一些依赖组件 yum install -y ... -
Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析
2015-11-11 19:51 3177关于NameNode高可靠需要配置的文件有core-site ... -
设置Hadoop+Hbase集群pid文件存储位置
2015-10-20 13:40 2849有时候,我们对运行几 ... -
Hadoop+Maven项目打包异常
2015-08-11 19:36 1565先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上 ...
相关推荐
【Ganglia监控系统在Linux集群上的配置及Solr监控】 Ganglia是一个开源的分布式监控系统,专门设计用于监控大型集群的计算资源,如CPU使用率、内存使用、网络流量等。它由三个主要组件构成:gmond、gmetad和ganglia...
【Ganglia监控系统在Linux集群上的配置及Solr监控】 Ganglia是一个开源的分布式监控系统,专门设计用于监控大型集群的计算性能,如CPU使用率、内存使用情况、网络带宽等。它适用于高性能计算环境(HPC),通过低...
在服务器端,需要安装包括ganglia-gmetad、rrdtool等相关软件包,并配置/gmetad.conf文件,定义要监控的客户端IP和端口。配置完成后,重启gmetad服务。此外,还需要配置web界面,通常通过修改Apache的配置文件(例如...
### Ganglia 安装与配置详解 #### 一、Ganglia简介 Ganglia 是一个高性能、可扩展的分布式监控系统,它主要用于监控大型计算集群的资源使用情况。Ganglia 可以实时地收集并展示服务器节点的 CPU 使用率、内存使用量...
- **编译与安装**:解压源码后,执行`./configure`进行配置,然后运行`make`和`make install`来编译和安装。 - **配置Gmond**:编辑`/etc/ganglia/gmond.conf`,配置监控参数,如主机名、端口、网络接口等。 - **...
3. **配置gmond**:在每个节点上编辑`/etc/ganglia/gmond.conf`,设置集群的名称、网络参数和其他监控选项。 4. **启动gmond**:启动gmond服务并确保其在系统启动时自动启动。 5. **配置gmetad**:在中央收集器上...
4. **监控工具**:使用Solr提供的监控工具或者第三方工具(如Ganglia、Nagios等)对Solr集群进行监控。 #### 四、常见问题及解决方案 - **问题1:启动失败** - 解决方案:检查JDK环境变量是否正确设置;检查Solr的...
《Ganglia安装配置详解》 Ganglia是一款开源的分布式监控系统,它能够收集并显示网络中的各种节点(如服务器、工作站等)的性能数据,包括CPU使用率、内存使用情况、磁盘I/O、网络流量等。本文将详细介绍在Red Hat ...
### Ganglia的安装与配置 #### 安装Ganglia Monitor与Web前端 Ganglia的安装首先涉及到Monitor(gmond)和Web前端(gweb)两个部分。通过包管理器`apt-get`,可以在Ubuntu等Linux发行版上轻松安装。具体步骤如下:...
描述中提到“配合Nagios进行分布式监控预警”,这表示本配置不仅是关于Ganglia本身的安装与配置,还涉及与另一个监控工具Nagios的整合。Nagios是一个功能强大的监控工具,可用于监控系统、网络和服务。通过将Ganglia...
### Ganglia安装与配置详解 #### 一、前言 Ganglia是一种分布式监控系统,主要用于监测集群中的各个节点的状态,比如CPU使用率、内存占用情况等。它能够有效地帮助管理员掌握系统的整体运行状况,及时发现潜在的...
《Ganglia监控系统安装与配置详解》 Ganglia是一款开源的分布式监控系统,用于收集、聚合并展示网络中的各个节点(如服务器、虚拟机等)的性能数据。本篇将详细介绍Ganglia监控系统的安装步骤,以及相关组件的配置...
2. `python-iniparse-0.3.1-2.1.el6.noarch.rpm`:这是一个Python库,用于解析和操作INI格式的配置文件,如那些在Ganglia配置中常见的文件。它是YUM和其他依赖于Python处理配置文件的软件所必需的。 3. `yum-plugin...
创建Ganglia配置文件,如gmond.conf和gmetad.conf,配置gmond监听节点信息,gmetad配置数据源,如"data_source "db1" 192.168.10.1"表示监控名为“db1”的IP为192.168.10.1的节点。 最后,确保Ganglia的运行目录...
- **Ganglia配置**: - **配置启动程序**:在每个节点上,配置gmond的启动脚本,确保服务能够在系统启动时自动运行。 - **配置gmond.conf**:在监控节点上,配置gmond的配置文件,设置数据报告间隔、集群名称等...
7. **配置Web前端**: 根据系统情况,可能需要配置Apache或Nginx以正确展示Ganglia的Web界面,并将`/var/lib/ganglia/rrds`目录权限设置为Web服务器用户可读。 8. **验证安装**: 访问Web界面,查看是否能正常显示...
在安装Ganglia之前,我们需要确保系统已经配置了YUM。然后,我们需要添加一个新的YUM仓库,以便获取Ganglia的安装包。在描述中提到,我们需要在`/etc/yum.repos.d/`目录下创建一个名为`dag.repo`的文件,并在其中...
本书的详细内容涵盖了Ganglia的安装、配置、使用及优化,旨在帮助读者快速掌握这一强大的监控工具。 首先,Ganglia的核心在于其分布式架构,这使得它可以轻松地扩展到成百上千的节点,无论是在小型集群还是大型数据...
为了确保Ganglia在CentOS 6.4环境中正确安装与运行,我们首先需要了解并准备好所需的硬件及软件环境。 **主机配置信息** - **duangr-1(主节点)** - IP: 192.168.56.10 - OS: CentOS 6.4 - Arch: x86_64 - **...