两台机器
192.168.147.72 gmetad gweb
192.168.150.140 gmond
==========安装【gmetad】机器==========
#查看EPEL源
rpm -qa | grep epel
#如果没有安装EPEL源
rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
#安装依赖
yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig
#安装ganglia-gmetad 和 ganglia-web
yum search ganglia
yum install -y ganglia-gmetad.x86_64 ganglia-web.x86_64
yum install -y ganglia-gmond.x86_64
rpm -qa | grep ganglia
#配置gmetad
data_source "flumeDataSrc" 10 192.168.150.140:8650
data_source "meta_gmond" 10 192.168.147.72:8649
#修改ganglia-web Apache配置
vi /etc/httpd/conf.d/ganglia.conf
#文件内容Deny from all 为 allow from all
#设置开机自启
chkconfig --add gmetad
chkconfig --add httpd
#关闭防火墙
service iptables stop
#关闭SELINUX
vi /etc/selinux/config,把SELINUX=enforcing改成SELINUX=disable;需要重启机器
可以使用命令setenforce 0来关闭selinux而不需要重启,刷新页面,即可访问!但此方法只是一权宜之计。要想永久修改selinux设置,还是要使用第一种方法
#启动服务
service gmetad start
service httpd start
service gmond start
#验证是否启动成功
service gmetad status
service gmond status
#web查看
http://192.168.147.72/ganglia
==========安装【gmond】机器==========
#查看EPEL源
rpm -qa | grep epel
#如果没有安装EPEL源
rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
#安装依赖
yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig
#安装监控节点的gmond,【gmetad】节点也可以安装一个,监控【gmetad】节点的参数
yum search ganglia
yum install -y ganglia-gmond.x86_64
#配置gmond
cluster {
name = "flumeDataSrc"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
host {
location = "unspecified"
}
udp_send_channel {
#mcast_join = 239.2.11.71
host=192.168.150.140
port = 8650
ttl = 1
}
udp_recv_channel {
#mcast_join = 239.2.11.71
port = 8650
#bind = 239.2.11.71
#retry_bind = true
# Size of the UDP buffer. If you are handling lots of metrics you really
# should bump it up to e.g. 10MB or even higher.
# buffer = 10485760
}
tcp_accept_channel {
port = 8650
# If you want to gzip XML output
gzip_output = no
}
#配置开机自启
chkconfig –add gmond
#启动服务
service gmond start
#验证是否启动成功
service gmond status
==========注意事项==========
RRD存储位置:/var/lib/ganglia/rrds
WEB工程位置:/usr/share/ganglia/
#如果出现有图没有数据的情况,检查是否两台机器时间不同步
#安装ntpdate
yum install ntpdate
#同步时间
ntpdate time.windows.com
==========flume监控配置==========
vim conf/flume-env.sh
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.150.140:8650"
相关推荐
Ganglia简介 Ganglia是UC Berkeley发起的一个开源集群监视可视化工具,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。... Ganglia的安装与部署 1. 安装httpd服务与php [ro
- **监控与优化**:可以使用 Ganglia 监控 Flume 的运行状态,当发现提交失败次数过多时,可能需要优化内存大小或增加服务器数量。 5. **自定义组件**: - **自定义拦截器**:实现 Interceptor 接口,包括初始化...
你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...
- **监控与管理**: 可通过 JMX 监控 Flume 的运行状态,或者使用 Web UI(如通过 Ganglia 或 Nagios)进行监控。 4. **Flume 高级特性** - **级联 Agent**: 一个 Agent 的 Sink 可以是另一个 Agent 的 Source,...
你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...
你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...
- 通过Ganglia监控Flume性能,调整内存大小以优化性能。 3. **Kafka详解** - Kafka包含生产者、消费者、Brokers和Zookeeper,Zookeeper保存元数据。 - 根据日常和峰值数据量选择合适的Kafka台数和分区数量。 - ...
手册的版本为3.0,它详细阐述了与Transwarp相关的重要知识点,涵盖了安装前的准备工作、集群配置步骤、系统服务角色的理解、监控和告警设置、系统配置管理以及日常运维等各个方面。 文档分为若干章节,每个章节详细...
8. **监控系统**:集成Ganglia监控Flume的运行状态,监控put和take事务,确保系统的稳定性和数据完整性。 在面试准备中,求职者应该深入理解以上每个环节,能够清晰地阐述项目细节,展示解决问题的能力,同时熟悉...
7. **监控与故障排查**:通过Ganglia监控Flume的put和take事务,确保系统的稳定运行。当发现异常时,能够及时调整和优化。 这些项目经验对于求职面试来说非常重要,不仅展示了实际操作大数据项目的能力,也反映了...
此外,像Ganglia、Nagios和Prometheus等开源工具则专注于监控服务器性能指标,如CPU使用率、内存占用、磁盘I/O和网络流量。 二、配置文件管理工具 配置文件管理在大数据环境中至关重要,因为正确配置可以影响到...
2. **监控工具**:Zabbix、Ganglia、Ambari和Nagios是常用的Hadoop集群监控工具。它们能实时显示集群的健康状况,并提供警报机制以在出现问题时及时通知管理员。 3. **日志分析**:通过收集和分析Hadoop的日志文件...
这一章会介绍各种监控工具,如Ganglia或Ambari,以及如何通过监控界面查看性能指标和生成报表。 9. **第15章:告警和日志信息监控** - 学习者将学习如何设置告警规则,及时发现和处理平台异常,同时理解日志信息的...
同时,社区版Hadoop缺乏集成的运行监控和运维工具,通常需要结合ganglia、nagios等工具来实现运行监控,导致运维成本较高。 相比之下,Cloudera的CDH版本是目前最成熟的发行版之一,拥有众多部署案例。CDH提供了...
- **Ganglia监控**:使用Ganglia监控Flume的运行状态,确保系统的稳定性和可靠性。 ### 5. 实时消息传递 - **Kafka内部架构**:Kafka是一种高吞吐量的分布式发布订阅消息系统,适用于实时数据管道和流处理应用。 ...
手册会讲解如何集成Zabbix、Ganglia等监控工具,实时监控集群的CPU、内存、磁盘和网络状态,以及如何配置日志聚合工具如Flume和Logstash,收集并分析集群的日志信息,以便于快速定位和解决问题。 安全性是大数据...
2. 监控系统:Zabbix和Ganglia用于集群监控,确保系统稳定性。 3. 安全与权限:通过HDFS的目录规范、Quota限制以及YARN的Queue划分来加强资源管理。使用Kerberos进行身份认证,LDAP进行身份管理,Sentry实现数据访问...
- **Ganglia**: 是一个大规模分布式监控系统,用于监控集群的性能,如检测Put与Take事务的尝试次数和成功次数,并允许调整拉取batch大小。 7. **MySQL主从复制** - 主库将改变记录写入二进制日志(binarylog)中,...