`

ganglia安装 flume监控

 
阅读更多

两台机器

 

192.168.147.72  gmetad gweb

192.168.150.140 gmond

 

==========安装【gmetad】机器==========

 

#查看EPEL源

rpm -qa | grep epel

 

#如果没有安装EPEL源

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

 

#安装依赖

yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

 

#安装ganglia-gmetad 和 ganglia-web

yum search ganglia

yum install -y ganglia-gmetad.x86_64 ganglia-web.x86_64

yum install -y ganglia-gmond.x86_64

rpm -qa | grep ganglia

 

#配置gmetad

data_source "flumeDataSrc" 10 192.168.150.140:8650

data_source "meta_gmond" 10 192.168.147.72:8649

 

#修改ganglia-web Apache配置

vi /etc/httpd/conf.d/ganglia.conf

#文件内容Deny from all 为 allow from all

 

#设置开机自启

chkconfig --add gmetad

chkconfig --add httpd

 

#关闭防火墙

service iptables stop

#关闭SELINUX

vi /etc/selinux/config,把SELINUX=enforcing改成SELINUX=disable;需要重启机器

可以使用命令setenforce 0来关闭selinux而不需要重启,刷新页面,即可访问!但此方法只是一权宜之计。要想永久修改selinux设置,还是要使用第一种方法

 

#启动服务

service gmetad start

service httpd start

service gmond start

#验证是否启动成功

service gmetad status

service gmond status

 

#web查看

http://192.168.147.72/ganglia

 

 

==========安装【gmond】机器==========

 

#查看EPEL源

rpm -qa | grep epel

 

#如果没有安装EPEL源

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

 

#安装依赖

yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

 

#安装监控节点的gmond,【gmetad】节点也可以安装一个,监控【gmetad】节点的参数

yum search ganglia

yum install -y ganglia-gmond.x86_64

 

#配置gmond

cluster {

  name = "flumeDataSrc"

  owner = "unspecified"

  latlong = "unspecified"

  url = "unspecified"

}

host {

  location = "unspecified"

}

udp_send_channel {

  #mcast_join = 239.2.11.71

  host=192.168.150.140

  port = 8650

  ttl = 1 

}   

udp_recv_channel {

  #mcast_join = 239.2.11.71

  port = 8650

  #bind = 239.2.11.71

  #retry_bind = true

  # Size of the UDP buffer. If you are handling lots of metrics you really

  # should bump it up to e.g. 10MB or even higher.

  # buffer = 10485760

}

tcp_accept_channel {

  port = 8650

  # If you want to gzip XML output

  gzip_output = no

}

 

#配置开机自启

chkconfig –add gmond

 

#启动服务

service gmond start

#验证是否启动成功

service gmond status

 

==========注意事项==========

 

RRD存储位置:/var/lib/ganglia/rrds

 

WEB工程位置:/usr/share/ganglia/

 

#如果出现有图没有数据的情况,检查是否两台机器时间不同步

#安装ntpdate

yum install ntpdate

#同步时间

ntpdate time.windows.com

 

==========flume监控配置==========

 

vim  conf/flume-env.sh

 

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.150.140:8650"

 

分享到:
评论

相关推荐

    Flume监控之Ganglia

    Ganglia简介 Ganglia是UC Berkeley发起的一个开源集群监视可视化工具,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。... Ganglia的安装与部署 1. 安装httpd服务与php [ro

    Flume面试知识点总结

    - **监控与优化**:可以使用 Ganglia 监控 Flume 的运行状态,当发现提交失败次数过多时,可能需要优化内存大小或增加服务器数量。 5. **自定义组件**: - **自定义拦截器**:实现 Interceptor 接口,包括初始化...

    全面系统完整的Flume教程

    你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...

    flume搭建资料及相关组件

    - **监控与管理**: 可通过 JMX 监控 Flume 的运行状态,或者使用 Web UI(如通过 Ganglia 或 Nagios)进行监控。 4. **Flume 高级特性** - **级联 Agent**: 一个 Agent 的 Sink 可以是另一个 Agent 的 Source,...

    通俗易懂的Flume升级版教程(含配套资料)

    你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...

    大数据视频_Flume视频教程

    你将学习到,Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的...

    年薪50万大佬怎么复习的.docx

    - 通过Ganglia监控Flume性能,调整内存大小以优化性能。 3. **Kafka详解** - Kafka包含生产者、消费者、Brokers和Zookeeper,Zookeeper保存元数据。 - 根据日常和峰值数据量选择合适的Kafka台数和分区数量。 - ...

    Transwarp安装运维手册

    手册的版本为3.0,它详细阐述了与Transwarp相关的重要知识点,涵盖了安装前的准备工作、集群配置步骤、系统服务角色的理解、监控和告警设置、系统配置管理以及日常运维等各个方面。 文档分为若干章节,每个章节详细...

    如何面试1.docx 大数据项目+项目介绍+面试辅导

    8. **监控系统**:集成Ganglia监控Flume的运行状态,监控put和take事务,确保系统的稳定性和数据完整性。 在面试准备中,求职者应该深入理解以上每个环节,能够清晰地阐述项目细节,展示解决问题的能力,同时熟悉...

    项目介绍5.docx大数据项目+项目介绍+面试辅导

    7. **监控与故障排查**:通过Ganglia监控Flume的put和take事务,确保系统的稳定运行。当发现异常时,能够及时调整和优化。 这些项目经验对于求职面试来说非常重要,不仅展示了实际操作大数据项目的能力,也反映了...

    大数据运行监控工具;配置文件管理工具;数据源管理工具;.zip

    此外,像Ganglia、Nagios和Prometheus等开源工具则专注于监控服务器性能指标,如CPU使用率、内存占用、磁盘I/O和网络流量。 二、配置文件管理工具 配置文件管理在大数据环境中至关重要,因为正确配置可以影响到...

    Hadoop集群监控与Hive高可用.rar

    2. **监控工具**:Zabbix、Ganglia、Ambari和Nagios是常用的Hadoop集群监控工具。它们能实时显示集群的健康状况,并提供警报机制以在出现问题时及时通知管理员。 3. **日志分析**:通过收集和分析Hadoop的日志文件...

    “1+X”大数据平台运维职业技能等级证书实验指导手册(初级).zip

    这一章会介绍各种监控工具,如Ganglia或Ambari,以及如何通过监控界面查看性能指标和生成报表。 9. **第15章:告警和日志信息监控** - 学习者将学习如何设置告警规则,及时发现和处理平台异常,同时理解日志信息的...

    大数据集群:ClouderaCDH安装手册中文版pdf高清版最新版本

    同时,社区版Hadoop缺乏集成的运行监控和运维工具,通常需要结合ganglia、nagios等工具来实现运行监控,导致运维成本较高。 相比之下,Cloudera的CDH版本是目前最成熟的发行版之一,拥有众多部署案例。CDH提供了...

    个人使用计算机专业简历-大数据工程师.docx

    - **Ganglia监控**:使用Ganglia监控Flume的运行状态,确保系统的稳定性和可靠性。 ### 5. 实时消息传递 - **Kafka内部架构**:Kafka是一种高吞吐量的分布式发布订阅消息系统,适用于实时数据管道和流处理应用。 ...

    大数据集群部署手册(最新最全)

    手册会讲解如何集成Zabbix、Ganglia等监控工具,实时监控集群的CPU、内存、磁盘和网络状态,以及如何配置日志聚合工具如Flume和Logstash,收集并分析集群的日志信息,以便于快速定位和解决问题。 安全性是大数据...

    Mobike大数据平台建设.pdf

    2. 监控系统:Zabbix和Ganglia用于集群监控,确保系统稳定性。 3. 安全与权限:通过HDFS的目录规范、Quota限制以及YARN的Queue划分来加强资源管理。使用Kerberos进行身份认证,LDAP进行身份管理,Sentry实现数据访问...

    大数据学习路径思维导图.pdf

    - **Ganglia**: 是一个大规模分布式监控系统,用于监控集群的性能,如检测Put与Take事务的尝试次数和成功次数,并允许调整拉取batch大小。 7. **MySQL主从复制** - 主库将改变记录写入二进制日志(binarylog)中,...

Global site tag (gtag.js) - Google Analytics