chukwa是解决在集群环境中收集各节点增量日志的一种基于hadoop的实现方案,其主要有如下四个组成部分。
1. Agents 运行在每个客户端上,负责发送数据。
2. Collectors 接收Agents发送的数据并写入稳定存储。
3. MapReduce jobs 分析和归档数据。
4. HICC 数据中心,用于显示数据的web界面。
它的系统架构如下图
以单机部署为例,前提已经安装hadoop(0.20.2),HADOOP_HOME=/usr/local/cloud/hadoop
1. 下载chukwa(0.4.0)
2. 解压到/usr/local/cloud/chukwa/,CHUKWA_HOME=/usr/local/cloud/chukwa
3. 修改$CHUKWA_HOME/conf/agents,部署在本机的话为localhost
4. 修改$CHUKWA_HOME/conf/collectors, 部署在本机的话为localhost
5. 修改$CHUKWA_HOME/conf/chukwa-env.sh,设置如下项
export JAVA_HOME=/usr/java/jdk1.6.0_26
export HADOOP_HOME="/usr/local/cloud/hadoop"
export HADOOP_CONF_DIR="/usr/local/cloud/hadoop/conf"
export HADOOP_JAR=${HADOOP_HOME}/hadoop-core-0.20.2.jar
export chukwaRecordsRepository="/chukwa/repos/"
export CHUKWA_PID_DIR=/usr/local/cloud/tmp/chukwa/pids
export CHUKWA_LOG_DIR=/usr/local/cloud/tmp/chukwa/logs
export CHUKWA_DATA_DIR=/usr/local/cloud/tmp/chukwa/data
6. 修改$CHUKWA_HOME/conf/chukwa-agent-conf.xml
<property>
<name>chukwaAgent.tags</name>
<value>cluster="chukwa"</value>
<description>The cluster's name for this agent</description>
</property>
<property>
<name>chukwaAgent.control.port</name>
<value>9093</value>
<description>The socket port number the agent's control interface can be contacted at.</description>
</property>
<property>
<name>chukwaAgent.hostname</name>
<value>localhost</value>
<description>The hostname of the agent on this node. Usually localhost, this is used by the chukwa instrumentation agent-control interface library</description>
</property>
<property>
<name>chukwaAgent.checkpoint.name</name>
<value>chukwa_agent_checkpoint</value>
<description>the prefix to to prepend to the agent's checkpoint file(s)</description>
</property>
<property>
<name>chukwaAgent.checkpoint.dir</name>
<value>${CHUKWA_LOG_DIR}/</value>
<description>the location to put the agent's checkpoint file(s)</description>
</property>
<property>
<name>chukwaAgent.checkpoint.interval</name>
<value>5000</value>
<description>the frequency interval for the agent to do checkpoints, in milliseconds</description>
</property>
<property>
<name>chukwaAgent.sender.fastRetries</name>
<value>4</value>
<description>the number of post attempts to make to a single collector, before marking it failed</description>
</property>
<property>
<name>chukwaAgent.collector.retries</name>
<value>144000</value>
<description>the number of attempts to find a working collector</description>
</property>
<property>
<name>chukwaAgent.collector.retryInterval</name>
<value>20000</value>
<description>the number of milliseconds to wait between searches for a collector</description>
</property>
7. 修改$CHUKWA_HOME/conf/chukwa-collector-conf.xml
<property>
<name>writer.hdfs.filesystem</name>
<value>hdfs://master:9000/</value>
<description>HDFS to dump to</description>
</property>
<property>
<name>chukwaCollector.outputDir</name>
<value>/chukwa/logs/</value>
<description>Chukwa data sink directory</description>
</property>
<property>
<name>chukwaCollector.rotateInterval</name>
<value>300000</value>
<description>Chukwa rotate interval (ms)</description>
</property>
<property>
<name>chukwaCollector.http.port</name>
<value>8080</value>
<description>The HTTP port number the collector will listen on</description>
</property>
8. 修改$CHUKWA_HOME/conf/initial_adaptors,添加要监测的日志文件,比如
add filetailer.CharFileTailingAdaptorUTF8 TestLog1 0 /home/matrix/Program/project/log/testlog1 0
9. 启动collectors
$CHUKWA_HOME/bin/start-collectors.sh
10. 启动agents
$CHUKWA_HOME/bin/start-agents.sh
11. 启动data-processors
$CHUKWA_HOME/bin/start-data-processors.sh
- 大小: 17.6 KB
分享到:
相关推荐
Apache Hadoop是一个广泛使用的开源分布式存储和计算框架,它的出现极大地推动了大数据处理的发展。而Apache Chukwa作为Hadoop的扩展,专为监控大型分布式系统而设计,特别是在Hadoop集群环境中,它扮演着至关重要的...
《Chukwa源码分析:探索分布式日志收集系统的核心技术》 Chukwa是Apache软件基金会的一个开源项目,它是一个大规模分布式日志收集、聚合和传输系统,主要用于监控大型分布式系统的数据流。"chukwa-src-0.8.0.tar"是...
该系统基于Hadoop分布式文件系统(HDFS)和MapReduce框架构建,利用这些技术的成熟度和稳定性,确保了Chukwa自身的高效运行和数据处理能力。Chukwa的核心功能在于收集来自分布式系统各节点的海量数据,包括但不限于...
- Chukwa:它是基于Hadoop的开源数据收集系统,用于监控大型分布式系统的健康状态。 - Pig:是一种高级的脚本语言,用于编写MapReduce任务,适用于数据流和数据转换的场景。 - Hive:为数据仓库设计,提供了SQL方言...
#### 十九、Flume:日志收集框架 - **背景**:最初由 Cloudera 开发。 - **功能**: - 可配置的数据收集。 - 支持多种数据源和目的地。 - 高可靠性。 - **应用场景**:日志聚合、实时数据流处理。 以上介绍的每...
- **概念介绍**:Chukwa是一个开源的数据收集系统,主要用于监控和收集大量分布式系统的日志和指标数据。 - **应用场景**:系统监控、日志分析等。 - **特点**: - 高度可配置:可以根据需求定制数据收集策略。 - ...
- **Chukwa**: 开源的数据收集系统,用于监控大型分布式系统的性能。 - **ZooKeeper**: 分布式协调服务,为分布式应用提供一致性服务。 #### 三、Hadoop应用实例与实践 **3.1 实战案例** - **示例一**: Web日志...
- **Chukwa**:分布式数据收集和分析系统,可以收集和分析来自HDFS的数据。 **2.2 Hadoop核心架构** Hadoop的核心架构主要包括以下几个关键组件: - **HDFS**:位于整个架构的最底层,负责存储分布在各个节点上的...
- **Chukwa**:基于Hadoop生态系统构建的日志收集与分析系统,特别适用于大规模数据集的处理。其架构包括adaptor数据源、HDFS存储系统以及Collector和Agent两个角色。通过这一架构,Chukwa能够在保证高性能的同时,...
**Chukwa** 是基于Hadoop构建的一个大规模集群监控系统。它能够收集和分析来自各种来源的日志数据,包括操作系统、应用程序和网络设备等。Chukwa提供了一个灵活的数据模型和一套强大的工具集,可以帮助用户快速识别...
ELK是一种广泛使用的日志管理解决方案,而Chukwa则是一种基于Hadoop的日志收集系统。通过对比,框架展现出其在处理大规模日志数据方面的优势,同时提供了更多定制化的服务以满足用户特定需求。 从技术角度来讲,...
Chukwa利用Hadoop的架构,提供了一种可靠、可扩展的方法来收集、存储和分析日志和其他监控数据。这对于运营管理和故障排查至关重要,因为海量的日志数据可以帮助运维人员理解系统的运行状况,及时发现并解决问题。 ...
14. **Apache Chukwa**:Chukwa 用于监控大型分布式系统的数据收集,将数据转化为适合 Hadoop 处理的格式。 15. **Apache Hama**:Hama 基于 BSP(Bulk Synchronous Parallel)模型,用于处理大规模的数学问题,如...
此外,还有数据处理工具如Avro、Mahout、Pig、Hive、Impala,以及NoSQL数据库HBase,搜索工具Solr,消息传递系统如Kafka,数据流处理工具Flume,日志管理系统Chukwa等,这些都构成了Hadoop生态系统的丰富组件。...
14. **Apache Chukwa**:Chukwa 是一个数据收集系统,用于监控分布式系统,收集的数据可以进一步用 Hadoop 进行分析。 15. **Apache Hama**:Hama 专注于大规模的并行计算,特别是图、矩阵和网络算法,基于 BSP ...