chukwa配置安装过程(1)
1:
tar zxvf chukwa-0.4.0.tar.gz
需要被监控的节点都有分发一份,每个节点都将会运行一个collector
2:
修改 ./chukwa-0.4.0/conf/chukwa-env.sh
这里面的配置项都要根据实际情况配置一遍
3:
修改(如果没有则创建) ./chukwa-0.4.0/conf/agents
配置格式为:
http://<collector1HostName>:<collector1Port>/
http://<collector2HostName>:<collector2Port>/
http://<collector3HostName>:<collector3Port>/
4:
修改(如果没有则创建) ./chukwa-0.4.0/conf/collectors
http://<collector1HostName>:<collector1Port>/
http://<collector2HostName>:<collector2Port>/
http://<collector3HostName>:<collector3Port>/
5:
修改 ./chukwa-0.4.0/conf/jdbc.conf
<clustername>=jdbc:mysql://localhost:3306/<clustername>?user=root
创建数据库和相关表
/bin/mysqladmin -u root create <clustername>
/bin/mysql -u root <clustername> < $CHUKWA_HOME/conf/database_create_table
6:
1. cp CHUKWA_HOME/conf/hadoop-log4j.properties HADOOP_HOME/conf/log4j.properties
2. cp CHUKWA_HOME/conf/hadoocollectorsp-metrics.properties HADOOP_HOME/conf/hadoop-metrics.properties
3. 编辑 HADOOP_HOME/conf/hadoop-metrics.properties
将里面的 @CHUKWA_LOG_DIR@ 全部替换为绝对路径
7:
修改(如果没有则创建) ./chukwa-0.4.0/conf/chukwa-collector.conf.xml
具体配置项可以参考chukwa-collector-conf.xml.template
<name>writer.hdfs.filesystem</name>
<value>hdfs://master:9900/</value>
这一项要和 ./hadoop/conf/core-site.xml中<name>fs.default.name</name>一致
<name>chukwaCollector.outputDir</name>配置成实际路径
collector的默认监听端口为:8080
可以通过 netstat -ntlp | grep 8080 来查看是否启动成功
也可以通过访问http://master:8080/ 来查看是否启动成功
8:
查看 chukwa agent是否启动:
netstat -ntlp | grep 9093
或
网页查看链接http://master:9093/chukwa?ping=true
9:一些命令
bin/chukwa collector 启动当前服务器的collector
bin/start-collectors.sh 启动/conf/collectors这个文件中所列举的服务器的collector
bin/chukwa agent 启动当前服务器的agent
bin/start-agents.sh 启动/conf/agents这个文件中所列举的服务器的agent
分享到:
相关推荐
4. **配置**:在安装过程中,你需要配置Chukwa的相关配置文件,如`chukwa.conf`,确保与你的Hadoop集群配置相匹配。 5. **构建Chukwa**:从Chukwa的源代码仓库克隆或下载最新版本,然后使用Maven或其他构建工具进行...
- **故障诊断与恢复**:当系统出现故障时,Chukwa的数据可以作为重要的诊断依据,加速问题定位和解决过程。 - **性能调优**:通过对系统性能指标的持续监测和分析,Chukwa辅助运维人员调整配置参数,提升整体系统...
Hadoop 云计算平台搭建最详细过程共是关于 Hadoop 云计算平台的搭建和安装的详细教程,包括 Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa、Eclipse 等组件的安装和配置。本文档提供了完整的 Hadoop 云计算平台搭建...
1. 复杂性:Hadoop云计算平台的安装和配置相对复杂。 2. 成本:Hadoop云计算平台需要大量的计算资源和存储资源,成本较高。 Hadoop云计算平台是基于Hadoop的云计算解决方案,提供了强大的数据存储和处理能力,适合...
本教程将详细介绍在Linux环境下搭建Hadoop云计算平台的过程,包括Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa和Eclipse等相关组件的安装。 **一、安装环境准备** 1. **系统要求**:Hadoop在Linux集群上得到了...
1. **环境准备**:确保所有机器都安装了64位的Ubuntu 12.04.4,并且配置好SSH免密码登录,方便集群间的通信。 2. **安装JDK**:Hadoop依赖Java环境,需要安装JDK 7或以上版本。 3. **下载和解压Hadoop**:将Hadoop的...
在实际搭建过程中,首先,你需要在每台服务器上安装Java环境,并确保所有节点间的网络连通性。然后,下载Hadoop、Zookeeper和HBase的最新稳定版本,并根据官方文档或社区指南进行安装。配置文件通常位于`conf`目录下...
1. **ESXi 5.1.0 安装**:首先,确保目标机器没有操作系统,因为安装过程会格式化硬盘。在BIOS设置中开启虚拟化支持,然后通过光盘引导安装ESXi。 2. **安装步骤**:插入ESXi启动盘,从光驱启动,选择安装的硬盘,...
**安装Linux虚拟机**:安装VMware Workstation并完成Ubuntu虚拟机的配置。 2. **安装SSH Server**:如果未预装,可以通过命令`sudo apt-get install ssh`安装。 3. **安装Java**:将JDK安装包放置在共享文件夹中...
- **HDFS存储**:使用HDFS作为默认存储,但HDFS并不完全适合高并发低速率的日志写入,因此Chukwa引入了agent和collector来优化这一过程。 - **数据处理**:Chukwa的Demux和achieving功能,配合MapReduce,可以直接对...
1. Hadoop的安装与配置。这包括安装Java环境、配置Hadoop的配置文件,如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,并且设置Hadoop的环境变量。 2. HDFS的工作原理。理解NameNode和DataNode的...
- **Common**:提供基础服务支持,如配置管理、RPC(远程过程调用)、文件系统接口等。 - **HDFS**(Hadoop Distributed File System):分布式文件系统,用于存储大规模数据。 - **MapReduce**:分布式数据处理...
在启动过程中,如果遇到诸如`UnknownHostException`等错误,通常是因为Linux系统的主机名配置不正确。此时,你需要检查`/etc/hosts`文件中的配置,并使用`hostname`命令修改主机名。 #### 六、监控与维护 - **日志...
- 安装并配置VMware虚拟机软件,以便在虚拟环境中进行Hadoop部署。 - **导入Ubuntu 16.04镜像**: - 使用VMware导入Ubuntu 16.04操作系统镜像作为基础环境。 - **安装和配置JDK、Hadoop**: - 在Ubuntu系统中...
Channel 在 Source 和 Sink 之间起到临时存储和缓冲的作用,确保数据在传输过程中不会丢失。Flume 提供了内存、文件和 JDBC 等不同类型的 Channel。内存 Channel 具有快速响应但可能丢失数据的风险,而文件 Channel ...
这个课程旨在让学习者能够熟练掌握Hadoop的安装、配置和管理,以及在不同系统间高效地传输数据。此外,课程还强调了Map-Reduce编程模型的理解,这是Hadoop处理大规模数据的核心机制。 【HDFS(Hadoop Distributed ...