`
chakey
  • 浏览: 364429 次
  • 性别: Icon_minigender_1
  • 来自: 水星
社区版块
存档分类
最新评论

chukwa配置安装过程(1)

阅读更多

chukwa配置安装过程(1)

1:

tar zxvf chukwa-0.4.0.tar.gz

需要被监控的节点都有分发一份,每个节点都将会运行一个collector


2:

修改 ./chukwa-0.4.0/conf/chukwa-env.sh

这里面的配置项都要根据实际情况配置一遍


3:

修改(如果没有则创建) ./chukwa-0.4.0/conf/agents

配置格式为:

http://<collector1HostName>:<collector1Port>/

http://<collector2HostName>:<collector2Port>/

http://<collector3HostName>:<collector3Port>/


4:

修改(如果没有则创建) ./chukwa-0.4.0/conf/collectors

http://<collector1HostName>:<collector1Port>/

http://<collector2HostName>:<collector2Port>/

http://<collector3HostName>:<collector3Port>/

5:

修改 ./chukwa-0.4.0/conf/jdbc.conf

<clustername>=jdbc:mysql://localhost:3306/<clustername>?user=root

创建数据库和相关表

/bin/mysqladmin -u root create <clustername>

/bin/mysql -u root <clustername> < $CHUKWA_HOME/conf/database_create_table

6:

1. cp CHUKWA_HOME/conf/hadoop-log4j.properties  HADOOP_HOME/conf/log4j.properties

2. cp CHUKWA_HOME/conf/hadoocollectorsp-metrics.properties  HADOOP_HOME/conf/hadoop-metrics.properties

3. 编辑 HADOOP_HOME/conf/hadoop-metrics.properties

将里面的 @CHUKWA_LOG_DIR@ 全部替换为绝对路径


7:

修改(如果没有则创建) ./chukwa-0.4.0/conf/chukwa-collector.conf.xml

具体配置项可以参考chukwa-collector-conf.xml.template

 <name>writer.hdfs.filesystem</name>

 <value>hdfs://master:9900/</value>

这一项要和 ./hadoop/conf/core-site.xml中<name>fs.default.name</name>一致


<name>chukwaCollector.outputDir</name>配置成实际路径


collector的默认监听端口为:8080

可以通过 netstat -ntlp | grep 8080 来查看是否启动成功

也可以通过访问http://master:8080/ 来查看是否启动成功


8:

查看 chukwa agent是否启动:

netstat -ntlp | grep 9093 

网页查看链接http://master:9093/chukwa?ping=true


9:一些命令

bin/chukwa collector 启动当前服务器的collector

bin/start-collectors.sh 启动/conf/collectors这个文件中所列举的服务器的collector 


bin/chukwa agent 启动当前服务器的agent

bin/start-agents.sh 启动/conf/agents这个文件中所列举的服务器的agent









 

0
1
分享到:
评论

相关推荐

    chukwa安装

    4. **配置**:在安装过程中,你需要配置Chukwa的相关配置文件,如`chukwa.conf`,确保与你的Hadoop集群配置相匹配。 5. **构建Chukwa**:从Chukwa的源代码仓库克隆或下载最新版本,然后使用Maven或其他构建工具进行...

    chukwa_cca08

    - **故障诊断与恢复**:当系统出现故障时,Chukwa的数据可以作为重要的诊断依据,加速问题定位和解决过程。 - **性能调优**:通过对系统性能指标的持续监测和分析,Chukwa辅助运维人员调整配置参数,提升整体系统...

    Hadoop云计算平台搭建最详细过程共.pdf

    Hadoop 云计算平台搭建最详细过程共是关于 Hadoop 云计算平台的搭建和安装的详细教程,包括 Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa、Eclipse 等组件的安装和配置。本文档提供了完整的 Hadoop 云计算平台搭建...

    Hadoop云计算平台搭建最详细过程(共22页).pdf

    1. 复杂性:Hadoop云计算平台的安装和配置相对复杂。 2. 成本:Hadoop云计算平台需要大量的计算资源和存储资源,成本较高。 Hadoop云计算平台是基于Hadoop的云计算解决方案,提供了强大的数据存储和处理能力,适合...

    Hadoop云计算平台搭建最详细过程(共22页).docx

    本教程将详细介绍在Linux环境下搭建Hadoop云计算平台的过程,包括Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa和Eclipse等相关组件的安装。 **一、安装环境准备** 1. **系统要求**:Hadoop在Linux集群上得到了...

    Hadoop云计算平台搭建最详细过程.doc

    1. **环境准备**:确保所有机器都安装了64位的Ubuntu 12.04.4,并且配置好SSH免密码登录,方便集群间的通信。 2. **安装JDK**:Hadoop依赖Java环境,需要安装JDK 7或以上版本。 3. **下载和解压Hadoop**:将Hadoop的...

    hadoop+zookeeper+hbase集群搭建配置说明

    在实际搭建过程中,首先,你需要在每台服务器上安装Java环境,并确保所有节点间的网络连通性。然后,下载Hadoop、Zookeeper和HBase的最新稳定版本,并根据官方文档或社区指南进行安装。配置文件通常位于`conf`目录下...

    虚拟化与及云计算实验报告.pdf

    1. **ESXi 5.1.0 安装**:首先,确保目标机器没有操作系统,因为安装过程会格式化硬盘。在BIOS设置中开启虚拟化支持,然后通过光盘引导安装ESXi。 2. **安装步骤**:插入ESXi启动盘,从光驱启动,选择安装的硬盘,...

    基于hadoop的云计算研究报告

    **安装Linux虚拟机**:安装VMware Workstation并完成Ubuntu虚拟机的配置。 2. **安装SSH Server**:如果未预装,可以通过命令`sudo apt-get install ssh`安装。 3. **安装Java**:将JDK安装包放置在共享文件夹中...

    开源日志系统比较.docx

    - **HDFS存储**:使用HDFS作为默认存储,但HDFS并不完全适合高并发低速率的日志写入,因此Chukwa引入了agent和collector来优化这一过程。 - **数据处理**:Chukwa的Demux和achieving功能,配合MapReduce,可以直接对...

    hadoop+HBase教程

    1. Hadoop的安装与配置。这包括安装Java环境、配置Hadoop的配置文件,如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,并且设置Hadoop的环境变量。 2. HDFS的工作原理。理解NameNode和DataNode的...

    Hadoop概述&集群搭建.md

    - **Common**:提供基础服务支持,如配置管理、RPC(远程过程调用)、文件系统接口等。 - **HDFS**(Hadoop Distributed File System):分布式文件系统,用于存储大规模数据。 - **MapReduce**:分布式数据处理...

    HBase-云计算的分布式数据库

    在启动过程中,如果遇到诸如`UnknownHostException`等错误,通常是因为Linux系统的主机名配置不正确。此时,你需要检查`/etc/hosts`文件中的配置,并使用`hostname`命令修改主机名。 #### 六、监控与维护 - **日志...

    交作业安排详细流程.md

    - 安装并配置VMware虚拟机软件,以便在虚拟环境中进行Hadoop部署。 - **导入Ubuntu 16.04镜像**: - 使用VMware导入Ubuntu 16.04操作系统镜像作为基础环境。 - **安装和配置JDK、Hadoop**: - 在Ubuntu系统中...

    主流大数据采集平台架构分析v1.docx

    Channel 在 Source 和 Sink 之间起到临时存储和缓冲的作用,确保数据在传输过程中不会丢失。Flume 提供了内存、文件和 JDBC 等不同类型的 Channel。内存 Channel 具有快速响应但可能丢失数据的风险,而文件 Channel ...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 06 Hadoop大家族 共32页.pptx

    这个课程旨在让学习者能够熟练掌握Hadoop的安装、配置和管理,以及在不同系统间高效地传输数据。此外,课程还强调了Map-Reduce编程模型的理解,这是Hadoop处理大规模数据的核心机制。 【HDFS(Hadoop Distributed ...

Global site tag (gtag.js) - Google Analytics