`
侯上校
  • 浏览: 223430 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Chukwa安装

 
阅读更多
wget http://www.us.apache.org/dist/chukwa/chukwa-incubating-src-0.5.0.tar.gz
tar -xvf chukwa-incubating-src-0.5.0.tar.gz
mvn clean package -Dmaven.test.skip=true
Install
cp chukwa-0.5.0-client.jar /usr/local/hadoop/lib
cp chukwa-0.5.0.jar /usr/local/hadoop/lib
cp json-simple-1.1.jar /usr/local/hadoop/lib
cp hadoop-metrics.properties  /usr/local/hadoop/etc/hadoop/
cp hadoop-log4j.properties  /usr/local/hadoop/etc/hadoop/
替换hbase zk hadoop的jar文件
find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/chukwa/share/chukwa/lib/
还有以下文件中jar包 
jar -cvfM0 hicc.war ./
jar -xvf hicc.war
/usr/local/chukwa/share/chukwa/webapps/hicc.war
PS:chukwa collector默认在8080端口监听。
agent默认在9093端口监听
protobuf版本要一致
telnet localhost 9093
help
此时输入 list,则可以查看到当前正在运行的所有的 adapter。
can not write pid file to /tmp/chukwa/pidDir/hicc.pid
到此目录下把此hicc.pid删除掉
vim agents
hadoopMaster
hadoopSlave1
hadoopSlave2
vim collectors
hadoopMaster
hadoopSlave1
hadoopSlave2
vim chukwa-env.sh
export JAVA_HOME=/usr/local/jdk/jre
# Optional
# The location of HBase Configuration directory.  For writing data to
# HBase, you need to set environment variable HBASE_CONF to HBase conf
# directory.
export HBASE_CONF_DIR=/usr/local/hbase/conf
# Hadoop Configuration directory
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
vim chukwa-collector-conf.xml
<property> 
    <name>writer.hdfs.filesystem</name> 
    <value>hdfs://hadoopMaster:9000/</value> 
    <description>HDFS to dump to</description> 
</property> 
<property> 
    <name>chukwaCollector.outputDir</name> 
    <value>/chukwa/logs/</value> 
    <description>chukwa data sink directory</description> 
</property> 
<property> 
    <name>chukwaCollector.http.port</name> 
    <value>8080</value> 
    <description>The HTTP port number the collector will listen on</description> 
</property> 
$CHUKWA_HOME/libexec/chukwa-config.sh
修改第30 31行
# the root of the Chukwa installation
export CHUKWA_HOME=chukwa安装目录
启动Chukwa过程: 
1)启动Hadoop和HBase、ZK
2)启动Chukwa:sbin/start-chukwa.sh 
3)启动HICC:bin/chukwa hicc 
启动后可以通过浏览器进行访问:http://<Server>:<port>/hicc
port默认是4080; 
 默认用户名和密码是:admin 

 

0
0
分享到:
评论

相关推荐

    chukwa安装

    在进行Chukwa安装前,我们需要了解一些基本概念: 1. **Hadoop Ecosystem**:Chukwa是Hadoop生态的一部分,因此,理解Hadoop的基本概念,如HDFS(Hadoop Distributed File System)和MapReduce计算模型,是安装...

    chukwa安装配置[定义].pdf

    在本文中,我们将详细介绍如何在已安装Hadoop环境的基础上配置Chukwa。 首先,确保你已经有了一个Cloudera-training-0.3.4的VMware镜像,这将提供一个预配置的环境,便于进行Chukwa的安装。另外,你还需要下载MySQL...

    Hadoop chukwa

    1. Agent:安装在各个数据源节点上,负责从应用程序或系统中抽取监控数据。Agent可以与不同的Adaptors配合,适应各种数据格式和协议。 2. Adaptor:Adaptors是Chukwa中的适配器层,允许Chukwa与各种不同的数据源...

    Hadoop安装学习-入门教程

    Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...

    Hadoop云计算平台搭建最详细过程(共22页).pdf

    (9)安装Chukwa,版本为chukwa-0.5.0.tar.gz。 (10)配置SSH免密码登录。 四、Hadoop云计算平台架构 1. 完全分布式网络拓补图:如图六所示,Hadoop云计算平台的完全分布式网络拓补图由Master和Slaves组成。 2. ...

    Hadoop云计算平台搭建最详细过程共.pdf

    Hadoop 云计算平台搭建最详细过程共是关于 Hadoop 云计算平台的搭建和安装的详细教程,包括 Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa、Eclipse 等组件的安装和配置。本文档提供了完整的 Hadoop 云计算平台搭建...

    虚拟化与及云计算实验报告.pdf

    此外,还有其他相关项目如Avro、Chukwa、HBase、Hive、Mahout和Pig等,它们原先作为Hadoop的子项目,现在已成为Apache的顶级项目。 **Hadoop的安装** 1. **系统兼容性**:Hadoop主要设计为在Linux平台上运行,但也...

    Hadoop实战-第二版-陆嘉恒 (2012版)

    Chukwa详解18. Hadoop的常用插件与开发19. Hadoop在yahoo的应用附录A: 云计算在线监测平台附录B: Hadoop安装、运行、使用说明附录C:使用DistributedCache的MapReduce程序附录D:使用ChainMapper和ChainReducer的...

    Hadoop实战-第2版-陆嘉恒.pdf

    Chukwa详解18. Hadoop的常用插件与开发19. Hadoop在yahoo的应用附录A: 云计算在线监测平台附录B: Hadoop安装、运行、使用说明附录C:使用DistributedCache的MapReduce程序附录D:使用ChainMapper和ChainReducer的...

    六大主流大数据采集平台架构分析.docx

    - **架构**:Splunk Forwarder安装在数据源端,将日志数据发送至中央 Splunk 服务器进行索引和分析。 - **特性**:Splunk Forwarder提供安全的数据传输,支持多种日志格式,并与Splunk的全文搜索引擎无缝集成。 ...

    Hadoop云计算平台搭建最详细过程.doc

    在搭建Hadoop云计算平台的过程中,我们需要了解和掌握一系列的关键知识点,包括Hadoop的架构、组件、安装环境以及各个组件的功能。下面将详细阐述这些内容。 首先,Hadoop是一个开源的分布式计算框架,它允许在廉价...

    Hadoop云计算平台搭建最详细过程(共22页).docx

    本教程将详细介绍在Linux环境下搭建Hadoop云计算平台的过程,包括Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa和Eclipse等相关组件的安装。 **一、安装环境准备** 1. **系统要求**:Hadoop在Linux集群上得到了...

    Hadoop视频教程套餐下载-零基础大数据实战培训教程配文本项目案例

    通过这个视频教程套餐,你将学习如何安装和配置Hadoop环境,掌握MapReduce编程模型,理解HBase的数据模型和操作,以及如何在实际项目中运用YARN管理资源。此外,你还将了解Greenplum的高级特性以及如何利用Chukwa...

    数据采集与预处理培训课件.pptx

    Kafka的安装和使用通常需要创建专门的用户账户,以确保服务管理和安全性。 数据预处理原理部分可能涵盖了数据清洗、数据转换和数据整合等步骤,这些步骤对于去除噪声、处理缺失值、标准化数据格式以及发现和纠正...

    Hadoop实战-陆嘉恒

    第2章详细讲解了hadoop集群的安装和配置,以及常用的日志分析技巧;第3章分析了hadoop在yahoo!、ebay、facebook和百度的应用案例,以及hadoop平台上海量数据的排序;第4-7章深入地讲解了mapreduce计算模型、...

Global site tag (gtag.js) - Google Analytics