`

安装使用flume

 
阅读更多
1 首先去官网下载 http://flume.apache.org/download.html。这里选择bin的形式。
2 解压 就可以了
3 修改配置文件 在根目录创建个example.conf,内容是:


# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/logs/log.10
a1.sources.r1.channels = c1

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /usr/logs/data
a1.channels.c1.dataDirs = /usr/logs/check

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


4 启动flume:bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

这样控制台上就会不断打印出/usr/logs/log.10这个文件增加的日志。/usr/logs/check也会保留/usr/logs/log.10的内容。
0
2
分享到:
评论

相关推荐

    Flume1.6.0入门:安装、部署、及flume的案例

    ### Flume 1.6.0 入门详解:安装、部署及案例分析 #### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统,适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG...

    让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 文档

    让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...

    Flume安装详细步骤

    在安装Flume之前,需要确保JDK环境已经安装。这里我们使用JDK 1.6版本。在命令行中输入以下命令以确保JDK环境已经安装: ``` java -version ``` Step 2: 解压缩Flume安装包 下载Flume安装包并将其解压缩到指定...

    Flume1.8安装部署

    1. 解压并安装:使用tar命令解压安装包,命令为 `tar -zxvf apache-flume-1.8.0-bin.tar.gz`,然后将安装目录重命名为 `/usr/local/apache/flume1.8`。 2. 配置环境变量:export `FLUME_HOME=/usr/local/apache/...

    flume安装程序

    将这个文件解压缩到你想要安装Flume的目录,例如`/usr/local`: ``` tar -xvf flume-1.6.0-bin.tar -C /usr/local/ ``` 2. **配置环境变量**: 为了能够全局访问Flume,你需要在系统的环境变量中添加Flume的...

    flume-ng安装

    Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统,能够从各种数据源中实时采集数据,并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件:...

    flume 安装和使用

    安装 Flume 首先需要确保你的系统上已经安装了 Java 1.7 或更高版本,并且正确配置了 Java 环境变量。你可以通过 `java -version` 命令检查 Java 版本。然后,你可以从 Flume 的官方网站...

    flume在虚拟机上安装,

    ### Flume在虚拟机上的...- 对于生产环境,建议使用更稳定的新版本Flume,并遵循官方文档的指导进行安装配置。 通过上述步骤,我们可以在虚拟机环境中成功安装并配置Flume,为后续的数据采集和处理打下坚实的基础。

    大数据教程-Flume安装使用实录.pdf

    接下来,我将详细介绍与Flume安装使用相关的知识点。 ### Flume的安装步骤 1. **下载安装包**:首先需要从Apache官方网站下载Flume的tar.gz压缩包,例如文档中提到的apache-flume-1.6.0-bin.tar.gz。 2. **解压...

    集群flume详细安装步骤

    集群 Flume 详细安装步骤 在大数据时代,实时数据处理和处理成为一个关键问题。 Apache Flume 是一个基于 Java 的数据收集器,可以实时地将数据从各种来源收集到一个中心位置,例如 HDFS、HBase 等。今天,我们将...

    安装Flume和使用

    ### Flume的安装与使用详解 #### 一、Flume简介 Apache Flume 是一个分布式的、可靠的、高可用的服务,用于有效地收集、聚合和移动大量日志数据。Flume 支持简单灵活的配置,这使得它可以适用于各种场景中的数据...

    Flume 安装搭建使用.

    Flume 安装搭建使用 Flume 是一个分布式的、可靠的、高效的日志收集、聚集、移动服务。它可以实时处理大数据量的日志,提供了一个灵活的架构来处理大数据。 一、Flume 简介 Flume 是一个基于流式架构的服务,能够...

    0-Flume(1.11.0版本)在Linux(Centos7.9版本)的安装

    0-Flume(1.11.0版本)在Linux(Centos7.9版本)的安装

    Hadoop中Flume安装指南

    本文详细介绍了如何在Hadoop环境中安装Flume,并对其基本概念、安装步骤、配置文件及高级特性进行了深入解析。通过本指南,初学者可以快速掌握Flume的安装和配置方法,进而利用Flume的强大功能来解决实际问题。

    大数据Ambari之flume集成编译好的源码包

    1. **安装Flume**: 下载已经编译好的Flume源码包,如"zkyrpm",解压后获取对应的RPM包,使用Ambari的自定义服务功能添加Flume服务。确保你的Ambari版本与Flume版本兼容。 2. **配置Ambari**: 在Ambari管理界面,...

    Flume1.5.0入门:安装、部署、及flume的案例

    **安装 Flume 1.5.0** 1. 下载 Apache Flume 1.5.0 从官方网站(http://flume.apache.org/)的下载页面。 2. 解压缩到指定目录,例如 `/home/hadoop`。 3. 修改配置文件 `flume-env.sh`,设置 `JAVA_HOME` 环境变量...

    Flume学习文档(2){Flume安装部署、Flume配置文件}.docx

    首先,要安装Flume,你需要访问官方网站http://flume.apache.org/下载最新版本的Flume。在下载完成后,解压缩文件到你的服务器或开发环境中。安装过程通常涉及解压下载的文件,然后将其添加到系统路径以便于执行...

    Flume安装包、安装文档

    `flume安装及使用.conf`文件可能包含以下内容: ``` a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.bind = localhost a1.sources.r1...

    基于CDH安装部署的flume导入mysql数据到kafak的jar包

    利用flume将mysql的数据同步到kafak,flume是基于CDH6.2.0安装的。解决已下问题:java.lang.NoSuchMethodError:    org.apache.flume.Context.getSubProperties(Ljava/lang/String;)Lcom/google/common/collect/...

Global site tag (gtag.js) - Google Analytics