0 前提:
地址: http://flume.apache.org/FlumeUserGuide.html
版本: flume1.6.0
只摘抄对自己有用的
1 flume 对avro的支持:
RPC
An Avro client included in the Flume distribution can send a given file to Flume Avro source using avro RPC mechanism:
$ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10
The above command will send the contents of /usr/logs/log.10 to to the Flume source listening on that ports.
source: avro, thrift, jms(mq), kafka, http, custom
channel: memory, jdbc, kafka, file,
sink: hdfs, hive(不用于生产), logger, avro, thrift, null, hbase, elastrcsearch, kafka, custom
interceptor: Host, Timestamp, Static , UUID, Regex Filtering
2
相关推荐
Flume Agent内部原理包括Agent、Source、Channel和Sink四个组件。Agent是Flume数据传输的基本单元。Source是负责接收数据到Flume Agent的组件。Channel是位于Source和Sink之间的缓冲区。Sink不断地轮询Channel中的...
Flume 组成架构主要包括 Agent、Source、Channel 和 Sink 四个组件。 1.2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的地，是 Flume 数据传输的基本单元。Agent 主要有 3 个部分组成，...
文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合 一、Flume 事务 二、Flume Agent 内部原理 重要组件： 1）ChannelSelector Channel...
使用 `flume-ng agent --conf conf --conf-file flume.conf --name agent -Dflume.root.logger=INFO,console` 命令启动Flume agent。然后，你可以通过telnet或其他工具向localhost的44444端口发送数据，查看数据...
**大数据Flume组件使用指导手册中文版** Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计简洁，易于扩展，是大数据环境中常用的数据采集工具，尤其在离线数据处理场景下，...
Flume的核心组件包括Source、Channel和Sink，这三个组件组成了一个简单的Flume Agent。 1. **Source（源）**：负责接收或收集数据，并将这些数据发送到Channel中。Flume支持多种类型的Source，如Kafka、Thrift、...
本篇主要讨论Flume组件及其在大数据采集中的应用。 Flume的核心结构由三个主要组件构成：Source、Channel和Sink，它们共同协作完成数据流的处理过程。 1. Source（数据源）： Source是Flume中负责数据采集的部分...
Flume agent 是运行在JVM进程中的核心组件，它包含了Source、Channel和Sink三个关键部分。Source负责从外部数据源接收事件，例如Web服务器或Avro客户端。Channel作为中间缓冲区，持久化地存储事件直到被Sink消费。...
Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。） Source： 数据收集组件。（source从...
之后，需要配置Flume的agent组件，包括source、sink和channel。文档中使用了spoolDir类型作为source，hdfs类型作为sink，memory类型作为channel，并提供了相应的配置文件内容。配置中指定source监视本地目录中新增的...
Flume主要由Agent、Source、Channel、Sink四个组件组成，每个组件都扮演着重要的角色。 Agent是Flume的核心组件，负责将数据从源头送至目的地。Agent主要由三个部分组成：Source、Channel、Sink。Source是负责接收...
Flume由Agent构成，每个Agent包含Source、Channel和Sink三个组件。在这个场景中，Flume的配置可能如下： ```conf # Flume配置示例 agent.sources = log4jSource agent.channels = memoryChannel agent.sinks = hdfs...
Flume 的组成架构主要包括 Agent、Source、Channel、Sink 等组件。 * Agent：是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 * Source：是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种...
4. **Agents**：Flume的核心组件是Agent，它由Source、Channel和Sink三部分组成，每个Agent可以独立运行，也可以通过配置形成多级流结构，实现数据的级联传输。 **Flume安装步骤** 1. **下载与解压**：从Apache...
配置 Flume 通常涉及编辑 `flume.conf` 文件，定义 Agent 的结构，并为每个组件指定属性。例如，创建一个简单的配置，从一个文件源收集数据，然后将数据写入另一个文件： ``` agent.sources = source1 agent....