producer.sources = r1
producer.sinks = k1 k2
producer.channels = c1 c2
# Describe/configure the source
producer.sources.r1.type = exec
producer.sources.r1.command =tail -F /home/tom/job/test/data/test.txt
# Describe the sink
producer.sinks.k1.type = logger
producer.sinks.k2.type = com.thilinamb.flume.sink.KafkaSink3
producer.sinks.k2.topic = producer
producer.sinks.k2.batchSize = 1
producer.sinks.k2.channel = adchannel-1
producer.sinks.k2.brokerList = tom-centos:9092
# Use a channel which buffers events in memory
producer.channels.c1.type = memory
producer.channels.c1.capacity = 10000
producer.channels.c1.transactionCapacity = 1000
producer.channels.c2.type = memory
producer.channels.c2.capacity = 1000
producer.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
producer.sources.r1.channels = c1 c2
producer.sources.r1.selector.type = replicating
producer.sinks.k1.channel = c1
producer.sinks.k2.channel = c2
分享到：
相关推荐
Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件：...
《Flume NG与Elasticsearch 6.5.4集成详解》 Flume NG，全称为Apache Flume，是一款由Apache软件基金会开发的数据收集系统，主要用于日志聚合、监控和数据传输。它设计的目标是高效、可靠且易于扩展，特别适合...
安装完成后，你可以通过命令行启动 Flume Agent，如 `flume-ng agent --conf conf --conf-file conf/flume.conf --name agent -Dflume.root.logger=INFO,console`。 总的来说，Apache Flume 1.9.0 是一个强大的工具...
在配置完成后，你可以通过`bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name agent -Dflume.root.logger=INFO,console`命令启动Flume代理。 Apache Flume 1.6.0版本还支持插件扩展，允许开发...
4. **配置灵活性**：Flume 的配置文件允许灵活定义 Agent 结构，可以轻松地调整 Source、Channel 和 Sink 的组合，以适应不同场景的需求。 5. **故障恢复与容错机制**：Flume 提供了故障检测和自动恢复功能，当 ...
### Flume NG 分享资料详解 #### Flume NG 概述 Flume NG 是一个分布式、可靠且可用的服务，用于高效地收集、聚合并移动大量的日志数据。它具有简单而灵活的架构，基于流式数据流。Flume NG 非常健壮且能够容忍...
2. Flume-Ng 组件：包括 Agent、Channel、Sink 等组件，每个组件都有其特定的功能和配置项。 六、应用场景 1. 日志收集：使用 Flume 收集各种日志数据，例如应用程序日志、系统日志等。 2. 数据集成：使用 Flume ...
接着，创建一个配置文件 `flume.conf`，用于指定 Flume 的 Agent 的组件名称、Source、Sink 和 Channel。例如： ``` a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources....
Flume 分为两个主要版本：Flume OG 和 Flume NG。Flume OG 是早期版本，而 Flume NG 是从1.x版本开始的改进版，具有更现代和优化的架构。在运行Flume NG时，确保系统已安装JDK 6.0及以上版本，同时注意Flume仅支持...
- **启动命令：** 在Flume安装目录下使用命令`./bin/flume-ng agent --conf /conf --conf-file /conf/exec.conf --name a1`启动agent实例。其中，`-conf`选项指定配置文件目录，`-conf-file`选项指定执行的配置文件...
1. **配置文件**：使用Flume的配置文件来定义Source、Channel和Sink之间的关系。 2. **运行Agent**：通过命令行启动配置好的Agent实例。 以上内容涵盖了Flume的基础概念、架构设计、安装配置以及一些典型的应用场景...
4. **启动Flume**：使用`bin/flume-ng agent`命令启动Flume客户端，指定配置文件，如`--conf-file job/flume-file-hdfs.conf`。 5. **启动Hadoop服务**：在运行Flume之前，确保Hadoop集群已经启动，包括HDFS和YARN...
### Java大数据内容_7Flume、Kafka、Sqoop、Lucene #### 一、Flume 入门 ##### 1.1 Flume 概述 Flume 是一个分布式的、可靠的、高...通过这种方式，Flume 可以方便地部署和配置，满足大数据环境下的日志收集需求。
- **解决方案**：仔细检查Flume配置文件，确保数据源、Channel和Sink配置无误。 **5.2 权限问题** - **原因**：在HDFS上存储数据时可能会遇到权限问题。 - **解决方案**：使用`hadoop fs -chmod`命令更改HDFS文件...
然后，你可以按照通常的方式启动 Flume，此时 Flume 将会加载这个修改过的 `.jar` 文件，从而支持在 Windows 10 上运行 `exec` 和 `taildir` 源。 在实际操作中，以下是你可能需要遵循的步骤： 1. 下载并解压 `...
bin/flume-ng agent --conf conf --conf-file flume.conf --name agent -Dflume.root.logger=INFO,console ``` **5. 验证数据写入** 在 MongoDB 中查看 `logs` 集合，确认 Flume 是否成功写入日志数据。可以使用 ...
- 获取Flume的源码，找到`flume-ng-sinks`模块下的`flume-elasticsearch-sink`项目。 - 检查与Elasticsearch的API兼容性，可能需要升级`elasticsearch`的依赖库到5.2.6版本。 - 修改`src/main/java/org/apache/...
配置 `conf/flume-env.sh` 文件，设置 FLUME_HOME 和 JAVA_HOME 环境变量。启动 Flume-Agent 使用以下命令： ```bash $ bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name <agent_name> -Dflume....
在配置 Flume 以将数据写入 HDFS 时，我们需要在 Flume 的配置文件（通常是 `flume.conf`）中指定 HDFS Sink。例如： ```properties a.sources = r1 a.sinks = k1 a.channels = c1 a.sources.r1.type = exec a....