#configuration 'flume78Agent'
flume78Agent.sources=source78
flume78Agent.sinks=sink78-1 sink78-2
flume78Agent.channels=channel78
#configuration sinks group
flume78Agent.sinksgroups=group78
#configuration sources
flume78Agent.sources.source78.type=syslogtcp
flume78Agent.sources.source78.port=514
flume78Agent.sources.source78.host=10.21.3.78
flume78Agent.sources.source78.channels=channel78
#configuration channels
flume78Agent.channels.channel78.type=memory
flume78Agent.channels.channel78.capacity=2000
flume78Agent.channels.channel78.transactionCapacity=1000
flume78Agent.channels.channel78.keep-alive=10
#configuration sink78-1
flume78Agent.sinks.sink78-1.type=avro
flume78Agent.sinks.sink78-1.port=4141
flume78Agent.sinks.sink78-1.hostname=10.21.3.73
flume78Agent.sinks.sink78-1.channel=channel78
#configuration sink78-2
flume78Agent.sinks.sink78-2.type=avro
flume78Agent.sinks.sink78-2.port=4141
flume78Agent.sinks.sink78-2.hostname=10.21.3.73
flume78Agent.sinks.sink78-2.channel=channel78
flume78Agent.sinkgroups.group78.sinks=sink78-1 sink78-2
# load_balance type
flume78Agent.sinkgroups.group78.processor.type = load_balance
flume78Agent.sinkgroups.group78.processor.backoff = true
flume78Agent.sinkgroups.group78.processor.selector = random
分享到：
相关推荐
Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件：...
- **数据库兼容性**：Flume-ng-sql-source通常需要JDBC驱动来连接各种类型的SQL数据库，因此需要确保正确安装并配置了相应的驱动。 - **查询定制**：用户可以编写自定义SQL查询来获取所需的数据，也可以根据时间戳...
这个压缩包包含了一个名为"flume-ng-sql-source-release-1.5.2.jar"的文件，这是该插件的核心组件，用于实现SQL查询以从数据库中提取数据。 Apache Flume是一个分布式、可靠且可用于有效收集、聚合和移动大量日志...
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
flume-ng-sql-source-1.5.3.jar，flume采集mysql数据jar包，将此文件拖入FLUME_HOME/lib目录下，如果是CM下CDH版本的flume，则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下，同样需要的包还有mysql-...
在 conf 文件夹中创建 example.conf 文件，配置 Flume-ng 的源、 sink 和通道。使用 telnet 连接 source 写入数据，产生日志数据输出控制台。启动 Flume-ng，使用 telnet 命令写入一些数据，让 Flume 检测。 三、...
"flume-ng-1.6.0-cdh5.5.0.tar.gz" 是 Apache Flume 的一个特定版本，具体来说是 "Next Generation" (ng) 版本的 1.6.0，与 Cloudera Data Hub (CDH) 5.5.0 发行版兼容。CDH 是一个包含多个开源大数据组件的商业发行...
flume-ng-sql-source-1.5.1 flume连接数据库 很好用的工具
ng-1.5.0-cdh5.3.6.rarflume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-...
在安装和配置Flume-ng-1.6.0-cdh5.7.0时，用户需要注意以下几点： 1. 确保系统环境满足CDH 5.7.0的硬件和软件要求。 2. 安装Java开发环境，因为Flume依赖Java运行。 3. 解压压缩包`apache-flume-1.6.0-cdh5.7.0-bin`...
Flume-ng-sql-source支持多种数据库类型，包括MySQL、PostgreSQL、Oracle等常见的关系型数据库，允许用户通过配置文件定义SQL查询语句来获取所需的数据。这样，不仅能够实现定期或者实时的数据库数据抽取，还能根据...
flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/ flume-ng-sql-source实现oracle增量数据读取 有了这个jar文件即可从关系型数据库拉去数据到flume
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可...
`flume-ng-1.6.0-cdh5.10.1.tar.gz` 是一个针对Cloudera Distribution Including Apache Hadoop (CDH) 5.10.1 版本优化的Flume NG的打包文件，Flume NG是Flume的下一代版本，提供更先进的特性和性能。 Flume的核心...
包含flume-ng-sql-source-1.5.1&flume;-ng-sql-source-1.4.1 此内容均为网上下载
`flume-ng-1.5.0-cdh5.3.6.tar.gz`解压后得到的`apache-flume-1.5.0-cdh5.3.6-bin`目录包含了Flume的二进制文件和配置文件。在实际应用中，我们需要创建自定义的Flume配置文件（通常为`flume.conf`），定义Source、...