collection73Agent.sources=source73
collection73Agent.sinks=sink73-1 sink73-2
collection73Agent.channels=channel73
#configuration source
collection73Agent.sources.source73.type=avro
collection73Agent.sources.source73.channels=channel73
collection73Agent.sources.source73.bind=10.21.3.73
collection73Agent.sources.source73.port=4141
collection73Agent.sources.source73.interceptors = i1 i2
collection73Agent.sources.source73.interceptors.i1.type = org.apache.flume.interceptor.HostInterceptor$Builder
collection73Agent.sources.source73.interceptors.i1.preserveExisting = false
collection73Agent.sources.source73.interceptors.i1.hostHeader = hostname
collection73Agent.sources.source73.interceptors.i2.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
#configuration channel
collection73Agent.channels.channel73.type=memory
collection73Agent.channels.channel73.capacity=2000
collection73Agent.channels.channel73.transactionCapacity=1000
collection73Agent.channels.channel73.keep-alive=10
#confituration sinks
collection73Agent.sinks.sink73-1.type=hdfs
collection73Agent.sinks.sink73-1.channel=channel73
collection73Agent.sinks.sink73-1.hdfs.path=hdfs://mycluster1/flume/%Y-%m
collection73Agent.sinks.sink73-1.hdfs.filePrefix=syslog1.%Y-%m-%d
collection73Agent.sinks.sink73-1.hdfs.fileSuffix=.log
#collection73Agent.sinks.sink73-1.hdfs.round=true
#collection73Agent.sinks.sink73-1.hdfs.roundValue=10
#collection73Agent.sinks.sink73-1.hdfs.roundUnit=minute
collection73Agent.sinks.sink73-1.hdfs.rollInterval=0
collection73Agent.sinks.sink73-1.hdfs.rollSize=0
collection73Agent.sinks.sink73-1.hdfs.batchSize=10000
collection73Agent.sinks.sink73-1.hdfs.rollCount=0
collection73Agent.sinks.sink73-1.hdfs.fileType = DataStream
collection73Agent.sinks.sink73-1.hdfs.writeFormat=Text
collection73Agent.sinks.sink73-1.hdfs.callTimeout=30000
collection73Agent.sinks.sink73-1.channel=channel73
#confituration sinks
collection73Agent.sinks.sink73-2.type=hdfs
collection73Agent.sinks.sink73-2.channel=channel73
collection73Agent.sinks.sink73-2.hdfs.path=hdfs://mycluster1/flume/%Y-%m
collection73Agent.sinks.sink73-2.hdfs.filePrefix=syslog2.%Y-%m-%d
collection73Agent.sinks.sink73-2.hdfs.fileSuffix=.log
#collection73Agent.sinks.sink73-2.hdfs.round=true
#collection73Agent.sinks.sink73-2.hdfs.roundValue=10
#collection73Agent.sinks.sink73-2.hdfs.roundUnit=minute
collection73Agent.sinks.sink73-2.hdfs.rollInterval=0
collection73Agent.sinks.sink73-2.hdfs.rollSize=0
collection73Agent.sinks.sink73-2.hdfs.batchSize=10000
collection73Agent.sinks.sink73-2.hdfs.rollCount=0
collection73Agent.sinks.sink73-2.hdfs.fileType = DataStream
collection73Agent.sinks.sink73-2.hdfs.writeFormat=Text
collection73Agent.sinks.sink73-2.hdfs.callTimeout=30000
collection73Agent.sinks.sink73-2.channel=channel73
分享到：
相关推荐
Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件：...
Flume-ng 是一个高可用、可靠、分布式的日志聚合系统，可以实时地从各种数据源（如日志文件、网络 socket、数据库等）中收集数据，并将其传输到目标系统中，如 HDFS、HBase 等。在本文中，我们将介绍如何在 Windows ...
在 Flume 的配置文件中，用户定义了这些组件以及它们之间的连接方式。例如，一个简单的配置可能包括一个从日志目录读取数据的 FileSource，一个内存通道以快速传输数据，以及一个将数据写入 HDFS 的 HDFS Sink。 在...
4. 创建Flume配置文件，定义源、通道和接收器的详细设置。 5. 启动Flume服务，可以通过命令行工具进行监控和管理。 在实际应用中，Flume常用于日志收集，例如从多个Web服务器收集访问日志，然后将这些日志数据存储...
Flume-ng-sql-source支持多种数据库类型，包括MySQL、PostgreSQL、Oracle等常见的关系型数据库，允许用户通过配置文件定义SQL查询语句来获取所需的数据。这样，不仅能够实现定期或者实时的数据库数据抽取，还能根据...
2. 编写Flume配置文件，如`/etc/flume/conf/flume.conf` 3. 修改配置文件，指定Source、Channel和Sink 4. 使用`flume-ng agent`命令启动Agent 总的来说，`flume-ng-1.6.0-cdh5.10.1.tar.gz`是一个强大的工具，对于...
`flume-ng-1.5.0-cdh5.3.6.tar.gz`解压后得到的`apache-flume-1.5.0-cdh5.3.6-bin`目录包含了Flume的二进制文件和配置文件。在实际应用中，我们需要创建自定义的Flume配置文件（通常为`flume.conf`），定义Source、...
4. **Agent**: Flume 的基本工作单元，由配置文件定义，包含一个或多个源、通道和接收器的组合。配置文件使用 JSON 或 YAML 格式，允许灵活的拓扑结构设计。 5. **lib**: 存放 Flume 运行时依赖的第三方库，包括 ...
- **Flume-ng**：作为数据收集器，其`Source`组件通常配置为`SpoolingDirectory`类型，用于监测指定目录下的日志文件变化。 - **Sink**：配置为`Kafka`类型，将监测到的日志文件推送到Kafka的特定Topic中。 2. **...
4. **配置灵活性**：通过灵活的配置文件，可以方便地定义复杂的拓扑结构，满足复杂的数据流处理场景。 5. **监控与管理**：提供了丰富的监控指标和工具，如JMX接口，便于实时监控Flume运行状态，及时发现和解决问题...
2. **conf** 目录：存放配置文件，例如 `flume.conf`，这是默认的配置文件，用户可以在这里定义数据流的结构和行为。 3. **lib** 目录：存储 Flume 及其依赖的 JAR 文件，这些库支持 Flume 的核心功能。 4. **docs**...
使用 Flume-ng-1.6.0-cdh5.14.2 进行数据收集时，你需要创建一个或多个配置文件，定义代理结构，指定源、通道和接收器的类型以及相应的配置参数。然后启动 Flume 代理，它会按照配置文件运行，持续监控和处理数据流...
2. **conf**：包含默认配置文件，如 `flume.conf`，这是 Flume 的主配置文件，用户可以根据需求进行自定义设置。 3. **lib**：这个目录下有 Flume 运行时所需的库文件（JAR 包）。这些 JAR 文件包含了 Flume 的核心...
在这个过程中，文档《Twitter Storm系列》flume-ng+Kafka+Storm+HDFS 实时系统搭建.docx和《安装扎记.pdf》将提供详细的步骤指导和常见问题解决方案，帮助你顺利完成整个系统的搭建和优化。 总的来说，LNMP与实时大...
在配置Flume时，用户需要创建一个或多个配置文件，定义agent（代理），每个agent包含源、通道和sink的组合。例如，一个简单的配置可能如下： ```properties # agent配置示例 agent.sources = source1 agent....
在部署 Apache Flume 1.5.2 时，首先需要解压 "apache-flume-1.5.2-bin.zip" 文件，然后根据官方文档或配置示例来配置 Flume 配置文件（通常位于 conf 目录下的 flume.conf）。配置文件会定义 Flume 实例的源、通道...
2. **conf**：默认配置文件存放地，通常包括`flume-env.sh.example`和`flume.conf.example`，它们是配置Flume环境和代理的基本模板。 3. **lib**：包含Flume运行所需的库文件，包括Flume自身的jar包和其他依赖的库。...
解压后，用户可以找到Flume的可执行文件、配置文件、库文件等，以便在Linux环境中部署和运行Flume服务。 4. **安装与配置** 在Linux环境下，首先解压此文件，然后设置环境变量，执行安装脚本。配置Flume时，需要...