`

Flume源代码解读五

 
阅读更多

      [ xcly原创于iteye,见http://xcly.iteye.com ]

 

本节介绍Flume存储配置项的工作方式，Flume支持zookeeper和memory两种方式。

 

     FlumeMaster启动时，创建ConfigStore。 如果为zookeeper方式，还初始化ZooKeeperService。对ConfigStore的使用通过ConfigurationManager来使用。

 

     Flume配置数据的存储定义了ConfigStore这个抽象类，memory的存储实现为MemoryBackedConfigStore，实现比较简单，Map<String, FlumeConfigData> cfgs直接存在内存map结构中。 

 

    ZooKeeperConfigStore和ZKClient负责和zookeeper服务器通信，编码配置，解码配置。 

 

 

 

 

 

 

分享到：
| Flume源代码解读四
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包

    在这个压缩包中，包含了Flume 1.8的源代码以及Maven 3.5.2的安装包，这对于开发者深入理解Flume的工作原理和进行定制化开发非常有帮助。 首先，要使用这些资源，你需要先安装Maven 3.5.2。解压`apache-maven-3.5.2....

    flume1.7.0源码

    Flume 1.7.0 是该软件的一个版本，包含了完整的源代码，便于开发者深入理解其工作原理并进行定制开发。 在Flume 1.7.0源码中，我们可以探索以下几个关键知识点： 1. **Flume架构**： Flume 的核心架构由三个主要...

    Flume读取数据库JDBC源程序

    在提供的压缩包文件`flume-ng-sql-source-develop`中，很可能包含了Flume JDBC源的源代码或者开发相关资源，供开发者自定义或扩展JDBC源的特性，例如添加新的查询策略、优化性能等。 使用Flume的JDBC源程序，企业...

    电商数仓项目(八) Flume(2) 拦截器开发源代码

    5. 编译并打包 Java 代码为 JAR 文件，然后将 JAR 添加到 Flume 的类路径中。 6. 在 Flume 配置文件中声明和配置自定义拦截器。 在 `flume-interceptor` 压缩包中，你可能找到了示例拦截器的源代码。研究这些代码...

    flume自定义功能实现代码

    Flume 提供了一种可靠且灵活的方式，能够从各种数据源收集数据，并将其传输到集中式存储系统，如 HDFS（Hadoop 分布式文件系统）。本文将深入探讨如何在 Flume 中实现自定义功能，以满足特定的数据处理需求。 首先...

    基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目源代码+文档说明

    基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目源代码+文档说明，含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。...

    es522_flume16_bak0827_succ_modify.zip

    5. **性能优化**：探讨如何调整Flume和Elasticsearch的配置以提高数据处理速度，如批处理大小、并发连接数等。 6. **监控和日志**：学习如何监控Flume和Elasticsearch的运行状态，以及如何设置日志以追踪错误和异常...

    Flume集群环境搭建，flume监控

    Flume从1.5.0版本开始，重构了其内部架构，核心组件、配置以及代码架构都进行了重大改动，这个新版本被称为Flume NG（Next Generation），即Flume的新一代版本，用以替代了原来的Flume OG（Original Generation）。...

    flume-es5.X依赖.zip

    在Flume中，Kafka可以作为数据源或Sink，实现数据的高效传输。 5. JDBC：Java Database Connectivity，用于连接数据库，Flume可以使用JDBC Sink将数据写入关系型数据库。 二、自定义Sink的实现 Flume允许用户根据...

    flume-ng安装

    Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件：Java JDK 安装 在安装 Flume-...

    flume1.9， win10， code.zip

    这个压缩包包含的 `code` 文件夹很可能是包含了已经修改过的 Java 源代码，这些代码修改了 Flume 的核心部分，使得 `exec` 和 `taildir` 源可以在 Windows 10 操作系统上正确运行。 描述中指出，为了使用这个修改后...

    flume支持RabbitMQ插件

    flume支持RabbitMQ插件

    apache-flume-1.8.0

    5. **容错性**: Flume通过数据复制和故障切换机制确保数据的可靠传输。 6. **扩展性**: 通过级联多个Flume代理，可以构建复杂的数据流，处理多级聚合和转换。 总结来说，Apache Flume 1.8.0是一个适用于JDK 1.8的...

    apache-flume-1.9.0-bin.tar.gz

    5. **src** 目录（如果存在）：可能包含源代码，尽管这里提到的是二进制版本，通常不会包含源代码。 6. **examples** 目录（如果存在）：可能有示例配置和用例，方便用户学习如何设置 Flume。 在使用 Apache Flume ...

    flume hbanse2.0 lib

    这通常涉及到修改源代码，重新编译并打包 Flume。 3. **添加第三方库**: 这里提到的 "lib" 文件可能包含这些自定义或更新的库，它们是 Flume 与 HBase 2.0 通信所必需的。将这些库添加到 Flume 的类路径中，可以让 ...

    Apache flume1.6_src

    这个压缩包“Apache flume1.6_src”包含了 Flume 1.6.0 版本的源代码，对于理解其工作原理、学习底层技术以及进行定制化开发非常有帮助。 Flume 的核心组件主要包括 Channel、Sink 和 Source 三部分： 1. **Source...

    flume用户手册

    Apache Flume是一款分布式、可靠且可用的系统，主要用于高效地从多种不同的数据源收集、聚合和移动大量的日志数据到一个集中的存储库。除了用于日志数据聚合外，由于数据源是可定制的，Flume可以用来传输大量包括但...

    flume-ng文档.doc

    外部源以Flume源能识别的格式将事件发送给Flume。 - **Flume 通道(channel)**：作为临时存储，用于在源和接收器之间持有事件，确保数据在处理过程中不会丢失。 - **Flume 接收器(sink)**：负责将通道中的事件传递给...

    flume kafak实验报告.docx

    4. **Flume 与 Spark streaming 整合代码**：在代码层面，定义一个自定义的 Spark Sink，负责将接收到的 Flume 数据转换为 Spark 可处理的 DStream，然后进行进一步的实时处理。 二、Kafka 的安装部署 1. **Kafka*...

Magicbox
Global site tag (gtag.js) - Google Analytics