`

Flume源代码解读五

 
阅读更多

      [ xcly原创于iteye,见http://xcly.iteye.com ]

 

本节介绍Flume存储配置项的工作方式，Flume支持zookeeper和memory两种方式。

 

     FlumeMaster启动时，创建ConfigStore。 如果为zookeeper方式，还初始化ZooKeeperService。对ConfigStore的使用通过ConfigurationManager来使用。

 

     Flume配置数据的存储定义了ConfigStore这个抽象类，memory的存储实现为MemoryBackedConfigStore，实现比较简单，Map<String, FlumeConfigData> cfgs直接存在内存map结构中。 

 

    ZooKeeperConfigStore和ZKClient负责和zookeeper服务器通信，编码配置，解码配置。 

 

 

 

 

 

 

分享到：
| Flume源代码解读四
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Flume集群环境搭建，flume监控

    Flume从1.5.0版本开始，重构了其内部架构，核心组件、配置以及代码架构都进行了重大改动，这个新版本被称为Flume NG（Next Generation），即Flume的新一代版本，用以替代了原来的Flume OG（Original Generation）。...

    使用Flume收集数据内含源码以及说明书可以自己运行复现.zip

    6. **源码解析**：如果压缩包包含源码，这部分会详细解读关键代码段，帮助理解Flume如何与外部数据源交互，以及如何自定义Flume插件。 7. **故障排查**：提供常见问题和解决方法，帮助用户在遇到问题时能快速定位和...

    Build Spark1.4.1/1.4.0 on Linux

    - **Git**：用于克隆Spark源代码库。 #### 三、构建步骤 1. **克隆Spark源码** ```bash git clone https://github.com/apache/spark.git cd spark git checkout v1.4.1 # 或者 v1.4.0 ``` 2. **设置环境变量...

    开源日志管理最全对比.docx

    采集方式分为侵入式和非侵入式，前者通过修改源代码实现，适用于简单服务系统，后者则更加通用，不依赖于特定应用，如Logstash、Filebeat、Flume-ng、Fluentd等开源工具都能实现非侵入式的日志采集。 数据可视化是...

    计算机课程毕设：基于Spark的行为日志分析系统设计与实现.zip

    通过DStream（Discretized Stream）抽象，处理连续的数据输入，如Kafka、Flume或Socket数据源。 2. 数据处理：使用DataFrame/Dataset API进行数据操作，提高代码可读性和性能。结合SQL查询，方便进行复杂的数据分析...

    大数据平台基础组件介绍.rar

    Flume是日志收集系统，用于从各种数据源收集、聚合和传输数据到Hadoop集群。这对于大数据的实时监控和分析至关重要。 最后，Kafka是一款分布式流处理平台，用于构建实时数据管道和流应用。它可以高效地处理和存储...

Magicbox
Global site tag (gtag.js) - Google Analytics