`

Flume源代码解读四

 
阅读更多

   [ xcly原创于iteye,见http://xcly.iteye.com ]

 

    今天介绍Flume里面用到的BackoffAlgo算法,接口由BackoffPolicy定义,让我们看看下面的几个关键的方法

reset:Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。

backoff:Modify state as if a backoff had just happened. Call this after failed attempts。失败发生时调用的回退犯法。

isFailed:Has so much time passed that we assume the failure is irrecoverable? 如果返回true,不再尝试。

sleepIncrement:Wait time in millis until RetryOk should be true

waitUntilRetryOk:Wait until it's ok to retry.

 

    在InsistentAppendDecorator, InsistentOpenDecorator中调用了BackoffPolicy的子类CumulativeCappedExponentialBackoff,CumulativeCappedExponentialBackoff中的isfailed总是返回true,永远不会失败;总是不断尝试。

 

 

 

 

 

分享到:
评论

相关推荐

    flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包

    在这个压缩包中,包含了Flume 1.8的源代码以及Maven 3.5.2的安装包,这对于开发者深入理解Flume的工作原理和进行定制化开发非常有帮助。 首先,要使用这些资源,你需要先安装Maven 3.5.2。解压`apache-maven-3.5.2....

    flume1.7.0源码

    Flume 1.7.0 是该软件的一个版本,包含了完整的源代码,便于开发者深入理解其工作原理并进行定制开发。 在Flume 1.7.0源码中,我们可以探索以下几个关键知识点: 1. **Flume架构**: Flume 的核心架构由三个主要...

    Flume读取数据库JDBC源程序

    在提供的压缩包文件`flume-ng-sql-source-develop`中,很可能包含了Flume JDBC源的源代码或者开发相关资源,供开发者自定义或扩展JDBC源的特性,例如添加新的查询策略、优化性能等。 使用Flume的JDBC源程序,企业...

    电商数仓项目(八) Flume(2) 拦截器开发源代码

    在 `flume-interceptor` 压缩包中,你可能找到了示例拦截器的源代码。研究这些代码可以帮助你更好地理解拦截器的工作原理,并为自己的项目提供参考。通过实践编写和调试拦截器,你可以更深入地了解 Flume 如何处理...

    flume自定义功能实现代码

    4. **测试与运行**:最后,通过 Flume 客户端或 Flume Agent 运行配置文件,测试你的自定义 Source 是否能正常工作。 至于 `flume-ng-core5` 这个文件,这可能是 Flume 的核心库,包含 Flume 的基础组件和接口。在...

    基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目源代码+文档说明

    基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目源代码+文档说明,含有代码注释,满分大作业资源,新手也可看懂,期末大作业、课程设计、高分必看,下载下来,简单部署,就可以使用。...

    Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx

    Flume-ng 在 Windows 环境搭建并测试 + Log4j 日志通过 Flume 输出到 HDFS Flume-ng 是一个高可用、可靠、分布式的日志聚合系统,可以实时地从各种数据源(如日志文件、网络 socket、数据库等)中收集数据,并将其...

    es522_flume16_bak0827_succ_modify.zip

    4. **容错和恢复机制**:研究Flume的故障转移和数据恢复策略,以确保数据不丢失。 5. **性能优化**:探讨如何调整Flume和Elasticsearch的配置以提高数据处理速度,如批处理大小、并发连接数等。 6. **监控和日志**:...

    Flume集群环境搭建,flume监控

    4. **监控配置与使用:** 掌握如何开启和配置Flume的监控功能,以及如何访问和解读监控数据,以便于及时发现和解决集群运行中的问题。 5. **资源获取:** 通过池伟等专家的博客和文章链接,可以获得更多的知识和经验...

    Flume1.6.0入门:安装、部署、及flume的案例

    #### 四、Flume 的安装与配置 **Flume 的官方网站**:[http://flume.apache.org/](http://flume.apache.org/) **下载地址**:[http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz]...

    flume1.9, win10, code.zip

    4. 修改或创建 Flume 配置文件(如 `flume.conf`),配置 `exec` 或 `taildir` 源以适应你的需求。 5. 启动 Flume 服务,执行 `flume-ng agent -c conf -f flume.conf -n myAgent`(根据你的配置文件和代理名称调整...

    flume支持RabbitMQ插件

    flume支持RabbitMQ插件

    apache-flume-1.8.0

    2. **数据源**: 数据源(如 syslog、kafka 或 JMS)负责从日志生成事件,将其推送到Flume代理。 3. **数据通道**: 通道作为临时存储,确保数据在传输到接收器之前不会丢失。常见的通道类型包括内存通道和文件通道。 ...

    flume-ng安装

    Flume-NG 是一个分布式日志收集系统,能够从各种数据源中实时采集数据,并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件:Java JDK 安装 在安装 Flume-...

    apache-flume-1.9.0-bin.tar.gz

    这个版本的 Flume 已经预先编译完成,用户下载后可以直接进行安装和使用,无需自行编译源代码。 描述中的 "编译好的flume1.9.0,下载安装即可使用" 提醒我们,该文件包含的 Flume 实例是已经准备好运行的,只需遵循...

    flume kafak实验报告.docx

    4. **Flume 与 Spark streaming 整合代码**:在代码层面,定义一个自定义的 Spark Sink,负责将接收到的 Flume 数据转换为 Spark 可处理的 DStream,然后进行进一步的实时处理。 二、Kafka 的安装部署 1. **Kafka*...

    flume hbanse2.0 lib

    这通常涉及到修改源代码,重新编译并打包 Flume。 3. **添加第三方库**: 这里提到的 "lib" 文件可能包含这些自定义或更新的库,它们是 Flume 与 HBase 2.0 通信所必需的。将这些库添加到 Flume 的类路径中,可以让 ...

    flume用户手册

    Apache Flume是一款分布式、可靠且可用的系统,主要用于高效地从多种不同的数据源收集、聚合和移动大量的日志数据到一个集中的存储库。除了用于日志数据聚合外,由于数据源是可定制的,Flume可以用来传输大量包括但...

Global site tag (gtag.js) - Google Analytics