`

Flume源代码解读四

 
阅读更多

   [ xcly原创于iteye,见http://xcly.iteye.com ]

 

    今天介绍Flume里面用到的BackoffAlgo算法,接口由BackoffPolicy定义,让我们看看下面的几个关键的方法

reset:Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。

backoff:Modify state as if a backoff had just happened. Call this after failed attempts。失败发生时调用的回退犯法。

isFailed:Has so much time passed that we assume the failure is irrecoverable? 如果返回true,不再尝试。

sleepIncrement:Wait time in millis until RetryOk should be true

waitUntilRetryOk:Wait until it's ok to retry.

 

    在InsistentAppendDecorator, InsistentOpenDecorator中调用了BackoffPolicy的子类CumulativeCappedExponentialBackoff,CumulativeCappedExponentialBackoff中的isfailed总是返回true,永远不会失败;总是不断尝试。

 

 

 

 

 

分享到:
评论

相关推荐

    Flume集群环境搭建,flume监控

    4. **监控配置与使用:** 掌握如何开启和配置Flume的监控功能,以及如何访问和解读监控数据,以便于及时发现和解决集群运行中的问题。 5. **资源获取:** 通过池伟等专家的博客和文章链接,可以获得更多的知识和经验...

    使用Flume收集数据内含源码以及说明书可以自己运行复现.zip

    6. **源码解析**:如果压缩包包含源码,这部分会详细解读关键代码段,帮助理解Flume如何与外部数据源交互,以及如何自定义Flume插件。 7. **故障排查**:提供常见问题和解决方法,帮助用户在遇到问题时能快速定位和...

    Build Spark1.4.1/1.4.0 on Linux

    - **Git**:用于克隆Spark源代码库。 #### 三、构建步骤 1. **克隆Spark源码** ```bash git clone https://github.com/apache/spark.git cd spark git checkout v1.4.1 # 或者 v1.4.0 ``` 2. **设置环境变量...

    开源日志管理最全对比.docx

    采集方式分为侵入式和非侵入式,前者通过修改源代码实现,适用于简单服务系统,后者则更加通用,不依赖于特定应用,如Logstash、Filebeat、Flume-ng、Fluentd等开源工具都能实现非侵入式的日志采集。 数据可视化是...

    计算机课程毕设:基于Spark的行为日志分析系统设计与实现.zip

    通过DStream(Discretized Stream)抽象,处理连续的数据输入,如Kafka、Flume或Socket数据源。 2. 数据处理:使用DataFrame/Dataset API进行数据操作,提高代码可读性和性能。结合SQL查询,方便进行复杂的数据分析...

    大数据平台基础组件介绍.rar

    Flume是日志收集系统,用于从各种数据源收集、聚合和传输数据到Hadoop集群。这对于大数据的实时监控和分析至关重要。 最后,Kafka是一款分布式流处理平台,用于构建实时数据管道和流应用。它可以高效地处理和存储...

Global site tag (gtag.js) - Google Analytics