`

scribe,flume

阅读更多

flume

 
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
http://baike.baidu.com/view/9540485.htm
http://baike.baidu.com/view/9540485.htm
Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网络或者机器出现故障时,scribe会将日志转存到本地或者另一个位置,当中央存储系统恢复后,scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用,scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。[1]
分享到:
评论
1 楼 coderuncle 2013-05-10  
楼主有没有研究过cloudera flume和apache flume的区别?感觉完全是两样...

相关推荐

    开源日志系统比较:scribe、chukwa、kafka、flume.pdf

    本文主要对比了四个知名的开源日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume。这四个系统各自拥有独特的设计和优势,适用于不同的场景。 1. Facebook的Scribe Scribe是一款由...

    开源日志系统比较:scribe、chukwa、kafka、flume.docx

    本篇将对比分析四个流行的开源日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume,主要关注它们的设计架构、负载均衡能力、可扩展性和容错机制。 **1. Facebook的Scribe** Scribe...

    Facebook大量数据处理 Scribe.zip

    1. **Flume**:与Scribe类似,Apache Flume也是用于日志聚合的工具,但它更注重于容错和可配置性,适用于更复杂的日志收集场景。 2. **Kafka**:Kafka是一个消息队列系统,专注于实时数据流处理,通常用于在系统...

    基于Flume的美团日志收集系统.pdf

    本文对基于 Flume 的美团日志收集系统进行了详细的介绍和分析,包括日志收集系统的架构设计、Flume-NG 与 Scribe 的比较、美团日志收集系统的架构和设计、美团日志收集系统的设计和优化等方面。同时,本文还对 Flume...

    Apache_Flume安装与配置

    它的设计灵感来源于流式架构和分布式数据处理领域中其他流行系统,如Twitter的Scribe和Facebook的Ptail。Flume的稳定版本是Flume NG,而早期版本被称作Flume OG。 在Flume系统中,数据流是由不同组件协同工作来实现...

    基于Flume的美团日志收集系统方案.doc

    总之,《基于Flume的美团日志收集系统》详细介绍了如何利用Flume构建一个强大的日志收集平台,涵盖了从系统架构设计、Flume与Scribe的对比、Flume的特性到实际运行中的优化策略等多个方面。这个系统体现了大数据时代...

    Flume日志收集工具.pptx

    尽管 Flume 在日志收集领域有显著优势,但并非唯一选择,例如 Facebook 的 Scribe、Apache Chukwa 和淘宝的 Time Tunnel 都是类似的功能强大的工具。 总结来说,Apache Flume 是一个强大的日志收集解决方案,具有...

    flume介绍与原理

    此外,Flume也可以与其他数据收集工具,如Facebook的Scribe、Apache Chukwa和淘宝的Time Tunnel等相媲美。 总结来说,Apache Flume 是一个强大的日志收集和传输工具,它具有高可用性、可扩展性和容错性,能够处理大...

    Flume日志收集

    本文来自于cnblogs,文章主要讲解了Fluem的一些简单介绍,架构分布式环境部署,高级动态配置等。Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中...),Storeonfailure(这也是scribe采用的策略

    【推荐】开源日志系统-word范文模板 (17页).pdf

    本文将重点介绍几种流行的开源日志系统,包括Facebook的Scribe、Apache的Chukwa以及LinkedIn的Kafka和Cloudera的Flume,探讨它们的设计理念、架构特性以及在海量日志处理方面的优势。 1. Facebook的Scribe Scribe...

    开源日志系统比较.pdf

    本文主要对比了四个开源的日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume。这四个系统都旨在解决海量日志数据的收集、传输和存储问题,以支持实时和离线分析。 1. Facebook的...

    大数据工具021

    本文将围绕日志收集系统、消息系统等关键组件进行介绍,涉及的工具包括Scribe、Flume、logstash、kibana以及StormMQ和ZeroMQ。 【日志收集系统】 1. **Facebook Scribe**:Scribe是Facebook开发的日志收集系统,...

    开源日志系统比较.docx

    本文将深入探讨四个知名的开源日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume。这四个系统各自具备独特的特性和优势,适用于不同的应用场景。 1. Facebook的Scribe Scribe是...

    flume-zipkin-collector-sink:支持将 Zipkin 跨度发送到 Zipkin 收集器的水槽接收器

    我们希望您使用org.apache.flume.source.scribe.ScribeSource ,它将从 Brave Zipkin Span Collector 或原始 Zipkin 代码接收 span。 代理应该这样配置: ScribeSource -> Channel of your choice -> ...

    主流大数据采集平台架构分析v1.docx

    Apache Flume 是一款专为大数据收集而设计的开源软件,由 Apache Software Foundation 开发和维护。作为高可靠性、高可扩展性以及易于管理的数据采集工具,Flume 主要用于汇聚和移动大量日志数据。其架构基于分布式...

    海量日志处理开源系统比较.docx

    - 相比于Scribe,Kafka更注重消息的高吞吐量和低延迟,更适合实时数据流处理,而Scribe更侧重于日志的收集和容错。 - 与Chukwa相比,Kafka不依赖于Hadoop生态,而是提供了自己的分布式存储和消费模型,更加轻量级...

    主流大数据采集平台架构分析.docx

    本文主要分析了几种主流的大数据采集平台,包括Apache Flume、Fluentd、Logstash、Chukwa、Scribe和Splunk Forwarder,关注其在高可靠性、高性能和高扩展性方面的实现。 1、Apache Flume Apache Flume是一个由...

    六大主流大数据采集平台架构分析.docx

    本文将深入剖析六大主流的大数据采集平台,分别是Apache Flume、Fluentd、Logstash、Chukwa、Scribe以及Splunk Forwarder,探讨它们在高可靠性、高性能和高扩展性方面的实现。 1. **Apache Flume** - **简介**:...

Global site tag (gtag.js) - Google Analytics