`

使用Scribe重新构建log4j实现分布式日志中心

 
阅读更多

在浏览了诸多中文Scribe+log4j的博客之后，我发现，大家都是很不要face的抄人家的文，却没有一点要引用原文的意思。估计是抄来抄去，抄的多了都想不起来是谁抄谁的了。

 

原作应该是 Alex Loddengaard 的大作，写的很清楚，而且还有代码。这里不需要画蛇添足，大家欣赏吧。

Configuring and Using Scribe for Hadoop Log Collection

http://www.cloudera.com/blog/2008/11/configuring-and-using-scribe-for-hadoop-log-collection/

 

 

跑题篇，

除了Scribe之外，你还可以基于Thrift构建RPC服务。做到跨语言、高效通讯。推荐 Andrew Prunicki 的大作，

 

Apache Thrift

http://jnb.ociweb.com/jnb/jnbJun2009.html

分享到：
| Jetty Continuation实现原理和使用场景分析
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Thrift+Scribe分布式日志系统的构建

    在 Thrift+Scribe 构建的分布式日志系统中，日志的产生端（如服务器或应用）使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...

    scribe-log4j:将日志消息发送到 Scribe 的 log4j appender

    将日志消息发送到 Scribe 的 log4j appender。 有3个maven项目： scribe-client - 为 scribe 自动生成的 Java 客户端 scribe-log4j - scribe-log4j附加程序 scribe-example - 使用示例 入门 克隆仓库 git clone ...

    scribe+hadoop+log4j+hive+mysql

    综上所述，通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术，可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。

    scribe客户端所需jar包

    log4j是Java领域广泛使用的日志记录框架，它允许开发者灵活地配置日志级别、格式和输出目的地。通过结合scribe和log4j，你可以将应用程序的日志轻松地发送到scribe服务端。这个示例通常会展示如何配置log4j....

    ddth-log2scribe:Log4j & Slf4j 适配器将日志写入 scribe 服务器

    Log4j 和 Slf4j 适配器将日志写入 scribe 服务器。 项目主页： : OSGi 环境：ddth-log2scribe 模块打包为 OSGi 包。 安装 最新发布版本： 0.1.0 。 请参阅 。 Maven 依赖： < groupId>...

    Scribe日志记录讲解

    Scribe 是一个由 Facebook 开源的日志记录框架，它基于 Thrift 框架构建，旨在提供分布式环境下的日志收集服务。Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift ...

    scribe日志系统文档

    它基于跨平台的语言Thrift进行开发，能够很好地支持Java Log4j等日志框架，并允许通过Log4j等工具将日志信息发送至Scribe服务端。Scribe的特点在于其高可靠性、可扩展性和易用性，特别适合大规模的日志处理场景。 #...

    scribe详细安装文档

    scribe是一个广泛使用的日志聚合系统，主要设计用于收集、分类和转发分布式系统的日志数据。在大型分布式环境中，如Hadoop或Facebook等，scribe扮演着至关重要的角色，它允许各个节点将日志数据发送到中心位置进行...

    scribe软件

    在实际应用中，scribe常与其它日志处理工具结合使用，例如Logstash或Fluentd，以实现更复杂的数据处理和分析。同时，它也可以配合监控系统如Nagios、Grafana，为运维人员提供实时的日志监控和报警功能。 要使用...

    facebook-scribe-63e4824.tar

    总之，Facebook Scribe是构建大规模日志收集系统的重要工具，尤其适合需要处理大量实时日志数据的环境。通过理解Scribe的工作原理和配置，你可以有效地整合它到你的IT基础设施中，实现高效的数据收集和分析。

    facebook scribe

    3. **Category**：Scribe 使用"Category"来区分不同类型的日志，每个Category可以有自己的存储策略和生命周期。 ### 三、工作流程 1. **日志收集**：每个日志生成者（Producer）将日志信息按照特定格式封装成消息...

    scribe-apache-1.5.0.zip

    【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目，...这两个开源项目的结合使用，可以在不依赖额外软件的情况下，实现日志数据的高效收集、存储和解析，这对于大型分布式系统的监控和维护具有重要意义。

    Oauth实例(使用Scribe-java)

    在这个实例中，我们将使用Scribe-java库来实现OAuth与新浪微博的集成。 Scribe-java是一个轻量级的Java库，专门用于处理OAuth 1.0a和OAuth 2.0的身份验证流程。这个库简化了与各种OAuth服务提供商的交互，包括获取...

    Facebook大量数据处理 Scribe.zip

    1. **日志聚合**：在分布式环境中，各个节点产生的日志数据可以被Scribe集中收集，简化了日志管理和分析的复杂度。 2. **实时流处理**：Scribe可用于实时数据流处理，将数据实时推送到下游分析系统，例如Storm或...

    分布式实时监控系统

    - 异步日志收集：通过如Scribe这样的日志收集传输工具，收集系统中产生的日志数据。 在具体的技术实践中，会涉及多种技术和组件。例如，利用Java的ThreadLocal传递Trace ID以实现上下文的传递，使用...

    开源日志系统比较：scribe、chukwa、kafka、flume.pdf

    本文主要对比了四个知名的开源日志系统：Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume。这四个系统各自拥有独特的设计和优势，适用于不同的场景。 1. Facebook的Scribe Scribe是一款由...

    一个基于P2P技术的分布式视频检索系统.pdf

    分布式视频检索系统是一种利用P2P（Peer-to-Peer，即对等网络）技术构建的分布式系统。这种系统的主要目的是改善传统视频检索技术的性能。它在扩展性、查全率和查询准确率等性能上取得了较好效果。本文中，作者详细...

    开源日志系统比较：scribe、chukwa、kafka、flume.docx

    本篇将对比分析四个流行的开源日志系统：Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume，主要关注它们的设计架构、负载均衡能力、可扩展性和容错机制。 **1. Facebook的Scribe** Scribe...

    fb303，使用Java连接Scribe必备的JAR包

    包含编译好的FacebookService, fb_status, FacebookBase, LogEntry, ResultCode, scribe类。 按照完thrift和scribe后，就不用自己生成了。

    File-Tail-Scribe

    4. **日志聚合**：在分布式系统中，将多台服务器的日志集中处理，便于统一管理和分析。 总的来说，File-Tail-Scribe 是一款强大且灵活的日志管理工具，它能够有效地帮助IT专业人员处理日志数据，提升运维效率，同时...

Magicbox
Global site tag (gtag.js) - Google Analytics