`

使用Scribe重新构建log4j实现分布式日志中心

 
阅读更多

在浏览了诸多中文Scribe+log4j的博客之后,我发现,大家都是很不要face的抄人家的文,却没有一点要引用原文的意思。估计是抄来抄去,抄的多了都想不起来是谁抄谁的了。

 

原作应该是 Alex Loddengaard 的大作,写的很清楚,而且还有代码。这里不需要画蛇添足,大家欣赏吧。

Configuring and Using Scribe for Hadoop Log Collection

http://www.cloudera.com/blog/2008/11/configuring-and-using-scribe-for-hadoop-log-collection/

 

 

跑题篇,

除了Scribe之外,你还可以基于Thrift构建RPC服务。做到跨语言、高效通讯。推荐 Andrew Prunicki 的大作,

 

Apache Thrift

http://jnb.ociweb.com/jnb/jnbJun2009.html

分享到:
评论

相关推荐

    Thrift+Scribe分布式日志系统的构建

    在 Thrift+Scribe 构建的分布式日志系统中,日志的产生端(如服务器或应用)使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...

    scribe-log4j:将日志消息发送到 Scribe 的 log4j appender

    将日志消息发送到 Scribe 的 log4j appender。 有3个maven项目: scribe-client - 为 scribe 自动生成的 Java 客户端 scribe-log4j - scribe-log4j附加程序 scribe-example - 使用示例 入门 克隆仓库 git clone ...

    scribe+hadoop+log4j+hive+mysql

    综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。

    scribe客户端所需jar包

    log4j是Java领域广泛使用的日志记录框架,它允许开发者灵活地配置日志级别、格式和输出目的地。通过结合scribe和log4j,你可以将应用程序的日志轻松地发送到scribe服务端。这个示例通常会展示如何配置log4j....

    ddth-log2scribe:Log4j & Slf4j 适配器将日志写入 scribe 服务器

    Log4j 和 Slf4j 适配器将日志写入 scribe 服务器。 项目主页: : OSGi 环境:ddth-log2scribe 模块打包为 OSGi 包。 安装 最新发布版本: 0.1.0 。 请参阅 。 Maven 依赖: < groupId>...

    Scribe日志记录讲解

    Scribe 是一个由 Facebook 开源的日志记录框架,它基于 Thrift 框架构建,旨在提供分布式环境下的日志收集服务。Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift ...

    scribe日志系统文档

    它基于跨平台的语言Thrift进行开发,能够很好地支持Java Log4j等日志框架,并允许通过Log4j等工具将日志信息发送至Scribe服务端。Scribe的特点在于其高可靠性、可扩展性和易用性,特别适合大规模的日志处理场景。 #...

    scribe详细安装文档

    scribe是一个广泛使用的日志聚合系统,主要设计用于收集、分类和转发分布式系统的日志数据。在大型分布式环境中,如Hadoop或Facebook等,scribe扮演着至关重要的角色,它允许各个节点将日志数据发送到中心位置进行...

    scribe软件

    在实际应用中,scribe常与其它日志处理工具结合使用,例如Logstash或Fluentd,以实现更复杂的数据处理和分析。同时,它也可以配合监控系统如Nagios、Grafana,为运维人员提供实时的日志监控和报警功能。 要使用...

    facebook-scribe-63e4824.tar

    总之,Facebook Scribe是构建大规模日志收集系统的重要工具,尤其适合需要处理大量实时日志数据的环境。通过理解Scribe的工作原理和配置,你可以有效地整合它到你的IT基础设施中,实现高效的数据收集和分析。

    facebook scribe

    3. **Category**:Scribe 使用"Category"来区分不同类型的日志,每个Category可以有自己的存储策略和生命周期。 ### 三、工作流程 1. **日志收集**:每个日志生成者(Producer)将日志信息按照特定格式封装成消息...

    scribe-apache-1.5.0.zip

    【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目,...这两个开源项目的结合使用,可以在不依赖额外软件的情况下,实现日志数据的高效收集、存储和解析,这对于大型分布式系统的监控和维护具有重要意义。

    Oauth实例(使用Scribe-java)

    在这个实例中,我们将使用Scribe-java库来实现OAuth与新浪微博的集成。 Scribe-java是一个轻量级的Java库,专门用于处理OAuth 1.0a和OAuth 2.0的身份验证流程。这个库简化了与各种OAuth服务提供商的交互,包括获取...

    Facebook大量数据处理 Scribe.zip

    1. **日志聚合**:在分布式环境中,各个节点产生的日志数据可以被Scribe集中收集,简化了日志管理和分析的复杂度。 2. **实时流处理**:Scribe可用于实时数据流处理,将数据实时推送到下游分析系统,例如Storm或...

    分布式实时监控系统

    - 异步日志收集:通过如Scribe这样的日志收集传输工具,收集系统中产生的日志数据。 在具体的技术实践中,会涉及多种技术和组件。例如,利用Java的ThreadLocal传递Trace ID以实现上下文的传递,使用...

    开源日志系统比较:scribe、chukwa、kafka、flume.pdf

    本文主要对比了四个知名的开源日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume。这四个系统各自拥有独特的设计和优势,适用于不同的场景。 1. Facebook的Scribe Scribe是一款由...

    开源日志系统比较:scribe、chukwa、kafka、flume.docx

    本篇将对比分析四个流行的开源日志系统:Facebook的Scribe、Apache的Chukwa、LinkedIn的Kafka以及Cloudera的Flume,主要关注它们的设计架构、负载均衡能力、可扩展性和容错机制。 **1. Facebook的Scribe** Scribe...

    fb303,使用Java连接Scribe必备的JAR包

    包含编译好的FacebookService, fb_status, FacebookBase, LogEntry, ResultCode, scribe类。 按照完thrift和scribe后,就不用自己生成了。

    一个基于P2P技术的分布式视频检索系统.pdf

    随着互联网技术的飞速发展,P2P技术已成为构建高效分布式系统的一种重要手段。特别地,在视频检索领域,分布式视频检索系统利用P2P技术能够提供更高的扩展性、查全率和查询准确率,从而优化传统视频检索技术的性能。...

    File-Tail-Scribe

    4. **日志聚合**:在分布式系统中,将多台服务器的日志集中处理,便于统一管理和分析。 总的来说,File-Tail-Scribe 是一款强大且灵活的日志管理工具,它能够有效地帮助IT专业人员处理日志数据,提升运维效率,同时...

Global site tag (gtag.js) - Google Analytics