`
chakey
  • 浏览: 363821 次
  • 性别: Icon_minigender_1
  • 来自: 水星
社区版块
存档分类
最新评论

[2] Scribe的安装和简单使用例子

阅读更多

 

Scribe的安装

一、安装前提:

1:

libevent 

解压缩安装

./configure

make

make install


2:

boost (版本>=1.36)

解压缩安装

./configure

make

make install


3:Facebook基础服务

thrift (版本>=0.5.0)

fb303

先安装thrift,再安装fb303

解压并进入thrift目录      

./bootstrap.sh

./configure –with-boost=/usr/local/include/boost/ -- with-php-config=/phppath /bin/php-config

make

make install   


在当前目录 cd 到contrib/fb303/ :

./bootstrap.sh

./configure –with-boost=/usr/local/include/boost/

make

make install




4:

Hadoop(可选 版本>=0.19.1)


5:

设置PYTHON_PATH



二、安装Scribe

./bootstrap

./configure –with-boost=/usr/local/include/boost/ --enable-hdfs

make

make install


注意:

可以通过./configure --help 查看configure选项

例如

#禁用优化,打开调试模式(默认情况下是打开优化的)

./configure --disable-opt


# To disable static libraries and enable shared libraries. [ default has been set to static]

./configure --disable-static


# To build scribe with Hadoop support

./configure --enable-hdfs


# If the build process cannot find your Hadoop/Jvm installs, you may need to specify them manually:

./configure --with-hadooppath=/usr/local/hadoop --enable-hdfs CPPFLAGS="-I/usr/local/java/include -I/usr/local/java/include/linux" LDFLAGS="-ljvm -lhdfs"


# To set thrift home to a non-default location

./configure --with-thriftpath=/myhome/local/thrift


# If Boost is installed in a non-default location or there are multiple Boost versions

# installed, you will need to specify the Boost path and library names

./configure --with-boost=/usr/local --with-boost-system=boost_system-gcc40-mt-1_36 --with-boost-filesystem=boost_filesystem-gcc40-mt-1_36


三、配置环境变量

BOOST_ROOT=/usr/local/include/boost/

LD_LIBRARY_PATH=/usr/local/include/boost/lib::/usr/lob:/usr/local/lib


四、使用例子

这个例子展示了如何配置和发送信息到Scribe服务器

1:创建一个目录用于存放日志信息

mkdir /tmp/scribetest


2:使example1.conf中的配置信息启动Scribe服务

./bin/scribed  ./../examples/example1.conf 


3:打开一个新的终端控制台,使用scribe_cat发送一条信息到Scribe

echo "hello..." | ./bin/scribe_cat test


4:确定日志是否被记录

cat /tmp/scribetest/test/test_current


5:使用root查看Scribe的运行状态

./bin/scribe_ctrl status


6:查看Scribe计算器

./bin/scribe_ctrl counters


7:关闭 Scribe 

./bin/scribe_ctrl stop

 

example1.conf :

port=1463
max_msg_per_second=2000000
check_interval=3

# DEFAULT
<store>
category=default
type=buffer

target_write_size=20480
max_write_interval=1
buffer_send_rate=2
retry_interval=30
retry_interval_range=10

<primary>
type=file
fs_type=std
file_path=/tmp/scribetest
base_filename=thisisoverwritten
max_size=1000000
add_newlines=1
</primary>

<secondary>
type=file
fs_type=std
file_path=/tmp
base_filename=thisisoverwritten
max_size=3000000
</secondary>
</store>

1
3
分享到:
评论
1 楼 forchenyun 2011-02-23  
期待一些实际应用的例子

相关推荐

    scribe详细安装文档

    然后,编译和安装scribe: ```bash ./configure make sudo make install ``` #### 3. 配置scribe 在`conf/scribe.conf`中配置scribe,设置监听端口、日志类别和目标服务器等信息。例如: ```conf port = 1463 ...

    scribe安装配置文档[汇编].pdf

    Scribe 安装配置文档主要包括四个部分:环境准备、安装 Boost 环境、安装 Thrift 环境和安装 Scribe。环境准备部分需要安装多个依赖环境,包括 gcc-c++、libevent、automake、autoconf、m4、bison、zlib、bzip2、...

    scribe软件

    - **文档**: 可能包含README文件或wiki页面,介绍如何安装、配置和使用scribe。 在实际应用中,scribe常与其它日志处理工具结合使用,例如Logstash或Fluentd,以实现更复杂的数据处理和分析。同时,它也可以配合...

    Scribe日志记录讲解

    Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift 集成,因此可以在多种编程语言之间无缝地收集和传输数据,例如 Python、Java、C++、Ruby 等。 Scribe 提供了两种...

    Oauth实例(使用Scribe-java)

    压缩包中的"OAuthTest"文件很可能是包含了一个简单的示例程序,演示如何使用Scribe-java与新浪微博进行OAuth交互。这个程序可能包含了上述步骤的实现,例如初始化OAuthService、获取请求令牌、用户授权、获取访问...

    scribe客户端所需jar包

    2. **Thrift**:Thrift是一种接口定义语言和跨语言的RPC(远程过程调用)框架,它在scribe中用于客户端和服务端之间的通信。 3. **Java客户端**:scribe的Java客户端库包含了与scribe服务端通信所需的类和方法,...

    facebook scribe

    3. **Category**:Scribe 使用"Category"来区分不同类型的日志,每个Category可以有自己的存储策略和生命周期。 ### 三、工作流程 1. **日志收集**:每个日志生成者(Producer)将日志信息按照特定格式封装成消息...

    VideoScribe.7z

    在压缩包内的文件名称列表中,“使用说明.txt”是为用户提供操作指导的文档,帮助用户了解如何安装、配置和使用VideoScribe;而“VideoScribe2.3.4中文汉化可输入汉字”则意味着这是一个经过汉化的版本,不仅语言...

    fb303,使用Java连接Scribe必备的JAR包

    包含编译好的FacebookService, fb_status, FacebookBase, LogEntry, ResultCode, scribe类。 按照完thrift和scribe后,就不用自己生成了。

    Facebook大量数据处理 Scribe.zip

    Scribe的设计目标是提供简单、高效和可靠的方式来聚合来自多个节点的日志数据。 **Scribe的基本概念与架构** 1. **数据流模型**:Scribe采用发布/订阅模型,其中各个服务器或应用程序(发布者)将日志数据发送到...

    VideoScribe.3.2.003

    如果您想自己尝试一下,则可以以某种方式安装摄像机并花费数小时进行绘制,但是更有效的方法是使用VideoScribe。它使您可以创建自己绘制的视频演示文稿。界面的现代设计及其直观的控件使此过程尽可能简单。 该软件...

    VideoScribe

    VideoScribe是一款强大的手绘视频制作软件,被誉为“快速、简单和令人印象深刻的动画工具”。它允许用户通过绘制和动画效果来创作引人入胜的白板动画视频,这种类型的视频在教育、培训、营销和创意表达等领域广泛...

    scribe-apache-1.5.0.zip

    【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目,主要用于日志收集和管理系统。Scribe最初由Facebook开发并贡献给了开源社区,它设计的目的是在一个高流量、分布式环境中集中处理和存储来自不同服务的...

    VideoScribe2.3.4中文输入.rar

    《VideoScribe 2.3.4:...无论你是想创建富有创意的个人项目,还是希望通过动画提升专业形象,VideoScribe都能提供所需的一切资源和工具。只需简单几步,你就能轻松制作出令人印象深刻的手绘动画,让故事跃然“纸”上。

    scribe+hadoop+log4j+hive+mysql

    - **环境准备**:文中提到了具体的软件版本和安装步骤,例如 CentOS 6.3、Hadoop 2.0.2-alpha、Hive 0.9.0 等。这些版本的选择取决于实际需求和兼容性考虑。 - **节点分配**:根据文中提供的信息,整个系统包括一个...

    scribe-1.3.5.jar

    scribe-1.3.5.jar

    facebook-scribe-63e4824.tar

    下面我们将深入探讨Scribe及其核心概念、功能和安装过程。 **1. Scribe的基本概念** Scribe是Facebook设计的一种分布式日志系统,它的主要目标是统一收集各种服务的日志数据,提供一种简单高效的方式将日志流传输到...

    scribe+thrift+fb303已经编译好的rpm包,直接下载安装使用

    最佳环境 CentOS 5.4 Scribe真正可用rpm安装包 apache-thrift-0.7.0-1.x86_64.rpm,fb303-0.7.0-1.x86_64.rpm,scribe-2.2-3.x86_64.rpm。无需编译,一命令安装。简单快捷,方便部署。 ============================...

    VideoScribe for mac版

    一款非常有趣的手绘动画视频制作软件,我们经常会看到一些创意动画视频,其中就有一只拿着画笔的手画出整幅画面,就像快进效果的沙画一样。这种手绘视频不仅有创意,还可以装X,自己可以制定视频内容,可以是你跟你...

    scribe-ink-jdk-1.5.1.zip

    2. **开源项目**:指遵循特定开源许可证的软件,允许用户自由地查看、使用、修改和分发源代码,推动了全球软件开发者之间的合作和技术创新。 3. **Web应用程序**:像 "cadmium" 这样的Webapp,用于在Web服务器上...

Global site tag (gtag.js) - Google Analytics