`
heipark
  • 浏览: 2097069 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

scribe安装记录(转载 + 修订版)

 
阅读更多

环境和准备

  1. CentOS 6.2 64bit
  2. scribe (版本 63e4824,发布时间 Jan 06, 2012。最新2.2版本编译不通过,朋友说要改源码,放弃)
  3. thrift 0.7
  4. 安装前请先把rpmforge和EPEL的yum仓库配置好,参见-> 这里
  5. 查看本机安装rpm包命令:yum list installed | grep <pkg-name>

开始安装

  • gcc (安装版本为4.4.6 官方要求>=3.3.5,但低于4会有各种问题
    g++ 如果g++的结果是no input files表示已安装,不是则安装)
yum -y install gcc+ gcc-c++
  •  flex、pkgconfig、m4
yum -y install flex pkgconfig m4
  •  python 安装版本为2.6.6
yum -y install python.x86_64
yum -y install python-devel.x86_64
  •  ruby 安装版本为1.8.7
yum -y install ruby.x86_64
yum -y install ruby-devel.x86_64
  • libevent  安装版本为1.4.13-4(系统自带的1.4.13-1不行!)
yum -y install libevent.x86_64
yum -y install libevent-devel.x86_64
  • openssl-devel  安装版本为1.0.0
yum -y install openssl.x86_64
yum -y install openssl-devel.x86_64
  • bz2-devel 安装版本为1.0.5
yum -y install bzip2.x86_64
yum -y install bzip2-devel.x86_64
  • zlib-devel  安装版本为1.2.3
yum -y install zlib.x86_64
yum -y install zlib-devel.x86_64
  •  bison  安装版本为2.4.1
yum -y install bison.x86_64
yum -y install bison-devel.x86_64
  •  autoconf 安装版本为2.69   thrift要求>=2.65
wget ftp://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz (CentOS6.3yum版本不够高)
tar zxvf autoconf-2.69.tar.gz -C /usr/local/
cd /usr/local/autoconf-2.69/
./configure --prefix=/usr
make
make install
  •  automake 安装版本为1.10   thrift安装警告,要求>=1.9
wget http://ftp.gnu.org/gnu/automake/automake-1.10.tar.gz
tar zxvf automake-1.10.tar.gz -C /usr/local/
cd /usr/local/automake-1.10
./configure --prefix=/usr
make
make install
  •  libtool 安装版本为2.24
wget http://ftp.gnu.org/gnu/libtool/libtool-2.2.4.tar.gz
tar zxvf libtool-2.2.4.tar.gz -C /usr/local/
cd /usr/local/libtool-2.2.4
./configure --prefix=/usr
make
make install
  •  boost  安装版本为1.45.0 官方版本要求>=1.36
#卸载系统自带boost 1.41 检查与卸载命令:
yum list installed | grep boost
yum remove boost*

 

wget http://nchc.dl.sourceforge.net/project/boost/boost/1.45.0/boost_1_45_0.tar.gz
tar zxvf boost_1_45_0.tar.gz -C /usr/local/
cd /usr/local/boost_1_45_0
./bootstrap.sh
./bjam install

 

> vi /etc/profile
export BOOST_ROOT=/usr/local/boost_1_45_0
export LD_LIBRARY_PATH=/usr/local/lib:/usr/lib

> source /etc/profile
  • thrift + fb303 安装版本为0.7.0  官网要求>=0.5.0 (0.8要求修改代码才能编译过,放弃! )
wget http://archive.apache.org/dist/thrift/0.7.0/thrift-0.7.0.tar.gz
tar zxvf thrift-0.7.0.tar.gz -C /usr/local/
cd /usr/local/thrift-0.7.0
chmod +x configure
./configure
make
make install
cd contrib/fb303 # 开始安装fb303
chmod +x bootstrap.sh
./bootstrap.sh
./configure
make
make install
  •  scribe
wget https://codeload.github.com/facebook/scribe/legacy.tar.gz/63e4824838bf84e35da6a0817d8a72a6ec0b9fb3
tar zxvf facebook-scribe-63e4824.tar.gz -C /usr/local/
cd /usr/local/facebook-scribe-63e4824
./bootstrap.sh
./configure --prefix=/usr/local/scribe
make
make install

 

检验安装是否成功


1. 启动scribe

 

cd /usr/local/scribe
bin/scribed -c conf/example1.conf

 
i出现如下提示,启动成功:
[Wed Nov 9 10:35:52 2011] "STATUS: STARTING"
[Wed Nov 9 10:35:52 2011] "STATUS: configuring"
[Wed Nov 9 10:35:52 2011] "got configuration data from file <conf/example1.conf>"
[Wed Nov 9 10:35:52 2011] "CATEGORY : default"
[Wed Nov 9 10:35:52 2011] "Creating default store"
[Wed Nov 9 10:35:52 2011] "configured <1> stores"
[Wed Nov 9 10:35:52 2011] "STATUS: "
[Wed Nov 9 10:35:52 2011] "STATUS: ALIVE"
[Wed Nov 9 10:35:52 2011] "Starting scribe server on port 1463"
Thrift: Wed Nov 9 10:35:52 2011 libevent 1.4.13-stable method epoll


2. 验证scribe能正常工作

 

写道
cd /usr/local/scribe
mkdir conf
cp scribe解压目录/examples/example1.conf /usr/local/scribe/conf
bin/scribed -c conf/example1.conf
/usr/local/scribe/bin/scribed -c /usr/local/scribe/conf/example1.conf
# 在examples目录下,发个数据给scribe:
echo "hello world" | ./scribe_cat test

 
发现scribe出现如下信息:
[Wed Dec 21 17:14:30 2011] "[test] Creating new category store from model default"

[Wed Dec 21 17:14:30 2011] "store thread starting"

[Wed Dec 21 17:14:30 2011] "[test] Opened file </tmp/scribetest/test/test_00000> for writing"

[Wed Dec 21 17:14:30 2011] "[test] Opened file </tmp/test/test_00000> for writing"

[Wed Dec 21 17:14:30 2011] "[test] Changing state from <DISCONNECTED> to <SENDING_BUFFER>"

[Wed Dec 21 17:14:30 2011] "[test] read <0> entries of <0> bytes from file </tmp/test/test_00000>"

[Wed Dec 21 17:14:30 2011] "[test] No more buffer files to send, switching to streaming mode"

[Wed Dec 21 17:14:30 2011] "[test] Changing state from <SENDING_BUFFER> to <STREAMING>"

 

查看log cat /tmp/scribetest/test/test_00000 出现:
hello world表示安装成功。

 

 

原文转自:http://lakeblur.iteye.com/blog/1676022

 

 

分享到:
评论

相关推荐

    scribe+hadoop+log4j+hive+mysql

    - **日志分析**:可以利用 Log4j 来记录应用程序运行时的各种日志信息,再通过 Scribe 收集这些日志到 HDFS 中。之后使用 Hive 查询这些数据,以获取关于用户行为、系统性能等方面的洞察。 - **数据持久化**:对于...

    Scribe日志记录讲解

    Scribe 是一个由 Facebook 开源的日志记录框架,它基于 Thrift 框架构建,旨在提供分布式环境下的日志收集服务。Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift ...

    scribe+thrift+fb303已经编译好的rpm包,直接下载安装使用

    最佳环境 CentOS 5.4 Scribe真正可用rpm安装包 apache-thrift-0.7.0-1.x86_64.rpm,fb303-0.7.0-1.x86_64.rpm,scribe-2.2-3.x86_64.rpm。无需编译,一命令安装。简单快捷,方便部署。...scribe+thrift+fb303.7z

    scribe详细安装文档

    **scribe详细安装文档** scribe是一个广泛使用的日志聚合系统,主要设计用于收集、分类和转发分布式系统的日志数据。在大型分布式环境中,如Hadoop或Facebook等,scribe扮演着至关重要的角色,它允许各个节点将日志...

    scribe安装配置文档[汇编].pdf

    Scribe 安装配置文档 Scribe 是 Facebook 开源的日志收集系统,已经在 Facebook 内部得到大量的应用。它能从各种日志源收集日志,存储到一个中央存储系统上,便于进行集中统计分析处理。它为日志的”分布式收集,...

    VideoScribe for mac版

    一款非常有趣的手绘动画视频制作软件,我们经常会看到一些创意动画视频,其中就有一只拿着画笔的手画出整幅画面,就像快进效果的沙画一样。这种手绘视频不仅有创意,还可以装X,自己可以制定视频内容,可以是你跟你...

    scribe软件

    - **文档**: 可能包含README文件或wiki页面,介绍如何安装、配置和使用scribe。 在实际应用中,scribe常与其它日志处理工具结合使用,例如Logstash或Fluentd,以实现更复杂的数据处理和分析。同时,它也可以配合...

    scribe客户端所需jar包

    scribe客户端是用于集成日志记录系统的一个开源库,主要针对分布式环境中的日志管理。它支持多种日志接收协议,并且可以轻松地将日志数据发送到各种后端存储,如Hadoop、Cassandra或者Elasticsearch等。在这个压缩包...

    facebook scribe

    **Facebook Scribe 知识详解** Facebook Scribe 是一个分布式日志收集系统,由Facebook开源,主要用于处理大规模的日志数据。在大型分布式系统中,各个服务会产生大量的日志信息,这些信息对于监控、调试和数据分析...

    VideoScribe.7z

    在压缩包内的文件名称列表中,“使用说明.txt”是为用户提供操作指导的文档,帮助用户了解如何安装、配置和使用VideoScribe;而“VideoScribe2.3.4中文汉化可输入汉字”则意味着这是一个经过汉化的版本,不仅语言...

    Thrift+Scribe分布式日志系统的构建

    在 Thrift+Scribe 构建的分布式日志系统中,日志的产生端(如服务器或应用)使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...

    scribe-1.3.5.jar

    scribe-1.3.5.jar

    VideoScribe.3.2.003

    如果您想自己尝试一下,则可以以某种方式安装摄像机并花费数小时进行绘制,但是更有效的方法是使用VideoScribe。它使您可以创建自己绘制的视频演示文稿。界面的现代设计及其直观的控件使此过程尽可能简单。 该软件...

    scribe-apache-1.5.0.zip

    【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目,主要用于日志收集和管理系统。Scribe最初由Facebook开发并贡献给了开源社区,它设计的目的是在一个高流量、分布式环境中集中处理和存储来自不同服务的...

    VideoScribe2.3.4中文输入.rar

    《VideoScribe 2.3.4:轻松创建手绘动画的神器》 VideoScribe,简称VS,是一款备受赞誉的动画制作软件,专为那些希望创作独特且引人入胜的手绘视频的用户设计。这个强大的工具以其易用性和丰富的资源库而闻名,无论...

    Facebook大量数据处理 Scribe.zip

    **Scribe:Facebook的大数据处理框架** 在大数据领域,Facebook作为全球最大的社交网络之一,面临着海量数据的收集、存储和处理挑战。为了有效应对这些挑战,Facebook开发了名为Scribe的系统,它是一个集中式的日志...

    视频创作软件(Sparkol VideoScribe PRO Portable) v2.0.1 绿色版.zip

    Sparkol VideoScribe PRO Portable 单文件绿色便携特别版是一款独特的视频创作软件,程序可以以一种独特的方式来快速、 轻松地创建引人入胜的动画或者视频。你可以创建令人惊叹的营销视频,教学会谈、 可以轻松的将...

    VideoScribe

    关于"VS2.2"这个版本,可能是指VideoScribe的2.2版更新。通常,软件的版本迭代会带来新的功能、性能优化以及修复已知问题。在2.2版本中,可能包含以下改进: 1. **新功能**:增加了更多的图形、模板或动画效果,以...

    scribe日志系统文档

    1. **日志记录接口**:允许外部系统将日志信息发送到Scribe服务端。 2. **统计查询接口**:提供查询统计数据的API,支持多种查询条件。 3. **错误查询接口**:提供查询错误数据的API,同样支持多种查询条件。 #### ...

    Flat earth scribe

    Flat earth scribe

Global site tag (gtag.js) - Google Analytics