环境和准备
- CentOS 6.2 64bit
- scribe (版本 63e4824,发布时间 Jan 06, 2012。最新2.2版本编译不通过,朋友说要改源码,放弃)
- thrift 0.7
- 安装前请先把rpmforge和EPEL的yum仓库配置好,参见-> 这里
- 查看本机安装rpm包命令:yum list installed | grep <pkg-name>
开始安装
- gcc (安装版本为4.4.6 官方要求>=3.3.5,但低于4会有各种问题
g++ 如果g++的结果是no input files表示已安装,不是则安装)
- flex、pkgconfig、m4
- python 安装版本为2.6.6
yum -y install python-devel.x86_64
- ruby 安装版本为1.8.7
yum -y install ruby-devel.x86_64
- libevent 安装版本为1.4.13-4(系统自带的1.4.13-1不行!)
yum -y install libevent-devel.x86_64
- openssl-devel 安装版本为1.0.0
yum -y install openssl-devel.x86_64
- bz2-devel 安装版本为1.0.5
yum -y install bzip2-devel.x86_64
- zlib-devel 安装版本为1.2.3
yum -y install zlib-devel.x86_64
- bison 安装版本为2.4.1
yum -y install bison-devel.x86_64
- autoconf 安装版本为2.69 thrift要求>=2.65
tar zxvf autoconf-2.69.tar.gz -C /usr/local/
cd /usr/local/autoconf-2.69/
./configure --prefix=/usr
make
make install
- automake 安装版本为1.10 thrift安装警告,要求>=1.9
tar zxvf automake-1.10.tar.gz -C /usr/local/
cd /usr/local/automake-1.10
./configure --prefix=/usr
make
make install
- libtool 安装版本为2.24
tar zxvf libtool-2.2.4.tar.gz -C /usr/local/
cd /usr/local/libtool-2.2.4
./configure --prefix=/usr
make
make install
- boost 安装版本为1.45.0 官方版本要求>=1.36
yum list installed | grep boost
yum remove boost*
tar zxvf boost_1_45_0.tar.gz -C /usr/local/
cd /usr/local/boost_1_45_0
./bootstrap.sh
./bjam install
export BOOST_ROOT=/usr/local/boost_1_45_0
export LD_LIBRARY_PATH=/usr/local/lib:/usr/lib
> source /etc/profile
- thrift + fb303 安装版本为0.7.0 官网要求>=0.5.0 (0.8要求修改代码才能编译过,放弃! )
tar zxvf thrift-0.7.0.tar.gz -C /usr/local/
cd /usr/local/thrift-0.7.0
chmod +x configure
./configure
make
make install
cd contrib/fb303 # 开始安装fb303
chmod +x bootstrap.sh
./bootstrap.sh
./configure
make
make install
- scribe
tar zxvf facebook-scribe-63e4824.tar.gz -C /usr/local/
cd /usr/local/facebook-scribe-63e4824
./bootstrap.sh
./configure --prefix=/usr/local/scribe
make
make install
检验安装是否成功
1. 启动scribe
bin/scribed -c conf/example1.conf
i出现如下提示,启动成功:
[Wed Nov 9 10:35:52 2011] "STATUS: STARTING"
[Wed Nov 9 10:35:52 2011] "STATUS: configuring"
[Wed Nov 9 10:35:52 2011] "got configuration data from file <conf/example1.conf>"
[Wed Nov 9 10:35:52 2011] "CATEGORY : default"
[Wed Nov 9 10:35:52 2011] "Creating default store"
[Wed Nov 9 10:35:52 2011] "configured <1> stores"
[Wed Nov 9 10:35:52 2011] "STATUS: "
[Wed Nov 9 10:35:52 2011] "STATUS: ALIVE"
[Wed Nov 9 10:35:52 2011] "Starting scribe server on port 1463"
Thrift: Wed Nov 9 10:35:52 2011 libevent 1.4.13-stable method epoll
2. 验证scribe能正常工作
mkdir conf
cp scribe解压目录/examples/example1.conf /usr/local/scribe/conf
bin/scribed -c conf/example1.conf
/usr/local/scribe/bin/scribed -c /usr/local/scribe/conf/example1.conf
# 在examples目录下,发个数据给scribe:
echo "hello world" | ./scribe_cat test
发现scribe出现如下信息:
[Wed Dec 21 17:14:30 2011] "[test] Creating new category store from model default"
[Wed Dec 21 17:14:30 2011] "store thread starting"
[Wed Dec 21 17:14:30 2011] "[test] Opened file </tmp/scribetest/test/test_00000> for writing"
[Wed Dec 21 17:14:30 2011] "[test] Opened file </tmp/test/test_00000> for writing"
[Wed Dec 21 17:14:30 2011] "[test] Changing state from <DISCONNECTED> to <SENDING_BUFFER>"
[Wed Dec 21 17:14:30 2011] "[test] read <0> entries of <0> bytes from file </tmp/test/test_00000>"
[Wed Dec 21 17:14:30 2011] "[test] No more buffer files to send, switching to streaming mode"
[Wed Dec 21 17:14:30 2011] "[test] Changing state from <SENDING_BUFFER> to <STREAMING>"
查看log cat /tmp/scribetest/test/test_00000 出现:
hello world表示安装成功。
原文转自:http://lakeblur.iteye.com/blog/1676022
相关推荐
- **日志分析**:可以利用 Log4j 来记录应用程序运行时的各种日志信息,再通过 Scribe 收集这些日志到 HDFS 中。之后使用 Hive 查询这些数据,以获取关于用户行为、系统性能等方面的洞察。 - **数据持久化**:对于...
Scribe 是一个由 Facebook 开源的日志记录框架,它基于 Thrift 框架构建,旨在提供分布式环境下的日志收集服务。Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift ...
最佳环境 CentOS 5.4 Scribe真正可用rpm安装包 apache-thrift-0.7.0-1.x86_64.rpm,fb303-0.7.0-1.x86_64.rpm,scribe-2.2-3.x86_64.rpm。无需编译,一命令安装。简单快捷,方便部署。...scribe+thrift+fb303.7z
**scribe详细安装文档** scribe是一个广泛使用的日志聚合系统,主要设计用于收集、分类和转发分布式系统的日志数据。在大型分布式环境中,如Hadoop或Facebook等,scribe扮演着至关重要的角色,它允许各个节点将日志...
Scribe 安装配置文档 Scribe 是 Facebook 开源的日志收集系统,已经在 Facebook 内部得到大量的应用。它能从各种日志源收集日志,存储到一个中央存储系统上,便于进行集中统计分析处理。它为日志的”分布式收集,...
一款非常有趣的手绘动画视频制作软件,我们经常会看到一些创意动画视频,其中就有一只拿着画笔的手画出整幅画面,就像快进效果的沙画一样。这种手绘视频不仅有创意,还可以装X,自己可以制定视频内容,可以是你跟你...
- **文档**: 可能包含README文件或wiki页面,介绍如何安装、配置和使用scribe。 在实际应用中,scribe常与其它日志处理工具结合使用,例如Logstash或Fluentd,以实现更复杂的数据处理和分析。同时,它也可以配合...
scribe客户端是用于集成日志记录系统的一个开源库,主要针对分布式环境中的日志管理。它支持多种日志接收协议,并且可以轻松地将日志数据发送到各种后端存储,如Hadoop、Cassandra或者Elasticsearch等。在这个压缩包...
**Facebook Scribe 知识详解** Facebook Scribe 是一个分布式日志收集系统,由Facebook开源,主要用于处理大规模的日志数据。在大型分布式系统中,各个服务会产生大量的日志信息,这些信息对于监控、调试和数据分析...
在压缩包内的文件名称列表中,“使用说明.txt”是为用户提供操作指导的文档,帮助用户了解如何安装、配置和使用VideoScribe;而“VideoScribe2.3.4中文汉化可输入汉字”则意味着这是一个经过汉化的版本,不仅语言...
在 Thrift+Scribe 构建的分布式日志系统中,日志的产生端(如服务器或应用)使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...
scribe-1.3.5.jar
如果您想自己尝试一下,则可以以某种方式安装摄像机并花费数小时进行绘制,但是更有效的方法是使用VideoScribe。它使您可以创建自己绘制的视频演示文稿。界面的现代设计及其直观的控件使此过程尽可能简单。 该软件...
【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目,主要用于日志收集和管理系统。Scribe最初由Facebook开发并贡献给了开源社区,它设计的目的是在一个高流量、分布式环境中集中处理和存储来自不同服务的...
《VideoScribe 2.3.4:轻松创建手绘动画的神器》 VideoScribe,简称VS,是一款备受赞誉的动画制作软件,专为那些希望创作独特且引人入胜的手绘视频的用户设计。这个强大的工具以其易用性和丰富的资源库而闻名,无论...
**Scribe:Facebook的大数据处理框架** 在大数据领域,Facebook作为全球最大的社交网络之一,面临着海量数据的收集、存储和处理挑战。为了有效应对这些挑战,Facebook开发了名为Scribe的系统,它是一个集中式的日志...
在这个实例中,我们将使用Scribe-java库来实现OAuth与新浪微博的集成。 Scribe-java是一个轻量级的Java库,专门用于处理OAuth 1.0a和OAuth 2.0的身份验证流程。这个库简化了与各种OAuth服务提供商的交互,包括获取...
关于"VS2.2"这个版本,可能是指VideoScribe的2.2版更新。通常,软件的版本迭代会带来新的功能、性能优化以及修复已知问题。在2.2版本中,可能包含以下改进: 1. **新功能**:增加了更多的图形、模板或动画效果,以...
1. **日志记录接口**:允许外部系统将日志信息发送到Scribe服务端。 2. **统计查询接口**:提供查询统计数据的API,支持多种查询条件。 3. **错误查询接口**:提供查询错误数据的API,同样支持多种查询条件。 #### ...
Flat earth scribe