云计算实战 （海量日志管理）hadoop + scribe -- scribe 介绍和安装

scribe 介绍:

 

scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。

 

安装环境： centos5.2

 

所需软件：

 

 

安装过程：

一、输入gcc –v 检查gcc版本是否>3.3.5

       是，则继续下一步。否，则安装gcc 。

二、安装ruby 和python 

python 用默认安装路径。Ruby 推荐使用默认路径

    安装过程均为./configure  make  make install

三、安装lievent  

解压安装即可

       安装过程为./configure  make  make install

四、安装 boost    

解压安装即可（不可改路径）

       http://hi.baidu.com/maydaygmail/blog/item/9e38993bf4a176dc7c1e716c.html

五、安装 php 和libxml2 

先安装libxml2 （php依赖它） 在安装php（默认安装路径）

       安装过程均为./configure  make  make install

六、安装facebook 服务-- thrift 和 fb303

       首先解压并进入thrift 目录      

./bootstrap.sh

./configure –with-boost=/usr/local/include/boost/ -- with-php-config=/phppath /bin/php-config

make

make install    

thrift 安装完毕。

在当前目录 cd 到contrib/fb303/ ：

./bootstrap.sh

./configure –with-boost=/usr/local/include/boost/

make

make install

fb303安装完毕。

七、安装scribe

       ./bootstrap

./configure –with-boost=/usr/local/include/boost/

make

make install

 

安装完毕。

 

配置环境变量 :

BOOST_ROOT=/usr/local/include/boost/

LD_LIBRARY_PATH=/usr/local/include/boost/lib::/usr/lob:/usr/local/lib

测试：

        /usr/local/bin/scribed  [scribe 解压目录]/examples/example1.conf 

     回车会出现：

     [Sun Oct 31 23:37:38 2010] "STATUS: STARTING"

[Sun Oct 31 23:37:38 2010] "STATUS: configuring" 
[Sun Oct 31 23:37:38 2010] "got configuration data from file </home/setups/scribe/scribe/examples/example1.conf>" 
[Sun Oct 31 23:37:38 2010] "CATEGORY : default" 
[Sun Oct 31 23:37:38 2010] "Creating default store" 
[Sun Oct 31 23:37:38 2010] "configured <1> stores" 
[Sun Oct 31 23:37:38 2010] "STATUS: " 
[Sun Oct 31 23:37:38 2010] "STATUS: ALIVE" 
[Sun Oct 31 23:37:38 2010] "Starting scribe server on port 1463" 
Thrift: Sun Oct 31 23:37:38 2010 libevent 2.0.7-rc method epoll

 

okay  scribe 服务已启动。 （这个不只是测试，也是启动scribe 服务的方式。）

 补充：

  关于scribe 的安装 在下载目录下有个有个readme 写的很详细（可能没我写的实用^^）

  scribe的启动和集群测试，均在examples 目录下的redme 上 写得相当详细。

  如果大家在集群上有疑问，可交流^^

评论

13 楼 houzhaowei 2012-03-12  

star22 写道

楼主是全部部件都装在一台机器上吗？

对 ，就是一个scribe的server机器

12 楼 star22 2012-03-08  

楼主是全部部件都装在一台机器上吗？

11 楼 nwf5d 2011-02-11  

Scribe、Chukwa和Flume的应用场景是大量日志服务器，收集日志到集群上吧。其中Chukwa更适合收集集群运行信息以利于管理配置。不知道您的应用场景是否需要这个呢？考虑过Chukwa和Flume吗？现在使用Scribe是否稳定？希望能和您多交流,MSN:[e-mail] QQ:77878449

10 楼 houzhaowei 2011-01-14  

ciyuanlong 写道

scribe输出给hdfs，是实时put的还是？

用rsync 同步到hadoop 的master 再执行cron 定时导入到hdfs。

9 楼 ciyuanlong 2011-01-14  

scribe输出给hdfs，是实时put的还是？

8 楼 houzhaowei 2010-11-01  

7 楼 houzhaowei 2010-11-01  

cw550284 写道

希望楼主能坚持写下去！！

会的，我在做集群和配置时遇到各种麻烦，国内没有blog 能帮我解决，都是读的英文文档。所以我希望能写的尽善尽美，能帮国内朋友解决些问题。大家有问题可一起交流解决。
scribe + log4j 、 scribe 把日志写入 hadoop  、 以及hadoop 的实际应用  都会相继写入博客。

6 楼 houzhaowei 2010-11-01  

cx6445 写道

scribe，国内知道的人不多，参加过hadoop沙龙吧？

没有，我近期才涉及云计算，分布式scribe 和 hadoop 都是我一个人在搞。以后希望和大家多交流。

5 楼 caibinbupt 2010-11-01  

Scribe的意义在于做HDFS的前端，Flume也可以干类似的事情
mongodb应该不合适使用Scribe的场景，设计的目标不一样
Scribe现在的开发不是很活跃，听说后续有新版本要发布
Scribe是一些后续系统的基础，如FB的实时搜索

4 楼 ray_linn 2010-11-01  

ms和云计算没啥关系，顶多算个分布式而已，贼种东东也不需要啥scribe，用mongodb或者jackrabbit照样可以实现。

3 楼 cx6445 2010-11-01  

scribe，国内知道的人不多，参加过hadoop沙龙吧？

2 楼 cw550284 2010-10-31  

希望楼主能坚持写下去！！

1 楼 tsxm 2010-10-30  

ruby，python，java...