Scribe的安装
一、安装前提:
1:
libevent
解压缩安装
./configure
make
make install
2:
boost (版本>=1.36)
解压缩安装
./configure
make
make install
3:Facebook基础服务
thrift (版本>=0.5.0)
fb303
先安装thrift,再安装fb303
解压并进入thrift目录
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/ -- with-php-config=/phppath /bin/php-config
make
make install
在当前目录 cd 到contrib/fb303/ :
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/
make
make install
4:
Hadoop(可选 版本>=0.19.1)
5:
设置PYTHON_PATH
二、安装Scribe
./bootstrap
./configure –with-boost=/usr/local/include/boost/ --enable-hdfs
make
make install
注意:
可以通过./configure --help 查看configure选项
例如
#禁用优化,打开调试模式(默认情况下是打开优化的)
./configure --disable-opt
# To disable static libraries and enable shared libraries. [ default has been set to static]
./configure --disable-static
# To build scribe with Hadoop support
./configure --enable-hdfs
# If the build process cannot find your Hadoop/Jvm installs, you may need to specify them manually:
./configure --with-hadooppath=/usr/local/hadoop --enable-hdfs CPPFLAGS="-I/usr/local/java/include -I/usr/local/java/include/linux" LDFLAGS="-ljvm -lhdfs"
# To set thrift home to a non-default location
./configure --with-thriftpath=/myhome/local/thrift
# If Boost is installed in a non-default location or there are multiple Boost versions
# installed, you will need to specify the Boost path and library names
./configure --with-boost=/usr/local --with-boost-system=boost_system-gcc40-mt-1_36 --with-boost-filesystem=boost_filesystem-gcc40-mt-1_36
三、配置环境变量
BOOST_ROOT=/usr/local/include/boost/
LD_LIBRARY_PATH=/usr/local/include/boost/lib::/usr/lob:/usr/local/lib
四、使用例子
这个例子展示了如何配置和发送信息到Scribe服务器
1:创建一个目录用于存放日志信息
mkdir /tmp/scribetest
2:使example1.conf中的配置信息启动Scribe服务
./bin/scribed ./../examples/example1.conf
3:打开一个新的终端控制台,使用scribe_cat发送一条信息到Scribe
echo "hello..." | ./bin/scribe_cat test
4:确定日志是否被记录
cat /tmp/scribetest/test/test_current
5:使用root查看Scribe的运行状态
./bin/scribe_ctrl status
6:查看Scribe计算器
./bin/scribe_ctrl counters
7:关闭 Scribe
./bin/scribe_ctrl stop
附example1.conf :
port=1463
max_msg_per_second=2000000
check_interval=3
# DEFAULT
<store>
category=default
type=buffer
target_write_size=20480
max_write_interval=1
buffer_send_rate=2
retry_interval=30
retry_interval_range=10
<primary>
type=file
fs_type=std
file_path=/tmp/scribetest
base_filename=thisisoverwritten
max_size=1000000
add_newlines=1
</primary>
<secondary>
type=file
fs_type=std
file_path=/tmp
base_filename=thisisoverwritten
max_size=3000000
</secondary>
</store>
分享到:
相关推荐
然后,编译和安装scribe: ```bash ./configure make sudo make install ``` #### 3. 配置scribe 在`conf/scribe.conf`中配置scribe,设置监听端口、日志类别和目标服务器等信息。例如: ```conf port = 1463 ...
Scribe 安装配置文档主要包括四个部分:环境准备、安装 Boost 环境、安装 Thrift 环境和安装 Scribe。环境准备部分需要安装多个依赖环境,包括 gcc-c++、libevent、automake、autoconf、m4、bison、zlib、bzip2、...
- **文档**: 可能包含README文件或wiki页面,介绍如何安装、配置和使用scribe。 在实际应用中,scribe常与其它日志处理工具结合使用,例如Logstash或Fluentd,以实现更复杂的数据处理和分析。同时,它也可以配合...
Scribe 的主要特点是其简单架构、灵活的日志格式以及支持异步消息发送和队列处理。由于它与 Thrift 集成,因此可以在多种编程语言之间无缝地收集和传输数据,例如 Python、Java、C++、Ruby 等。 Scribe 提供了两种...
压缩包中的"OAuthTest"文件很可能是包含了一个简单的示例程序,演示如何使用Scribe-java与新浪微博进行OAuth交互。这个程序可能包含了上述步骤的实现,例如初始化OAuthService、获取请求令牌、用户授权、获取访问...
2. **Thrift**:Thrift是一种接口定义语言和跨语言的RPC(远程过程调用)框架,它在scribe中用于客户端和服务端之间的通信。 3. **Java客户端**:scribe的Java客户端库包含了与scribe服务端通信所需的类和方法,...
3. **Category**:Scribe 使用"Category"来区分不同类型的日志,每个Category可以有自己的存储策略和生命周期。 ### 三、工作流程 1. **日志收集**:每个日志生成者(Producer)将日志信息按照特定格式封装成消息...
在压缩包内的文件名称列表中,“使用说明.txt”是为用户提供操作指导的文档,帮助用户了解如何安装、配置和使用VideoScribe;而“VideoScribe2.3.4中文汉化可输入汉字”则意味着这是一个经过汉化的版本,不仅语言...
包含编译好的FacebookService, fb_status, FacebookBase, LogEntry, ResultCode, scribe类。 按照完thrift和scribe后,就不用自己生成了。
Scribe的设计目标是提供简单、高效和可靠的方式来聚合来自多个节点的日志数据。 **Scribe的基本概念与架构** 1. **数据流模型**:Scribe采用发布/订阅模型,其中各个服务器或应用程序(发布者)将日志数据发送到...
如果您想自己尝试一下,则可以以某种方式安装摄像机并花费数小时进行绘制,但是更有效的方法是使用VideoScribe。它使您可以创建自己绘制的视频演示文稿。界面的现代设计及其直观的控件使此过程尽可能简单。 该软件...
VideoScribe是一款强大的手绘视频制作软件,被誉为“快速、简单和令人印象深刻的动画工具”。它允许用户通过绘制和动画效果来创作引人入胜的白板动画视频,这种类型的视频在教育、培训、营销和创意表达等领域广泛...
【scribe-apache-1.5.0.zip】是一款基于Apache许可的开源项目,主要用于日志收集和管理系统。Scribe最初由Facebook开发并贡献给了开源社区,它设计的目的是在一个高流量、分布式环境中集中处理和存储来自不同服务的...
《VideoScribe 2.3.4:...无论你是想创建富有创意的个人项目,还是希望通过动画提升专业形象,VideoScribe都能提供所需的一切资源和工具。只需简单几步,你就能轻松制作出令人印象深刻的手绘动画,让故事跃然“纸”上。
- **环境准备**:文中提到了具体的软件版本和安装步骤,例如 CentOS 6.3、Hadoop 2.0.2-alpha、Hive 0.9.0 等。这些版本的选择取决于实际需求和兼容性考虑。 - **节点分配**:根据文中提供的信息,整个系统包括一个...
scribe-1.3.5.jar
下面我们将深入探讨Scribe及其核心概念、功能和安装过程。 **1. Scribe的基本概念** Scribe是Facebook设计的一种分布式日志系统,它的主要目标是统一收集各种服务的日志数据,提供一种简单高效的方式将日志流传输到...
最佳环境 CentOS 5.4 Scribe真正可用rpm安装包 apache-thrift-0.7.0-1.x86_64.rpm,fb303-0.7.0-1.x86_64.rpm,scribe-2.2-3.x86_64.rpm。无需编译,一命令安装。简单快捷,方便部署。 ============================...
一款非常有趣的手绘动画视频制作软件,我们经常会看到一些创意动画视频,其中就有一只拿着画笔的手画出整幅画面,就像快进效果的沙画一样。这种手绘视频不仅有创意,还可以装X,自己可以制定视频内容,可以是你跟你...
2. **开源项目**:指遵循特定开源许可证的软件,允许用户自由地查看、使用、修改和分发源代码,推动了全球软件开发者之间的合作和技术创新。 3. **Web应用程序**:像 "cadmium" 这样的Webapp,用于在Web服务器上...