`
in355hz
  • 浏览: 230048 次
社区版块
存档分类
最新评论

Beanstalkd 介绍

阅读更多

Beanstalkd 是最近出现的一个轻量级消息中间件,他的最大特点是将自己定位为基于管道  (tube) 和任务 (job) 的工作队列 (work-queue):

 

Beanstalk

“(Beanstalkd) is a simple, fast workqueue service. Its interface is generic, but was originally designed for reducing the latency of page views in high-volume web applications by running time-consuming tasks asynchronously.”

 

Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。

 

它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议,因此有很高的性能:

 

Beanstalkd

 

尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时,当前任务状态能够从纪录的本地 binlog 中恢复。

 

管道 (tube):

管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。 

 

任务 (job):

Beanstalkd 用任务 (job) 代替消息 (message) 的概念。与消息不同,任务有一系列状态:

 

Beanstalkd

 

READY - 需要立即处理的任务,当延时 (DELAYED) 任务到期后会自动成为当前任务;

DELAYED - 延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 DELAYED 队列延迟执行;

RESERVED - 已经被消费者获取, 正在执行的任务。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成;

BURIED - 保留的任务: 任务不会被执行,也不会消失,除非有人把它 "踢" 回队列;

DELETED - 消息被彻底删除。Beanstalkd 不再维持这些消息。

 

任务优先级 (priority):

任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn). 

 

延时任务 (delay):

有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时;或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。这种机制可以实现分布式的 java.util.Timer,这种分布式定时任务的优势是:如果某个消费者节点故障,任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。

 

任务超时重发 (time-to-run):

Beanstalkd 把任务返回给消费者以后:消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态;否则 Beanstalkd 会认为消息处理失败,然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run).

 

任务预留 (buried):

如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务,并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。

 

Beanstalkd 协议:

Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。这些命令可以简单的分成三组: 

 

生产类 - use <tube> / put <priority> <delay> <ttr> [bytes]:  

生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).

 

消费类 - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id>

消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务,这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。

 

维护类 - peek job / peek delayed / peek ready / peek buried / kick <n>

用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。

被保留 (buried) 的任务可以用 kick 命令 "踢" 回队列。

 

协议文档: https://raw.github.com/kr/beanstalkd/master/doc/protocol.txt

 

Beanstalkd 不足:

Beanstalkd 没有提供主备同步 + 故障切换机制, 在应用中有成为单点的风险。实际应用中,可以用数据库为任务 (job) 提供持久化存储。

 

Beanstalkd

 

另外, 和 memcached 类似, Beanstalkd 依赖 libevent 的单线程事件分发机制, 不能有效利用多核 cpu 的性能。这一点可以通过单机部署多个实例克服。

 

官方网站见 http://kr.github.com/beanstalkd/

 

参考资料:

http://adam.heroku.com/past/2010/4/24/beanstalk_a_simple_and_fast_queueing_backend/

http://nubyonrails.com/articles/about-this-blog-beanstalk-messaging-queue

http://abulman.co.uk/presentations/Beanstalkd-2010-05-06/

http://rdc.taobao.com/blog/cs/?p=1201

 

分享到:
评论

相关推荐

    Python使用Beanstalkd做异步任务处理的方法共

    1. **Beanstalkd介绍** Beanstalkd是一个基于TCP协议的简单工作队列服务,它的设计目标是快速、低延迟和无锁操作。通过提供一个简单的命令集,Beanstalkd使得客户端可以轻松地插入任务(job)到队列,而由后台工作...

    PHP7生产环境队列Beanstalkd用法详解

    **Beanstalkd介绍** Beanstalkd是一款高性能、轻量级的分布式内存队列系统,由C语言编写,设计思路类似Memcached。它的设计目标是在高并发环境下,通过异步处理耗时任务,降低响应延迟。Beanstalkd的协议简洁明了,...

    node-beanstalk:Node.js的Beanstalk客户端

    ### Beanstalkd介绍 Beanstalkd的主要功能是作为一个无关系型的数据存储,用于存储和传递消息。它的设计目标是提供一个简单、快速且低延迟的任务队列服务。Beanstalkd通过TCP协议提供服务,客户端可以使用各种语言...

    beanstalk扩展连接beanstalkd的php示例程序-Beanstalk.zip

    关于beanstalk博客中有文章介绍了beanstalkd消息队列服务端的安装,以及php里关于beanstalk扩展的安装,有两种方式,我使用的是第二种connect方法连接服务端,并使用php安装扩展不采用php类文件。当前已安装好bean...

    消息队列 beanstalkd 使用 php 连接及操作的各方法示例代码

    本篇将详细介绍如何使用PHP连接Beanstalkd以及执行各种操作的方法。 首先,`Beanstalk.php`通常是包含与Beanstalkd交互的PHP类库,它提供了连接、发布、获取和删除任务等基本功能。以下是一些关键函数的简要说明: ...

    Python使用 Beanstalkd 做异步任务处理的方法

    本文将详细介绍如何在Python中结合Beanstalkd实现异步任务处理,并且使用装饰器语法简化任务的提交和执行流程。 首先,需要理解Beanstalkd的工作原理。Beanstalkd是一个用C语言编写、简单且快速的工作队列。它提供...

    php-beanstalkd消息队列类实例分享

    接下来,文档介绍了`BeanStalk`类的一些关键属性。例如,`$connected`属性用来标识当前是否已经与服务器建立连接,而`$_config`属性则用于存储配置信息。在类的构造方法中,初始化了默认的配置数组,并通过传入的...

    Go-GoBeanstalkd连接池GoBeanstalkdConnectionPool

    下面将详细介绍GoBeanstalkd连接池的相关知识点。 首先,了解`GoBeanstalkd`库。GoBeanstalkd是一个遵循Beanstalkd协议的Go语言客户端库,它提供了基本的命令,如`put`(入队)、`reserve`(出队)、`delete`(删除...

    DtcQueueBundle:Symfony2345队列捆绑包(用于后台作业),支持Mongo(Doctrine ODM),Mysql(以及任何Doctrine ORM),RabbitMQ,Beanstalkd,Redis和... {自己编写}

    DtcQueueBundle 允许symfony开发人员轻松创建后台作业,如下所示: $worker-&gt;later()-&gt;process...介绍 该捆绑包提供了一种轻松创建和管理排队的后台作业的方法 基本特点: 便于使用 用一两行代码启动后台任务 轻松添

    Linux系统搭建PHP开发环境

    本文将详细介绍如何在Ubuntu 16.04.4系统上搭建这个环境,并涉及一些额外的辅助工具,如Memcached、Vim、Memcache、Beanstalkd、Redis和Supervisor。 首先,我们需要确保系统是最新的。打开终端并输入以下命令: ``...

    BEANSTALKRDSAPP

    5. README文件:项目介绍、安装指南和使用说明。 在深入研究这个项目之前,开发者需要确保安装了Java开发环境(JDK),理解基本的Java编程概念,熟悉Maven或Gradle构建系统,以及具备一定的数据库管理知识。对于...

    challenge:带有售后Challange的Node.js测试示例

    带有售后Challange的Node.js测试示例介绍在这里,我演示了Aftership Challange一些node.js测试技术,包括: 不同的测试范围:单元测试,集成测试,端到端(手动)测试嘲讽策略:存根,嘲讽,间谍断言:基于承诺的...

    PHP+memcache实现消息队列案例分享

    标题《PHP+memcache实现消息队列案例...同时,文章也提供了一些扩展知识,如Starling和Beanstalkd等轻量级队列服务器的介绍,以及PHP共享内存的基础概念,这些都能帮助开发者拓展视野,理解消息队列的多样实现方式。

    5e3602d8-2d6e-4424-89eb-88a98a215074:售后挑战项目

    介绍 每分钟获取USD到HKD的汇率,将10个成功的结果存储在MongoDB中。 3次失败尝试后,中止。 只要每个工作人员获得不同的ID并连接到相同的Beanstalkd管和相同的MongoDB,系统即可水平扩展。 如果xe.com决定更改其...

    Laravel开发-coffee .zip

    下面将详细介绍Laravel框架的关键知识点及其在Web开发中的应用。 1. **MVC架构模式**:Laravel基于Model-View-Controller(MVC)设计模式,它将业务逻辑、数据模型和用户界面分离,使代码更易于维护和扩展。Model...

    文件批量上传 图片批量上传 组件,PHP使用

    还可以使用队列服务,如RabbitMQ或Beanstalkd,将文件上传任务分发到后台处理。 7. **错误处理与反馈**:良好的用户体验需要在上传过程中提供清晰的错误提示。可以设计不同状态的反馈,如成功上传、部分文件上传...

    Laravel开发-olapus .zip

    以下是对Laravel框架及开发相关的知识点的详细介绍: 1. **MVC模式**:Laravel遵循Model-View-Controller(MVC)架构模式,将业务逻辑、数据模型和用户界面分离,使得代码结构清晰,便于团队协作和模块化开发。 2....

    Laravel开发-playtitle

    如果需要处理大量或耗时的API请求,可以考虑使用Laravel的任务队列和队列驱动,如Redis或Beanstalkd,以异步方式发送请求,避免阻塞应用程序的正常运行。 **8. 测试与调试** 为了确保代码的健壮性,应编写单元测试...

Global site tag (gtag.js) - Google Analytics