`
nil-zhang
  • 浏览: 51623 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Beanstalkd 一个高性能分布式内存队列系统

阅读更多

之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,FqueueRabbitMQ Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apache,Varnish之于Squid。后面在项目中使用Beanstalkd的过程中,更发现其简单、轻量级、高性能、易使用等特点,以及优先级、多队列、持久化、分布式容错、超时控制等特性。下面就简单介绍一下Beanstalkd,不足之处请大家指正。

-----------------------------------------------正文分割线-------------------------------------------------

设计思想

高性能离不开异步,异步离不开队列,而其内部都是Producer-Comsumer模式的原理。

图1 Producer-Comsumer模式

应用

Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格,所以使用过memcached的用户会觉得Beanstalkd似曾相识。

核心概念

Beanstalkd设计里面的核心概念:

  • job

一个需要异步处理的任务,是Beanstalkd中的基本单元,需要放在一个tube中。

  • tube

一个有名的任务队列,用来存储统一类型的job,是producer和consumer操作的对象。

  • producer

Job的生产者,通过put命令来将一个job放到一个tube中。

  • consumer

Job的消费者,通过reserve/release/bury/delete命令来获取job或改变job的状态。

Beanstalkd中一个job的生命周期如图2所示。一个job有READY, RESERVED, DELAYED, BURIED四种状态。当producer直接put一个job时,job就处于READY状态,等待consumer来处理,如果选择延迟put,job就先到DELAYED状态,等待时间过后才迁移到READY状态。consumer获取了当前READY的job后,该job的状态就迁移到RESERVED,这样其他的consumer就不能再操作该job。当consumer完成该job后,可以选择delete, release或者bury操作;delete之后,job从系统消亡,之后不能再获取;release操作可以重新把该job状态迁移回READY(也可以延迟该状态迁移操作),使其他的consumer可以继续获取和执行该job;有意思的是bury操作,可以把该job休眠,等到需要的时候,再将休眠的job kick回READY状态,也可以delete BURIED状态的job。正是有这些有趣的操作和状态,才可以基于此做出很多意思的应用,比如要实现一个循环队列,就可以将RESERVED状态的job休眠掉,等没有READY状态的job时再将BURIED状态的job一次性kick回READY状态。

图2 Beanstalkd中job的生命周期

特性

Beanstalkd基于的源码安装和使用很简单,在此略过。这里重点介绍一下其几个很nice的特性。

  • 优先级

支持0到2**32的优先级,值越小,优先级越高,默认优先级为1024。

  • 持久化

可以通过binlog将job及其状态记录到文件里面,在Beanstalkd下次启动时可以通过读取binlog来恢复之前的job及状态。

  • 分布式容错

分布式设计和Memcached类似,beanstalkd各个server之间并不知道彼此的存在,都是通过client来实现分布式以及根据tube名称去特定server获取job。

  • 超时控制

为了防止某个consumer长时间占用任务但不能处理的情况,Beanstalkd为reserve操作设置了timeout时间,如果该consumer不能在指定时间内完成job,job将被迁移回READY状态,供其他consumer执行。

不足

在使用中发现一个Beanstalkd尚无提供删除一个tube的操作,只能将tube的job依次删除,并让Beanstalkd来自动删除空tube。还有就是Beanstalkd不支持客户端认证机制(开发者将应用场景定位在局域网)。

后续工作

  1. 介绍Beanstalkd的命令和使用
  2. 翻译Beanstalkd协议
  3. 分析Beanstalkd源码

参考文献

http://kr.github.com/beanstalkd/

http://adam.heroku.com/past/2010/4/24/beanstalk_a_simple_and_fast_queueing_backend/

http://nubyonrails.com/articles/about-this-blog-beanstalk-messaging-queue

http://www.igvita.com/2010/05/20/scalable-work-queues-with-beanstalk/

 

分享到:
评论

相关推荐

    Beanstalkd分布式内存消息队列系统的PHP对接程序示例代码

    Beanstalkd是一个高性能、轻量级的分布式内存队列系统,它的设计初衷是通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟。具有如下功能特点。 高性能与轻量级:Beanstalkd是一个高效的内存队列系统...

    PHP消息队列Beanstalkd类.zip

    Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有...

    beanstalkd

    Beanstalkd是一款轻量级、高性能的分布式工作队列系统,常被用于处理大量异步任务,实现系统间的解耦合。它通过提供一个简单的TCP协议接口,使得开发者能够轻松地将任务放入队列,然后由后台进程进行处理。这个系统...

    beanstalkd-win:Windows,高级,轻量级的分布式内存模拟系统

    **beanstalkd-win** 是一个专为Windows操作系统设计的高级、轻量级的分布式内存对象缓存系统。这个系统主要用于解决高性能应用场景下的数据缓存问题,以提高应用程序的响应速度和处理能力。beanstalkd-win在Windows...

    Beanstalkd手册

    Beanstalk,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。

    Pheanstalk一个Beanstalkd队列PHP客户端库

    Beanstalkd是一款高性能、轻量级的分布式消息队列系统,它允许应用程序通过将任务放入队列来解耦任务的生产者和消费者,从而提高系统的可扩展性和可靠性。Pheanstalk库提供了简单易用的接口,使得PHP开发者能够方便...

    php的beanstalk扩展(addserver方式)所需安装程序 libbeanstalkclient 压缩包

    Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。 则需要下载安装扩展...

    beanstalkd的php语言sdk

    Beanstalkd是一款轻量级、高性能的分布式工作队列系统,它设计的目标是提供简单、快速且无锁的队列服务。Beanstalkd使用了类似于memcache的文本协议,使得它易于实现客户端库,包括PHP这样的脚本语言。 在PHP中,...

    beanstalkd test client

    Beanstalkd是一款轻量级、高性能的分布式工作队列系统,它可以帮助开发者构建可扩展的应用程序,通过异步处理任务来提高应用的响应速度。本项目提供了一个测试客户端,用于与Beanstalkd服务器进行交互,包括生产者...

    beanstalkd-1.4.6

    总之,Beanstalkd是一个强大且灵活的工具,用于在分布式系统中实现任务队列和异步处理。通过使用"beanstalkd-1.4.6"安装包,你可以轻松地在服务器上部署这个服务,从而优化你的应用程序性能,提高系统的响应速度。

    queue-list:队列beanstalkd vs rabbitmq 对比以及使用方法

    针对beanstalkd&rabbitmq做全面的对比分析,权衡利弊,找出一个最适合自己的队列服务 功能对比图 Item RabbitMQ Beanstalkd 持久化 Yes Yes 分布式 Yes Yes 高可用 Yes No 路由定制 Yes No Get定制 Yes No 认证 Yes ...

    PHP7生产环境队列Beanstalkd用法详解

    Beanstalkd是一个高性能、轻量级的分布式内存队列系统,它使用C语言编写。类比Memcached,其协议和使用方式类似于memcached,因此有memcached使用经验的用户会感到熟悉。队列系统适用于将耗时操作异步处理,使得...

    PHP Beanstalkd消息队列的安装与使用方法实例详解

    Beanstalkd是一个高性能,轻量级的分布式内存队列 二、Beanstalkd特性 1、支持优先级(支持任务插队) 2、延迟(实现定时任务) 3、持久化(定时把内存中的数据刷到binlog日志) 4、预留(把任务设置成预留,消费者无法取出...

    Python使用Beanstalkd做异步任务处理的方法共

    Beanstalkd是一款轻量级的、高性能的分布式作业队列系统,常用于实现异步任务处理。它能够帮助开发者将耗时的操作从主线程中分离出来,提高应用程序的响应速度。在Python中,我们可以利用`beanstalkc`库与Beanstalkd...

    Yii2队列扩展支持DBRedisRabbitMQBeanstalk和Gearman

    4. **Beanstalkd队列**:Beanstalkd是一个轻量级的、高性能的、基于优先级的队列服务。在Yii2框架中使用Beanstalkd,可以高效地处理大量并发任务,尤其适用于负载均衡和负载调度。 5. **Gearman队列**:Gearman是一...

    phpBeanstalkdAdminBeanstalkd的监视和管理界面

    Beanstalkd是一款轻量级、高性能的分布式作业队列系统,常用于处理异步任务和后台工作流程。phpBeanstalkdAdmin为开发者提供了一个直观的界面,使得对Beanstalkd的监控和管理工作变得更加便捷。 在PHP开发中,使用...

    PyPI 官网下载 | django_beanstalkd-1.0.1-py2.py3-none-any.whl

    Beanstalkd是一款轻量级、高性能的作业队列系统,用于处理异步任务和分布式系统中的消息传递。它提供了一个简单的协议,允许客户端提交任务到队列,然后由后台进程处理这些任务。这种方式有助于缓解主应用的压力,...

    Python使用Beanstalkd做异步任务处理的方法共5页.pdf.zip

    总的来说,Python使用Beanstalkd进行异步任务处理是一个简单而有效的方法,能够帮助我们优化应用程序的性能,提高系统的响应速度。通过合理地设计任务队列和worker,我们可以更好地管理资源,实现高并发和高可用性。...

Global site tag (gtag.js) - Google Analytics