`
alfred_long
  • 浏览: 566277 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

后台处理beanstalkd 的python脚本

 
阅读更多
#!/usr/bin/python
#encoding=utf-8
import beanstalkc
import yaml
import json
import MySQLdb
#load config
handle = open('config.yaml')
conf = yaml.load(handle)
#get data from beanstalkd
def get_beanstalk_data(conf):
    beanstalk = beanstalkc.Connection(host=conf['beans']['host'],port=conf['beans']['port'])
    beanstalk.use('test')
    beanstalk.watch('test')
    job = beanstalk.reserve()
    data = json.loads(job.body)
    job.delete()
    return data
#insert data to mysql 
def insert_to_mysql(conf,data):
    try:
        conn = MySQLdb.connect(host=conf['mysql']['host'], user=conf['mysql']['user'],passwd=conf['mysql']['pass'], port=conf['mysql']['port'], db=conf['mysql']['db'])
        cursor = conn.cursor()
        sql = "insert into stat_plugin_log (id, md, cd, st) values(%s, %s, %s, %s)"
        param = (data['id'], data['md'], data['cd'], data['st'])
        cursor.execute(sql, param)
        cursor.close()
        conn.close()
    except MySQLdb.Error,e:
        print "Mysql Error %d: %s" % (e.args[0], e.args[1])
#go 
while True:
    data = get_beanstalk_data(conf)
    insert_to_mysql(conf,data)

 

分享到:
评论

相关推荐

    Python使用 Beanstalkd 做异步任务处理的方法

    Python通过使用消息队列服务Beanstalkd来执行异步任务处理是一个有效减轻Web应用程序页面延迟的方法。本文将详细介绍如何在Python中结合Beanstalkd实现异步任务处理,并且使用装饰器语法简化任务的提交和执行流程。 ...

    Python使用Beanstalkd做异步任务处理的方法共

    总的来说,Python配合Beanstalkd提供了一种强大的异步任务处理机制,允许开发者将耗时操作解耦出来,实现非阻塞的、高效的后台处理,从而提高应用的稳定性和用户体验。了解并熟练掌握这一技术,对于优化Python应用...

    beanstalkd

    Beanstalkd提供了多种语言的客户端库,如Python的`pybeanstalk`、Ruby的`beanstalk-client`、Java的`beanstalk4j`等。客户端库通常包括了连接、发布任务、监听和处理任务等功能。 ### 总结: Beanstalkd是一个强大...

    Python使用Beanstalkd做异步任务处理的方法共5页.pdf.zip

    Python使用Beanstalkd进行异步任务处理是一种高效且灵活的方式,尤其在处理大量并发任务或者需要后台执行耗时操作的场景下。Beanstalkd是一款轻量级的分布式工作队列服务,它允许开发者将任务放入队列,然后由后台...

    beanstalkd-1.4.6

    - 配置启动脚本,如在Ubuntu上,可能需要创建`/etc/init.d/beanstalkd`,并设置开机启动。 - 启动服务:`sudo service beanstalkd start` 4. **客户端库**: Beanstalkd有多种语言的客户端库,例如Python的`...

    beanstalkd test client

    通常,客户端会使用一个库(如`python-beanstalk` for Python或`beanstalkc` for C)来简化与Beanstalkd的交互。 **使用步骤** 1. **安装Beanstalkd**:首先,确保已经安装并运行了Beanstalkd服务。 2. **运行测试...

    beanstalkd的php语言sdk

    通过将耗时或复杂的工作放入Beanstalkd队列,后台进程可以逐步消耗这些任务,从而避免阻塞主线程。 总结来说,"beanstalkd的php语言sdk"是PHP开发者与Beanstalkd队列系统交互的工具,它简化了任务的管理和队列操作...

    PHP消息队列Beanstalkd类.zip

    Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有...

    Laravel开发-laravel-async-beanstalkd

    Beanstalkd是一款轻量级、高性能的工作队列服务器,它能有效地管理和调度任务,使得复杂的任务能够在后台处理,而不会阻塞主线程,从而提升用户体验。`laravel-async-beanstalkd` 是一个专门为Laravel框架设计的...

    Python库 | beanstalktop-0.1.0-py2-none-any.whl

    **Python库 | Beanstalktop-0.1.0-py2-none-any.whl** 在Python的生态系统中,库是开发者的重要...通过熟练掌握`beanstalktop`,开发者可以更好地管理和优化其应用程序的后台处理流程,确保服务的稳定性和响应速度。

    Beanstalkd分布式内存队列系统 的 spring boot starter 封装_java

    Beanstalkd分布式内存队列系统 的 spring boot starter 封装 部署 beanstalkd 服务 docker run -d -p 11300:11300 schickling/beanstalkd ② 引入依赖 <groupId>com.pig4cloud.beanstalk</groupId> <artifactId>...

    Go-go-beanstalk是beanstalkd 的GO语言的一个客户端

    而`beanstalkd`是一个轻量级的、高性能的工作队列服务器,常用于处理异步任务和实现任务调度。本文将详细讲解`go-beanstalk`,这是一个用Go语言编写的`beanstalkd`客户端,以及如何利用它来实现定时任务和延迟队列。...

    PyPI 官网下载 | django_beanstalkd-1.0.1-py2.py3-none-any.whl

    例如,你可以将耗时的操作,如发送电子邮件、图像处理等,作为任务放入队列,然后在后台处理,而不影响用户的即时体验。 **Python库的分发格式 - wheel (.whl)** 文件`django_beanstalkd-1.0.1-py2.py3-none-any....

    Beanstalkd手册

    Beanstalkd中文使用手册 Beanstalk,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes...

    消息队列 beanstalkd 使用 php 连接及操作的各方法示例代码

    最后,`consumer.php`是消费者脚本,它的职责是接收并处理Beanstalkd中的任务: - 同样,首先建立与Beanstalkd的连接。 - 使用`reserve()`持续监听并获取新的任务。 - 当获取到任务后,处理任务数据,执行相应的...

    beanstalkd java 客户端

    beanstalkd分布式队列的java客户端,支持连接池,性能为原生的10-20倍。

    beanstalkd_linux_x86_64

    running on linux x86 64bit

    Beanstalkd分布式内存消息队列系统的PHP对接程序示例代码

    Beanstalkd是一个高性能、轻量级的分布式内存队列系统,它的设计初衷是通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟。具有如下功能特点。 高性能与轻量级:Beanstalkd是一个高效的内存队列系统...

Global site tag (gtag.js) - Google Analytics