消息队列＋定时任务解决限时促销业务

       

1.1. 背景

系统的有些业务时需要定时发消息通知。但是这些消息又不是有规律可循的。比如，商品的优惠是限时的。在之前的实现是有一个排查任务每5分钟都去去商品表中查询哪些有做活动的商品，并比较是否过了限时折扣的时间。但是类似的排程多了，就会出现在某个时候数据库的资源使用率特别高。

1.2. 解决思路

1、将参与限时活动的商品保存在另外一张表。

2、使用消息队列机制，选择限时商品的时候将商品信息和限时的时间传入消息队列。

3、创建一个定时任务。

4、当时间到了定时任务就将在限时商品表删除此商品。

1.3. 定时消息任务的实现

这边就不去操作数据库了，就演示一下要如何实现这样的定时任务。同时也不演示kafka是如何搭建的，这边就直接用起来。

生产者代码

生产者代码主要实现了将 商品信息、数据库链接信息、定时时间传入kafka中。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

#!/usr/bin/env python # -*- coding:utf-8 -*-    from pykafka import KafkaClient import simplejson asjson import logging import time import sys    reload(sys) sys.setdefaultencoding('utf-8') logging.basicConfig()   if__name__=='__main__':   # 可接受多个Client这是重点   client=KafkaClient(hosts="192.168.137.12:9092")      # 选择一个topic   topic=client.topics['test']      # 创建一个生产者   producer=topic.get_producer()   producer.start()      # 生产消息   msg_dict={     "sleep_time":10,     "db_config":{       "database"  :"test",       "host"      :"192.168.137.12",       "user"      :"root",       "password"  :"root"     },     "table"     :"msg",     "msg"       :"Hello World"   }   msg=json.dumps(msg_dict)   producer.produce(msg)   producer.stop()

消费者代码

消费者代码中主要是实现了将接收的消息放入定时任务中(timer)。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

#!/usr/bin/env python # -*- coding:utf-8 -*-    from pykafka.common import OffsetType from pykafka import KafkaClient from threading import Timer import simplejson asjson import logging import sys    reload(sys) sys.setdefaultencoding('utf-8') logging.basicConfig()   def func(msg):   '''   定时执行的任务   '''   print msg      if__name__=='__main__':   # 可接受多个Client这是重点   client=KafkaClient(hosts="192.168.137.12:9092")      # 查看所有topic   client.topics      # 选择一个topic   topic=client.topics['test']      # 使用这种一个topic只能允许一个consumer_group消费   balanced_consumer=topic.get_balanced_consumer(     consumer_group='test_group1',     auto_commit_enable=True,     zookeeper_connect='localhost:2181'   )      formessage inbalanced_consumer: ifmessage isnotNone:   # 创建定时任务       timer=Timer(10,func,args=[message.value])       timer.start()

 

1.4. 补充

之前我说过消息信息需要存入数据库，这边的原因是主要是怕这个消费者程序奔溃重启是还能恢复。还有其实我们应该使用zookeeper开发分布式程序。当一个消费者程序崩溃了另外一个需要马上接进来（有兴趣的可以去研究一下kazoo，并实现分布式程序和leader选举）。