- 浏览: 99338 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
sulanyan29:
您 好,请问下android程序中调用以下两个命令,开启: s ...
linux 防火墙启动、添加规则 -
rainliu:
Can use jrockit monitor for IBM ...
java堆栈溢出 JRockit+Tomcat 实战调试
HTTPSQS(HTTP Simple Queue Service
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址:http://code.google.com/p/httpsqs/
使用文档:http://blog.s135.com/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过800行,适合二次开发。
点击在新窗口中浏览此图片
1、HTTPSQS 1.6 压力测试:
采用Apache ab命令进行压力测试,开启10个线程,放入10万条文本数据(每条512字节)到队列中:
使用HTTP Keep-Alive时:23018 requests/sec
关闭HTTP Keep-Alive时:11840 requests/sec
采用Apache ab命令进行压力测试,开启10个线程,从队列中取出10万条文本数据(每条512字节):
使用HTTP Keep-Alive时:25982 requests/sec
关闭HTTP Keep-Alive时:13294 requests/sec
详细测试内容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用:在金山游戏官网中,新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作,文本内容实时写入HTTPSQS队列,全站搜索引擎增量索引准实时(1分钟内)更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今,运行稳定,既有来自Web服务器的入队列操作,也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用:
●金山通行证(https://my.xoyo.com)
队列应用类型:手机短信上行、手机短信下发、邮件下发
队列应用要求:稳定性高,存储数据量大
队列部署结构:一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统(http://kbi.xoyo.com)
队列应用类型:用户鼠标点击、访问URL原始数据采集
队列应用要求:并发性能高,存储数据量大
队列部署结构:多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型:用户操作日志记录
●金山逍遥网站内搜索
队列应用类型:索引准实时更新。在金山游戏官网中,新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作,文本内容实时写入HTTPSQS队列,全站搜索引擎增量索引准实时(1分钟内)更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型:评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动(http://zt.xoyo.com/haixuan/)
队列应用类型:用户上传的照片异步裁剪、缩放处理
●新浪邮箱(http://mail.sina.com.cn)
队列应用类型:用户登陆日志记录
3、HTTPSQS 编译安装:
ulimit -SHn 65535
wget http://httpsqs.googlecode.com/files/libevent-2.0.10-stable.tar.gz
tar zxvf libevent-2.0.10-stable.tar.gz
cd libevent-2.0.10-stable/
./configure --prefix=/usr/local/libevent-2.0.10-stable/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure --enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/httpsqs-1.6.tar.gz
tar zxvf httpsqs-1.6.tar.gz
cd httpsqs-1.6/
make
make install
cd ../
4、HTTPSQS 服务器使用文档:
点击在新窗口中浏览此图片
[root@xoyo ~]# httpsqs -h
-l <ip_addr> 监听的IP地址,默认值为 0.0.0.0
-p <num> 监听的TCP端口(默认值:1218)
-x <path> 数据库目录,目录不存在会自动创建(例如:/opt/httpsqs/data)
-t <second> HTTP请求的超时时间(默认值:3)
-s <second> 同步内存缓冲区内容到磁盘的间隔秒数(默认值:5)
-c <num> 内存中缓存的最大非叶子节点数(默认值:1024)
-m <size> 数据库内存缓存大小,单位:MB(默认值:100)
-i <file> 保存进程PID到文件中(默认值:/tmp/httpsqs.pid)
-i <auth> 访问HTTPSQS的验证密码(例如:mypass123)
-d 以守护进程运行
-h 显示这个帮助
示例:
ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue
请使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”来停止httpsqs。
注意:请不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的进程ID”来结束httpsqs,否则,内存中尚未保存到磁盘的数据将会丢失。
5、HTTPSQS 客户端使用文档:
(1)、入队列(将文本消息放入队列):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息&auth=mypass123"
HTTP POST 协议(以curl命令为例):
curl -d "经过URL编码的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"
以浏览器为例:
点击在新窗口中浏览此图片
如果入队列成功,返回:
HTTPSQS_PUT_OK
如果入队列失败,返回:
HTTPSQS_PUT_ERROR
如果队列已满,返回:
HTTPSQS_PUT_END
从HTTPSQS 1.2版本开始,在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”,输出当前队列的读取位置点,例如:
HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14
HTTPSQS_PUT_OK
(2)、出队列(从队列中取出文本消息):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"
以浏览器为例:
点击在新窗口中浏览此图片
返回消息队列的内容给客户端。
如果没有未取出的消息队列,则返回:
HTTPSQS_GET_END
从HTTPSQS 1.2版本开始,在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”,输出当前队列的读取位置点,例如:
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18
消息队列内容
参数charset说明(例如:/?charset=utf-8):
指定HTTP输出Header头的字符编码,即:
Content-Type: text/plain; charset=utf-8
任何在IANA注册的字符编码均可使用,但是,并不是所有的浏览器都能解析全部的字符编码。对于中文,常用的字符编码有:utf-8、gb2312、gbk、gb18030、big5等。
(3)、查看队列状态(普通方式,便于浏览器查看):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"
返回(示例):
HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39
如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517
以浏览器为例:
点击在新窗口中浏览此图片
(4)、查看队列状态(JSON方式,便于程序处理返回内容):
从HTTPSQS 1.3版本开始支持此功能。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"
返回(示例):
{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}
如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}
(5)、查看指定队列位置点的内容:
跟一般的队列系统不同的是,HTTPSQS 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。
另外,假设有一个发送手机短信的队列,由客户端守护进程从队列中取出信息,并调用“短信网关接口”发送短信。但是,如果某段时间“短信网关接口”有故障,而这段时间队列位置点300~900的信息已经出队列,但是发送短信失败,我们还可以在位置点300~900被覆盖前,查看到这些位置点的内容,作相应的处理。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"
pos >=1 并且 <= 1000000000
返回指定队列位置点的内容。
(6)、重置指定队列:
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"
如果重置成功,返回:
HTTPSQS_RESET_OK
如果重置失败,返回:
HTTPSQS_RESET_ERROR
(7)、更改指定队列的最大队列数量:
默认的最大队列长度(100万条):1000000
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"
num >=10 并且 <= 1000000000
如果更改最大队列数量成功,则返回:
HTTPSQS_MAXQUEUE_OK
更改的最大队列数量必须大于当前的“队列写入点”。另外,当“队列写入点”小于“队列读取点”时(即PUT位于圆环的第二圈,而GET位于圆环的第一圈时),本操作将被取消,然后返回给客户端以下信息:
HTTPSQS_MAXQUEUE_CANCEL
(8)、不停止服务的情况下,修改定时刷新内存缓冲区内容到磁盘的间隔时间:
从HTTPSQS 1.3版本开始支持此功能。
默认间隔时间:5秒 或 httpsqs -s <second> 参数设置的值。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"
num >=1 and <= 1000000000
如果修改间隔时间成功,则返回:
HTTPSQS_SYNCTIME_OK
如果 num 不在 1 ~ 1000000000 之间,本操作将被取消,然后返回给客户端以下信息:
HTTPSQS_SYNCTIME_CANCEL
(9)、密码校验失败:
从HTTPSQS 1.5版本开始支持此功能。
如果密码校验失败(/?auth=xxx),将返回以下信息:
HTTPSQS_AUTH_FAILED
(10)、全局错误:
如果发生全局错误(即指令、参数错误等),将返回以下信息:
HTTPSQS_ERROR
6、HTTPSQS 客户端
(1)、PHP 客户端说明文档:
A、PHP 客户端扩展(第三方提供,详情请访问:http://code.google.com/p/php-httpsqs-client/)
B、普通 PHP 客户端文件:
查看 PHP Class 源代码:httpsqs_client.php
用法:
view plainprint?
1. <?php
2. ......
3. include_once("httpsqs_client.php");
4. $httpsqs = new httpsqs;
5.
6. /* -----不使用Keep-Alive的短连接方式----- */
7. /*
8. 1. 将文本信息放入一个队列
9. 如果入队列成功,返回布尔值:true
10. 如果入队列失败,返回布尔值:false
11. */
12. $result = $httpsqs->put($host, $port, $charset, $name, $data);
13.
14. /*
15. 2. 从一个队列中取出文本信息
16. 返回该队列的内容
17. 如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END
18. 如果发生错误,返回布尔值:false
19. */
20. $result = $httpsqs->get($host, $port, $charset, $name);
21.
22. /*
23. 3. 从一个队列中取出文本信息和当前队列读取点Pos
24. 返回数组示例:array("pos" => 7, "data" => "text message")
25. 如果没有未被取出的队列,则返回数组:array("pos" => 0, "data" => "HTTPSQS_GET_END")
26. 如果发生错误,返回布尔值:false
27. */
28. $result = $httpsqs->gets($host, $port, $charset, $name);
29.
30. /*
31. 4. 查看队列状态(普通方式)
32. */
33. $result = $httpsqs->status($host, $port, $charset, $name);
34.
35. /*
36. 5. 查看队列状态(JSON方式)
37. 返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}
38. */
39. $result = $httpsqs->status_json($host, $port, $charset, $name);
40.
41. /*
42. 6. 查看指定队列位置点的内容
43. 返回指定队列位置点的内容。
44. */
45. $result = $httpsqs->view($host, $port, $charset, $name, $pos);
46.
47. /*
48. 7. 重置指定队列
49. 如果重置队列成功,返回布尔值:true
50. 如果重置队列失败,返回布尔值:false
51. */
52. $result = $httpsqs->reset($host, $port, $charset, $name);
53.
54. /*
55. 8. 更改指定队列的最大队列数量
56. 如果更改成功,返回布尔值:true
57. 如果更改操作被取消,返回布尔值:false
58. */
59. $result = $httpsqs->maxqueue($host, $port, $charset, $name, $num);
60.
61. /*
62. 9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间
63. 如果更改成功,返回布尔值:true
64. 如果更改操作被取消,返回布尔值:false
65. */
66. $result = $httpsqs->synctime($host, $port, $charset, $name, $num);
67.
68. /* -----使用Keep-Alive的长连接方式 (在命令行模式下速度非常快)----- */
69. $result = $httpsqs->pput($host, $port, $charset, $name, $data);
70. $result = $httpsqs->pget($host, $port, $charset, $name);
71. $result = $httpsqs->pgets($host, $port, $charset, $name);
72. $result = $httpsqs->pstatus($host, $port, $charset, $name);
73. $result = $httpsqs->pstatus_json($host, $port, $charset, $name);
74. $result = $httpsqs->pview($host, $port, $charset, $name, $pos);
75. $result = $httpsqs->preset($host, $port, $charset, $name);
76. $result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num);
77. $result = $httpsqs->psynctime($host, $port, $charset, $name, $num);
78. ?>
<?php ...... include_once("httpsqs_client.php"); $httpsqs = new httpsqs; /* -----不使用Keep-Alive的短连接方式----- */ /* 1. 将文本信息放入一个队列 如果入队列成功,返回布尔值:true 如果入队列失败,返回布尔值:false */ $result = $httpsqs->put($host, $port, $charset, $name, $data); /* 2. 从一个队列中取出文本信息 返回该队列的内容 如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END 如果发生错误,返回布尔值:false */ $result = $httpsqs->get($host, $port, $charset, $name); /* 3. 从一个队列中取出文本信息和当前队列读取点Pos 返回数组示例:array("pos" => 7, "data" => "text message") 如果没有未被取出的队列,则返回数组:array("pos" => 0, "data" => "HTTPSQS_GET_END") 如果发生错误,返回布尔值:false */ $result = $httpsqs->gets($host, $port, $charset, $name); /* 4. 查看队列状态(普通方式) */ $result = $httpsqs->status($host, $port, $charset, $name); /* 5. 查看队列状态(JSON方式) 返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10} */ $result = $httpsqs->status_json($host, $port, $charset, $name); /* 6. 查看指定队列位置点的内容 返回指定队列位置点的内容。 */ $result = $httpsqs->view($host, $port, $charset, $name, $pos); /* 7. 重置指定队列 如果重置队列成功,返回布尔值:true 如果重置队列失败,返回布尔值:false */ $result = $httpsqs->reset($host, $port, $charset, $name); /* 8. 更改指定队列的最大队列数量 如果更改成功,返回布尔值:true 如果更改操作被取消,返回布尔值:false */ $result = $httpsqs->maxqueue($host, $port, $charset, $name, $num); /* 9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间 如果更改成功,返回布尔值:true 如果更改操作被取消,返回布尔值:false */ $result = $httpsqs->synctime($host, $port, $charset, $name, $num); /* -----使用Keep-Alive的长连接方式 (在命令行模式下速度非常快)----- */ $result = $httpsqs->pput($host, $port, $charset, $name, $data); $result = $httpsqs->pget($host, $port, $charset, $name); $result = $httpsqs->pgets($host, $port, $charset, $name); $result = $httpsqs->pstatus($host, $port, $charset, $name); $result = $httpsqs->pstatus_json($host, $port, $charset, $name); $result = $httpsqs->pview($host, $port, $charset, $name, $pos); $result = $httpsqs->preset($host, $port, $charset, $name); $result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num); $result = $httpsqs->psynctime($host, $port, $charset, $name, $num); ?>
(2)、Perl 客户端说明文档(第三方提供,作者:tonny0830):
查看Perl客户端源代码:perl client
HttpSQS 模块参数说明
开发平台:CentOS 5.4
Perl版本:5.8.8
Editor: VIM
##################################################################
new 方法:
参数个数:4个
参数说明:
1.HttpSQS-服务器IP地址。
2.HttpSQS-工作端口号。
3.Proto-连接服务器协议类型,TCP 还是UDP. 默认是TCP连接。
4.Charset-字符集。默认是UTF-8。
###################################################################
put方法:
参数个数:2个
传递参数:
1.队列名
2.以POST方式提交的字符串
####################################################################
get方法:
参数个数:1个
传递参数:
1.队列名
####################################################################
status方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
view方法:
参数个数:2个
传递参数:
1.队列名
2.查看队列的编号
#####################################################################
reset方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
maxqueue方法:
参数个数:2个
传递参数:
1.队列名
2.指定的最大队列数
#####################################################################
pput方法:
参数个数:2个
传递参数:
1.队列名
2.POST方式提交的数据。
#####################################################################
pget方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
pstatus方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
pview方法:
参数个数:2个
传递参数:
1.队列名
2.查看队列的编号。
#####################################################################
pmaxqueue方法:
参数个数:2个
传递参数:
1.队列名
2.指定队列的最大数。
#####################################################################
preset方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
使用的例子见:
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl
(3)、C 客户端示例(第三方提供,作者:李博):
查看C客户端示例源代码:C client
(4)、Java 客户端
A、第一款客户端(推荐)(第三方提供,作者:Snow Young):
下载 1.0 版本:http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip
从SVN下载最新代码:svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j
帮助文档:http://blog.s135.com/book/httpsqs/client/httpsqs4j/
B、第二款客户端(第三方提供,作者:李博):
查看Java客户端示例源代码:Java client
(5)、Python客户端(第三方提供,作者:Wendal):
下载:http://wendal.net/261.html
7、HTTPSQS 生产环境典型应用案例架构:
点击在新窗口中浏览此图片
一个采用PHP编写的HTTPSQS客户端简单守护进程框架如下:
环境,假设PHP安装路径为/usr/local/webserver/php,使用PHP编写一个文件/opt/httpsqs_client_daemon.php:
view plainprint?
1. <?php
2. include_once dirname(__FILE__)."/httpsqs_client.php";
3. $httpsqs = new httpsqs;
4. while(true) {
5. $result = $httpsqs->pgets($host, $port, $charset, $name);
6. $pos = $result["pos"]; //当前队列消息的读取位置点
7. $data = $result["data"]; //当前队列消息的内容
8. if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {
9. ...去做应用操作...
10. } else {
11. sleep(1); //暂停1秒钟后,再次循环
12. }
13. }
14. ?>
<?php include_once dirname(__FILE__)."/httpsqs_client.php"; $httpsqs = new httpsqs; while(true) { $result = $httpsqs->pgets($host, $port, $charset, $name); $pos = $result["pos"]; //当前队列消息的读取位置点 $data = $result["data"]; //当前队列消息的内容 if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") { ...去做应用操作... } else { sleep(1); //暂停1秒钟后,再次循环 } } ?>
在Linux下,推送到后台执行即可:
nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &
8、HTTPSQS 软件版本修改历史:
● [2009年12月29日] HTTPSQS 1.1 版本发布。这是第一个开源发布版本。
● [2010年03月18日] HTTPSQS 1.2 版本发布。点击这儿查看该版本的新增功能。
● [2010年06月28日] HTTPSQS 1.3 版本发布。点击这儿查看该版本的新增功能。
附:本使用文档修改历史
● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文档。
● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文档。增加了 HTTPSQS 1.2 版本新增功能的说明,以及生产环境典型应用案例架构图。
● [2010年03月19日] [Version 1.2.1] 在第7节中,增加了一个采用PHP编写的HTTPSQS客户端简单守护进程框架代码。
● [2010年04月07日] [Version 1.2.2] 在第6节中,增加了第三方的C客户端示例和Java客户端示例。
● [2010年04月30日] [Version 1.2.3] 在第6节中,再增加了一款第三方Java客户端:httpsqs4j。
● [2010年05月11日] [Version 1.2.4] 解决了在某些Linux系统上,默认动态链接库目录中找不到TC动态链接库的问题:/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。
● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文档。增加了 HTTPSQS 1.3 版本新增功能的说明。
● [2010年08月26日] [Version 1.3.1] 在第6节中,增加了第三方PHP客户端扩展链接。
● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文档。增加了 HTTPSQS 1.6 版本新增功能的说明。
项目网址:http://code.google.com/p/httpsqs/
使用文档:http://blog.s135.com/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过800行,适合二次开发。
点击在新窗口中浏览此图片
1、HTTPSQS 1.6 压力测试:
采用Apache ab命令进行压力测试,开启10个线程,放入10万条文本数据(每条512字节)到队列中:
使用HTTP Keep-Alive时:23018 requests/sec
关闭HTTP Keep-Alive时:11840 requests/sec
采用Apache ab命令进行压力测试,开启10个线程,从队列中取出10万条文本数据(每条512字节):
使用HTTP Keep-Alive时:25982 requests/sec
关闭HTTP Keep-Alive时:13294 requests/sec
详细测试内容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生产环境应用:在金山游戏官网中,新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作,文本内容实时写入HTTPSQS队列,全站搜索引擎增量索引准实时(1分钟内)更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今,运行稳定,既有来自Web服务器的入队列操作,也有来自命令行脚本的批量入、出队列操作。
2、HTTPSQS 的生产环境应用:
●金山通行证(https://my.xoyo.com)
队列应用类型:手机短信上行、手机短信下发、邮件下发
队列应用要求:稳定性高,存储数据量大
队列部署结构:一主、一备两台 HTTPSQS 热备模式
●金山用户行为分析系统(http://kbi.xoyo.com)
队列应用类型:用户鼠标点击、访问URL原始数据采集
队列应用要求:并发性能高,存储数据量大
队列部署结构:多台 HTTPSQS 应用层哈希分布式模式
●金山网络游戏运营平台 KingEyes
队列应用类型:用户操作日志记录
●金山逍遥网站内搜索
队列应用类型:索引准实时更新。在金山游戏官网中,新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作,文本内容实时写入HTTPSQS队列,全站搜索引擎增量索引准实时(1分钟内)更新的数据源取自HTTPSQS。
●金山逍遥网全站通用评论系统
队列应用类型:评论发表
●金山《剑侠情缘》电视连续剧四大角色人物选秀活动(http://zt.xoyo.com/haixuan/)
队列应用类型:用户上传的照片异步裁剪、缩放处理
●新浪邮箱(http://mail.sina.com.cn)
队列应用类型:用户登陆日志记录
3、HTTPSQS 编译安装:
ulimit -SHn 65535
wget http://httpsqs.googlecode.com/files/libevent-2.0.10-stable.tar.gz
tar zxvf libevent-2.0.10-stable.tar.gz
cd libevent-2.0.10-stable/
./configure --prefix=/usr/local/libevent-2.0.10-stable/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure --enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/httpsqs-1.6.tar.gz
tar zxvf httpsqs-1.6.tar.gz
cd httpsqs-1.6/
make
make install
cd ../
4、HTTPSQS 服务器使用文档:
点击在新窗口中浏览此图片
[root@xoyo ~]# httpsqs -h
-l <ip_addr> 监听的IP地址,默认值为 0.0.0.0
-p <num> 监听的TCP端口(默认值:1218)
-x <path> 数据库目录,目录不存在会自动创建(例如:/opt/httpsqs/data)
-t <second> HTTP请求的超时时间(默认值:3)
-s <second> 同步内存缓冲区内容到磁盘的间隔秒数(默认值:5)
-c <num> 内存中缓存的最大非叶子节点数(默认值:1024)
-m <size> 数据库内存缓存大小,单位:MB(默认值:100)
-i <file> 保存进程PID到文件中(默认值:/tmp/httpsqs.pid)
-i <auth> 访问HTTPSQS的验证密码(例如:mypass123)
-d 以守护进程运行
-h 显示这个帮助
示例:
ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue
请使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”来停止httpsqs。
注意:请不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的进程ID”来结束httpsqs,否则,内存中尚未保存到磁盘的数据将会丢失。
5、HTTPSQS 客户端使用文档:
(1)、入队列(将文本消息放入队列):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息&auth=mypass123"
HTTP POST 协议(以curl命令为例):
curl -d "经过URL编码的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"
以浏览器为例:
点击在新窗口中浏览此图片
如果入队列成功,返回:
HTTPSQS_PUT_OK
如果入队列失败,返回:
HTTPSQS_PUT_ERROR
如果队列已满,返回:
HTTPSQS_PUT_END
从HTTPSQS 1.2版本开始,在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”,输出当前队列的读取位置点,例如:
HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14
HTTPSQS_PUT_OK
(2)、出队列(从队列中取出文本消息):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"
以浏览器为例:
点击在新窗口中浏览此图片
返回消息队列的内容给客户端。
如果没有未取出的消息队列,则返回:
HTTPSQS_GET_END
从HTTPSQS 1.2版本开始,在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”,输出当前队列的读取位置点,例如:
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18
消息队列内容
参数charset说明(例如:/?charset=utf-8):
指定HTTP输出Header头的字符编码,即:
Content-Type: text/plain; charset=utf-8
任何在IANA注册的字符编码均可使用,但是,并不是所有的浏览器都能解析全部的字符编码。对于中文,常用的字符编码有:utf-8、gb2312、gbk、gb18030、big5等。
(3)、查看队列状态(普通方式,便于浏览器查看):
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"
返回(示例):
HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39
如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517
以浏览器为例:
点击在新窗口中浏览此图片
(4)、查看队列状态(JSON方式,便于程序处理返回内容):
从HTTPSQS 1.3版本开始支持此功能。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"
返回(示例):
{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}
如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}
(5)、查看指定队列位置点的内容:
跟一般的队列系统不同的是,HTTPSQS 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。
另外,假设有一个发送手机短信的队列,由客户端守护进程从队列中取出信息,并调用“短信网关接口”发送短信。但是,如果某段时间“短信网关接口”有故障,而这段时间队列位置点300~900的信息已经出队列,但是发送短信失败,我们还可以在位置点300~900被覆盖前,查看到这些位置点的内容,作相应的处理。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"
pos >=1 并且 <= 1000000000
返回指定队列位置点的内容。
(6)、重置指定队列:
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"
如果重置成功,返回:
HTTPSQS_RESET_OK
如果重置失败,返回:
HTTPSQS_RESET_ERROR
(7)、更改指定队列的最大队列数量:
默认的最大队列长度(100万条):1000000
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"
num >=10 并且 <= 1000000000
如果更改最大队列数量成功,则返回:
HTTPSQS_MAXQUEUE_OK
更改的最大队列数量必须大于当前的“队列写入点”。另外,当“队列写入点”小于“队列读取点”时(即PUT位于圆环的第二圈,而GET位于圆环的第一圈时),本操作将被取消,然后返回给客户端以下信息:
HTTPSQS_MAXQUEUE_CANCEL
(8)、不停止服务的情况下,修改定时刷新内存缓冲区内容到磁盘的间隔时间:
从HTTPSQS 1.3版本开始支持此功能。
默认间隔时间:5秒 或 httpsqs -s <second> 参数设置的值。
HTTP GET 协议(以curl命令为例):
curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"
num >=1 and <= 1000000000
如果修改间隔时间成功,则返回:
HTTPSQS_SYNCTIME_OK
如果 num 不在 1 ~ 1000000000 之间,本操作将被取消,然后返回给客户端以下信息:
HTTPSQS_SYNCTIME_CANCEL
(9)、密码校验失败:
从HTTPSQS 1.5版本开始支持此功能。
如果密码校验失败(/?auth=xxx),将返回以下信息:
HTTPSQS_AUTH_FAILED
(10)、全局错误:
如果发生全局错误(即指令、参数错误等),将返回以下信息:
HTTPSQS_ERROR
6、HTTPSQS 客户端
(1)、PHP 客户端说明文档:
A、PHP 客户端扩展(第三方提供,详情请访问:http://code.google.com/p/php-httpsqs-client/)
B、普通 PHP 客户端文件:
查看 PHP Class 源代码:httpsqs_client.php
用法:
view plainprint?
1. <?php
2. ......
3. include_once("httpsqs_client.php");
4. $httpsqs = new httpsqs;
5.
6. /* -----不使用Keep-Alive的短连接方式----- */
7. /*
8. 1. 将文本信息放入一个队列
9. 如果入队列成功,返回布尔值:true
10. 如果入队列失败,返回布尔值:false
11. */
12. $result = $httpsqs->put($host, $port, $charset, $name, $data);
13.
14. /*
15. 2. 从一个队列中取出文本信息
16. 返回该队列的内容
17. 如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END
18. 如果发生错误,返回布尔值:false
19. */
20. $result = $httpsqs->get($host, $port, $charset, $name);
21.
22. /*
23. 3. 从一个队列中取出文本信息和当前队列读取点Pos
24. 返回数组示例:array("pos" => 7, "data" => "text message")
25. 如果没有未被取出的队列,则返回数组:array("pos" => 0, "data" => "HTTPSQS_GET_END")
26. 如果发生错误,返回布尔值:false
27. */
28. $result = $httpsqs->gets($host, $port, $charset, $name);
29.
30. /*
31. 4. 查看队列状态(普通方式)
32. */
33. $result = $httpsqs->status($host, $port, $charset, $name);
34.
35. /*
36. 5. 查看队列状态(JSON方式)
37. 返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}
38. */
39. $result = $httpsqs->status_json($host, $port, $charset, $name);
40.
41. /*
42. 6. 查看指定队列位置点的内容
43. 返回指定队列位置点的内容。
44. */
45. $result = $httpsqs->view($host, $port, $charset, $name, $pos);
46.
47. /*
48. 7. 重置指定队列
49. 如果重置队列成功,返回布尔值:true
50. 如果重置队列失败,返回布尔值:false
51. */
52. $result = $httpsqs->reset($host, $port, $charset, $name);
53.
54. /*
55. 8. 更改指定队列的最大队列数量
56. 如果更改成功,返回布尔值:true
57. 如果更改操作被取消,返回布尔值:false
58. */
59. $result = $httpsqs->maxqueue($host, $port, $charset, $name, $num);
60.
61. /*
62. 9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间
63. 如果更改成功,返回布尔值:true
64. 如果更改操作被取消,返回布尔值:false
65. */
66. $result = $httpsqs->synctime($host, $port, $charset, $name, $num);
67.
68. /* -----使用Keep-Alive的长连接方式 (在命令行模式下速度非常快)----- */
69. $result = $httpsqs->pput($host, $port, $charset, $name, $data);
70. $result = $httpsqs->pget($host, $port, $charset, $name);
71. $result = $httpsqs->pgets($host, $port, $charset, $name);
72. $result = $httpsqs->pstatus($host, $port, $charset, $name);
73. $result = $httpsqs->pstatus_json($host, $port, $charset, $name);
74. $result = $httpsqs->pview($host, $port, $charset, $name, $pos);
75. $result = $httpsqs->preset($host, $port, $charset, $name);
76. $result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num);
77. $result = $httpsqs->psynctime($host, $port, $charset, $name, $num);
78. ?>
<?php ...... include_once("httpsqs_client.php"); $httpsqs = new httpsqs; /* -----不使用Keep-Alive的短连接方式----- */ /* 1. 将文本信息放入一个队列 如果入队列成功,返回布尔值:true 如果入队列失败,返回布尔值:false */ $result = $httpsqs->put($host, $port, $charset, $name, $data); /* 2. 从一个队列中取出文本信息 返回该队列的内容 如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END 如果发生错误,返回布尔值:false */ $result = $httpsqs->get($host, $port, $charset, $name); /* 3. 从一个队列中取出文本信息和当前队列读取点Pos 返回数组示例:array("pos" => 7, "data" => "text message") 如果没有未被取出的队列,则返回数组:array("pos" => 0, "data" => "HTTPSQS_GET_END") 如果发生错误,返回布尔值:false */ $result = $httpsqs->gets($host, $port, $charset, $name); /* 4. 查看队列状态(普通方式) */ $result = $httpsqs->status($host, $port, $charset, $name); /* 5. 查看队列状态(JSON方式) 返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10} */ $result = $httpsqs->status_json($host, $port, $charset, $name); /* 6. 查看指定队列位置点的内容 返回指定队列位置点的内容。 */ $result = $httpsqs->view($host, $port, $charset, $name, $pos); /* 7. 重置指定队列 如果重置队列成功,返回布尔值:true 如果重置队列失败,返回布尔值:false */ $result = $httpsqs->reset($host, $port, $charset, $name); /* 8. 更改指定队列的最大队列数量 如果更改成功,返回布尔值:true 如果更改操作被取消,返回布尔值:false */ $result = $httpsqs->maxqueue($host, $port, $charset, $name, $num); /* 9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间 如果更改成功,返回布尔值:true 如果更改操作被取消,返回布尔值:false */ $result = $httpsqs->synctime($host, $port, $charset, $name, $num); /* -----使用Keep-Alive的长连接方式 (在命令行模式下速度非常快)----- */ $result = $httpsqs->pput($host, $port, $charset, $name, $data); $result = $httpsqs->pget($host, $port, $charset, $name); $result = $httpsqs->pgets($host, $port, $charset, $name); $result = $httpsqs->pstatus($host, $port, $charset, $name); $result = $httpsqs->pstatus_json($host, $port, $charset, $name); $result = $httpsqs->pview($host, $port, $charset, $name, $pos); $result = $httpsqs->preset($host, $port, $charset, $name); $result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num); $result = $httpsqs->psynctime($host, $port, $charset, $name, $num); ?>
(2)、Perl 客户端说明文档(第三方提供,作者:tonny0830):
查看Perl客户端源代码:perl client
HttpSQS 模块参数说明
开发平台:CentOS 5.4
Perl版本:5.8.8
Editor: VIM
##################################################################
new 方法:
参数个数:4个
参数说明:
1.HttpSQS-服务器IP地址。
2.HttpSQS-工作端口号。
3.Proto-连接服务器协议类型,TCP 还是UDP. 默认是TCP连接。
4.Charset-字符集。默认是UTF-8。
###################################################################
put方法:
参数个数:2个
传递参数:
1.队列名
2.以POST方式提交的字符串
####################################################################
get方法:
参数个数:1个
传递参数:
1.队列名
####################################################################
status方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
view方法:
参数个数:2个
传递参数:
1.队列名
2.查看队列的编号
#####################################################################
reset方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
maxqueue方法:
参数个数:2个
传递参数:
1.队列名
2.指定的最大队列数
#####################################################################
pput方法:
参数个数:2个
传递参数:
1.队列名
2.POST方式提交的数据。
#####################################################################
pget方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
pstatus方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
pview方法:
参数个数:2个
传递参数:
1.队列名
2.查看队列的编号。
#####################################################################
pmaxqueue方法:
参数个数:2个
传递参数:
1.队列名
2.指定队列的最大数。
#####################################################################
preset方法:
参数个数:1个
传递参数:
1.队列名
#####################################################################
使用的例子见:
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl
(3)、C 客户端示例(第三方提供,作者:李博):
查看C客户端示例源代码:C client
(4)、Java 客户端
A、第一款客户端(推荐)(第三方提供,作者:Snow Young):
下载 1.0 版本:http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip
从SVN下载最新代码:svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j
帮助文档:http://blog.s135.com/book/httpsqs/client/httpsqs4j/
B、第二款客户端(第三方提供,作者:李博):
查看Java客户端示例源代码:Java client
(5)、Python客户端(第三方提供,作者:Wendal):
下载:http://wendal.net/261.html
7、HTTPSQS 生产环境典型应用案例架构:
点击在新窗口中浏览此图片
一个采用PHP编写的HTTPSQS客户端简单守护进程框架如下:
环境,假设PHP安装路径为/usr/local/webserver/php,使用PHP编写一个文件/opt/httpsqs_client_daemon.php:
view plainprint?
1. <?php
2. include_once dirname(__FILE__)."/httpsqs_client.php";
3. $httpsqs = new httpsqs;
4. while(true) {
5. $result = $httpsqs->pgets($host, $port, $charset, $name);
6. $pos = $result["pos"]; //当前队列消息的读取位置点
7. $data = $result["data"]; //当前队列消息的内容
8. if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {
9. ...去做应用操作...
10. } else {
11. sleep(1); //暂停1秒钟后,再次循环
12. }
13. }
14. ?>
<?php include_once dirname(__FILE__)."/httpsqs_client.php"; $httpsqs = new httpsqs; while(true) { $result = $httpsqs->pgets($host, $port, $charset, $name); $pos = $result["pos"]; //当前队列消息的读取位置点 $data = $result["data"]; //当前队列消息的内容 if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") { ...去做应用操作... } else { sleep(1); //暂停1秒钟后,再次循环 } } ?>
在Linux下,推送到后台执行即可:
nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &
8、HTTPSQS 软件版本修改历史:
● [2009年12月29日] HTTPSQS 1.1 版本发布。这是第一个开源发布版本。
● [2010年03月18日] HTTPSQS 1.2 版本发布。点击这儿查看该版本的新增功能。
● [2010年06月28日] HTTPSQS 1.3 版本发布。点击这儿查看该版本的新增功能。
附:本使用文档修改历史
● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文档。
● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文档。增加了 HTTPSQS 1.2 版本新增功能的说明,以及生产环境典型应用案例架构图。
● [2010年03月19日] [Version 1.2.1] 在第7节中,增加了一个采用PHP编写的HTTPSQS客户端简单守护进程框架代码。
● [2010年04月07日] [Version 1.2.2] 在第6节中,增加了第三方的C客户端示例和Java客户端示例。
● [2010年04月30日] [Version 1.2.3] 在第6节中,再增加了一款第三方Java客户端:httpsqs4j。
● [2010年05月11日] [Version 1.2.4] 解决了在某些Linux系统上,默认动态链接库目录中找不到TC动态链接库的问题:/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。
● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文档。增加了 HTTPSQS 1.3 版本新增功能的说明。
● [2010年08月26日] [Version 1.3.1] 在第6节中,增加了第三方PHP客户端扩展链接。
● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文档。增加了 HTTPSQS 1.6 版本新增功能的说明。
相关推荐
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。 本包为1.7版 已包含所需要的依赖:...
HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。源代码不超过700行,整个软件不超过900KB...
HTTPSQS是HTTP Simple Queue Service的缩写,它是整个系统的主体部分,负责处理HTTP请求,实现消息的发布和消费。1.7版本的HTTPSQS提供了稳定且高性能的服务,支持多种操作,如添加消息到队列、从队列中取出消息等,...
HTTPSQS(HTTPS Queue Service)是一种基于HTTPS协议的消息队列服务,它允许应用程序通过安全的HTTP连接发送和接收消息。在Java开发中,使用HTTPSQS客户端库可以方便地与这种服务进行交互,实现异步处理、任务调度...
在IT行业中,消息队列(Message Queue)是一种重要的软件组件,用于在分布式系统中解耦应用程序,通过异步处理提高系统的可扩展性和稳定性。本文将详细介绍`httpsqs`,一个基于`libevent`和`tokyocabinet`的消息队列...
`Httpsqs`(HTTPS Queue)是一种用于处理网络请求的消息队列服务,它专注于提供高效、安全的HTTP/HTTPS通信。本篇文章将深入探讨`Httpsqs`的相关知识点,包括其作用、工作原理、安装步骤以及依赖包。 1. **Httpsqs...
HTTPSQS(HTTPS Quick Service)是一种用于处理HTTPS请求的工具或服务,它能够帮助开发者快速、便捷地构建安全的网络通信环境。本篇文章将详细阐述HTTPSQS的安装过程及其所需的依赖包,旨在帮助用户顺利安装并使用...
标签中的“源码”可能意味着HTTPSQS是开源的,允许开发者查看和修改源代码,进一步了解其实现原理,或者根据需要定制功能。而“工具”标签则表明HTTPSQS是一个实用的辅助工具,可以提高开发效率,解决特定场景下的...
例如,在LogQueue队列中,每条消息都分配了一个唯一的键值,如`LogQueue:n` (n=1, 2, 3, ...),而`LogQueue:get`和`LogQueue:put`则分别用于追踪队列的头部和尾部位置。 #### 四、问题分析与改进 在实际应用过程中...
httpsqs安装完整版,不必找国处网站资料,里面包含了libevent-2.0.12-stable.tar.gz tokyocabinet-1.4.48.tar.gz httpsqs-1.7.tar.gz 与安装说明文件,亲测没有BUG,做队列服务器神器。
该项目由Zyan通讯团队开发,其官方文档可参考[http://zyan.cc/httpsqs/](http://zyan.cc/httpsqs/)。在这个安装包中,包含了HTTPSQS本身以及两个关键的依赖库:TokyoCabinet和Libevent。 1. **HTTPSQS** HTTPSQS ...
HTTPSQS 基于 HTTP GET/POST 协议,这意味着任何支持 HTTP 协议的编程语言,如 PHP、Java、Perl、Shell、Python 和 Ruby,都可以方便地与之交互。它的特性包括: 1. **高性能**:HTTPSQS 的入队列和出队列速度可...
HttpPost httpPost = new HttpPost("https://localhost:8443/queue"); httpPost.setHeader("Content-type", "application/json"); String requestBody = "{\"message\":\"Hello, HTTPSQS!\"}"; ...
`httpsqs4j` 是一个基于Java实现的高性能、高可用性的消息队列系统。在这个场景中,`httpsqs4j` 队列依赖于几个关键的库文件,这些库文件被包含在提供的压缩包文件中。下面将详细介绍每个压缩包及其在`httpsqs4j`中...
HTTPSQS 具有以下特征: ● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。 ● 非常快速,入队列、出队列速度超过10000次/秒。 ● 高并发,...
HTTPSQS,全称为HTTP Simple Queuing Service,是一种基于HTTP协议的消息队列服务。它允许通过HTTP请求来发送和接收消息,简化了客户端的集成工作。在部署HTTPSQS时,需确保服务器支持HTTPS,并配置相应的证书和安全...
本教程将详细介绍如何在Linux系统上安装和调试服务器队列,特别是使用HTTPSQS(HTTP Simple Queue Service)这一开源队列服务。HTTPSQS是一个轻量级的、高性能的HTTP协议队列服务,适用于处理大量并发请求。 首先,...
httpsqs使用HTTP协议进行通信,这一设计极大地降低了使用门槛,使得任何具备HTTP请求能力的客户端都可以轻松地与httpsqs交互。通过GET、POST等标准HTTP方法,用户可以实现数据的存取、更新和删除,简化了系统的集成...
《Linux环境下开源消息队列服务——httpsqs-1.3详解》 消息队列在分布式系统和并发编程中扮演着至关重要的角色,它允许不同进程之间异步传递消息,提高系统的响应速度和处理能力。本篇文章将深入探讨开源消息队列...