TinyMQ学习（1） 概述

最近在学习erlang，了解了下它的基本语法以及相关特性，但是一直没有比较大的进展.前天在微博上无意中发现一个用erlang写的迷你的消息队列TinyMQ(源代码文件不足50K)，这激发了我极大的兴趣，抱着学习的态度，下载了作者的源代码(https://github.com/evanmiller/tinymq)进行了研究学习，收获还是蛮大的,至少了解到：
1.如何用erlang实现一个简单的消息队列(我想这也是大家最感兴趣的地方)；
2.如何使用erlang otp;
3.对之前学习过的erlang语法有了更深入的理解；


下面我就和大家一起来学习TinyMQ，在开始之前，先做好以下准备：
1.了解erlang的基本语法，参考文档：http://www.erlang.org/doc/getting_started/users_guide.html
2.了解erlang otp，参考文档：http://www.erlang.org/doc/design_principles/users_guide.html
3.了解消息队列相关概念，譬如常见的消息模型(ptp:点对点，pub/sub:发布/订阅)
4.了解rebar(只要知道如何编译代码即可)


在具体查看作者源代码之前，我们先看看程序运行效果：



其中：
application:start(tinymq) 表示启动了一个tinymq服务
subscriber:start(3)  表示启动了3个process去订阅某个topic
publisher:start() 表示启动了1个process去往topic发消息(每5秒一次)，消息的内容是{"hello erlang", 当前时间}
之后我们就可以看到3个订阅者，每隔5秒就能收到publisher发布的消息

ps:subscriber与publisher是我自己后来额外加的代码文件，用来测试作者的TinyMQ,代码中调用了TinyMQ提供的接口


看完了执行效果图，我们来具体看下TinyMQ:
TinyMQ是一个基于channel的消息队列(什么是channel，我们稍后会说)，它的所有消息都保存在内存中而不做持久化(如果可以持久化，那么代码远不止50K)，并且每一条消息都有一个超时时间(所有消息保存在一个类似AVL树结构中),
TinyMQ实现了基本的发布/订阅功能(当然还有其他功能)，其订阅端逻辑如下：



首先客户端发送一个订阅请求subscribe request:{Pid, Channel}给mq_server,当mq_server接收到这个消息后，首先检查是否已经存在一个名为Channel的服务(mq_server内部维护着一个{Channel名，Channel服务Pid}的列表)如果不存在就新创建一个，接着把这个订阅请求交个这个Channel服务处理，Channel服务到底包含些什么呢？Channel服务内部维护着一些重要的状态：
1.Channel名(其实就可以理解为我们常说的topic);
2.消息队列(用来存放消息);
3.消息超时时间;
4.订阅者列表(对于一个新的订阅请求，会往订阅者列表中加入新的订阅者);
5.上一次清理消息队列中超时消息的时间(清理间隔不小于1秒);


看完了订阅端，我们在看看发布端：



首先客户端发送一个发消息请求{Pid, Channel, Message}给mq_server,当mq_server接收到这个消息后，同样会检查是否存在名为Channel的服务(若不存在则新创建)，接着把这个请求交给相应的Channel服务处理，Channel服务接收到这个请求后：
1.把消息发送给这个Channel的每一个订阅者(之前我们说过，每一个Channel服务维护着一个订阅者列表);
2.删除消息队列中超时的消息;
3.把消息插入到消息队列中;

从这两个图我们还可以看出mq_server在整个流程中充当着类似代理的角色(派发客户端请求)，而真正处理客户端请求的实际上是Channel服务(mq_server负责维护一个包含所有Channel服务的列表)


最后我们在看下TinyMQ的supervision tree模型(矩形代表supervisor process,圆形代表worker process)



可以看出所有的Channel服务都是被一个叫做TinyMQ_Channel的监控者监控着，如果发现某个Channel服务crash了（可以理解成某个topic挂了），那么监控者会重启这个Channel服务，只是这个Channel中的所有消息，订阅者列表以及一些其他信息都将丢失。如果要保证不丢失，我们可以把Channel的状态以文件的形式记录下来，当下次重启Channel服务的时候，首先去读取相应的文件，恢复上一次状态，这样就可以保证Channel服务状态不丢失(并不是严格意义上的不丢失，并且这样的话，源文件肯定不止50K了），同理TinyMQ_Server process.

至此关于TinyMQ我们已经有了大致的了解，下一节我们将具体看下作者的源码。

另外，我自己第一次编译源代码文件的时候，报出以下错误信息（依赖不可用）：

引用

==> tinymq-master (compile)
Dependency not available: tiny_pq-.* ({git,
                                       "git://github.com/evanmiller/tiny_pq",
                                       {tag,"HEAD"}})

为了简单起见(自己不是和熟悉rebar)，我自己去下载了tiny_pq.erl文件（https://github.com/evanmiller/tiny_pq），放到源代码目录中，然后把rebar.config删除，重新编译OK



ps:本人水平有限，若哪里说的不对或是不清楚还请点出，谢谢^_^

评论

3 楼 DiaoCow 2012-12-03  

thomescai 写道

没运行 ./rebar get-deps  吧？

感谢你的回复，确实运行你说的命令就可以了，自己还需要在学习下rebar

2 楼 thomescai 2012-11-30  

没运行 ./rebar get-deps  吧？

1 楼 thomescai 2012-11-30  

没运行：./rebar get-deps  吧？