`
yjl49
  • 浏览: 115196 次
社区版块
存档分类
最新评论

fqueue 消息队列(一)

    博客分类:
  • JAVA
阅读更多

fqueue 是国内开发人员用JAVA开发的一款开源消息队列系统。消息队列可用来处理高并发量的数据库读写操作,降低数据库负载。fqueue的通信层使用了netty框架,数据存储则采用文件队列的方式。

存储层主要的类有以下几个:

FQueue:主要的队列实现主类,所有的消息存储与读取都通过此类进行

FSQueue:FQueue的底层实现,主要是在文件队列系统层面的读写与管理控制

LogEntity:针对单个数据存储文件的操作类

LogIndex:索引文件控制类

整个存储队列关键的代码及功能如下:

1. 有专门的读和写操作句柄负责对当前存储文件的操作。

 

 

 

 

 

2.专门的索引管理

 

3. 使用内存映射文件来处理存储文件,默认最大为150M,

 

 


4.实际的数据存储开始位置从20byte开始,前8byte为“FQueuefs”标识,接着4byte为版本,接着4byte为下一个文件编号,再接着4byte 为当前存储位置。

基本的增删流程如下:

新增FQueue.offer() ---> FSQueue.add() ----->LogEntity.write() ----[writeFull]--->生成下一个文件ID,新建存储文件和索引rotateNextLogWriter() ---->LogEntity.write()

 

读取FQueue.poll() ----> FSQueue.readNextAndRemove() ----->LogEntity.readNextAndRemove() ------[当前文件已读到了尾部]---> 获取下一个文件,将当前文件加入删除队列FileRunner.addDeleteFile()---->再次读取LogEntity.readNextAndRemove() 并更新索引位置。

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics