阅读更多

2顶
0踩

开源软件

    分布式消息中间件MetaQ发布1.4.4版本,完整更新日志如下(也可以点击链接查看):

 

1.  配置变更: 

  • 添加新选项stat,可设置全局是否开启实时统计,默认为false

  • 添加新选项updateConsumerOffsets,当消费者的offset不在Broker的数据范围内,是否强制更新消费者的offset为当前最大offset。默认为false。测试开发环境建议开启此选项,生产环境不建议。

  • 添加新选项loadMessageStoresInParallel,是否在启动的时候并行加载数据,提高启动速度,默认为false。

2.  协议变更: 

  • put协议添加checksum,服务端将根据checksum校验producer发送的消息数据是否完整。

  • sync协议新增checksum,类似put

  • stats协议新增reset和help命令,分别用于重设实时统计数据和打印帮助信息。

3.  易用和稳定性改进: 

  • 新增local模式启动服务器,它将启动一个内置的zookeeper服务器并启动metaq服务器,方便用户测试开发。生产环境仍然建议用单独的zookeeper集群。./metaServer.sh start local

  • 添加服务端启动时的配置参数校验,帮助检查配置错误。

  • metaServer.sh新增slave-status命令,用于查看异步复制状态。

  • 更优雅地关闭服务器,避免数据损坏。

  • 当服务器端列表变动的时候,尽量避免producer发送消息异常。

  • 当同步复制的slave服务端无法服务时,master服务器将尽快返回失败异常给producer。

  • 改进consumer的负载均衡实现,更快速和稳定地实现负载均衡。

  • 修复producer可能出现的连接内存泄漏。

4.  性能改进:

  • 改进group commit实现

5.  新功能,主要改进在Java客户端的API上: 

  • Java客户端新增RejectConsumptionHandler接口,当消费消息尝试多次失败后将调用此接口的rejectConsumption方法处理。

  • Java客户端MessageConsumer接口新增setRejectConsumptionHandler方法用于设置拒绝消费处理器。

  • Message对象新增readOnly属性,可设置消息是否只读。在PartitionSelector的getPartition方法中,消息将强制为只读。

  • MessageListener接口的recieveMessages方法可抛出InterruptedException的受控异常,响应中断。当中断发生时正在消费的消息将被回滚。

6.  其他: 

  • 升级gecko到1.1.2版本,修复并发bug。

7.  升级指南: 

  • 1.4.3版本的服务端和客户端,可直接升级到1.4.4,保持兼容;1.4.4之前版本的服务端和客户端,需首先升级服务端,等服务端完全升级完毕之后,才可开始升级客户端。

下载和文档

Java客户端升级

使用Maven很简单,也可以下载

 

<dependency>
    <groupId>com.taobao.metamorphosis</groupId>
    <artifactId>metamorphosis-client</artifactId>
    <version>1.4.4</version>
</dependency>

 

最后感谢很多朋友的帮助。

 

2
0
评论 共 10 条 请登录后发表评论
10 楼 bruce0508 2013-03-15 14:39
dennis_zane 写道
bruce0508 写道
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢


淘宝的timetunel已经改用hbase解决存储问题了。
磁盘很贵吗?一个1T盘现在才多少钱。你一天能有多少消息?做个容量规划就知道。

不好意思,写错了,我要说的是metaq,看了metaq的机制,是有做缓冲的。
9 楼 dennis_zane 2013-03-14 10:52
transist 写道
请教用过的前辈们,稳定性如何呢?

新版1.4.4在delicious.com上跑了两周了,暂时没有发现问题。
8 楼 dennis_zane 2013-03-14 10:52
bruce0508 写道
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢


淘宝的timetunel已经改用hbase解决存储问题了。
磁盘很贵吗?一个1T盘现在才多少钱。你一天能有多少消息?做个容量规划就知道。
7 楼 transist 2013-03-13 15:22
请教用过的前辈们,稳定性如何呢?
6 楼 bruce0508 2013-03-13 13:51
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢
5 楼 icefishc 2013-03-11 22:30
icefishc 写道
dennis_zane 写道
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki

谢谢, 值得我学习:)
还有一个问题, 他用的哪个License。 淘蝌蚪那个页面似乎有问题, 源码和文档的链接都指向了taobao主页。
能不能透露下这个项目总共用了多长时间来开发呢。 谢谢~

licence。。。。
4 楼 icefishc 2013-03-11 22:30
dennis_zane 写道
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki

谢谢, 值得我学习:)
还有一个问题, 他用的哪个License。 淘蝌蚪那个页面似乎有问题, 源码和文档的链接都指向了taobao主页。
能不能透露下这个项目总共用了多长时间来开发呢。 谢谢~
3 楼 dennis_zane 2013-03-11 20:00
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki
2 楼 icefishc 2013-03-11 19:52
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?
1 楼 richard_2010 2013-03-11 09:49
请问这个和notify的区别是?

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 分布式消息中间件 MetaQ (庄晓丹)

    MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量...

  • 分布式消息中间件 MetaQ 作者庄晓丹专访

    分布式消息中间件 MetaQ 作者庄晓丹专访

  • Metamorphosis分布式消息中间件

    关于消息中间件,你应该听说过JMS(1)规范,以及一些开源实现,如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。  Metamorphosis是一款完全的队列模型消息中间件,服务器使用Java语言编写,可在多种软硬件...

  • MetaQ消息中间件研究

    第一部分 MetaQ简介 ... MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞...

  • metaq

    MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量...

  • 消息队列系列

    一个具体的消息只能由一个消费者消费。多个生产者可以向同一个消息队列发送消息;...消息队列目前主要 2 种模式, 分别为"点对点模式"和"发布/订阅模式"。单个消息可以被多个订阅者并发的获取和处理。.........

  • MetaQ技术内幕——源码分析(转)

    笔者最近在业务上需要使用到...MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志...

  • Kafka&MetaQ

    Memorphosis是一个消息中间件,它是linkedin开源MQ------kafka的Java版本,针对淘宝内部应用做了定制和优化。 Memorphosis做到了啥: 顺序(没做到,只能保证先进先出) 安全(部分如磁盘掉电会最多丢失1000条...

  • Kafka 消息队列 --1.JMS

    是一个 Java 平台中关于面向消息中间件的 API。用于在两个应用程序之间或 分布式系统中发送消息,进行异步通信。Java 消息服务是一个与具体平台无关的 API。    JMS 干什么用:用来异构系统...

  • 果壳处理器研究小组(Topic基于RISCV64果核处理器的卷积神经网络加速器研究)详细文档+全部资料+优秀项目+源码.zip

    【资源说明】 果壳处理器研究小组(Topic基于RISCV64果核处理器的卷积神经网络加速器研究)详细文档+全部资料+优秀项目+源码.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!

  • JSP学生学籍管理系统(源代码+论文+开题报告+外文翻译+答辩PPT)(2024x5).7z

    1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于计算机科学与技术等相关专业,更为适合;

  • LabVIEW实现NB-IoT通信【LabVIEW物联网实战】

    资源说明:https://blog.csdn.net/m0_38106923/article/details/144637354 一分价钱一分货,项目代码可顺利编译运行~

  • 【java毕业设计】智慧社区综合平台(源代码+论文+PPT模板).zip

    有java环境就可以运行起来 ,zip里包含源码+论文+PPT, 系统设计与功能: 文档详细描述了系统的后台管理功能,包括系统管理模块、新闻资讯管理模块、公告管理模块、社区影院管理模块、会员上传下载管理模块以及留言管理模块。 系统管理模块:允许管理员重新设置密码,记录登录日志,确保系统安全。 新闻资讯管理模块:实现新闻资讯的添加、删除、修改,确保主页新闻部分始终显示最新的文章。 公告管理模块:类似于新闻资讯管理,但专注于主页公告的后台管理。 社区影院管理模块:管理所有视频的添加、删除、修改,包括影片名、导演、主演、片长等信息。 会员上传下载管理模块:审核与删除会员上传的文件。 留言管理模块:回复与删除所有留言,确保系统内的留言得到及时处理。 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7及以上 数据库工具:Navicat11及以上 开发软件:eclipse/idea Maven包:Maven3.3及以上

  • 基于python3+selenium+unittest的WebUI自动化测试框架,使用POM(页面对象模型)设计模式,适合几乎所有web项目,资料齐全+详细文档

    【资源说明】 基于python3+selenium+unittest的WebUI自动化测试框架,使用POM(页面对象模型)设计模式,适合几乎所有web项目,可集成Jenkins部署自动化测试资料齐全+详细文档+高分项目+源码.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!

  • 智能车开发案例,使用Python语言在一个文件中实现 这里我们将添加一些额外的功能,如自动驾驶模式、避障、超声波传感器读取以及通过TCP/IP网络远程控制

    智能车开发案例,使用Python语言在一个文件中实现。这里我们将添加一些额外的功能,如自动驾驶模式、避障、超声波传感器读取以及通过TCP/IP网络远程控制。 首先,确保你已经安装了pyserial、socket库: pip install pyserial

  • 屏幕截图 2024-12-21 165859.png

    屏幕截图 2024-12-21 165859

  • 电缆、树木检测15-YOLO(v5至v11)、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rar

    电缆、树木检测15-YOLO(v5至v11)、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rarPL + VG-V4 2024-01-04 6:04 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释,创建数据集 *导出,训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本,您可以与此数据集一起使用 该数据集包括5082张图像。 Powerlines-Tree以可可格式注释。 将以下预处理应用于每个图像: *调整大小为640x640(拉伸) 应用以下扩展用于创建每个源图像的2个版本: *水平翻转的50%概率 *垂直翻转的50%概率 *以下90度旋转之一的同等概率:无,顺时针,逆时针方向

  • 【湍流】基于matlab RANS湍流通道流【含Matlab源码 9913期】.zip

    Matlab领域上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作

  • 基于python的代码会生成一个简单的圣诞树图形

    圣诞树代码 这段代码会生成一个简单的圣诞树图形,包括: 三层树冠,使用不同深度的绿色。 一个棕色的树干。 一颗黄色的星星作为树顶。 随机分布的彩色小圆点作为装饰。 请确保你已经安装了matplotlib库,如果没有,可以通过pip install matplotlib来安装。运行这段代码后,你应该能看到一个圣诞树的图形。

  • jsp网上超市设计与实现(源代码+论文)(2024cq).7z

    1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于计算机科学与技术等相关专业,更为适合;

Global site tag (gtag.js) - Google Analytics