阅读更多

2顶
0踩

开源软件

    分布式消息中间件MetaQ发布1.4.4版本,完整更新日志如下(也可以点击链接查看):

 

1.  配置变更: 

  • 添加新选项stat,可设置全局是否开启实时统计,默认为false

  • 添加新选项updateConsumerOffsets,当消费者的offset不在Broker的数据范围内,是否强制更新消费者的offset为当前最大offset。默认为false。测试开发环境建议开启此选项,生产环境不建议。

  • 添加新选项loadMessageStoresInParallel,是否在启动的时候并行加载数据,提高启动速度,默认为false。

2.  协议变更: 

  • put协议添加checksum,服务端将根据checksum校验producer发送的消息数据是否完整。

  • sync协议新增checksum,类似put

  • stats协议新增reset和help命令,分别用于重设实时统计数据和打印帮助信息。

3.  易用和稳定性改进: 

  • 新增local模式启动服务器,它将启动一个内置的zookeeper服务器并启动metaq服务器,方便用户测试开发。生产环境仍然建议用单独的zookeeper集群。./metaServer.sh start local

  • 添加服务端启动时的配置参数校验,帮助检查配置错误。

  • metaServer.sh新增slave-status命令,用于查看异步复制状态。

  • 更优雅地关闭服务器,避免数据损坏。

  • 当服务器端列表变动的时候,尽量避免producer发送消息异常。

  • 当同步复制的slave服务端无法服务时,master服务器将尽快返回失败异常给producer。

  • 改进consumer的负载均衡实现,更快速和稳定地实现负载均衡。

  • 修复producer可能出现的连接内存泄漏。

4.  性能改进:

  • 改进group commit实现

5.  新功能,主要改进在Java客户端的API上: 

  • Java客户端新增RejectConsumptionHandler接口,当消费消息尝试多次失败后将调用此接口的rejectConsumption方法处理。

  • Java客户端MessageConsumer接口新增setRejectConsumptionHandler方法用于设置拒绝消费处理器。

  • Message对象新增readOnly属性,可设置消息是否只读。在PartitionSelector的getPartition方法中,消息将强制为只读。

  • MessageListener接口的recieveMessages方法可抛出InterruptedException的受控异常,响应中断。当中断发生时正在消费的消息将被回滚。

6.  其他: 

  • 升级gecko到1.1.2版本,修复并发bug。

7.  升级指南: 

  • 1.4.3版本的服务端和客户端,可直接升级到1.4.4,保持兼容;1.4.4之前版本的服务端和客户端,需首先升级服务端,等服务端完全升级完毕之后,才可开始升级客户端。

下载和文档

Java客户端升级

使用Maven很简单,也可以下载

 

<dependency>
    <groupId>com.taobao.metamorphosis</groupId>
    <artifactId>metamorphosis-client</artifactId>
    <version>1.4.4</version>
</dependency>

 

最后感谢很多朋友的帮助。

 

2
0
评论 共 10 条 请登录后发表评论
10 楼 bruce0508 2013-03-15 14:39
dennis_zane 写道
bruce0508 写道
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢


淘宝的timetunel已经改用hbase解决存储问题了。
磁盘很贵吗?一个1T盘现在才多少钱。你一天能有多少消息?做个容量规划就知道。

不好意思,写错了,我要说的是metaq,看了metaq的机制,是有做缓冲的。
9 楼 dennis_zane 2013-03-14 10:52
transist 写道
请教用过的前辈们,稳定性如何呢?

新版1.4.4在delicious.com上跑了两周了,暂时没有发现问题。
8 楼 dennis_zane 2013-03-14 10:52
bruce0508 写道
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢


淘宝的timetunel已经改用hbase解决存储问题了。
磁盘很贵吗?一个1T盘现在才多少钱。你一天能有多少消息?做个容量规划就知道。
7 楼 transist 2013-03-13 15:22
请教用过的前辈们,稳定性如何呢?
6 楼 bruce0508 2013-03-13 13:51
你好,请教个问题,taobao的timetunnel是参考了kafka的设计理念,采用磁盘顺序读写的机制,请问在持续的大数据读写压力下,相比内存队列,这种机制下会不会频繁读写磁盘,导致磁盘寿命受到较大影响,我们担心磁盘成本会较高,你们是如何考虑这个问题的,有方面的测试数据吗?谢谢
5 楼 icefishc 2013-03-11 22:30
icefishc 写道
dennis_zane 写道
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki

谢谢, 值得我学习:)
还有一个问题, 他用的哪个License。 淘蝌蚪那个页面似乎有问题, 源码和文档的链接都指向了taobao主页。
能不能透露下这个项目总共用了多长时间来开发呢。 谢谢~

licence。。。。
4 楼 icefishc 2013-03-11 22:30
dennis_zane 写道
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki

谢谢, 值得我学习:)
还有一个问题, 他用的哪个License。 淘蝌蚪那个页面似乎有问题, 源码和文档的链接都指向了taobao主页。
能不能透露下这个项目总共用了多长时间来开发呢。 谢谢~
3 楼 dennis_zane 2013-03-11 20:00
icefishc 写道
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?

richard_2010 写道
请问这个和notify的区别是?


两位,关于这个消息中间件的背景可以看下这里的介绍性的文档:

https://github.com/killme2008/Metamorphosis/wiki
2 楼 icefishc 2013-03-11 19:52
你好,MetaQ的特点是什么呢? 是为了解决什么问题开发的它呢?
1 楼 richard_2010 2013-03-11 09:49
请问这个和notify的区别是?

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 分布式消息中间件 MetaQ (庄晓丹)

    MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量...

  • 分布式消息中间件 MetaQ 作者庄晓丹专访

    分布式消息中间件 MetaQ 作者庄晓丹专访

  • Metamorphosis分布式消息中间件

    关于消息中间件,你应该听说过JMS(1)规范,以及一些开源实现,如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。  Metamorphosis是一款完全的队列模型消息中间件,服务器使用Java语言编写,可在多种软硬件...

  • MetaQ消息中间件研究

    第一部分 MetaQ简介 ... MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞...

  • metaq

    MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量...

  • 消息队列系列

    一个具体的消息只能由一个消费者消费。多个生产者可以向同一个消息队列发送消息;...消息队列目前主要 2 种模式, 分别为"点对点模式"和"发布/订阅模式"。单个消息可以被多个订阅者并发的获取和处理。.........

  • MetaQ技术内幕——源码分析(转)

    笔者最近在业务上需要使用到...MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志...

  • Kafka&MetaQ

    Memorphosis是一个消息中间件,它是linkedin开源MQ------kafka的Java版本,针对淘宝内部应用做了定制和优化。 Memorphosis做到了啥: 顺序(没做到,只能保证先进先出) 安全(部分如磁盘掉电会最多丢失1000条...

  • Kafka 消息队列 --1.JMS

    是一个 Java 平台中关于面向消息中间件的 API。用于在两个应用程序之间或 分布式系统中发送消息,进行异步通信。Java 消息服务是一个与具体平台无关的 API。    JMS 干什么用:用来异构系统...

  • 级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均

    级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿,级联H桥svg无功补偿statcom,采用三层控制策略。 (1)第一层采用电压电流双闭环pi控制,电压电流正负序分离,电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定,电流内环采用前馈解耦控制; (2)第二层相间电压均衡控制,注入零序电压,控制通过注入零序电压维持相间电压平衡; (3)第三层相内电压均衡控制,使其所有子模块吸收的有功功率与其损耗补,从而保证所有H桥子模块直流侧电压值等于给定值。 有参考资料。 639,核心关键词: 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制 以上十个关键词用分号分隔的格式为:不

  • GTX 1080 PCB图纸

    GTX 1080 PCB图纸,内含图纸查看软件

  • 深度优化与应用:提升DeepSeek润色指令的有效性和灵活性指南

    内容概要:本文档详细介绍了利用 DeepSeek 进行文本润色和问答交互时提高效果的方法和技巧,涵盖了从明确需求、提供适当上下文到尝试开放式问题以及多轮对话的十个要点。每一部分内容都提供了具体的示范案例,如指定回答格式、分步骤提问等具体实例,旨在指导用户更好地理解和运用 DeepSeek 提升工作效率和交流质量。同时文中还强调了根据不同应用场景调整提示词语气和风格的重要性和方法。 适用人群:适用于希望通过优化提问技巧以获得高质量反馈的企业员工、科研人员以及一般公众。 使用场景及目标:本文针对所有期望提高 DeepSeek 使用效率的人群,帮助他们在日常工作中快速获取精准的答案或信息,特别是在撰写报告、研究材料准备和技术咨询等方面。此外还鼓励用户通过不断尝试不同形式的问题表述来进行有效沟通。 其他说明:该文档不仅关注实际操作指引,同样重视用户思维模式转变——由简单索取答案向引导 AI 辅助创造性解决问题的方向发展。

  • 基于FPGA与W5500实现的TCP网络通信测试平台开发-Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivad

    基于FPGA与W5500实现的TCP网络通信测试平台开发——Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivado 2019软件的扩展开发,基于FPGA和W5500的TCP网络通信 测试平台 zynq扩展口开发 软件平台 vivado2019.2,纯Verilog可移植 测试环境 压力测试 cmd命令下ping电脑ip,同时采用上位机进行10ms发包回环测试,不丢包(内部数据回环,需要时间处理) 目前实现单socket功能,多路可支持 ,基于FPGA; W5500; TCP网络通信; Zynq扩展口开发; 纯Verilog可移植; 测试平台; 压力测试; 10ms发包回环测试; 单socket功能; 多路支持。,基于FPGA与W5500的Zynq扩展口TCP通信测试:可移植Verilog实现的高效网络通信

  • Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储,报表生成与打印一体化解决方案 ,Labview液压比例阀

    Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储,报表生成与打印一体化解决方案。,Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警管理及实验自动化,labview液压比例阀伺服阀试验台程序:功能包括,同PLC通讯程序,液压动画,手动控制及调试,传感器标定,报警设置及报警记录,自动实验,数据处理曲线处理,数据库存储及查询,报表自动生成及打印,扫码枪扫码及信号录入等~ ,核心关键词:PLC通讯; 液压动画; 手动控制及调试; 传感器标定; 报警设置及记录; 自动实验; 数据处理及曲线处理; 数据库存储及查询; 报表生成及打印; 扫码枪扫码。,Labview驱动的智能液压阀测试系统:多功能控制与数据处理

  • 华为、腾讯、万科员工职业发展体系建设与实践.pptx

    华为、腾讯、万科员工职业发展体系建设与实践.pptx

  • 基于遗传算法的柔性车间调度优化 附Matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 电网不对称故障下VSG峰值电流限制的柔性控制策略:实现电流平衡与功率容量的优化利用,电网不对称故障下VSG峰值电流限制的柔性控制策略:兼顾平衡电流与功率控制切换的动态管理,电网不对称故障下VSG峰值电

    电网不对称故障下VSG峰值电流限制的柔性控制策略:实现电流平衡与功率容量的优化利用,电网不对称故障下VSG峰值电流限制的柔性控制策略:兼顾平衡电流与功率控制切换的动态管理,电网不对称故障下VSG峰值电流限制的柔性不平衡控制(文章完全复现)。 提出一种在不平衡运行条件下具有峰值电流限制的可变不平衡电流控制方法,可灵活地满足不同操作需求,包括电流平衡、有功或无功恒定运行(即电流控制、有功控制或无功控制之间的相互切),注入电流保持在安全值内,以更好的利用VSG功率容量。 关键词:VSG、平衡电流控制、有功功率控制、无功功率控制。 ,VSG; 峰值电流限制; 柔性不平衡控制; 电流平衡控制; 有功功率控制; 无功功率控制。,VSG柔性控制:在电网不对称故障下的峰值电流限制与平衡管理

  • libpinyin-tools-0.9.93-4.el7.x64-86.rpm.tar.gz

    1、文件内容:libpinyin-tools-0.9.93-4.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/libpinyin-tools-0.9.93-4.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持:公众号禅静编程坊

  • 机器学习(预测模型):动漫《龙珠》相关的数据集

    数据集是一个以经典动漫《龙珠》为主题的多维度数据集,广泛应用于数据分析、机器学习和图像识别等领域。该数据集由多个来源整合而成,涵盖了角色信息、战斗力、剧情片段、台词以及角色图像等多个方面。数据集的核心内容包括: 角色信息:包含《龙珠》系列中的主要角色及其属性,如名称、种族、所属系列(如《龙珠》《龙珠Z》《龙珠超》等)、战斗力等级等。 图像数据:提供角色的图像资源,可用于图像分类和角色识别任务。这些图像来自动画剧集、漫画和相关衍生作品。 剧情与台词:部分数据集还包含角色在不同故事中的台词和剧情片段,可用于文本分析和自然语言处理任务。 战斗数据:记录角色在不同剧情中的战斗力变化和战斗历史,为研究角色成长和剧情发展提供支持。 数据集特点 多样性:数据集整合了角色、图像、文本等多种类型的数据,适用于多种研究场景。 深度:不仅包含角色的基本信息,还涵盖了角色的成长历程、技能描述和与其他角色的互动关系。 实用性:支持多种编程语言(如Python、R)的数据处理和分析,提供了详细的文档和示例代码。

  • 基于protues仿真的多功公交站播报系统设计(仿真图、源代码)

    基于protues仿真的多功公交站播报系统设计(仿真图、源代码) 该设计为基于protues仿真的多功公交站播报系统,实现温度显示、时间显示、和系统公交站播报功能; 具体功能如下: 1、系统使用51单片机为核心设计; 2、时钟芯片进行时间和日期显示; 3、温度传感器进行温度读取; 4、LCD12864液晶屏进行相关显示; 5、按键设置调节时间; 6、按键设置报站; 7、仿真图、源代码; 操作说明: 1、下行控制报站:首先按下(下行设置按键),(下行指示灯)亮,然后按下(手动播报)按键控制播报下一站; 2、上行控制报站:首先按上(上行设置按键),(上行指示灯)亮,然后按下(手动播报)按键控制播报下一站; 3、按下关闭播报按键,则关闭播报功能和清除显示

Global site tag (gtag.js) - Google Analytics