资讯频道 → 开源软件
阅读更多

14顶
2踩

开源软件

原创新闻 淘宝消息中间件 Metamorphosis 开源

2012-03-12 09:30 by 见习记者 Jen 评论(33) 有41156人浏览
淘宝 消息中间件 Metamorphosis java

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

淘宝开发团队近日开源了消息中间件Metamorphosis。

Metamorphosis是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，目前在淘宝和支付宝有着广泛的应用。

Metamorphosis的特性如下：

  • 生产者、服务器和消费者都可分布
  • 消息存储顺序写
  • 性能极高，吞吐量大
  • 支持消息顺序
  • 支持本地和XA事务
  • 客户端pull，随机读，利用sendfile系统调用，zero-copy ，批量拉数据
  • 支持消费端事务
  • 支持消息广播模式
  • 支持异步发送消息
  • 支持http协议
  • 支持消息重试和recover
  • 数据迁移、扩容对用户透明
  • 消费状态保存在客户端
  • 支持同步和异步复制两种HA
  • 支持group commit
现在该中间件已开源，项目地址：http://metaq.taobao.org/

源码：http://code.taobao.org/p/metamorphosis/src/

14
顶
2
踩
评论 共 33 条 请登录后发表评论
33 楼 790318448 2013-04-18 10:57
svn
没有密码怎么才能下下来啊
32 楼 ljmomo 2013-01-08 22:23
[2013-01-08 13:08:53,812] INFO Session establishment complete on server 10.66.8.195/10.66.8.195:2181, sessionid = 0x13c188ab60b0003, negotiated timeout = 30000 (org.apache.zookeeper.ClientCnxn)
[2013-01-08 13:08:53,812] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient)
[2013-01-08 13:08:53,890] WARN Begin receiving broker changes for topic test,broker ids:{} (com.taobao.metamorphosis.client.producer.ProducerZooKeeper)
[2013-01-08 13:08:53,890] WARN End receiving broker changes for topic test (com.taobao.metamorphosis.client.producer.ProducerZooKeeper)      我不是专家，我仅仅做过。  在你启动meta server 的时候 先要启动 zookeepr，消息生产者要配置好zookeeper。私聊?我一般晚上有时间。
31 楼 adolf506 2013-01-08 13:12
今天重新下载了最新版本taobao-metaq-2.1.3.1.tar.gz  在服务器上部署执行结果：
2013-01-07 21:09:16,078 [INFO] [main] - Starting metamorphosis server...
2013-01-07 21:09:16,083 [INFO] [main] - Start metamorphosis server successfully
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:samsa
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:gregor
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:metaslave
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:timetunnel
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:notify
2013-01-07 21:09:16,084 [INFO] [main] - unstarted plugin:jettyBroker
2013-01-07 21:09:18,825 [INFO] [Timer-0] - New Quartz update(s) found: 2.1.6 [http://www.terracotta.org/kit/reflector?kitID=default&pageID=QuartzChangeLog]
我客户端调用后：[2013-01-08 13:08:51,546] INFO Opening socket connection to server /10.66.8.195:2181 (org.apache.zookeeper.ClientCnxn)
[2013-01-08 13:08:53,812] WARN SecurityException: java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configuration. (org.apache.zookeeper.client.ZooKeeperSaslClient)
[2013-01-08 13:08:53,812] INFO Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expected SASL to work, please fix your JAAS configuration. (org.apache.zookeeper.client.ZooKeeperSaslClient)
[2013-01-08 13:08:53,812] INFO Socket connection established to 10.66.8.195/10.66.8.195:2181, initiating session (org.apache.zookeeper.ClientCnxn)
[2013-01-08 13:08:53,812] INFO Session establishment complete on server 10.66.8.195/10.66.8.195:2181, sessionid = 0x13c188ab60b0003, negotiated timeout = 30000 (org.apache.zookeeper.ClientCnxn)
[2013-01-08 13:08:53,812] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient)
[2013-01-08 13:08:53,890] WARN Begin receiving broker changes for topic test,broker ids:{} (com.taobao.metamorphosis.client.producer.ProducerZooKeeper)
[2013-01-08 13:08:53,890] WARN End receiving broker changes for topic test (com.taobao.metamorphosis.client.producer.ProducerZooKeeper)
Type a message to send:
as
Exception in thread "main" com.taobao.metamorphosis.exception.MetaClientException: send message failed
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.send0(SimpleMessageProducer.java:447)
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.sendMessageToServer(SimpleMessageProducer.java:179)
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.sendMessage(SimpleMessageProducer.java:156)
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.sendMessage(SimpleMessageProducer.java:566)
at com.taobao.metamorphosis.example.Producer.main(Producer.java:54)
Caused by: com.taobao.metamorphosis.exception.MetaClientException: There is no aviable partition for topic test,maybe you don't publish it at first?
at com.taobao.metamorphosis.client.producer.RoundRobinPartitionSelector.getPartition(RoundRobinPartitionSelector.java:44)
at com.taobao.metamorphosis.client.producer.ProducerZooKeeper.selectPartition(ProducerZooKeeper.java:407)
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.selectPartition(SimpleMessageProducer.java:204)
at com.taobao.metamorphosis.client.producer.SimpleMessageProducer.send0(SimpleMessageProducer.java:413)

问题，我也修改了topic。ini文件，服务器topic添加配置后重启了，客户端也public了，为何还报错，专家指教下，还有最新包中jdk知道了固定位置，需要修改下，谢谢
30 楼 ljmomo 2013-01-08 08:50
启动时候[INFO] [Thread-3] 01-06 17:52:18,161 [MetaMorphosisBroker] - Stop metamorphosis server successfully
准备启动服务器，配置为：MetaConfig [brokerId=0, dataPath=/root/meta, deletePolicy=delete,168, diamondZKDataId=metamorphosis.zkConfig, diamondZKGroup=DEFAULT_GROUP, getProcessThreadCount=80, hostName=null, maxSegmentSize=1073741824, maxTransferSize=1048576, numPartitions=1, putProcessThreadCount=80, serverPort=8123, slaveGroup=meta-slave-group, slaveId=-1, statTopicSet=[adolf-test, test], topicDeletePolicy=, topics=[adolf-test, test], unflushInterval=10000, unflushThreshold=1000, zkConfig=com.taobao.metamorphosis.utils.ZkUtils$ZKConfig@5de9ac4]     这的确是没有正常启动，正常启动会有  start metamorphosis server successfully这提示。估计是你的配置文件配置的有问题。 你用 svn 把这个 svn co http://code.taobao.org/svn/metamorphosis/trunk metamorphosis 源码弄下来 里面有配置文件的说明。你仔细看看。如果不行再回复我。
29 楼 adolf506 2013-01-07 10:19
ljmomo 写道
java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configuration. (org.apache.zookeeper.client.ZooKeeperSaslClient)
我Producer 类启动的时候一直有这个异常，所以导致Caused by: com.taobao.metamorphosis.exception.MetaClientException: There is no aviable partition for topic test,maybe you don't publish it at first? 后续这个方法，
专家们怎么搞定？     可能是的分区没有配置正确，也可能是你的meta server 没有启动，认真检查你的配置，以及你的服务是否正常启动。


启动时候[INFO] [Thread-3] 01-06 17:52:18,161 [MetaMorphosisBroker] - Stop metamorphosis server successfully
准备启动服务器，配置为：MetaConfig [brokerId=0, dataPath=/root/meta, deletePolicy=delete,168, diamondZKDataId=metamorphosis.zkConfig, diamondZKGroup=DEFAULT_GROUP, getProcessThreadCount=80, hostName=null, maxSegmentSize=1073741824, maxTransferSize=1048576, numPartitions=1, putProcessThreadCount=80, serverPort=8123, slaveGroup=meta-slave-group, slaveId=-1, statTopicSet=[adolf-test, test], topicDeletePolicy=, topics=[adolf-test, test], unflushInterval=10000, unflushThreshold=1000, zkConfig=com.taobao.metamorphosis.utils.ZkUtils$ZKConfig@5de9ac4]

一直到这就不动了，我用的是64位centos，telnet上去stats还是正常的，这是否启动异常了？
28 楼 ljmomo 2013-01-07 08:55
java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configuration. (org.apache.zookeeper.client.ZooKeeperSaslClient)
我Producer 类启动的时候一直有这个异常，所以导致Caused by: com.taobao.metamorphosis.exception.MetaClientException: There is no aviable partition for topic test,maybe you don't publish it at first? 后续这个方法，
专家们怎么搞定？     可能是的分区没有配置正确，也可能是你的meta server 没有启动，认真检查你的配置，以及你的服务是否正常启动。
27 楼 adolf506 2013-01-06 11:27
java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configuration. (org.apache.zookeeper.client.ZooKeeperSaslClient)
我Producer 类启动的时候一直有这个异常，所以导致Caused by: com.taobao.metamorphosis.exception.MetaClientException: There is no aviable partition for topic test,maybe you don't publish it at first? 后续这个方法，
专家们怎么搞定？
26 楼 p&g 2012-03-27 16:58
直接右键checkout下不了， 不是这个路径吗？
theoffspring 写道
qtlkw 写道
忽悠吧，svn怎么下不下来来着？download不下来就别叫开源好了，有标题党嫌疑！

你会用svn吗？

svn co http://code.taobao.org/svn/metamorphosis/trunk metamorphosis

在命令行里运行一下就可以了。前提是你得装svn客户端

25 楼 dennis_zane 2012-03-26 18:25
FQ_kevin 写道
我想把消息 存储在数据库 要怎么实现？

存到数据库本质上也是落到磁盘。不过meta的需求决定了它不会存储在数据库。如果你想存储消息到数据库，可以用activemq,hornetq等，他们有提供jdbc存储。
24 楼 FQ_kevin 2012-03-26 16:54
我想把消息 存储在数据库 要怎么实现？
23 楼 dennis_zane 2012-03-23 10:18
FQ_kevin 写道
使用自带的例子怎么跑不起来 这个地方抛出勒
throw new MetaClientException("There is no aviable partition for topic " + topic+ ",maybe you don't publish it at first?")

可能你没有在服务器配置topic
22 楼 dennis_zane 2012-03-23 10:18
codeman007 写道
不太明白
LinkedIn的Kafka不是自己也有java版实现吗
http://www.54chen.com/java-ee/linkedin-kafka-usage.html
那淘宝这个跟他有什么区别，还是在Kafka基础上包装了一层

谁说kafka有java实现的？那只是个java客户端，你可以在java里调用它罢了。
21 楼 codeman007 2012-03-23 10:13
不太明白
LinkedIn的Kafka不是自己也有java版实现吗
http://www.54chen.com/java-ee/linkedin-kafka-usage.html
那淘宝这个跟他有什么区别，还是在Kafka基础上包装了一层
20 楼 FQ_kevin 2012-03-21 23:30
使用自带的例子怎么跑不起来 这个地方抛出勒
throw new MetaClientException("There is no aviable partition for topic " + topic+ ",maybe you don't publish it at first?")
19 楼 chenzehe 2012-03-15 08:43
Jen 写道
chenzehe 写道
那Notify是干啥的

notify是我们组另一个消息中间件，跟meta的使用场景有所不同，即将开源

只听过淘宝使用notify，没听过meta，等motify开源了要广播下哈
18 楼 dennis_zane 2012-03-14 17:34
可以用我的github分支，文档还在补充

https://github.com/killme2008/Metamorphosis
17 楼 hhhhh 2012-03-14 15:33
有些文件编码不是utf8,
16 楼 theoffspring 2012-03-14 14:17
qtlkw 写道
忽悠吧，svn怎么下不下来来着？download不下来就别叫开源好了，有标题党嫌疑！

你会用svn吗？

svn co http://code.taobao.org/svn/metamorphosis/trunk metamorphosis

在命令行里运行一下就可以了。前提是你得装svn客户端
15 楼 qtlkw 2012-03-14 13:38
忽悠吧，svn怎么下不下来来着？download不下来就别叫开源好了，有标题党嫌疑！
14 楼 jieke456 2012-03-13 23:20
现在国人也开始走开源的路线了 

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • metaq消息中间件服务端、客户端资源汇集

    Metamorphosis是淘宝开源的一个Java消息中间件，他类似apache-kafka，但不是一个简单的山寨拷贝，而是做了很多改进和优化，项目的主页在淘蝌蚪上。服务端、客户端、javadoc都包含在内。

  • 淘宝消息中间件Metamorphosis开源

    Metamorphosis是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，在淘宝和...

  • 淘宝开源分布式消息中间件Metamorphosis

    最近，淘宝开源了分布式消息中间件 Memorphosis项目 ，它是Linkedin开源MQ——Kafka的Java版本，针对淘宝内部应用做了定制和优化。 据了解，Metamorphosis（以下简称Meta）的设计原则包括： 消息都是持久的，...

  • 淘宝开源消息中间件-Metamorphosis

    淘宝开源消息中间件-Metamorphosis。 Gecko随之一并开源。 Oschina主页： http://www.oschina.net/p/metamorphosis

  • Metamorphosis分布式消息中间件

     Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件，你应该听说过JMS（1）规范，以及一些开源实现，如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。  Metamorphosis是一款完全的队列模型消息...

  • python消息中间件有哪些_消息中间件选型

    一、 分布式系统消息通信技术简介分布式系统消息通信技术主要包括以下几种：1.RPC(Remote Procedure Call Protocol).一般是C/S方式，同步的，跨语言跨平台，面向过程2.CORBA(Common Object Request Broker ...

  • python 消息中间件_消息中间件

    一、 分布式系统消息通信技术简介分布式系统消息通信技术主要包括以下几种：1.RPC(Remote Procedure Call Protocol).一般是C/S方式，同步的，跨语言跨平台，面向过程2.CORBA(Common Object Request Broker ...

  • 分布式消息中间件-Rocketmq

    消息中间件主要是实现分布式系统中解耦、异步消息、流量销锋、日志处理等场景，后面我也会结合一些场景进行探讨。现在生产中用的最多的消息队列有Activemq，rabbitmq，kafka，rocketmq等。  不过这个题目写的有点...

  • 消息队列中间件 MetaQ/RocketMQ

    简介—— 消息队列中间件 MetaQ/RocketMQ中间件 MetaQ 是一种基于队列模型的消息中间件，MetaQ 据说最早是受 Kafka 的影响开发的，第一版的名字 "metamorphosis"，是奥地利作家卡夫卡的名作——《变形记》。...

  • 分布式开发－－分布式消息中间件

    其中，服务器之间消息通讯这种功能广泛应用于这些中间件中，于是，将这种面向消息的中间件（ Message Oriented Middleware ， MOM ）抽象出来，形成通用的消息中间件，成为业内主流。目前消息中间件的标准主要有...

  • 淘宝开源MQ——metamorphosis的github分支

    上周我在淘宝的同事开源了一个消息中间件metamorphosis，放在了淘蝌蚪上。我从淘蝌蚪的svn上fork了一个github的分支，放在了这里：1.主体工程：https://github.com/killme2008/Metamorphosis 2.示例项目：...

  • 分布式消息中间件 MetaQ （庄晓丹）

    MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量...

  • MQ消息中间件了解

    MQ 消息中间件 Rabbit MQ AMQP协议 1、交换器 Exchange Direct（直连）数据的分发，交给不同的队列来处理 通过绑定路由键，生产者发送消息到MQ的时候提供routing key（即路由键），指定发送给某个队列，或者说是给...

  • 消息队列中间件记录

    消息队列有无数开源实现，一般没必要自己实现。zmq也好rabbitmq也好甚至redis也好，找一个合适的装上用就行 就好像rdbms/nosql一样。 技术都是解决问题的，消息队列解决的是将突发大量请求转换为后端能承受的队列...

  • 【RabbitMQ消息中间件】1.RabbitMQ简介

    遵循Message Queue规则开发出来的，具有消息队列特点的产品，都可以称之为“消息中间件”(JMS消息服务器)。目前业内有很多消息中间件产品，例如Apache出品的“ActiveMQ”和“Kafka”(分布式发布订阅消息系统)、...

  • 主流消息中间件 SOA\ESB

    IBM Oracle MicroSoft SoftWare AG Tibco 这几家的ESB占市场份额较高 (1)IBM WebSphere MQ （也称MQSeries）... (2)ActiveMQ JMS消息服务器 : http://www.oschina.net/p/activemq ActiveMQ 是Ap

  • 《淘宝消息中间件概述》2015-07-11

    1. 消息中间件简介 目前主要提供了无序事务性高性能消息队列Notify与有序高性能消息队列RocketMQ(MetaQ)两大类产品，目前RocketMQ已经开源（https://github.com/alibaba/RocketMQ），产品被包括核心交易在内的几乎...

  • 三菱FX5U PLC扩展模块FX5-16EX的应用与调试指南

    内容概要：本文详细介绍了三菱FX5U系列PLC的16点数字量输入扩展模块FX5-16EX的应用与调试要点。首先讲解了硬件连接的关键步骤，包括正确接线方法、电源配置以及模块安装注意事项。接着探讨了编程部分，展示了如何使用结构化文本（ST）进行输入信号处理，并提供了具体的代码示例。此外，重点讨论了常见的调试问题及其解决方案，如信号滤波设置、输入信号抖动处理、模块状态诊断等。最后分享了一些实际应用场景的经验，强调了细节处理的重要性。 适合人群：从事工业控制系统设计、安装和维护的技术人员，尤其是熟悉三菱PLC系统的工程师。 使用场景及目标：帮助技术人员掌握FX5-16EX模块的正确使用方法，提高系统稳定性和可靠性，减少调试时间和成本。 其他说明：文中提到的具体操作和代码示例有助于读者更好地理解和应用相关技术，避免常见错误。

  • C# WPF智慧工厂数据平台：基于MVVM模式的大数据分析与可视化实现

    内容概要：本文详细介绍了使用C#和WPF构建智慧工厂数据平台的过程，涵盖系统框架设计、MVVM模式应用、统计图表绘制、页面布局规划及动画效果实现等方面。文章首先阐述了分层架构的重要性，展示了如何分离数据访问层、业务逻辑层和表示层。接着讲解了MVVM模式的具体实现，包括ViewModel作为视图和模型间的桥梁，确保数据与界面的解耦。随后探讨了利用LiveCharts库创建各类统计图表的方法，使数据呈现更加直观易懂。此外，还讨论了页面布局的最佳实践，如使用Grid进行区域划分，以及如何通过动画增强用户体验。最后提供了完整的源代码链接，帮助开发者更好地理解和扩展该项目。 适合人群：熟悉C#编程语言并有一定WPF开发经验的研发人员，尤其是关注工业互联网、智能制造领域的技术人员。 使用场景及目标：适用于希望构建高效、可视化的智慧工厂数据管理系统的团队。主要目标是掌握如何运用现代软件工程技术，如MVVM模式、数据绑定、高性能绘图库等，快速搭建稳定可靠的数据展示平台。 其他说明：文中不仅包含了详细的理论解释和技术要点，还有大量实用的代码片段供参考。同时强调了性能优化的重要性，如避免过度刷新UI、合理设置动画效果等。

  • 【Python毕设】p121基于python的内蒙古旅游景点数据分析系统-Flask+spider+vue.zip

    项目资源包含：可运行源码+sql文件+文档； python3.8+Flask+mysql5.7+spider+vue 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 当人们打开系统的网址后，首先看到的就是首页界面。在这里，人们能够看到系统的导航条（旅游景点、周边住宿、周边美食、公告栏），通过导航条导航进入各功能展示页面进行操作。在个人中心页面可以对修改密码、我的收藏进行详细操作。 管理员进入主页面，主要功能包括对系统首页、用户、旅游景点、周边住宿、周边美食、美食分类、系统管理、个人资料等进行操作。

Global site tag (gtag.js) - Google Analytics