博客首页 → metaq

最新文章列表

如何开始--metaq

下载服务器 从Google Code或者我的个人主页选择最新版本的服务器(目前是1.4.6.1)并下载到本地，假设下载后的文件在folder目录，执行下列命令解压缩文件： cd folder tar zxvf metaq-server-1.4.6.2.tar.gz 解压缩文件,解压后目录结构大概为： taobao metamorphosis-server-wrapp ...
如何开始MetaQ 
wbj0110 评论(0) 有1445人浏览 2014-04-19 09:27

HA方案

介绍 Meta相比于kafka的一个重要特性就是消息高可用方案的实现，我们称之为HA方案。消息在发送到broker之后立即写入磁盘才返回客户端告诉消息生产者消息发送成功，通过unflushThreshold和unflushInterval两个参数的控制，可以保证单机消息数据的安全性，只要机器的磁盘没有永久损坏，消息总可以在重启后恢复并正常投递给消费者们。但是，如果遇到了磁盘永久损坏或者数据文件 ...
HA方案MetaQ 
wbj0110 评论(0) 有719人浏览 2014-04-19 09:26

Faq of metaq

采用pull模型，消息的实时性有保证吗？ Metamorphosis在消费端采用pull的模型，consumer主动去broker拉取数据，而不是类似大多数MQ那样由broker主动push数据给消费者。可能很多人担心采用pull模型后，会不会消息的实时性降低了，从发送到消费的整个时间周期拉长了。 实际上，meta中消息的实时性受很多因素影响，不能简单地说实时性一定会降低，主要影响因素如下 ...
Faq of metaqMetaQ 
wbj0110 评论(0) 有744人浏览 2014-04-16 10:48

sample.server.ini

123456789101112131415
sample.server.iniMetaQ 
wbj0110 评论(0) 有635人浏览 2014-04-16 10:48

server.ini

  1234567891011121314
server.iniMetaQ 
wbj0110 评论(0) 有538人浏览 2014-04-16 10:43

配置管理--metaq

配置管理 Web管理平台 从1.4.5开始，MetaQ提供了一个Web管理平台，默认运行在8120端口，你可以通过浏览器访问http://localhost:8120来访问web管理平台，localhost
配置管理MetaQ 
wbj0110 评论(0) 有621人浏览 2014-04-16 10:38

Metamorphosis分布式消息中间件

一 简介 1.1定义     Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件，你应该听说过JMS（1）规范，以及一些开源实现，如ActiveMQ和Horn ...
Metamorphosis分布式消息中间件MetaQ 
wbj0110 评论(0) 有1792人浏览 2014-03-10 09:30

metamorphosis-3-metaQ初步

Java客户端例子 使用maven，引用metaq的java client非常简单： <dependency>  <groupId>com.taobao.metamorphosis</groupId>  <artifactId>metamorphosis-client-extension</artifactId>  <ver ...
metamorphosis-3-metaQ初步MetaQ 
wbj0110 评论(0) 有912人浏览 2013-11-29 09:20

高可用配置(异步复制和同步复制)-metaq

介绍 Meta相比于kafka的一个重要特性就是消息高可用方案的实现，我们称之为HA方案。消息在发送到broker之后立即写入磁盘才返回客户端告诉消息生产者消息发送成功，通过unflushThreshold和unflushInterval两个参数的控制，可以保证单机消息数据的安全性，只要机器的磁盘没有永久损坏，消息总可以在重启后恢复并正常投递给消费者们。但是，如果遇到了磁盘永久损坏或者数据文件 ...
高可用配置(异步复制和同步复制)-metaqMetaQ 
wbj0110 评论(0) 有853人浏览 2013-11-10 18:23

集群-metaq

集群 Meta假定producer、broker和consumer都是分布式的集群系统。 Producer可以是一个集群，多台机器上的producer可以往同一个topic发送消息。 Meta的服务器broker一般也是一个集群，多台broker组成一个集群提供一些topic服务，生产者按照一定的路由规则往集群里某台broker发送消息，消费者按照一定的路由规则拉取某台broker上的消息 ...
集群-metaqMetaQ 
wbj0110 评论(0) 有814人浏览 2013-11-10 18:23

配置管理--metaq

Web管理平台 从1.4.5开始，MetaQ提供了一个Web管理平台，默认运行在8120端口，你可以通过浏览器访问http://localhost:8120来访问web管理平台，localhost为本机IP，可替换为broker运行机器所在ip或者hostname。 1.4.6版本开始，Web管理平台提供RESTFul API，具体见Dashboard API
配置管理--metaqMetaQ 
wbj0110 评论(0) 有985人浏览 2013-11-08 09:30

简单示例--metaq

示例源码 源码地址： metamorphosis-example Example 消息中间件中有两个角色：消息生产者和消息消费者。Meta里同样有这两个概念，消息生产者负责创建消息并发送到meta服务器，meta服务器会将消息持久化到磁盘，消息消费者从meta服务器拉取消息并提交给应用消费。我们假设你已经部署了你的meta服务器，参见
简单示例--metaqMetaQ 
wbj0110 评论(0) 有897人浏览 2013-11-08 09:30

如何开始--metaq

下载服务器 从Google Code选择最新版本的服务器并下载到本地，假设下载后的文件在folder目录，执行下列命令解压缩文件： cd folder tar zxvf metaq-server-1.4.6.2.tar.gz 解压缩文件,解压后目录结构大概为： taobao metamorphosis-server-wrapper bin ...
如何开始--metaqMetaQ 
wbj0110 评论(0) 有889人浏览 2013-11-07 09:31

storm & metaq 实例

目录 Storm项目：流数据监控 <4>. 1 ---流数据监控MetaQ接口... 1 1 文档说明... 1 2 MetaQ与Storm接口... 1 2.1 MetaqSpout. 1 2.1.1 接口说明... 1 2.1.2 上代码... 2 2.2 MetaqBolt. 5
storm & metaqMetaQStorm 
wbj0110 评论(0) 有1181人浏览 2013-10-12 09:14

Storm实时处理方案架构

1 文档说明   该文档描述的是以storm为主体的实时处理架构，该架构包括了数据收集部分，实时处理部分，及数据落地部分。 关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关，会一一进行分析。 该架构是本人所掌握的一种架构，可能会与其他架构有相似的部分，个人会一一解释对其的理解。   2 实时处理架构  
Storm实时处理方案架构StormMetaQ 
wbj0110 评论(0) 有2734人浏览 2013-10-12 09:13

MetaQ 可靠性、顺序和重复

可靠性 Metamorphosis的可靠性保证贯穿客户端和服务器。 生产者的可靠性保证 消息生产者发送消息后返回SendResult，如果isSuccess返回为true,则表示消息已经确认发送到服务器并被服务器接收存储。整个发送过程是一个同步的过程。保证消息送达服务器并返回结果。 服务器的可靠性保证 消息生产者发送的消息，meta服务器收到后在做必要的校验和检查之后的第一件事就是写 ...
MetaQ 可靠性、顺序和重复MetaQ 
wbj0110 评论(0) 有1131人浏览 2013-10-08 10:06

MetaQ初探

MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，METAQ在阿里巴巴各个子公司被广泛应用，每天转发250亿+条消息。主要应用于异步解耦，Mysql数据复制，收集日志等场景。 总体结构   主要特点 生产者、服务器和消费者 ...
MetaQ初探MetaQ 
wbj0110 评论(0) 有1126人浏览 2013-10-01 00:10

[metaq]Broker

Broker是metaq的核心组件，负责消息的物理存储，分区指定等。例子配置文件 [system] #broker编号，集群唯一 brokerId=0 #这个broker指定的分区数 numPartitions=2 #nio port serverPort=8123 #异步刷盘策略，为0表示同步刷盘 unflushThreshold=0 #同上，刷盘间隔 unflushInt ...
metaqmq.brokerkafka 
iwinit 评论(0) 有3432人浏览 2013-03-26 17:38

[metaq]Producer

Procuder相对consumer来说比较简单，根据topic从zk拿broker列表，注意这里只拿master类型的broker，slave型的broker和master拥有同样的broker id，主要为了HA用。roubd-robin取一个partition，发送消息。   1.MetaMessageSessionFactory初始化zookeeper连接，创建MessageProdu ...
metaqproducermessage 
iwinit 评论(1) 有3867人浏览 2013-03-25 20:10

[metaq]Consumer

Metaq是一个类是kafka的消息系统，开源地址https://github.com/killme2008/Metamorphosis。 基于Pull的消息系统，consumer端保持了很多逻辑，比如当前拉取消息的offset，loadbalance等，使用zookeeper作为coordination。 简单类图 核心类ZKLoadRebalanceListener，负责集群感知，当 ...
metaqpullconsumerkafka 
iwinit 评论(0) 有3007人浏览 2013-03-22 16:01

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics