`
IXHONG
  • 浏览: 450367 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

支付宝系统架构

阅读更多

支付宝系统架构概况

QQ20150605112628

典型处理默认

QQ20150605112641

资金处理平台

QQ20150605112653

财务会计

QQ20150605112701

支付清算

QQ20150605112710

核算中心

QQ20150605112730

交易

QQ20150605112751

柔性事务

QQ20150605112821

QQ20150605112834

QQ20150605112857

QQ20150605112909

QQ20150605112919

QQ20150605112929

QQ20150605112943

QQ20150605112954

QQ20150605113005

QQ20150605113016

支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)

Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量、顺序消息、广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源。

Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件,你应该听说过JMS规范,以及一些开源实现,如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。

Metamorphosis 的起源是我从对linkedin的开源MQ–现在转移到apache的kafka的学习开始的,这是一个设计很独特的MQ系统,它采用pull机制,而 不是一般MQ的push模型,它大量利用了zookeeper做服务发现和offset存储,它的设计理念我非常欣赏并赞同,强烈建议你阅读一下它的设计 文档,总体上说metamorphosis的设计跟它是完全一致的。但是为什么还需要meta呢?

简单概括下我重新写出meta的原因:

1.Kafka是scala写,我对scala不熟悉,并且kafka整个社区的发展太缓慢了。

2.有一些功能是kakfa没有实现,但是我们却需要:事务、多种offset存储、高可用方案(HA)等

3.Meta相对于kafka特有的一些功能:

  • 文本协议设计,非常透明,支持类似memcached stats的协议来监控broker
  • 纯Java实现,从通讯到存储,从client到server都是重新实现。
  • 提供事务支持,包括本地事务和XA分布式事务
  • 支持HA复制,包括异步复制和同步复制,保证消息的可靠性
  • 支持异步发送消息
  • 消费消息失败,支持本地恢复
  • 多种offset存储支持,数据库、磁盘、zookeeper,可自定义实现支持group commit,提升数据可靠性和吞吐量。
  • 支持消息广播模式
  • 一系列配套项目:python客户端、twitter storm的spout、tail4j等。

因此meta相比于kafka的提升是巨大的。meta在淘宝和支付宝都得到了广泛应用,现在每天支付宝每天经由meta路由的消息达到120亿,淘宝也有每天也有上亿的消息量。

Meta适合的应用

  • 日志传输,高吞吐量的日志传输本来就是kafka的强项;
  • 消息广播功能,如广播缓存配置失效;
  • 数据的顺序同步功能,如mysql binlog复制;
  • 分布式环境下(broker,producer,consumer都为集群)的消息路由,对顺序和可靠性有极高要求的场景;
  • 作为一般MQ来使用的其他功能。

QQ20150605113032

QQ20150605113042

分享到:
评论

相关推荐

    支付宝系统架构分析.pdf

    本文将深入探讨支付宝系统架构的关键组成部分及其功能。 1. 系统架构 支付宝的系统架构采用分布式微服务设计,以实现高并发处理能力、高可用性和可扩展性。它包括多个子系统,如订单处理、支付处理、用户管理、风险...

    支付宝系统架构参考.docx

    以下将详细解析支付宝系统架构的主要组成部分及其功能: 1. **清算系统**: 清算系统是支付宝的核心组件之一,负责处理每日交易的资金结算。它确保了用户交易的正确性和及时性,包括对账、资金划拨、跨境支付等...

    淘宝&支付宝系统架构

    总的来说,淘宝和支付宝的系统架构都是在应对海量并发、高可用、高安全性的挑战下逐步演化出来的。它们采用了众多先进的技术和最佳实践,如微服务、分布式数据库、消息队列、负载均衡、大数据分析等,为用户提供高效...

    支付宝钱包系统架构内部剖析(架构图)

    #### 支付宝系统架构概况 支付宝作为全球领先的数字支付平台之一,其钱包系统的稳定性和高效性对于确保数亿用户的日常交易至关重要。支付宝钱包系统的架构设计充分考虑了高并发、低延迟、安全可靠的需求。本文将...

    支付宝可用系统架构

    #### 二、支付宝系统架构发展历程 ##### 1. 第一代架构:烟囱型架构 (2005-2006) - **服务范围**:主要支持淘宝平台的担保交易。 - **交易笔数**:少于1万笔/天。 - **代码量**:十万级别。 - **技术团队规模**:...

    支付宝整体架构设计全解.pptx

    支付宝整体架构介绍,支付宝整体账户体系、整体技术架构、资金流和信息流的全面描述

    支付宝全局技术架构的设计漫谈.docx

    于是,曹刚等工程师通过SOA理念,将系统拆分为金融交换层、网关层和服务处理层,创建了金融网络平台,奠定了支付宝技术架构的基础。 作为一线研发人员,曹刚对SOA有了深入理解,包括架构设计、运维体系和全栈架构...

    支付宝整体架构PPT课件.pptx

    业务流程是指支付宝的业务流程和系统架构的整体设计,内部业务流是指支付宝的内部业务流程和系统架构的整体设计,外部业务流是指支付宝的外部业务流程和系统架构的整体设计。 业务流与资金流联动 支付宝的业务流与...

    支付宝高可用系统架构

    支付宝架构方面,为何可以支撑亿万级别的支付处理能力,文件简单直接的支出一些关键点,可以适合有这方面发展想法的人研究。

    支付宝架构(淘宝交流版)

    #### 四、支付宝业务与系统架构发展路线 - **2005-2007年**:支付宝初步建立了业务系统,并逐步引入了网银、卡通等支付方式,形成了初步的服务框架。 - **2007-2008年**:完成了一代架构的核心项目,包括交易服务化...

    支付宝源码

    支付宝源码是一个深入理解支付宝系统架构和技术实现的重要资源,对于想要深入学习支付系统开发的IT从业者来说极具价值。这个源码包含了支付宝快捷登录和担保交易的功能模块,让我们有机会一窥支付宝内部的工作机制。...

    重构全局系统架构的方法与工具

    本文将深入探讨重构全局系统架构的方法与工具,特别是从支付宝这一典型案例出发,分析其如何从单一业务模型成长为支持多种商业模式的支付平台,以及在此过程中面临的挑战与解决方案。 #### 架构重构的重要性 架构...

    支付宝 Android 架构

    支付宝Android客户端高度重视监控与日志系统,主要包括以下方面: - **用户行为监控**:记录用户操作习惯,为产品迭代提供数据支持。 - **质量监控**: - **Crash监控**:实时监测崩溃情况,及时修复问题。 - **...

    【系统架构】最全最强解析:支付宝钱包系统架构内部剖析(架构图).docx

    支付宝钱包系统架构内部剖析 支付宝钱包系统架构概况: 支付宝钱包系统架构是基于分布式架构设计的,旨在提供高性能、可扩展、可靠的支付服务。该系统架构主要由以下几个部分组成: 1. 默认资金处理平台:负责...

    支付宝架构演化(支付软件体系结构演变)

    支付软件的系统架构演变 1. 单体应用架构:早期的支付宝可能采用这种架构,所有功能集成在一个应用中,易于开发和部署,但随着用户量增加,维护和扩展变得困难。 2. 单数据库实例的分布式服务架构:为缓解单体架构...

    企业IT高可用与容灾架构演进.docx

    #### 支付宝系统架构演进 支付宝的系统架构经历了三个阶段的发展: 1. **童年时期(2004年~2011年)** 在这个阶段,支付宝的系统架构相对简单,采用商用负载均衡器(LB)进行流量分配,并通过VIP(虚拟IP)进行...

    支付宝架构师眼里的高可用与容灾架构演进

    本文来自于网络,文章详细介绍了支付宝架构的发展历程,以及如何使支付宝系统架构具有很强的高可用性和容灾能力等。企业服务、云计算、移动互联网领域中,高可用的分布式技术为支撑平台正常运作提供着关键性的技术...

    架构师技术分享 支付宝高可用系统架构 共46页.pptx

    本文将深入探讨支付宝高可用系统架构的发展历程和关键技术,旨在为软件架构师提供宝贵的实践经验与技术洞察。支付宝作为全球领先的支付平台,其系统架构经历了从初期的烟囱型服务到面向服务型,再到云平台型的演进,...

Global site tag (gtag.js) - Google Analytics