资讯频道 → 企业架构
阅读更多

1顶
0踩

企业架构

原创新闻 微信红包订单存储架构变迁的最佳实践

2017-01-25 09:52 by 副主编 jihong10102006 评论(0) 有8157人浏览
架构变迁 数据库 高可用

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
作者：莫晓东，微信支付高级DBA。擅长大规模MySQL数据库的架构、优化和高可用；目前专注于社交支付的存储层运维和架构优化。
责编：仲培艺，关注数据库领域，纠错、寻求报道或者投稿请致邮：zhongpy@csdn.net。
本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》


微信红包的由来
南方企业一直有过年找老板“逗利是”的习俗，每年春节后开工的第一天，腾讯大厦都会排上长长的队伍，集体上楼找老板们领红包。按照广东习俗，已经结婚的同事也要给未婚同事发红包，这一天腾讯员工就在春茗和寻找红包中度过。

由此孵化了一个内部项目，通过微信来收发红包，把这个公司全员娱乐活动与最活跃的IM平台微信结合起来。最初这个项目并没有预期对外，但是入口不小心开放后，成为了现象级产品。2014年开始爆发性增长，每年的发放量都是上一年的若干倍。根据腾讯公布的数据，到2016年春节，已经是每秒十万次支付，每天近十亿订单的系统。

微信红包本质是小额资金在用户帐户流转，有发、抢、拆三大步骤。在这个过程中对事务有高要求，所以订单最终要基于传统的RDBMS，这方面是它的强项，最终订单的存储使用互联网行业最通用的MySQL数据库。支持事务、成熟稳定，我们的团队在MySQL上有长期技术积累。但是传统数据库的扩展性有局限，需要通过架构解决。

前端流量控制
发十亿红包，难在哪里？大量用户在同一时间发抢红包，瞬间产生每秒数万次的请求，除夕可能成百千万次；这个量级的请求如果不加以疏导处理直接到达后台，必定会导致后端服务过载甚至崩溃。主要思路是缩短关键业务流程，分离可以通过异步、缓存等方式解决的问题，减轻系统压力，加快响应速度，在存储层前面建上一座大坝。

CGI无状态
接入层无状态，逻辑层也无状态，可以方便地水平扩展。但依赖MySQL事务保证交易完整，保证红包系统的精简，减少瓶颈的存在。

资源静态化
利用腾讯强大的基础资源优化部署，尽量把动态内容转为静态资源。静态资源和CGI分离，静态资源通过CDN就近接入，减少用户和CGI的交互，减少内网、访问延时和数据请求。

业务流程异步化
微信红包的发、抢、拆背后都有多个内部环境，关键流程精简，非关键流程和后续业务逻辑进入异步队列进行处理，减少了用户的等待时间，也极大降低了峰值雪崩的概率。繁多的非关键链路也不会影响到主流程。

过载保护
前端保护后端，能在前端处理，就不传递到后端。前端需要按后端能力做削峰限流；客户端、接入层、逻辑层逐层控制流量；前端更容易容错处理，全力保护存储层。微信的过载保护在客户端已提前预埋了策略，在连接失败或超时情况下会有相应提示，减少用户重复请求次数。接入层针对频繁发出请求的客户端限制响应速度，并对系统负载划分出若干等级，达到不同阈值时引导客户端使用不同限速速率；在异常情况出现时，异步限流降速减轻服务器端压力防止过载。

多级读缓存
发一个群红包，抢红包的请求量远大于发红包，如果已经领过完全可以拒绝。逻辑层增加缓存，类似可以缓存的请求都缓存起来，进一步减少存储层流量。

订单写缓存
订单系统有很多请求不会真正完成全流量，创建这些废单不但浪费存储资源，还会挤占逻辑层和数据层的处理能力，影响其他交易。订单在完成支付前可以先落在缓存中，完成支付后再持久化。


存储层的高可用设计
在数百倍千倍的业务增长下，存储层很难简单无限扩容，一方面设备成倍增加的成本巨大，另一方面存储层瓶颈堆积不一定能解决问题。

读写分离
写请求需要在主机上，实时读也需要走主机。有大量对延时不那么敏感，又影响性能的查询，完全可以放到从机。读写分离策略是MySQL分布式的入门，简洁地提高了系统容量。

水平切分
数据的水平切分，实质就是分库分表；选取一张数据表按照主要纬度把数据拆分开。实现存储层的平行扩展。有效降低了单台数据库机器的负载，也减小了服务不可用的可能性。单台数据库宕机只会导致部分数据不能访问。主要需要考虑路由规则的选定，方便扩缩容以及数据的均衡分布。

垂直切分
数据表除了水平切分，行内数据可以按属性进一步分开。核心表只保留最关键的字段，保证数据文件短小紧凑。以红包为例，昵称和祝福语这类较长的信息，不属于核心数据，完全可以切分到别的机器上，进一步提升核心数据库的容量。不同数据适合的存储类型也不一样，这类重复率高的长字符串更适合NoSQL存储，对存储空间和性能都是节约极大。

空间换时间
按不同纬度组织表，比如按订单属性和用户属性进行组织；适应不同的请求场景，避免复杂的查询。不同纬度的表可以通过对账对齐，非核心表可以适当冗余，减少多次请求。

锁的优化
多人争抢红包通过数据库事物来保证，必然存在竞争MySQL行锁。核心事物必须尽量精简，避免死锁。同一个订单的所有请求，尽量在逻辑层进程预排队后通过一个连接发送请求到数据库。

冷热分离
核心数据库存放高频数据，其他数据可以定时移到成本低的冷数据库中。这样可以为核心数据库使用最好的SSD设备，快速设备容量较小较贵，不可能在全量数据上使用。同时可以保证数据表的容量不会一直积累，大表也会导致性能下降。


异地多活
当系统足够大时，就必须开始考虑异地部署的问题，让数据尽可能离用户更近。而且进一步的高可用不能局限在同一地域，必须跨数据中心跨城多活才能抵御系统性风险。因为跨城的几十毫秒延时，微信红包的异地活动设计为多数据中心相互独立。非灾难灰度不会将其他数据中心的数据导入到线上

就近接入
以微信红包系统的异步部署为例，第一个好处是用户就近接入，减少跨城的穿越流量。根据发送者的地域标志数据落地到不同数据中心，在不同地域实现业务闭环。

数据分离
当前的网络技术限制，使用光纤也无法保证跨城数据的同步延时问题。所以微信红包的跨城数据中心并不进行数据实时同步。不同区域各自承载业务流量，地域上实现平衡，各地的订单数据各自独立存储。

异地容灾
如果出现地域性故障，我们需要有机制去保证服务可用性。有了异步部署，假如深圳出现系统性故障，那么我们可以直接把请求接入上海。各数据中心独立部署，如果某地系统达到最大容量，可以进行跨地域分流。

有损服务和柔性降级
我们遇到最多的问题就是海量请求，通过分布式系统来实现海量请求，根据CAP理论不能同时保证一致性和高可用，必须有取舍。我们首先保证可用性，同时实现最终一致性。有以下原则。

有损服务
要追求高可用性，可以牺牲部分数据一致性和完整性从而保证核心功能。在资源一定的前提下，满足用户的核心需求。微信红包的核心点是抢、拆红包，系统必须尽最大可能保证核心步骤流畅，但在瓶颈时立即降级防止引起系统雪崩。但是要保证数据能最终对齐，金融属性的系统数据安全硬要求。

柔性可用
柔性可用是在有损服务价值观支持下的方法，结合具体场景提供不同级别的用户体验，保证尽可能成功返回关键数据。把握用户在每一个场景中的核心需求，设计不同层次满足核心诉求的办法。系统首先要实现容灾和自动切换；其次逻辑资源应该隔离；服务过载时必须自动快速拒绝。

结束语
本文简单介绍了微信红包的存储层服务设计准则，在业务从起步到小跑再到腾飞的过程中，背后的海量服务能力将对其最终成败有着越来越深远的影响。在互联网爆发性增长中，海量服务能力决定项目成败，必须在项目初期就做好海量服务的准备。

订阅2017年程序员（含iOS、Android及印刷版）请访问 http://dingyue.programmer.com.cn


订阅咨询：
• 在线咨询（QQ）：2251809102
• 电话咨询：010-64351436
• 更多消息，欢迎关注“程序员编辑部”
  • 大小: 148.6 KB
  • 大小: 101.3 KB
  • 大小: 148.6 KB
  • 大小: 95.7 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • [笔记]微信红包订单存储架构变迁的最佳实践

    前言微信红包在2017年又是一波大火，官方数据：除夕夜当天共142亿个红包，峰值76w/s个红包，作为技术菜鸟，更关注其背后强大的支持体系，与高可用之道，正好看到“微信红包订单存储架构变迁的最佳实践”这篇文章，从...

  • 2个大厂 100亿级 超大流量 红包 架构方案

    用户可以在任意一端参与字节的春节活动获取奖励，以抖音红包雨现金红包入账场景为例，具体的业务流程如下：登录抖音 → 参与活动 → 活动钱包页 → 点击提现按钮 → 进入提现页面 → 进行提现 → 提现结果页，另外从...

  • 揭秘微信红包：架构、抢红包算法、高并发和降级方案

    原文地址：https://blog.csdn.net/starsliu/article/details/51134473编者按与传统意义上的红包...按照各家公布的数据，除夕全天微信用户红包总发送量达到80.8亿个，红包峰值收发量为40.9万个/秒。春晚直播期间讨...

  • 揭秘微信红包架构、抢红包算法和高并发和降级方案

    转自： ...历经上千年时代传承与变迁，春节发红包早已成为历史沉淀的文化习俗，融入了民族的血脉。按照各家公布的数

  • 微信后台基于时间序的新一代海量数据存储架构的设计实践

    大约3年前，微信技术团队分享了《微信后台基于时间序的海量数据冷热分级架构设计实践》一文，文中总结了微信这种超级IM基于时间序的海量数据存储架构的设计实践，也得以让大家了解了微信后台的架构设计思路。...

  • 基于SpringBoot+Vue的“智慧食堂”设计与实现（Java毕业设计，包括源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • 历届奥运会奖牌数据（1896-2024年）.xlsx

    本次分享的数据为1896年-2024年（从雅典到巴黎）间奥运会奖牌数据，包括年份、届次、国家地区、名次、金牌、银牌、铜牌等数据，含免费下载链接 ## 一、数据介绍 数据名称：历届奥运会奖牌数据 数据范围：世界各国 样本数量：1877条 数据年份：1896年-2024年 数据说明：包括届次、国家、名次等数据

  • 基于SpringBoot+Vue的实习管理系统（Java毕业设计，包括源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • 【人机交互】MATLAB直车道线检测.zip

    【人机交互】MATLAB直车道线检测

  • 基于SSM+JSP的KTV点歌系统+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • 基于SSM+JSP的课程在线教育资源管理系统(1)+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • 2023年计算机硬件的组装实验报告.pdf

    2023年计算机硬件的组装实验报告.pdf

  • springboot大学生租房系统 LW PPT.zip

    ava项目springboot基于springboot的课程设计，包含源码+数据库+毕业论文

  • Flutter分析：带有质量平衡部分机翼的MATLAB计算（含Elastic轴与中心对齐）

    内容概要：本文档主要针对含有质量平衡段（即弹性轴和重心重合点xa=0）的硬翼Flutter问题提供了MATLAB解决方案。文档通过迭代的方式对一系列参数（如频率比(fr)、弹性轴(E)和半径(r)等）进行操作，并利用贝塞尔函数(Kn)来评估flutter速度(UFhat)，从而预测了不同质比(mu)下flutter的缩减速度变化情况。同时，文档包含了绘图命令以视觉展示减小颤振速度随质量比变化的趋势以及相应的MATLAB代码。 适合人群：航空工程、飞行器动力学领域的科研工作者，工程师及研究生。尤其是那些从事飞行安全性和稳定性研究的专业人士。 使用场景及目标：主要用于解决飞行器设计过程中遇到的具体颤振问题，能够为设计新型飞机或其他有翼飞行物体提供科学依据和技术支持。它还能够辅助教育，帮助相关专业的学生理解flutter现象及其预防措施。 其他说明：此文件是以数值方法探讨带质量平衡的翅膀颤振特性的实例，在工程上有着重要意义。对于希望深入学习此类问题的人来说，这是一个极好的参考资料和实验平台。然而，实际应用还需要进一步考虑真实条件下的复杂因素，因此需要更多的专业知识和背景资料的支持。

  • 基于JAVA的机场航班起降与协调管理系统&毕业设计&毕业论文&数据库&演示视频&源代码

    本次项目是设计一个基于JAVA的机场航班起降与协调管理系统。 （1）在经济可行性上来分析的话，该软件是机场内部使用的一个指挥协调软件，属于航空安全投资，本软件开发成本并不高，软件和服务器数据库可以用机场原有的数据库进行开发，比起空难给航空公司造成的损失来说九牛一毛。 （2）在技术可行性上来分析的话，该软件主要运用了Java技术、jQuery-easyui和Mysql数据库技术。Java是到目前来说最稳定的、最可靠的软件开发工具；jQuery-easyui虽然是比较新的前台开发技术，但是他的界面新颖整洁，适合于功能性软件的开发；Mysql数据库也是许多大公司都采用的软件项目开发数据库，不仅稳定而且性能可靠，可以用作本次软件的开发。 （3）在法律可行性上来分析的话，该软件使用的技术都为开源的软件开发工具和语言，虽然Java等开发技术都存在Sun公司的版权问题，但是Java技术是可以免费使用的，没有涉及到法律上的侵权。 （4）在方案可行性上来分析的话，此次软件开发的很大一部分精力都放在了软件的需求分析和设计方面，设计出来的软件可以很好地去实现我们所要完成的软件预先设计的功能。

  • 2023年计算机与通信网络实验报告.pdf

    2023年计算机与通信网络实验报告.pdf

  • 2023年四川省德阳市统招专升本计算机自考真题(含答案).pdf

    2023年四川省德阳市统招专升本计算机自考真题(含答案).pdf

  • 基于SSM+JSP的农产品供销服务系统+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • 篮球论坛系统--论文.zip

    Java项目基于springboot的课程设计，包含源码+数据库+毕业论文

Global site tag (gtag.js) - Google Analytics