阿里2013双十一备战中的技术突破

25顶
3踩

2013-11-08 16:26 by 副主编 wangguo 评论(20) 有36316人浏览

阿里巴巴淘宝 CDN 压力测试 mysql

临近双十一，铺天盖地的广告一波一波袭来，各大电商已经投入了全部的精力和营销手段，为了市场份额放手一搏，而这背后需要有强大的技术作支撑。也可以说，技术层面的竞争是双十一战斗的第一场。

下面的内容来自天猫产品技术部总监庄卓然，他简述了阿里巴巴如何备战2013年的双十一。原文内容如下。

今年是双十一购物狂欢节的第五个年头，每一年这个时刻对于技术团队而言都是一次真刀实枪的数字战争。一方面，我们会提前在产品和业务层面努力创新，力争在当天为消费者留下更优质的购物体验。另一方面，全国人民的热情也是技术架构和细节不断优化的动力。下面我就简单介绍下，今年双十一的准备过程中技术上的一些突破和亮点。

全链路压测

压力测试对于评估网站性能的重要性是不言而喻的，但是，无论是线下模拟的单一集群的压测，还是线上引流压测，都只是能够暴露一些基本的单点问题。对于双十一当天高峰期的真实压力模拟，这两种传统的压力测试方式还存在着巨大偏差。首先是业务处理链路的复杂性，对于像天猫这样的一个分布式处理平台，一笔交易的创建会涉及多个应用集群的处理，在能力评估时也应该考虑的是一个处理链路而不仅仅是单一应用集群的处理能力。其次是应用之外的风险点，像网络、DB等等，很难在传统压测中体现出来。

为了解决这些问题，今年阿里几个技术团队联合在一起，通过线上真实用户数据与人为测试数据相结合的方式，首次成功地在生产环境中模拟出相对真实的超大规模的访问流量，将前端系统、网络、DB等一整个系统环境完整地纳入压测范围，贴近实际的应用场景，为评估淘宝和天猫交易核心链路的实际承载能力提供有说服力的数据依据。一方面可以验证交易核心链路上各种限流和预案的准确性，另一方面也充分暴露了全链路上的各种瓶颈和隐藏风险点，让压力测试的工作真正落实到了确定性的层面上。

CDN静态化

很多浏览型业务，例如天猫详情页、店铺等，是典型的静态数据偏多，动态数据偏少的应用。对于这种类型的应用集群，去年我们在架构上的主要工作就是通过静态化实现了动静分离，静态数据缓存在本地缓存，动态数据异步进行加载。改造前后单机QPS提升了10倍。

今年上半年我们在这个基础上，将本地cache改造成了统一的集中式缓存，这样，一方面降低了各个应用接入和维护cache的成本，另一方面加强了失效机制实时性和监控的自动化，更重要的是大大提升了缓存的命中率。

除此之外，为了进一步解决主站容量瓶颈，在统一cache层之上，我们把静态HTML内容直接缓存在CDN上。这样，静态数据的访问完全不用回流到主站机房，在离用户最近的CDN节点就能完成，用户端的响应速度自然得到了大大的提升。当然这个实现的过程远没有说起来这么简单，中间很多技术的难点，例如商品信息变更如何实现秒级的主动失效，如何保证节点到主站之间的网络稳定等等，这里先卖个关子，大家可以期待下双十一之后阿里技术团队的详细分享。

个性化算法

个性化技术已经逐渐被证明可以有效提高电商网站的流量分配效率，让消费者更容易找到自己想要的商品和品牌，让长尾商品和商家有机会获得精准的流量。

今年双11是天猫第一次在大促中脚踏实地的实行个性化，从PC 到无线，从“会场”到“我的双11”，都可以看到个性化在无形中提升天猫的消费者购物体验，让有潜在需求的买家更容易找到心仪的宝贝。

对个性化引擎而言，由于要进行复杂的算法运算：用户实时意图计算、相关商品检索、CTR 预估、“推荐解释”等等，活动当天系统承担的技术挑战更大，为了解决系统方面的压力，我们一方面优化了算法，将更多的算法移植到离线平台计算，另一方面，通过CDN，将大部分Item Based 算法结果做了静态化处理，目前cache 比例可以达到90%左右，整个天猫个性化引擎的集群已经可以在当天负载近百万QPS的推荐服务。

同时，双11用户行为与平常差异性较大，使得基于机器学习的用户行为偏好，需要针对双11增加品牌折扣度等特有的特征修正训练目标，避免产生偏差（bias）。

另外，一般来说，算法调优都通过线上测试来进行效果评估，通常需要数天到数周的时间，但是双11只有一天的机会，为了充分保证算法的线上效果，我们设计了离线评估系统，离线模拟线上效果，减少了对线上真实流量的依赖，降低了线上风险。

从这几天预热期的效果来看，对比运营人员制作的活动页面，个性化技术已经将加入收藏夹和购物车的转化率提升30%以上。

讲了这么多，不知道大家是否对双十一当天更加期待了呢？

一些数据

2012年的双十一，淘宝总交易金额191亿，订单1亿零580万笔，其中无线支付近900万笔，生成15TB日志，核心MySQL集群一天支持了20亿个事务。今年，让我们拭目以待，新的技术记录的诞生！

Via 阿里技术保障部

来自: 阿里技术保障部

分享到：

25
顶

3
踩

评论共 20 条请登录后发表评论

20 楼 dohkoos 2014-03-08 13:19

对全链路压测比较感兴趣

19 楼 yicong 2014-01-02 10:28

xiaObaiRabbit 写道

除非被银联拖死否则淘宝和支付宝是没有压力的为什么? 因为阿里巴巴集团的技术用的都是开源的和自己研发的技术和框架和自己修改源码的mysql和一些开源的nosql等都是免费的而且可以很好的支持水平扩展量大的时候加几台廉价机器就是了而银行却不一样银行用的都是高额收费的软件和数据库比如db2 oracle websphere ibm消息银行要加机器的话这等软件都是按核数收费的银行加一台机器的成本是阿里巴巴的无数倍所以不要指望银行会加机器所以淘宝会提前让用户充值到支付宝里这样就减少和银联的交互阿里集团自己的技术对承受大并发的访问是毫无压力的

瞎扯，这不是钱的问题，是架构的问题。

18 楼 tsxm 2013-11-19 19:05

ray_linn 写道

这个没啥技术难点，所以页面能静态化就静态化，之后就是烧钱的事了。

膜拜牛人

17 楼 chptcleo 2013-11-18 15:26

做双十一的压力测试确实难度很大

16 楼 grt 2013-11-18 14:08

淘宝技术实力雄厚

15 楼 xiaObaiRabbit 2013-11-16 22:44

14 楼 szmq2 2013-11-14 13:30

如果没有支付宝，网银当天必挂

13 楼 wangyang6311 2013-11-14 09:36

为什么支付宝12点多的时候一直付款不成功！能低调点不！

12 楼 jiangnan2112 2013-11-13 21:39

真正有内涵的东西没有透露出来，怕人家学去吧，其他的好像没什么，老生常谈

11 楼 ray_linn 2013-11-13 13:22

牛皮都吹破了，事实证明这些手段都没管用。。。。

10 楼 aa87963014 2013-11-11 10:25

我们更关心实时系统怎么支持这么高的事物

9 楼 hot66hot 2013-11-11 09:42

云中苍月写道

阿里的技术一直值得称道！不过我更关心的是如何提升实时交易系统吞吐量，比如支付宝的TPS。而那些通过各种缓存技术就能解决的只读业务的性能提升研究这些年看来看去多少有些审美疲劳了。

LMAX架构。。。

8 楼非法用户 2013-11-11 00:31

支付宝都登录不了

7 楼 hwy1782 2013-11-10 19:50

不知道是否使用了类似google dapper这样的方式

6 楼 hwy1782 2013-11-10 19:45

全链路压测这个蛮好奇的。有了短板数据才能加机器、服务降级也能更有针对性

5 楼 xo_tobacoo 2013-11-09 15:31

双十一给他搞点拒绝服务攻击，协助测试性能？

4 楼 ray_linn 2013-11-09 15:25

这个没啥技术难点，所以页面能静态化就静态化，之后就是烧钱的事了。

3 楼非法用户 2013-11-09 13:10

天猫今天好几个页面都报错，刷一下又好了

2 楼 lvwenwen 2013-11-08 22:57

阿里的技术一直值得称道

1 楼云中苍月 2013-11-08 17:25

发表评论

您还没有登录,请您登录后再发表评论

25顶3踩