阅读更多

2顶
8踩

行业应用

原创新闻 鏖战双11,电商架构大起底

2014-11-11 10:18 by 正式编辑 cao345657340 评论(9) 有11634人浏览
摘要:2014年双11异常火爆,不管是销售数字,还是用户体验,这次全民购物狂潮再次刷新了过去的所有记录。而在这一切背后,需要稳定高效的系统架构设计来提供有力支持。本文揭示了国内各大知名电商架构设计的最佳技术实践。
【导读】自2009年11月11日,淘宝商城(现名天猫)拉开网购狂欢节的序幕,各大电商的促销浪潮此起彼伏。此时的电商大战不仅是价格之争,更是技术的较量。如何设计电商峰值系统来更好地满足用户蜂拥而至的访问,如何在海量数据处理中实时发现有效信息并转化为商机,成为众多电商企业密切关注的问题。

2014年双11异常火爆。天猫、京东、当当、小米、1号店、海尔商城、唯品会、蘑菇街、麦包包等国内各大电商企业,展开了更为激烈的竞争,而稳定高效的系统架构设计是保障这一系列竞争顺利进行的关键。本专题收集了各大知名电商的架构设计实践。让大家一起来切身感受,这场购物狂欢背后的技术狂欢。

目录

快稳炫:电商峰值系统架构三字诀。 双11这样的大型促销活动带来的是流量暴涨,在高访问量的冲击下,电商系统会受到以下挑战:瞬间访问量可能是平时的几十倍;网络带宽被占满,用户响应很慢;机器负载高甚至宕机;数据库压力过大导致服务不可用。此时,如何设计电商峰值系统来更好地满足用户蜂拥而至的访问,如何在海量数据处理中实时发现有效信息并转化为商机,成为众多电商架构师都在认真思考的问题。解决这一问题的核心思路:采用分而治之的思想,大系统小做,小系统大做。浓缩一下就是三个字:快、稳、炫。

当当网系统分级与海量信息动态发布实践。摸清业务模式和活动特点,是设计和运维高峰值电商系统,即高伸缩性系统的重中之重。但从另一个角度来说,在没有动态弹性部署的前提下,过度的设计和服务器部署是一种浪费,特别是硬件非常有限的寿命会带来每年巨大的成本摊销。当当网根据业务发展速度和业务运营规律,结合多年的经验,制定的系统伸缩性的设计原则和硬件常备策略使各流程能够直接应对日常5倍业务量的上涨。通过增加服务器的方式,能够应对10倍业务量上涨。而如果要应对10倍以上的上涨,则需要提前做有针对性的系统优化。但无论当前承受的业务量是否超过了设计范围,都不能影响设计范围内业务量的正常处理。

“米粉节”背后的故事——小米网抢购系统开发实践。 今年4月的“米粉节”对小米网来说意义非凡,是其彻底重构后迎来的一次全面压力测试,涉及网站前端、后台系统、仓储物流、售后等各环节。此时,高并发的负载能力、稳定性、准确性等已不是问题,灵活性与可运营性成为关键。

京东峰值系统设计。京东是如何在双11大促时,保证用户有平滑流畅的体验,且系统不会出现异常的呢?京东的业务种类繁多,系统非常庞大,外部需要对接供应商、消费者和第三方商家三大板块。内部系统包括了商品供应链中除商品设计和生产外的几乎所有环节,包括登录、交易、后台、供应链、仓配、客服等。除此之外,京东系统交互强,各个功能模块之间关联性强,牵一发而动全身,做任何修改都需要慎之又慎。因此,京东电商系统的设计是围绕系统稳定性、可靠性、高并发和可扩展性为核心开展的。

海尔电商峰值系统架构设计最佳实践。多数电商平台都会经历相似的过程,流量和业绩每年以几倍至十几倍的速度增长,每年都要接受几次大规模、全方位的系统检阅,例如双11、周年庆等购物狂欢节,期间流量和订单可能是日常的十几倍甚至几十倍,产生的峰值对平台形成极其强烈的冲击,对电商平台的架构带来巨大的考验。 因此,对电商平台的规划和架构工作不仅要高瞻远瞩,而且要细致入微,否则将导致平台无法满足高速增长的业务发展,细微处的失误也可能造成严重后果,不仅影响业务指标的实现,还可能导致对系统进行重新架构,劳时费力又伤钱。

唯品会峰值系统的架构演变。唯品会每年最大力度的促销活动在4月19日,就是419(For One Night),意在告诉唯品会用户只有这一晚有这么大的折扣力度。唯品会是一个闪购网站,用户来得越早,越能买到又便宜又好的东西,所以在大促的一开始,会涌入大量用户,形成系统流量峰值。本文总结了唯品会419时日志平台遇到的问题和解决方案,同时根据实践经验,整理了在面对峰值前要做的准备。

1号店电商峰值与流式计算。京电商行业的很多业务,强调访问处理的实时性,包括电商搜索引擎、基于用户购买行为的实时商品推荐和针对网站流量的监控及反作 弊等功能。这些业务要求处 理行为达到秒级甚至毫秒级的时延,从而促进了以Storm为代表的流式计算系统的推广和应用。1号店结合自己的业务需求,在力求降低成本的前提下,最终采纳Storm计算框架来实现自己的分布式流计算平台。本文中详细阐释了这一过程中的最佳技术实践。

蘑菇街如何在双11中创造99.99%的可用性。 双11购物节来临前夕,蘑菇街积极备战,保障这种大型促销活动能正常有序地进行,确保99.99%以上的可用性。大致思路是:首先,清晰的架构划分可以大大减轻稳定性工作量;其次,功夫要尽量在平时做足,避免总是出临时解决方案;再次,普及稳定性思维,注意细节;最后,出现问题,先快速恢复再查找根源。

麦包包峰值架构实践:履单流程的弹性架构。 OMS(订单管理系统)是电商ERP系统中的核心模块,其中的订单履行流程(履单流程)是消费者购物过程中有直接感知的最后一段,关系到用户体验,其正确性和时效性必须得到保证。同时履单流程也是电商系统中直接面对销售高峰带来的短时间内剧增的数据量的子系统之一,如何在流量骤增10倍甚至更多的情况下保证OMS的正常服务,是每一家电商密切关注和不断改进的重点,也是本文分享的核心经验。


传统企业电商峰值系统应对实践(商派架构实践)。在一个典型的电商系统中,核心对象主要有三个: 会员、商品和订单。整个系统主要是为消费者服务,运营模型以流量与用户量为核心,流量以导入新客户为主,用户量代表着老客户的贡献。双11这样的场景要求我们对系统进行合理的峰值架构设计,以保证业务的顺利开展。那么一个能够应对短时间流量暴涨的电商系统,在同时考虑成本因素的情况下,具体会遇到哪些瓶颈,主要需要解决哪些层面的技术障碍呢?

电商峰值监控经验谈(基调网络实践)。在一年一度的“双11”购物狂欢节来临时,要确保用户享受“快、稳、炫”的抢购体验,技术工程师们需要解决瞬间高并发的诸多问题,如海量数据处理、网络传输产生的延迟和负载均衡,等等。那么,如何在第一时间了解出现的问题并及时解决问题呢?一套完整的应用性能管理解决方案在电商峰值架构中将发挥无比重要的作用,有了性能管理的保护伞,就可将“宕机”永远留在襁褓中。

节选

蘑菇街如何在双11中创造99.99%的可用性

双11购物节即将来临,蘑菇街积极备战各种大型 促销活动,为全国性的互联网购物节贡献自己的 一份力量。保障这种大型促销活动能正常有序地 进行,确保99.99%以上的可用性,是我们需要面 对的一个严峻考验。因此,我们的工作主要依据 以下几个思路开展。


该做什么的就做什么

保障整个系统的可用性和稳定性,第一步需要做 的就是,使整体架构清晰化、层次化。那么,对系统进行合理拆分,是最直观的选择。从业务和技术角度出发,遵循SRP(Single Responsibility Principle)原则,合理拆分系统中的各个模块,明确每个模块的职责。这样可以方便快速定位和排查问题,甚至可以有针对性地对每个模块进行优化。

拆分方式基本上分为两种,路由拆分和物理拆 分。所谓路由拆分,就是按照请求特征,将请求流量分摊到两个或多个同质的集群里面;而物理拆分,就是在路由拆分的基础上,按照业务和技术上的特征,将同质的集群进行彻底拆分,成为非同质集群。

下面以交易流程为例,来看一下如何操作拆分。交易流程主要包括购物车、下单、支付等几个环节,具体的拆分结果,如图1所示。



图1  交易流程拆分结果

经过分析,整个交易流程按照架构层次可以分解为展示层、业务层及外围应用三块内容,这三部分由于职责差异比较大,所以先按照物理拆分,让层次清晰。

再来看展示层,由于存在一些共享的东西,如页面元素等,做物理拆分,会引入额外的成本,所以路由拆分是不错的选择。

接着来看业务层。这一层是很容易按照角色和业务场景进行拆分的,例如,交易管理服务是给管理人员提供管理功能的,需要考虑权限、内控等问题;交易核心服务是给业务主流程提供主要业务功能,需要考虑可用性;交易查询服务是读取交易数据的主要途径,需要考虑易用性;交易网关服务主要是对接外部支付渠道,需要考虑连通性。很明显,这一层由于自身的差异性比较大,所以采用物理拆分是上上策。

最后来看外围应用,其中包括后台管理、日志查 询、业务监控及交易超时控制等,这些应用基本上都是在底层系统平台(管理平台、日志平台、监 控平台以及任务平台)进行二次开发而成的,所以天生就适合进行物理拆分。

从上面不难看出,拆分是一个细活,可以选择的 维度很多,拆分方式也比较讲究。良好的拆分方案,会让系统更加清晰明了,每个模块该做什么的就做什么。这样应对大型促销活动时,可以游刃有余地按照模块特征进行优化。

……

小结

本文讲述了蘑菇街在确保可用性和稳定性实践中的一些工作思路,但并不是说做好以上几点,就能够保证网站在大型促销活动中的99.99%可用性和稳定性,只能算是在实践过程中得到的一些经验。

总结一下在可用性和稳定性工作中的一些感悟。 首先,清晰的架构划分可以大大减轻稳定性工作量;其次,功夫要尽量在平时做足,避免总是出临 时解决方案;再次,普及稳定性思维,注意细节;最后,出现问题,先快速恢复再查找根源。 
  • 大小: 37.4 KB
来自: CSDN
2
8
评论 共 9 条 请登录后发表评论
9 楼 GavinHwa 2014-11-15 20:38
连淘宝阿里的都不讲,这篇文章的力度就太小了....

目前可以吹牛逼的说,中国目前国内最NB的电商系统也只有阿里了...因为只有他是世界级的....

其他的就用着吧...
8 楼 hbmfx 2014-11-14 08:53
说了半天,只是在说蘑菇
7 楼 malie0 2014-11-13 10:35
怎么感觉这篇文章写了跟没写一样
6 楼 lvhjean 2014-11-12 23:01
话说哪家更给力呢?
5 楼 ray_linn 2014-11-12 16:34
淘宝表现很挫,又慢又狗血。
4 楼 houyujiangjun 2014-11-11 23:37
蘑菇街续费了
3 楼 bitray 2014-11-11 18:08
蘑菇街最近续费了啊。不少文章都帮她了啊
2 楼 java007008 2014-11-11 16:42
电商架构大起底
1 楼 dsjt 2014-11-11 14:05
是不是有几个链接没有附上??

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 电商峰值系统架构设计

    如何设计电商峰值系统来更好地满足用户蜂拥而至的访问,如何在海量数据处理中实时发现有效信息并转化为商机,成为众多电商架构师都在认真思考的问题。针对峰值现象,各家电商陆续推出了自己的解决方案。设计良好的...

  • 电商峰值系统架构设计--转载

    摘要:双11来临之际,《程序员》以“电商峰值系统架构设计”为主题,力邀京东、当当、小米、1号店、海尔商城、唯品会、蘑菇街、麦包包等电商企业,及商派、基调网络等服务公司,分享电商峰值系统架构设计的最佳技术...

  • 电商峰值系统设计

    摘要:双11来临之际,《程序员》以“电商峰值系统架构设计”为主题,力邀京东、当当、小米、1号店、海尔商城、唯品会、蘑菇街、麦包包等电商企业,及商派、基调网络等服务公司,分享电商峰值系统架构设计的最佳技术...

  • 平时收藏的URL(持续更新)

    14、鏖战双11,电商架构大起底   http://www.csdn.net/article/2014-11-11/2822572 15、BigPipe,加速你的页面加载   http://blog.csdn.net/yangqicong/article/details/7057974 16、 ...

  • 十年,他们在云上修了一条“高速公路”

    彼时,没人能想到,网关和交换机这两座网络大闸将会用怎样的姿态迎接双11的流量洪峰。 直到2019年双11,渔滨团队研发的“高性能硬件网关”承载了10T级别的流量,稳定保障了阿里经济体100%核心系统上云。 图:阿里云...

  • 互联网优化

    序飞起来的秘诀 ... [实战]3天让Web应用承载拓展1000倍 ...架构高性能海量图片服务器的技术要素 [url]http://my.oschina.net/beiyou/blog/83210[/url] 由12306.cn谈谈网站性能技术 [url]http://

  • 阿里云资深DBA专家罗龙九:云数据库的安全和稳定是一个全链路的事情

    本次峰会邀请到阿里集团9位技术大V,分享电商架构、安全、数据处理、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验,解读最新技术在阿里集团的应用实践。 本次峰会全部开放,免费注册,...

  • 在阿里,40岁的奋斗姿势

    X86平台这条路已经走到底了,通过堆叠服务器的方式,无论是功耗还是成本都将是难以承受之重。 机会总是垂青有准备的人!这句话太对了,对到简直就是一句废话。你永远无法证伪。 你没得到机会,别人说你没准备好。...

  • Delphi 12.3控件之数据库开发基础课程SQL学习01-认识Navicat SQL工具,创建数据库和表.rar

    Delphi 12.3控件之数据库开发基础课程SQL学习01-认识Navicat SQL工具,创建数据库和表.rar

  • 基于java的ssm教学质量评价系统(含LW+PPT+源码+系统演示视频+安装说明).7z

    本教学质量评价系统采用的数据库是Mysql,使用JSP技术开发。在设计过程中,充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。 通过标签分类管理等方式,实现管理员;个人中心、公告信息管理、学院管理、学生管理、教师管理、督导管理、教师信息管理、学生评教管理、督导评教管理,学生;个人中心、公告信息管理、教师信息管理、学生评教管理,督导;公告信息管理、教师信息管理、督导评教管理,教师;个人中心、公告信息管理、教师信息管理、学生评教管理、督导评教管理等信息管理功能,从而达到对教学质量评价系统信息的高效管理。 关键词:教学质量评价系统 ,JSP技术,Mysql数据库

  • springboot社区养老服务系统设计与实现(代码+数据库+LW)

    摘  要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本社区养老服务系统就是在这样的大环境下诞生,其可以帮助使用者在短时间内处理完毕庞大的数据信息,使用这种软件工具可以帮助管理人员提高事务处理效率,达到事半功倍的效果。此社区养老服务系统利用当下成熟完善的Spring Boot框架,使用跨平台的可开发大型商业网站的Java语言,以及最受欢迎的RDBMS应用软件之一的MySQL数据库进行程序开发。社区养老服务系统有管理员,用户两个角色。管理员功能有个人中心,用户管理,服务种类管理,社区服务管理,服务预约管理,物品种类管理,物品信息管理,借用信息管理,归还信息管理,活动分离管理,社区活动管理,活动报名管理,疫情监控管理,物业收费管理,资讯中心管理,意见中心管理,系统管理。用户可以注册登录,查看管理员发布的各中心信息,可以服务预约,借用归还,活动报名,发布自己的疫情监控信息,查看物业收费等操作。社区养老服务系统的开发根据操作人员需要设计的界面简洁美观,在功能模块布局上跟同类型网站保持一致,程序在实现基本要求功能时,也为

  • 南京林业大学毕业设计(论文)规范解读及应用指南

    内容概要:本文档详细阐述了南京林业大学本科毕业设计(论文)的具体撰写规范和要求,旨在确保毕业生能够提交高质量的设计(论文)。主要内容涵盖了从标题到附录的所有部分的撰写要求和格式标准,强调毕业设计(论文)不仅检验学生的学术能力,也是教学质量的关键指标。文中详细描述了每个组成部分的内容要求和书写格式,如标题、摘要、正文、结论、参考文献及附录的具体规定,并提供了具体的标准和操作流程。同时,针对不同类型的专业和学科提出了不同的撰写细则,确保规范适应广泛的学术背景和研究主题。 适合人群:即将进行本科毕业设计(论文)撰写的南京林业大学在校生及其指导教师。 使用场景及目标:① 帮助学生熟悉并掌握毕业设计(论文)的各项要求,从而确保顺利完成学业要求;② 教师利用该规范来审核和指导学生的工作。 阅读建议:该文档条理清晰,分类细致,因此读者应按步骤逐步理解和实践每一部分内容的要求和规范。同时,注意不同专业对于篇幅、内容重点等方面可能存在的特定调整。此外,对于涉及具体的排版和技术术语部分,建议配合实际案例进行练习。

  • 电子与机器人工程领域的计算机视觉视频稳定化技术实现与评估作业指导(2024-2025)(可复现,有问题请联系博主)

    内容概要:本作业指导书详细介绍了面向电气与机器人工程专业的计算机视觉模块课程(EL3105),旨在让学生深入理解和实现实时视频稳定化技术,特别是针对相机抖动补偿的方法。学生需要撰写报告并实现算法,解释选择的视频稳定方法以及具体的软件实现步骤。报告应涵盖背景介绍、解决方案详述、实验过程及其结论。提供的两个预录制视频将作为学生练习的数据集来测试视频稳定性。此外,学生需保证提交材料为原创,未使用任何AI工具辅助。 适合人群:适用于电气与机器人专业本科与研究生级别的学生,在掌握了基本图像特征提取匹配的基础上进一步探索高级应用技能。 使用场景及目标:帮助学员掌握关键点检测、稳健匹配、运动估计等基础知识的应用能力,同时培养他们独立解决实际问题的能力和编程技巧,特别是在视频序列处理方面。 其他说明:评估日期明确为2024年春季学期初开始,并于三月底截止。成绩构成包括对采用方法合理性阐述占30%,具体编码执行效果占40%,最后还有15%取决于成果评价,剩下则是对于报告形式的要求如语言表述规范性和引用文献准确性方面的情况打分。所有提交均在线进行并且需要符合特定格式要求。

  • Delphi 12.3控件之Delphi12TMS WEB Core 2.6.0.0 Beta Retail Setup for D12 (September 24, 2024).rar

    Delphi 12.3控件之Delphi12TMS WEB Core 2.6.0.0 Beta Retail Setup for D12 (September 24, 2024).rar

  • 蚂蚁金服从云到端一站式解决方案-移动开发平台mPaaS V1.1.34产品介绍

    内容概要:本文档详细介绍了蚂蚁金服移动开发平台(mPaaS)及其各个核心子组件的构成和优势,涵盖移动网关(MGS)、移动推送(MPS)、移动分析(MAS)、移动同步(MSS)、实时发布(MDS)以及智能投放(MCDP)。各组件在提供基础能力的前提下分别具有不同特点。移动开发平台致力于为企业提供高可用、高效、稳定的一站式解决方案,并在架构、安全、灵活性等方面有着独特之处。 适用人群:移动应用开发商、产品经理、运维和技术专家、项目管理者以及其他相关人员。 使用场景及目标:通过提供一站式的移动开发方案,帮助企业更好地开发、管理和运维移动应用,降低技术门槛和发展成本,促进应用创新与发展。各组件具体应用于移动应用开发过程的不同环节中: 1. 开放移动服务能力:MGS用于建立统一的通信接口,简化移动端与服务端对接; 2. 移动信息即时触达:MPS用于实现移动推送,提供个性化消息通知; 3. 应用数据采集与分析:MAS用于大规模移动数据分析,辅助决策; 4. 数据增量推送及更新同步:MSS用于保证业务信息同步; 5. 提供高效的版本管理:MDS用于应用实时部署; 6. 支持灵活精准的投放运营:M

  • 基于java的ssm个人交友网站(含LW+PPT+源码+系统演示视频+安装说明).7z

    个人交友网站的主要使用者分为管理员和用户,实现功能包括管理员:个人中心、用户管理、交友信息管理、线下活动管理、活动报名管理、系统公告管理、论坛交流、系统管理,用户:个人中心、交友信息管理、活动报名管理、我的收藏管理,前台首页;首页、交友信息、线下活动、系统公告、论坛信息、我的、跳转到后台、客服等功能。由于本网站的功能模块设计比较全面,所以使得整个个人交友网站信息管理的过程得以实现。 本系统的使用可以实现本个人交友网站管理的信息化,可以方便管理员进行更加方便快捷的管理。 关键词:个人交友网站;JSP技术;MYSQL数据库;

  • 自动鱼计数器,全球前12强生产商排名及市场份额

    自动鱼类计数器是一种用于精确计算通过特定区域(如鱼梯或鱼道)的鱼类数量的装置。这些设备使用传感器、摄像头或声波信号等各种技术,在鱼群游过时对其进行检测和计数。这些信息对于监测鱼类种群、评估洄游模式以及评估鱼类通道结构的有效性非常重要。自动鱼类计数器有助于研究人员和渔业管理人员就鱼类物种的保护和管理工作做出明智的决策。 据QYResearch调研团队最新报告“全球自动鱼计数器市场报告2024-2030”显示,预计2030年全球自动鱼计数器市场规模将达到0.6亿美元,未来几年年复合增长率CAGR为4.9%。 根据QYResearch头部企业研究中心调研,全球范围内自动鱼计数器生产商主要包括Vaki (MSD Animal Health )、Flatsetsund Engineering AS、Calitri Technology、AGK Kronawitter GmbH、Faivre、Fischtechnik International、Guangzhou Yuandian Intelligent Technology Co、Aquascan、Fu-Chen Auto Technology

  • cef109.1.11+chromium 109.0.5414.120

    最后一个win7稳定运行版本,支持视频和pdf查看,因为之前下载的别人打包好的文件,可以播放视频,但是打开pdf会闪退,所以自己编译了一个,有需要的可以试试

  • C# 打印模板,打印设计检测报告

    C# 打印模板,打印设计检测报告

Global site tag (gtag.js) - Google Analytics