`
san_yun
  • 浏览: 2662487 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

双11后续报道:“中国规模”负载背后的技术支撑

 
阅读更多

从应用层面上讲,天猫和淘宝的应用都构建于自主研发的服务化架构以及MVC框架和Spring之上。这是由分布式文件系统、分布式缓存、消息中间件和CDN网络带宽支持的。核心数据库可以通过自主研发的数据访问中间件访问,底层数据库的水平拆分和数据搬运对应用是完全透明的。

基于这种水平扩容架构,面对促销活动引起的流量压力,天猫和淘宝的系统可以灵活地添加机器来应对。

    前期我们花了很多时间进行容量计算,对于网站所有应用之间的依赖关系、流量分配比例和应用内部的调用链路做了深入的分析,通过在线的压力测试对各个应用单机的QPS进行准确评估,从而达到对网站目前集群处理能力的客观判断。这个过程操作起来实际上是非常有挑战的,因为天猫和淘宝本质上不是一个耦合性很弱的系统,通过单一系统的压测不能很好地反映系统的瓶颈。同时,我们也不可能完全照搬线上的环境和配置一套完整的压力测试环境。所以会更多地依赖线上的压力测试,真实地反映系统的短板。

    最后,则是根据网站的自然增长趋势和双11的历史数据,评估当天有可能达到的业务指标,再从这些业务指标对各个系统扩容目标进行准确地计算。

    当然,仅仅依靠水平扩容方式,对于大促高峰过后的机器利用率是存在弊端的,同时也会大量依赖运维人员的灵活调配能力。因此,今年我们在以聚石塔为代表的一些应用中也尝试了大量的弹性计算框架,在塔中很多商家的不同应用共用一个集群的系统资源。双11当天弹性升级带宽、VM和存储资源。同时,我们的很多内部应用也采用了这样的机制。这也是今年在双11准备过程中我们在技术上的一个突破。


在双11大促的准备过程中,淘宝和天猫的团队对系统进行了针对性的优化,包括SQL和缓存命中率的优化、数据库连接和应用服务器参数的调整、JVM参数的配置、代码的复审和梳理等等。此外,大量固态硬盘(SSD)的使用也提高了数据库存储的整体性能。

为了在负载超过预期时关闭非核心操作,团队也准备了业务降级和限流预案。


所谓业务降级,就是牺牲非核心的业务功能,保证核心功能的稳定运行。简单来说,要实现优雅的业务降级,需要将功能实现拆分到相对独立的不同代码单元,分优先级进行隔离。在后台通过开关控制,降级部分非主流程的业务功能,减轻系统依赖和性能损耗,从而提升集群的整体吞吐率。

当出现了降级还无法缓解的大流量时,就要通过限流的方式来应付。首先从最前端的Web应用进行排队,控制流入应用的流量,也就是通过Web服务器的定制模块来实现QPS限流功能。根据被保护的Web服务器所能承受的最大压力做强制的QPS流控,超出QPS上限的用户进入排队等待页面。另外,为了避免前端某个Web应用出现大规模流量激增时造成后端服务无法承载的雪崩效应,后端的服务会针对低优先级的业务进行限流,以确保不同来源的业务压力不会压垮后端服务,保障核心业务的访问。

针对2012年的双11,天猫和淘宝总共准备了400多个系统降级预案。 为了保证所有降级和限流预案的准确执行,我们在前期做过了大量的预案演习,所有的应急预案虽然原则上我们一个都不希望使用,但是必须确保每个预案执行的准确性和便捷性

分享到:
评论

相关推荐

    尽在双11:阿里巴巴技术演进与超越.pdf

    《尽在双11:阿里巴巴技术演进与超越》是一份深入探讨阿里巴巴集团在历年双十一购物狂欢节背后技术发展的报告。这份文档详细阐述了阿里巴巴如何应对全球最大的在线交易活动所带来的巨大流量挑战,以及在此过程中所...

    尽在双11:阿里巴巴技术演进与超越

    《尽在双11:阿里巴巴技术演进与超越》是一本深入探讨阿里巴巴在双十一这个全球最大的线上购物狂欢节背后的技术发展历程和技术挑战的书籍。书中详细阐述了阿里巴巴如何应对每年双十一期间的巨大流量冲击,以及在技术...

    阿里双11技术

    阿里双11技术是阿里巴巴集团每年双十一购物狂欢节背后的核心技术支撑体系,它涉及了分布式计算、大数据处理、云计算、数据库优化、智能算法等多个领域的先进技术。在这个庞大的技术系统中,阿里巴巴不仅展示了其强大...

    实训3:配置网络负载平衡服务.docx

    网络负载平衡(Network Load Balancing, NLB)是一种技术,用于在多台服务器之间分配网络流量,以提高可用性和性能。本实训主要涉及在Windows Server 2016环境中配置NLB服务,确保高流量网站和服务的稳定运行。 **1...

    实用负载均衡技术网站性能优化攻略.pdf

    实用负载均衡技术网站性能优化攻略 负载均衡技术是指通过在多个服务器上分配访问负载,以提高网站的可用性、可靠性和性能的一种技术。负载均衡技术可以应用于各种类型的网站,包括静态网站、动态网站、门户网站、...

    九年双11:互联网技术超级工程 AliDouble11.pdf

    《九年双11:互联网技术超级工程》是阿里巴巴集团针对历年双十一购物狂欢节背后的技术实践与创新进行深度总结的一份报告。这份文档详尽地揭示了阿里如何在短短九年时间里,将一个普通的网络购物日打造成为全球最大的...

    双11电子书_不一样的技术创新_完整原版2017PDF

    这些技术对于处理大规模并发事件至关重要,能够有效地分散负载,提高系统的响应速度和处理能力。 2. **云计算技术**:阿里云在双11中的角色不容忽视,它提供了弹性的计算资源,能够根据业务需求动态调整服务器数量...

    10.jun-liang-基于DPDK实现的LB支撑阿里巴巴双11业务——DPDKSummit2018.pdf

    DPDK(Data Plane Development Kit)技术峰会中,阿里云的梁军分享了基于DPDK实现的负载均衡技术如何支撑阿里巴巴双11业务。DPDK是一种高性能的用户态网络协议栈,可以提供高性能的平台,并具有用户态处理数据包的...

    实用负载均衡技术:网站性能优化攻略

    负载均衡技术是现代网络架构中用于提高网站性能和可靠性的关键技术之一。通过分散单个服务器的请求负载,负载均衡能够优化资源使用、最大化吞吐量、减少响应时间,并确保重要的应用不会因为过载而崩溃。在本文中,...

    实用负载均衡技术:网站性能优化攻略(alin书签).pdf

    负载均衡技术是现代网站架构中用于提高系统可扩展性和稳定性的关键技术之一。它通过合理分配网络或应用程序的负载,避免单个服务器由于请求过多而导致性能下降甚至宕机。本篇关于“实用负载均衡技术:网站性能优化...

    阿里云 专有云企业版 V3.8.1 负载均衡 技术白皮书 20190910

    "阿里云专有云企业版V3.8.1负载均衡技术白皮书20190910" 阿里云专有云企业版V3.8.1负载均衡技术白皮书旨在为用户提供一份详细的技术指南,帮助用户更好地理解和使用阿里云负载均衡产品。 技术优势 阿里云负载均衡...

    云平台技术选型之一:负载均衡

    在云计算领域中,负载均衡是构建可伸缩、可靠和高可用云服务的关键技术之一。负载均衡用于提高系统性能和稳定性,它通过合理分配流量至后端多个服务器,有效避免单点故障,提升系统整体的处理能力。负载均衡主要分为...

    负载均衡技术文档

    负载均衡技术是网络服务中的关键组成部分,它在大型分布式系统中扮演着至关重要的角色,确保了高可用性和可扩展性。本技术文档集合涵盖了多个负载均衡的方面,旨在帮助学习者深入理解其原理、实现方式以及应用实践。...

    负载均衡技术的发展.

    总之,负载均衡技术作为现代网络基础设施中的关键组成部分,对于保障大规模网站和应用的高性能、高可用性具有不可替代的作用。随着技术的不断进步,负载均衡方案将更加完善,为用户提供更优质的网络体验。

Global site tag (gtag.js) - Google Analytics