`
maosheng
  • 浏览: 565963 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

互联网架构【高并发】

阅读更多
什么是高并发

高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。

高并发相关常用的一些指标有:响应时间(Response Time)、吞吐量(Throughput)、每秒查询率QPS(Query Per Second)、并发用户数等。

响应时间:系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms,这个200ms就是系统的响应时间。

吞吐量:单位时间内处理的请求数量。

QPS:每秒响应请求数。在互联网领域,这个指标和吞吐量区分的没有这么明显。

并发用户数:同时承载正常使用系统功能的用户数量。例如一个即时通讯系统,同时在线量一定程度上代表了系统的并发用户数。

如何提升系统的并发能力

互联网分布式架构设计,提高系统并发能力的方式,方法论上主要有两种:垂直扩展(Scale Up)与水平扩展(Scale Out)。

垂直扩展:提升单机处理能力。垂直扩展的方式又有两种:

   (1)增强单机硬件性能,例如:增加CPU核数如32核,升级更好的网卡如万兆,升级更好的硬盘如SSD,扩充硬盘容量如2T,扩充系统内存如128G;
   (2)提升单机架构性能,例如:使用Cache来减少IO次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间;


在互联网业务发展非常迅猛的早期,如果预算不是问题,强烈建议使用“增强单机硬件性能”的方式提升系统并发能力,因为这个阶段,公司的战略往往是发展业务抢时间,而“增强单机硬件性能”往往是最快的方法。

不管是提升单机硬件性能,还是提升单机架构性能,都有一个致命的不足:单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。


水平扩展:只要增加服务器数量,就能线性扩充系统性能。水平扩展对系统架构设计是有要求的,如何在架构各层进行可水平扩展的设计,以及互联网公司架构各层常见的水平扩展实践,是本文重点讨论的内容。


常见的互联网分层架构

常见互联网分布式架构如上,分为:
  (1)客户端层:典型调用方是浏览器browser或者手机应用APP
  (2)反向代理层:系统入口,反向代理
  (3)站点应用层:实现核心应用逻辑,返回html或者json
  (4)服务层:如果实现了服务化,就有这一层
  (5)数据-缓存层:缓存加速访问存储
  (6)数据-数据库层:数据库固化数据存储

整个系统各层次的水平扩展,又分别是如何实施的呢?


分层水平扩展架构实践

【反向代理层的水平扩展】

反向代理层的水平扩展,是通过“DNS轮询”实现的:dns-server对于一个域名配置了多个解析ip,每次DNS解析请求来访问dns-server,会轮询返回这些ip。

当nginx成为瓶颈的时候,只要增加服务器数量,新增nginx服务的部署,增加一个外网ip,就能扩展反向代理层的性能,做到理论上的无限高并发。

【站点层的水平扩展】

站点层的水平扩展,是通过“nginx”实现的。通过修改nginx.conf,可以设置多个web后端。
当web后端成为瓶颈的时候,只要增加服务器数量,新增web服务的部署,在nginx配置中配置上新的web后端,就能扩展站点层的性能,做到理论上的无限高并发。

【服务层的水平扩展】

服务层的水平扩展,是通过“服务连接池”实现的。

站点层通过RPC-client调用下游的服务层RPC-server时,RPC-client中的连接池会建立与下游服务多个连接,当服务成为瓶颈的时候,只要增加服务器数量,新增服务部署,在RPC-client处建立新的下游服务连接,就能扩展服务层性能,做到理论上的无限高并发。如果需要优雅的进行服务层自动扩容,这里可能需要配置中心里服务自动发现功能的支持。

【数据层的水平扩展】

在数据量很大的情况下,数据层(缓存,数据库)涉及数据的水平扩展,将原本存储在一台服务器上的数据(缓存,数据库)水平拆分到不同服务器上去,以达到扩充系统性能的目的。

互联网数据层常见的水平拆分方式有这么几种,以数据库为例:

【按照范围水平拆分】

每一个数据服务,存储一定范围的数据:
user0库,存储uid范围1-1kw
user1库,存储uid范围1kw-2kw

这个方案的好处是:
(1)规则简单,service只需判断一下uid范围就能路由到对应的存储服务;
(2)数据均衡性较好;
(3)比较容易扩展,可以随时加一个uid[2kw,3kw]的数据服务;

不足是:
(1)请求的负载不一定均衡,一般来说,新注册的用户会比老用户更活跃,大range的服务请求压力会更大;

【按照哈希水平拆分】

每一个数据库,存储某个key值hash后的部分数据:
user0库,存储偶数uid数据
user1库,存储奇数uid数据

这个方案的好处是:
(1)规则简单,service只需对uid进行hash能路由到对应的存储服务;
(2)数据均衡性较好;
(3)请求均匀性较好;

不足是:
(1)不容易扩展,扩展一个数据服务,hash方法改变时候,可能需要进行数据迁移;

这里需要注意的是,通过水平拆分来扩充系统性能,与主从同步读写分离来扩充数据库性能的方式有本质的不同。

通过水平拆分扩展数据库性能:
(1)每个服务器上存储的数据量是总量的1/n,所以单机的性能也会有提升;
(2)n个服务器上的数据没有交集,那个服务器上数据的并集是数据的全集;
(3)数据水平拆分到了n个服务器上,理论上读性能扩充了n倍,写性能也扩充了n倍(其实远不止n倍,因为单机的数据量变为了原来的1/n);

通过主从同步读写分离扩展数据库性能:
(1)每个服务器上存储的数据量是和总量相同;
(2)n个服务器上的数据都一样,都是全集;
(3)理论上读性能扩充了n倍,写仍然是单点,写性能不变;

缓存层的水平拆分和数据库层的水平拆分类似,也是以范围拆分和哈希拆分的方式居多,就不再展开。

总结

高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。

提高系统并发能力的方式,方法论上主要有两种:垂直扩展(Scale Up)与水平扩展(Scale Out)。
前者垂直扩展可以通过提升单机硬件性能,或者提升单机架构性能,来提高并发性,但单机性能总是有极限的,互联网分布式架构设计高并发终极解决方案还是后者:水平扩展。

互联网分层架构中,各层次水平扩展的实践又有所不同:
(1)反向代理层可以通过“DNS轮询”的方式来进行水平扩展;
(2)站点层可以通过nginx来进行水平扩展;
(3)服务层可以通过服务连接池来进行水平扩展;
(4)数据库可以按照数据范围,或者数据哈希的方式来进行水平扩展;

各层实施水平扩展后,能够通过增加服务器数量的方式来提升系统的性能,做到理论上的性能无限。




分享到:
评论

相关推荐

    互联网高并发技术架构图

    "互联网高并发技术架构图" 描述了如何构建一个能够应对高并发的复杂系统,涉及到多个关键领域和组件。 1. **生产环境**:生产环境是实际部署应用和服务的地方,它需要能够承受大量并发请求,同时保持高可用性和稳定...

    高并发web架构完整1

    在当今互联网行业中,随着用户数量的急剧增长,Web应用必须具备处理高并发请求的能力,才能确保服务的稳定性和用户体验。本资料旨在深入探讨如何设计和实施这种能够应对大规模并发访问的Web架构。 第一部分:基础...

    互联网架构之高并发.pptx

    究竟啥才是互联网架构“高并发”,本文档帮助您了解互联网大厂的高并发架构。

    互联网架构设并发编程视频

    现代互联网架构不仅需要满足高并发、低延迟的需求,还要具备良好的可扩展性和容错性。 #### 2. 架构模式 - **微服务架构**:将应用拆分成一组小的服务,每个服务运行在其独立的进程中,服务之间通过轻量级通信机制...

    互联网高并发+高可用+海量用户架构实践

    **互联网架构的目标**是构建能够应对大规模用户、高并发访问、并保持高可用性的系统。 **解决单点问题的方法**: 1. **站点层**:采用冗余站点,比如多数据中心部署。 2. **服务层**:实现服务的冗余,比如负载均衡...

    互联网平台高并发技术架构.pdf

    《互联网平台高并发技术架构》 互联网平台在面临如“双11”这样的大型促销活动时,必须具备处理高并发的技术能力。对于技术人员而言,这不仅是一次对系统和架构优化的考验,也是对长时间技术积累的展示。本文将探讨...

    千万PV高性能高并发网站架构图

    一例千万级pv高性能高并发网站架构图,包括CDN、全局负载均衡、本地负载均衡、内网DNS、集群、Hadoop集群、数据库集群、缓存集群、NOSQL集群等

    千万级高并发架构

    在互联网技术领域中,高并发架构是保障大型网站服务可用性和响应速度的关键技术。千万级高并发架构主要指能够处理高达千万次的用户请求并保证其流畅运行的系统架构。这类架构通常需要面对海量用户的数据请求,同时...

    大数据高并发系统架构实战方案(全套视频+代码+课件)

    1.大数据高并发架构实战案例分享-概述 2.Piranha安装快速搭建LVS负载均衡集群 3.LVS负载均衡DR模式安装调试介绍 4.LVS负载均衡深入进阶实战 5.LVS调度策略及负载均衡原理深入 6.LVS深入及NAT集群调试 7.Nginx反向...

    互联网高并发架构设计说明.pdf

    互联网高并发架构设计说明 本文档旨在讨论互联网高并发架构设计的关键点,并提供了一些实践方案来解决高并发问题。高并发经常会发生在有大活跃用户量、用户高聚集的业务场景中,如秒杀活动、定时领取红包等。在电商...

    高性能高并发服务器架构

    ### 高性能高并发服务器架构的关键知识点 #### 1. 高性能高并发服务器架构概述 - **背景**: 在互联网迅速发展的背景下,越来越多的网站面临着大量用户访问带来的挑战。为了应对这种挑战,需要构建高性能、高并发的...

    非常全面的高性能高并发服务器架构解决方案

    在当前的互联网时代,高性能高并发服务器架构已经成为网站运营商和开发者的必备技术之一。本文将从高性能高并发服务器架构的优化心得、架构设计问题、负载均衡技术、开源平台的高并发集群思考等多方面详细介绍高性能...

    究竟啥才是互联网架构“高并发”

    这是互联网架构中最常采用的高并发解决方案。 #### 四、互联网分层架构及水平扩展实践 常见的互联网分布式架构通常包含以下几层: 1. **客户端层**:包括Web浏览器或移动应用客户端等。 2. **反向代理层**:作为...

    高并发高负载网站系统架构

    ### 高并发高负载网站系统架构 #### 一、引言 随着互联网技术的迅猛发展,网站系统面临着越来越大的访问压力。特别是在电商领域,诸如淘宝这样的电商平台经常需要应对大规模的突发流量,比如“双十一”、“双十二...

    高并发高流量网站架构

    ### 高并发高流量网站架构的关键知识点 #### 1. 互联网的发展 互联网自诞生以来,经历了从一个科研网络向全球范围内广泛应用的巨大转变。近年来,互联网的规模在主机数量、带宽、用户数量等方面呈现出指数级的增长...

    深入理解高并发编程-核心技术原理

    【深入理解高并发编程-核心技术原理】是一本专注于讲解高并发编程核心概念和技术的书籍,由阿里P8级别的架构师及Mykit系列开源框架作者撰写。本书内容涵盖源码分析、基础案例、实战案例和面试相关知识,旨在帮助读者...

    互联网高并发架构技术实践

    ### 互联网高并发架构技术实践 #### 单机时代的架构变迁与挑战 互联网早期,特别是在杭研这样的初创团队中,由于资源有限和技术条件所限,单机架构成为了快速开发产品和上线网站的一种常见选择。这一阶段,应用...

    互联网高并发架构设计.docx

    在互联网行业中,高并发架构设计是一项至关重要的任务,特别是在安卓应用和电商平台等用户基数庞大的领域。高并发场景通常出现在大型活动、秒杀促销或红包领取等业务中,这些场景需要系统能够平稳处理大量同时发生的...

Global site tag (gtag.js) - Google Analytics