`
hotboy10001000
  • 浏览: 21032 次
  • 性别: Icon_minigender_1
  • 来自: 中国
最近访客 更多访客>>
社区版块
存档分类
最新评论

大型门户网站架构设计的可伸缩性

阅读更多
来源 :网页教学网

 

WebjxCom提示: 我们知道,对于一个大型门户网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分.

我们知道,对于一个大型门户网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

首先是横向的分:

1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。

2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。

3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。

4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。

其次是纵向的分:

1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。

2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。

有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:

1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。

2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。

3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。

4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

对SQL SERVER数据库服务器来说[UPDATE]:

其实还是水平分割和纵向分割,一个二维表,水平分割就是横过来切一刀,纵向分割就是竖直切一刀:

1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中,或者说把某个拥有很多字段的表拆分成小表。

2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物理服务器增加IO吞吐以改善读写性能,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层了,就像一个文件夹中的文件不要太多,多分几层文件夹一样。

3、还可以通过数据库镜像、复制订阅、事物日志,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。

架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

典型的架构如下:

关于大型互联网网站的群集架构 - 秋风叶 - 秋风叶

动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点

应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好

分享到:
评论

相关推荐

    大型分布式网站架构设计与实践.pdf

    对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进行了概要性描述,并给出一个架构参考。一部分为读书笔记,一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。(如果感觉对大家有帮助,请帮忙点...

    大型分布式网站架构设计与实践 PDF(带目录清晰完整版)

    ### 大型分布式网站架构设计与实践 #### 一、引言 在当前互联网时代,随着用户数量的急剧增加以及业务复杂度的不断提高,传统的单体应用架构已经无法满足高并发、高性能的需求。因此,越来越多的企业开始采用...

    大型分布式网站架构设计与实践.带目录书签.完整版.pdf

    分布式网站架构设计的核心目标是提高系统的可用性、可伸缩性和容错性。在这一过程中,以下几个关键知识点尤为重要: 1. **负载均衡**:通过负载均衡器将请求分发到多个服务器,避免单点故障,提高服务响应速度。...

    大型分布式网站架构设计与实践.带目录书签.完整版.zip

    首先,分布式网站架构设计的核心目标是提高系统的可伸缩性、容错性和性能。为了实现这些目标,我们需要理解一些基础概念,如负载均衡、分布式数据库、缓存策略、微服务架构以及消息队列等。负载均衡技术可以有效地...

    大型门户网站系统架构

    4. **可伸缩性设计**:大型门户网站架构设计需具备良好的可伸缩性,能随着业务增长而扩展。这可能涉及水平扩展(增加服务器数量)和垂直扩展(提升单台服务器性能)。 5. **内容管理系统(CMS)**:内容管理系统...

    《大型分布式网站架构设计与实践》

    《大型分布式网站架构设计与实践》是一本深入探讨如何构建和优化大规模分布式系统的权威书籍。在互联网技术高速发展的今天,大型分布式网站已经成为支撑各种在线业务的核心。本书详细阐述了从概念到实施,从理论到...

    大型网站技术架构:核心原理与案例分析

    6 永无止境:网站的伸缩性架构 7 随需应变:网站的可扩展架构 8 固若金汤:网站的安全架构 第3篇 案例 9 淘宝网的架构演化案例分析 10 维基百科的高性能架构设计分析 11 海量分布式存储系统Doris的高可用架构...

    大型网站技术架构:核心原理与案例分析PDF电子下载.txt

    网站伸缩性架构7.网站的可扩展架构8.网站的安全架构9. 淘宝网的架构演化案例分析10. 维基百科的高性能架构设计分析11.海量分布式存储系统Doris高可用架构设计分析12.网购秒杀系统架构设计案例分析13.大型网站典型...

    大型电商网站架构设计.docx

    大型电商网站架构设计的原因可以分为三类:大型门户、SNS 网站和电商网站。电商网站具备以上两类的特点,比如产品详情可以采用 CDN,静态化,交互性高的需要采用 NOSQL 等技术。 二、电商网站需求 客户需求包括: ...

    大型分布式网站架构设计与实践

    高可用与可伸缩性也是大型分布式网站架构设计中不得不考虑的问题。本书可能会介绍怎样通过服务拆分、微服务架构设计来提高系统的伸缩性,以及如何设计冗余机制和灾难恢复策略来保证系统的高可用性。 最后,大型...

    《大型网站技术架构演进与性能优化》

    每个服务独立部署、独立运行,通过API Gateway进行通信,提高了系统的可伸缩性和可维护性。 4. 云原生架构:随着云计算的发展,云原生架构成为趋势。它包括容器化、服务网格、持续集成/持续部署(CI/CD)等,使应用...

    大型门户网站的可伸缩性架构设计

    我们知道,对于一个大型门户网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:首先是横向的分:1.大的网站化解为多...

    架构师之路--大型网站技术架构与解决方案

    大型网站技术架构不仅仅关注于代码的编写和功能的实现,它更是一个系统的工程,需要考虑到高并发处理、数据一致性、系统安全性、服务的可伸缩性、用户体验等多个方面。 架构师在设计技术架构时,首先需要根据业务...

    《大型分布式网站架构设计与实践》 Java 并发编程实战

    在大型分布式网站的架构设计中,首要考虑的是系统的可伸缩性、容错性和高可用性。这通常涉及到负载均衡、服务发现、数据分片、分布式缓存、数据库复制等多个方面。负载均衡技术用于在多台服务器间分配请求,确保单个...

    大型网站架构说明 一个很好的网站架构说明

    此外,还会讲解网站架构设计的基本原则,比如高可用性、高性能、可扩展性和安全性。 “大型网站架构系列二”将深入到更具体的架构模式和技术,例如负载均衡、分布式缓存、数据库优化、微服务架构等。负载均衡是保证...

    面向大规模可伸缩网站基础设施的MySQL参考架构

    面向大规模可伸缩网站基础设施的MySQL参考架构是一个详细的指南,它由Oracle在2013年发布,旨在为使用MySQL作为数据存储的网站提供推荐的拓扑结构。这篇白皮书针对不同规模的网站,从小型到中型,再到大型和超大型...

    架构文章集合,搜索引擎,系统可伸缩性

    这些文档提供的知识涵盖了从基础架构到高级概念,对于任何希望深入了解大型网站架构、搜索引擎技术和可伸缩性的人来说都是宝贵的资源。通过学习这些材料,可以提升对复杂分布式系统设计的理解,为应对现代互联网的...

Global site tag (gtag.js) - Google Analytics