`
simonlaw
  • 浏览: 40702 次
  • 性别: Icon_minigender_1
  • 来自: 广州
最近访客 更多访客>>
社区版块
存档分类
最新评论

大型网站架构心得之一:分

阅读更多

我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

 

首先是横向的分:

1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。

2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那 么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。

3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。

4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。

 

其次是纵向的分:

1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。

2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存 和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可 以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。 有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会 很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的 前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

 

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:

1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。

2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。

3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。

4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大 了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

 

对SQL SERVER数据库服务器来说[UPDATE]:

其实还是水平分割和纵向分割

1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中。

2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物 理服务器增加IO吞吐,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层了,就像一个文 件夹中的文件不要太多,多分几层文件夹一样。

3、可以做数据库镜像、复制订阅、事物日志传送,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。 架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

 

典型的架构如下:

动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点 应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好 请大家讨论。。。。

分享到:
评论

相关推荐

    大型网站架构资源集合

    3. **大型互联网网站架构心得之一分.mht**:这部分内容可能是专家的经验分享,涵盖了大型网站在初期架构设计时需要考虑的要点,如数据存储、用户访问模式、性能优化等。 4. **大型网站架构演变和知识体系.mht**:...

    大型门户网站站架构心得-腾讯-百度-新浪-谷歌网站

    首先,大型网站架构的核心原则之一是“分层”。这意味着将系统分解为多个独立的层次,如前端展示层、应用逻辑层、数据访问层等,每一层都专注于自己的职责,从而提高代码的可维护性和复用性。例如,腾讯QQ空间的架构...

    大型网站运维探讨和心得

    ### 大型网站运维探讨和心得 #### 一、什么是大型网站运维? 本文将深入探讨大型网站运维的概念、特点以及运维工程师的角色与职责。大型网站运维是指针对具有一定规模的网站进行管理和维护的工作,这里的“一定...

    非常全面的高性能高并发服务器架构解决方案

    在当前的互联网时代,高性能高并发服务器架构已经成为网站运营商和开发者的必备技术之一。本文将从高性能高并发服务器架构的优化心得、架构设计问题、负载均衡技术、开源平台的高并发集群思考等多方面详细介绍高性能...

    java 高级架构进阶学习

    - **知识点概览**:思维导图是理解Java高级架构的关键工具之一。它能够帮助开发者快速掌握架构设计的核心概念和技术要点。 - **核心内容**: - **基础知识**:包括Java基础知识复习、面向对象设计原则、设计模式等...

    《Oracle 入门心得》PDF高清电子书

    Oracle数据库是全球最广泛使用的商业关系型数据库管理系统之一,它以其强大的功能、高效的数据处理能力和高可用性赢得了业界的高度认可。《Oracle 入门心得》这本书可能是为了帮助初学者理解和掌握Oracle数据库的...

    软考系统架构设计师考试论文应试技巧

    - **措施陈述**:分条列出所采取的措施,突出重要性。 - **效果评价**:评估措施的实际效果,并提出改进建议。 **3.3 结尾展望** - **后续设想**:基于当前项目的不足之处,提出未来发展设想。 - **摘要撰写**:将...

    webservice 心得

    WebService通常通过HTTP协议来实现,这是因为HTTP是互联网上应用最广泛的通信协议之一,几乎所有的操作系统和开发语言都支持HTTP。 1. **跨平台特性**:WebService的一个显著优点是它的跨平台能力。无论客户端使用...

    Java学习之路:不走弯路,就是捷径!!

    - 解决问题的能力是程序员必备的素质之一。面对问题时,要学会独立思考,善于利用网络资源(如Google搜索)寻找解决方案。 - 同时,也要学会求助于他人,比如通过技术论坛提问或者向导师请教。 #### 二、Java学习...

    信息系统项目管理师必备-项目质量管理总结心得

    摘要: 2011年3月本人参与了北京某软件科技有限公司的一个地税项目,此项目为某地方税务局安全管控系统,包含了基于B/S架构的四个子系统和C/S架构的客户端,其中...在这个历时两年之久的中大型项目中担任项目经理一职。

    Scrum 学习心得

    2. 敏捷方法:Scrum是众多敏捷方法之一,其他还包括Crystal、ASD、FDD、XP和RUP等。这些方法共同特点是以小步快跑的方式推进项目,强调团队的直接沟通和频繁交付可工作的软件。 3. Scrum团队:Scrum团队是一个跨...

    编程之美--微软技术面试心得.zip

    《编程之美——微软技术面试心得》是一本深受程序员喜爱的书籍,它主要涵盖了微软公司在面试过程中经常考察的技术问题和解题思路。这本书不仅适合正在准备技术面试的求职者,也适合想要提升编程技能和思维能力的...

    oracle的入门心得

    Oracle数据库系统是全球广泛使用的大型关系型数据库管理系统之一,尤其在企业级应用中占据着重要地位。对于初学者而言,Oracle的学习确实具有一定的挑战性,因为它的功能强大且复杂,涵盖了数据库管理、SQL语言、...

    CSS的可扩展与模块化架构(英文版)PDF

    SMACSS(Scalable and Modular Architecture for CSS)是一种针对CSS设计的可扩展与模块化架构方法,由Jonathan Snook提出。该方法致力于使得CSS代码在小型以及大型项目中都能保持组织性、结构化,并且便于构建与...

    extjs 学习心得笔记

    在探讨《ExtJS学习心得笔记》这一主题时,我们不仅会深入理解ExtJS框架的核心概念与实践技巧,还会从新手的角度出发,提炼出一系列有助于快速上手的学习策略,避免常见的学习陷阱,确保学习过程高效而有成效。...

    9_16337341_朱志儒_OSPF多区域实验心得1

    在本次实验中,我们重点研究了OSPF协议在多区域环境下的配置和运作,这对于大型网络的管理和优化至关重要。 首先,OSPF的多区域配置允许网络被划分为不同的区域(Area),每个区域都有自己的路由信息,这有助于减小...

    韩顺平servlet与jsp_笔记与心得

    1. **Java数据库连接(JDBC)**:JDBC是Java中进行数据库操作的关键技术之一,它定义了一套标准API供Java应用程序访问各种类型的数据库。JDBC支持多种驱动模型,其中最常见的有四类: - JDBC-ODBC桥:早期的一种解决...

Global site tag (gtag.js) - Google Analytics