`
wbj0110
  • 浏览: 1611671 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

大型网站架构不得不考虑的10个问题

阅读更多

这里的大型网站架构只包括高互动性高交互性的数据型大型网站,基于大家众所周知的原因,我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构了,我们以高负载高数据交换高数据流动性的网站为例,比如海内,开心网等类似的web2.0系列架构。我们这里不讨论是PHP还是JSP或者.NET环境,我们从架构的方面去看问题,实现语言方面并不是问题,语言的优势在于实现而不是好坏,不论你选择任何语言,架构都是必须要面对的。

  这里讨论一下大型网站需要注意和考虑的问题

  1、海量数据的处理

  众所周知,对于一些相对小的站点来说,数据量并不是很大,select和update就可以解决我们面对的问题,本身负载量不是很大,最多再加几个索引就可以搞定。对于大型网站,每天的数据量可能就上百万,如果一个设计不好的多对多关系,在前期是没有任何问题的,但是随着用户的增长,数据量会是几何级的增长的。在这个时候我们对于一个表的select和update的时候(还不说多表联合查询)的成本的非常高的。

  2、数据并发的处理

  在一些时候,2.0的CTO都有个尚方宝剑,就是缓存。对于缓存,在高并发高处理的时候也是个大问题。在整个应用程序下,缓存是全局共享的,然而在我们进行修改的时候就,如果两个或者多个请求同时对缓存有更新的要求的情况下,应用程序会直接的死掉。这个时候,就需要一个好的数据并发处理策略以及缓存策略。

另外,就是数据库的死锁问题,也许平时我们感觉不到,死锁在高并发的情况下的出现的概率是非常高的,磁盘缓存就是一个大问题。

  3、文件存贮的问题

  对于一些支持文件上传的2.0的站点,在庆幸硬盘容量越来越大的时候我们更多的应该考虑的是文件应该如何被存储并且被有效的索引。常见的方案是对文件按照日期和类型进行存贮。但是当文件量是海量的数据的情况下,如果一块硬盘存贮了500个G的琐碎文件,那么维护的时候和使用的时候磁盘的Io就是一个巨大的问题,哪怕你的带宽足够,但是你的磁盘也未必响应过来。如果这个时候还涉及上传,磁盘很容易就over了。


也许用raid和专用存贮服务器能解决眼下的问题,但是还有个问题就是各地的访问问题,也许我们的服务器在北京,可能在云南或者新藏的访问速度如何解决?如果做分布式,那么我们的文件索引以及架构该如何规划。


所以我们不得不承认,文件存贮是个很不容易的问题

  4、数据关系的处理
  我们可以很容易的规划出一个符合第三范式的数据库,里面布满了多对多关系,还能用GUID来替换INDENTIFY COLUMN 但是,多对多关系充斥的2.0时代,第三范式是第一个应该被抛弃的。必须有效的把多表联合查询降到最低。

  5、数据索引的问题

  众所周知,索引是提高数据库效率查询的最方面最廉价最容易实现的方案。但是,在高UPDATE的情况下,update和delete付出的成本会高的无法想想,笔者遇到过一个情况,在更新一个聚焦索引的时候需要10分钟来完成,那么对于站点来说,这些基本上是不可忍受的。


索引和更新是一对天生的冤家,问题A,D,E这些是我们在做架构的时候不得不考虑的问题,并且也可能是花费时间最多的问题。

  6、分布式处理

  对于2.0网站由于其高互动性,CDN实现的效果基本上为0,内容是实时更新的,我们常规的处理。为了保证各地的访问速度,我们就需要面对一个绝大的问题,就是如何有效的实现数据同步和更新,实现各地服务器的实时通讯有是一个不得不需要考虑的问题。

  7、Ajax的利弊分析

  成也AJAX,败也AJAX,AJAX成为了主流趋势,突然发现基于XMLHTTP的post和get是如此的容易。客户端get或者post 到服务器数据,服务器接到数据请求之后返回来,这是一个很正常的AJAX请求。但是在AJAX处理的时候,如果我们使用一个抓包工具的话,对数据返回和处理是一目了然。对于一些计算量大的AJAX请求的话,我们可以构造一个发包机,很容易就可以把一个webserver干掉。

  8、数据安全性的分析

  对于HTTP协议来说,数据包都是明文传输的,也许我们可以说我们可以用加密啊,但是对于G问题来说的话,加密的过程就可能是明文了(比如我们知道的QQ,可以很容易的判断他的加密,并有效的写一个跟他一样的加密和解密方法出来的)。当你站点流量不是很大的时候没有人会在乎你,但是当你流量上来之后,那么所谓的外挂,所谓的群发就会接踵而来(从qq一开始的群发可见端倪)。也许我们可以很的意的说,我们可以采用更高级别的判断甚至HTTPS来实现,注意,当你做这些处理的时候付出的将是海量的database,io以及CPU的成本。对于一些群发,基本上是不可能的。笔者已经可以实现对于百度空间和qq空间的群发了。大家愿意试试,实际上并不是很难。

  9、数据同步和集群的处理的问题

  当我们的一台databaseserver不堪重负的时候,这个时候我们就需要做基于数据库的负载和集群了。而这个时候可能是最让人困扰的的问题了,数据基于网络传输根据数据库的设计的不同,数据延迟是很可怕的问题,也是不可避免的问题,这样的话,我们就需要通过另外的手段来保证在这延迟的几秒或者更长的几分钟时间内,实现有效的交互。比如数据散列,分割,内容处理等等问题。

  10、数据共享的渠道以及OPENAPI趋势

  Openapi已经成为一个不可避免的趋势,从google,facebook,myspace到海内校内,都在考虑这个问题,它可以更有效的留住用户并激发用户的更多的兴趣以及让更多的人帮助你做最有效的开发。这个时候一个有效的数据共享平台,数据开放平台就成为必不可少的途径了,而在开放的接口的情况保证数据的安全性和性能,又是一个我们必须要认真思考的问题了。

come from internet

分享到:
评论

相关推荐

    大型网站架构不得不考虑的10个问题.doc

    ### 大型网站架构不得不考虑的关键问题 #### 一、海量数据处理 在构建大型网站时,海量数据处理是首要考虑的问题之一。对于小型站点,简单的`SELECT`和`UPDATE`语句配合适当的索引就能满足需求。但在大型网站中,...

    大型网站架构系列之一 不得不考虑的问题

    在构建大型网站架构时,需要面对一系列复杂的问题,这些问题直接影响到网站的性能、稳定性和安全性。以下是关于这些关键问题的详细分析: A. 海量数据的处理:随着用户数量和数据量的增长,传统的数据库查询方式...

    疯狂代码,大型网站架构系列

    在系列的第一部分,"疯狂代码,大型网站架构系列之一,前言,不得不考虑的问题.doc",作者引入了大型网站架构设计所面临的根本问题。这部分可能包括了对高可用性、可扩展性、性能优化、数据一致性以及故障恢复等关键...

    大型分布式网站架构设计与实践

    高可用与可伸缩性也是大型分布式网站架构设计中不得不考虑的问题。本书可能会介绍怎样通过服务拆分、微服务架构设计来提高系统的伸缩性,以及如何设计冗余机制和灾难恢复策略来保证系统的高可用性。 最后,大型...

    开源的魔兽世界参考架构——mangos

    ### 开源魔兽世界服务器架构——mangos #### 一、引言 随着网络游戏的兴起和发展,越来越多的人开始关注网络游戏背后的服务器架构和技术实现。...因此,在搭建服务器时,还需要考虑到合法性和用户体验等问题。

    微服务系统的架构演进之路.docx

    随着应用规模的扩展和用户流量的激增,系统架构不得不进行相应的调整,于是开始转向使用专门的数据库集群以支撑更大的数据处理需求。数据库的分布式部署不仅提高了数据处理的性能和可靠性,还增加了系统的容错能力。...

    连锁超市管理架构设计教程.pptx

    在连锁超市管理架构设计中,我们不得不考虑众多影响因素。环境因素包括市场的稳定性和竞争态势,这些因素直接影响到组织结构的弹性和集权程度。例如,在一个动态多变的市场环境中,连锁超市可能需要更为灵活和响应...

    三层架构详解

    三层架构是一种常见的软件设计模式,它将应用程序分为三个逻辑层:用户界面层(UI Layer)、业务逻辑层(Business Logic Layer,简称BL层)和数据访问层(Data Access Layer,简称DAL层)。这种分层设计能够提高代码...

    大型活动安全工作总结.docx

    首先,我们不得不重视安全检查的重要性。安全检查是大型活动安全管理不可或缺的一环,通过提前排查和消除潜在的风险因素,可以有效防止安全事故的发生,从而保障参与人员的生命财产安全。这一点在各种大型活动中都...

    大型企业网络安全智能化预警体系建设的策略研究.pdf

    智能化预警体系的核心在于实时、真实和准确地防控企业网络风险,是企业在新的网络安全形势下不得不采取的策略。通过这一系列的建设工作,大型企业不仅能够保障自身网络安全,同时也为维护整个网络安全生态做出应有的...

    IT人员不得不看的经典书籍--<<人月神话>>

    布鲁克斯提倡将大型项目划分为多个独立可管理的子任务,每个子任务由专门的团队负责。 3. **项目经理的角色**:布鲁克斯提出了项目经理不仅需要技术能力,还需要领导力和决策力。他提倡项目经理应该专注于整体协调...

    SpringCloud 20道面试题和答案.docx

    随着软件架构的发展和云计算技术的普及,微服务架构已经成为构建大型应用系统的一个流行趋势。SpringCloud作为微服务架构的一套完整解决方案,凭借其丰富的组件和生态,成为微服务实践中的热门选择。它不仅包含了...

    幼儿园大型晚会策划5篇.docx

    在现代幼儿教育中,幼儿园大型晚会已经成为一种备受关注和欢迎的活动形式。这种活动不仅能够丰富孩子们的校园生活,更是他们展示自己学习成果和才能的重要舞台。策划一场成功的幼儿园晚会,需要精心的准备和全面的...

    超酷网站整站下载器

    【超酷网站整站下载器】是一款专门用于下载整个网站内容的工具,它能够帮助用户将互联网上的一个网站完整地保存到本地计算机上,以便离线浏览或进行其他用途。这款下载器通常具备多线程下载、自定义下载深度、过滤...

    差量页面下载技术 - Diffable 的使用

    这些大型的 JS 文件会经常做局部的修改或完善,可能只是很少的修改,但是也会强制客户端更新缓存,重新下载整个的 JS 文件,而对于像 Google Map 这样访问量巨大的网站,这是不得不考虑的性能问题。聪明的程序员想到...

Global site tag (gtag.js) - Google Analytics