`
j2eeli
  • 浏览: 45842 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

大型网站架构之我见

阅读更多

 A. 海量数据的处理。

  众所周知,对于一些相对小的站点来说,数据量并不是很大,select和update就可以解决我们面对的问题,本身负载量不是很大,最多再加几个索引就可以搞定。对于大型网站,每天的数据量可能就上百万,如果一个设计不好的多对多关系,在前期是没有任何问题的,但是随着用户的增长,数据量会是几何级的增长的。在这个时候我们对于一个表的select和update的时候(还不说多表联合查询)的成本的非常高的。我们如何处理这样的问题呢?目前比较流行的处理方式,第一:数据冗余,减少关联查询;第二:分段存储,这个点非常重要,分析网站访问用户,采用一定条件进行散列存储,也可以理解成数据分布式存储。

  B. 数据并发的处理

  在一些时候,2.0的CTO都有个尚方宝剑,就是缓存。对于缓存,在高并发高处理的时候也是个大问题。在整个应用程序下,缓存是全局共享的,然而在我们进行修改的时候就,如果两个或者多个请求同时对缓存有更新的要求的情况下,应用程序会直接的死掉。这个时候,就需要一个好的数据并发处理策略以及缓存策略。

  另外,就是数据库的死锁问题,也许平时我们感觉不到,死锁在高并发的情况下的出现的概率是非常高的,磁盘缓存就是一个大问题。

  C. 文件存贮的问题

  对于一些支持文件上传的2.0的站点,在庆幸硬盘容量越来越大的时候我们更多的应该考虑的是文件应该如何被存储并且被有效的索引。常见的方案是对文件按照日期和类型进行存贮。但是当文件量是海量的数据的情况下,如果一块硬盘存贮了500个G的琐碎文件,那么维护的时候和使用的时候磁盘的Io就是一个巨大的问题,哪怕你的带宽足够,但是你的磁盘也未必响应过来。如果这个时候还涉及上传,磁盘很容易就over了。

  也许用raid和专用存贮服务器能解决眼下的问题,但是还有个问题就是各地的访问问题,也许我们的服务器在北京,可能在云南或者新疆的访问速度如何解决?如果做分布式,那么我们的文件索引以及架构该如何规划。

  所以我们不得不承认,文件存贮是个很不容易的问题

  D. 数据关系的处理

  我们可以很容易的规划出一个符合第三范式的数据库,里面布满了多对多关系,还能用GUID来替换INDENTIFY COLUMN 但是,多对多关系充斥的2.0时代,第三范式是第一个应该被抛弃的。必须有效的把多表联合查询降到最低。

  E. 数据索引的问题

  众所周知,索引是提高数据库效率查询的最方面最廉价最容易实现的方案。但是,在高UPDATE的情况下,update和delete付出的成本会高的无法想想,笔者遇到过一个情况,在更新一个聚焦索引的时候需要10分钟来完成,那么对于站点来说,这些基本上是不可忍受的。

  索引和更新是一对天生的冤家,问题A,D,E这些是我们在做架构的时候不得不考虑的问题,并且也可能是花费时间最多的问题,

  F. 分布式处理

  对于2.0网站由于其高互动性,CDN实现的效果基本上为0,内容是实时更新的,我们常规的处理。为了保证各地的访问速度,我们就需要面对一个绝大的问题,就是如何有效的实现数据同步和更新,实现各地服务器的实时通讯有是一个不得不需要考虑的问题。

  G. Ajax的利弊分析

  成也AJAX,败也AJAX,AJAX成为了主流趋势,突然发现基于XMLHTTP的post和get是如此的容易。客户端get或者post 到服务器数据,服务器接到数据请求之后返回来,这是一个很正常的AJAX请求。但是在AJAX处理的时候,如果我们使用一个抓包工具的话,对数据返回和处理是一目了然。对于一些计算量大的AJAX请求的话,我们可以构造一个发包机,很容易就可以把一个webserver干掉。

  H. 数据安全性的分析

  对于HTTP协议来说,数据包都是明文传输的,也许我们可以说我们可以用加密啊,但是对于G问题来说的话,加密的过程就可能是明文了(比如我们知道的QQ,可以很容易的判断他的加密,并有效的写一个跟他一样的加密和解密方法出来的)。当你站点流量不是很大的时候没有人会在乎你,但是当你流量上来之后,那么所谓的外挂,所谓的群发就会接踵而来(从qq一开始的群发可见端倪)。也许我们可以很的意的说,我们可以采用更高级别的判断甚至HTTPS来实现,注意,当你做这些处理的时候付出的将是海量的database,io以及CPU的成本。对于一些群发,基本上是不可能的。笔者已经可以实现对于百度空间和qq空间的群发了。大家愿意试试,实际上并不是很难。

  I. 数据同步和集群的处理的问题

  当我们的一台databaseserver不堪重负的时候,这个时候我们就需要做基于数据库的负载和集群了。而这个时候可能是最让人困扰的的问题了,数据基于网络传输根据数据库的设计的不同,数据延迟是很可怕的问题,也是不可避免的问题,这样的话,我们就需要通过另外的手段来保证在这延迟的几秒或者更长的几分钟时间内,实现有效的交互。比如数据散列,分割,内容处理等等问题

  K.数据共享的渠道以及OPENAPI趋势

  Openapi已经成为一个不可避免的趋势,从google,facebook,myspace到海内校内,都在考虑这个问题,它可以更有效的留住用户并激发用户的更多的兴趣以及让更多的人帮助你做最有效的开发。这个时候一个有效的数据共享平台,数据开放平台就成为必不可少的途径了,而在开放的接口的情况保证数据的安全性和性能,又是一个我们必须要认真思考的问题了。

分享到:
评论

相关推荐

    百万年薪架构师架构设计视频课程

    视频详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程介绍: 根据在百度、58集团等多年满足海量用户架构设计经验,带领大家系统性地学习人工智能时代下互联网高可用高并发架构设计,理论结合...

    亿级流量电商详情页系统实战-缓存架构+高可用服务架构+微服务架构

    10、直接可以二次开发的代码:本次升级,采取了大型电商网站商品详情页系统完整的全链路架构,包括基础设施如何部署,以及整体代码架构,都是完全按照公司里来做的。虽然本次升级依然是专注于架构,而不是业务,基本...

    Android架构师手册

    《Android架构师手册》是专为提升Android开发者成为专业架构师而编写的指南,由高焕堂撰写。这本书深入探讨了Android应用开发中的建模与图形思考,旨在帮助读者掌握构建高效、可维护的Android应用架构的关键技术。 ...

    MySQL数据库建库架构建设总结

    主机采用 PC Server 物理机,配置详情见下表: * 1U 服务器:4 核或 6核 CPU,64GB MEM,8 个 600GB SAS DISK(2.5寸,10K),6gbps,1GB 缓存,带掉电保护,支持 RAID 10,Redhat Linux 6.X。 * 2U 服务器:8 核或...

    MySQL主要技术原理和常见高可用架构

    - **应用场景**:适用于大型电商平台等需要高可用性的环境。 **Keepalived+双主(主从)架构**: - **架构原理**:使用Keepalived实现双主之间的自动切换,其中一个节点为主,另一个节点为热备。 - **关键技术**:...

    .net三层MVC架构(抽取单纯架构)

    **搜索:框架之我见——SQL三层MVC架构** 这个描述可能指的是作者对.NET三层MVC架构结合SQL数据库的个人见解。在实际应用中,SQL数据库(如SQL Server、MySQL等)常被用作数据存储,与数据访问层进行交互。开发者...

    深入浅出J2EE架构(术语表)

    深入浅出J2EE架构—— 应用程序设计与部署的原理 (术语表) 来源:http://book.csdn.net/bookfiles/218/ ACID(Atomicity、Consistency、Isolation、Durability,原子性、一致性、隔离性、持久性) “原子性”指导致...

    StudyOnlinePlatForm:中大型网络教学平台架构及部分实现(教学互动,课程点播,教学直播)

    本项目是一个中大型网络教学平台架构及部分实现(教学互动,课程点播,教学直播) 目前实现功能 用户登录注册及鉴权 文件上传与下载 文档在线预览 教师在线备课编辑 课程视频点播 在线学习课程 后台用户管理 效果截图 ...

    保险业信息化建设之我见.ppt

    2. **市场格局**:国有大型保险公司、中小型保险公司和外资保险公司并存,保险中介包括专业代理、经纪和公估机构,同时非保险行业竞争者通过合作进入市场。 **保险行业信息化面临的挑战与解决方案** 1. **客户管理*...

    某集团营销管理部架构及营销审批流程.pptx

    部门配置包括1名营销部经理,9名经理和9名经理助理,具体职责见附件。 【营销审批流程】 为了提升效率和质量,并严格控制费用,营销审批流程被重新设计为供方管理、策划管理和销售管理三个模块,共涵盖25个分项...

    如何加强对大型民营企业的风险控制.pdf

    综上所述,加强对大型民营企业的风险控制涉及多个层面,包括但不限于严谨的前期调查、贷款后的持续监控、组织架构的深入了解、经营者素质的评估、信贷决策机制的改革、产品组合的创新、内部信息系统的建设和从业人员...

    我见过最好的讲述VLAN的资料(强烈推荐)

    总结,VLAN是现代网络架构中的重要组成部分,它有效地解决了大型网络中的管理和安全问题,提升了网络性能。理解和掌握VLAN的原理与应用,对于网络管理员来说至关重要。通过阅读提供的资料,你将深入理解VLAN的各个...

    电气设备行业简评报告:大型化助推风电格局重塑,硅料价格见顶带动需求提振.pdf

    在当前的电气设备行业背景下,大型化助推风电格局重塑,硅料价格见顶带动需求提振,这一现象为整个电气设备行业带来了巨大的变革和影响。我们将从电气设备行业的发展趋势、风电领域的技术变革、硅料价格对产业链的...

    内存对齐规则之我见1

    了解这些内存对齐规则对于优化代码和理解程序在内存中的行为至关重要,尤其是在处理大型数据结构或跨平台开发时。正确地对齐数据可以提高访问速度,减少不必要的内存消耗,同时确保程序能在不同架构上正确运行。

    j2ee学习方法之我见。

    它不仅包括了基础的Java编程语言特性,还包括了一系列针对大型企业应用所需的服务和组件,如EJB(Enterprise JavaBeans)、JSP(JavaServer Pages)、Servlets等。J2EE的目标是通过提供一套全面的技术栈来简化复杂的...

    Transformer架构下的量价选股策略:ChatGPT核心算法应用于量化投资.pdf

    ChatGPT作为一个基于GPT模型的大型对话式语言模型,其高质量的文本生成和代码编写能力已经在多个领域展现出潜力。而Transformer作为GPT模型的核心部分,其在量化投资中的应用则为金融市场分析提供了新的工具。 ...

    保险业信息化建设之我见.pptx

    保险公司的组织架构也在随着信息化的发展而调整,如设立专门的信息技术部门,包括信息中心、数据中心、网络处、硬件处、运维处、规划处、研发中心等,以支持信息技术的规划、研发、需求分析、质量管理等职能。...

    计算机审计中数据采集之我见.docx

    特别是在医疗系统这样的大型机构中,由于其业务复杂性和数据量庞大,传统的手工审计方式已经无法满足审计的需求。因此,如何高效地采集和处理这些数据成为了一个重要的研究课题。本文将结合临清市人民医院的数据采集...

    大型企业如何搭建私有云计算平台.docx

    2. **架构设计**:根据需求制定私有云的整体架构方案,确定硬件配置和技术栈。 3. **基础建设**:采购必要的硬件设备并进行安装调试。 4. **系统部署**:安装操作系统、虚拟化软件和其他相关组件。 5. **安全策略...

    基于Java的见福便利店信息管理系统.pptx

    Java技术是本系统的核心技术之一,Java语言具有跨平台无关性、面向对象、安全性得以保障、支持多个任务、多种编写方式等特性,非常适合开发大型复杂的信息管理系统。 Mysql数据库是本系统的后台数据库,具有强大的...

Global site tag (gtag.js) - Google Analytics