`
zy77612
  • 浏览: 283413 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

大型网站架构演变和知识体系 (转)

 
阅读更多

转:http://sishuok.com/forum/blogPost/list/308.html

1、架构演变第一步:物理分离webserver和数据库

 

2、架构演变第二步:增加页面缓存

      如用squid做页面缓存,或生产静态页面,不使用jsp

 

3、架构演变第三步:增加页面片段缓存

      页面缓存失效情况比较多,因此可以使用页面片段缓存,只缓存不长变部分。

 

 

4、架构演变第四步:数据缓存:缓存那些读多写少的数据。最常见的就是用户数据。如java中单JVM级/集群级缓存(Ehcache)、分布式缓存(memcached)等。

 

 

 

5、架构演变第五步: 增加webserver(集群web server):考虑负载均衡(apache的负载均衡,LVS负载均衡、F5硬件级负载均衡),数据缓存需要考虑使分布式缓存(memcached

 

6、架构演变第六步:分库:按业务将不同业务分为不同的库,部署到不同的服务器上,如用户系统单独一台、论坛等其他每个产品一台。

 

 

7、架构演变第七步:分表、DAL和分布式缓存:按照分库思想分表,需要注意一些规则。如用户系统设计时,把不经常访问的数据放到一张表(需要时加载)。DALData Access Layer):分布式数据访问层,使分表透明化,自动切表。DAL涉及到比较多的复杂技术,例如数据库连接的管理(超时、异常)、数据库操作的控制(超时、异常)、分库分表规则的封装等;

 

 

8、架构演变第八步:增加更多的webserverweb服务器禁止使用session,数据可存分布式缓存

 

9、架构演变第九步:数据读写分离和廉价存储方案:如使用NoSql(key-value数据库,mongodb等),数据读写分离要求对数据库的复制、standby(可将单实例数据库升级到RAC

 

 

(real application clusters 实时应用集群)数据库)等策略有深入的掌握和理解,同时会要求具备自行实现的技术;

 

 

 

 

10架构演变第十步:进入大型分布式应用时代和廉价服务器群梦想时代

 

 

 

 

 

七种缓存使用武器 为网站应用和访问加速发布时间:

Web应用中缓存的七种武器:

1 数据库的缓存

  通常数据库都支持对查询结果的缓存,并且有复杂的机制保证缓存的有效性。对于MySQL,Oracle这样的数据库,通过合理配置缓存对系统性能带来的提升是相当显著的。

 

2 数据连接驱动的缓存。

  诸如PHP的ADODB,J2EE的连接驱动,甚至如果把HIbernate等ORM也看成连接器的话。这里的缓存有效机制就不是那么强了,使用此步的方法实现缓存的一个最好的优点就是我们取数据的方式可以保持不变。例如,我调用

$db->CacheGetAll("select * from table"); 的语句不需要改变,可以透明实现缓存。这主要应用于一些变化不大的数据上,例如一些数据字典是不经常变化的。

 

3 系统级的缓存

  可以在系统内通过Cache库,自行对需要的数据进行缓存,例如一个树桩菜单生成十分消耗资源,那可以将这个生成的树缓存起来。这样做的缺点是,当这颗树的某些地方被更新时,你需要手动更新缓存内的东西。使用的缓存库都可以有不同的缓存方法,有的把内容放在硬盘上,有的放在内存里面,如果你把内容模拟成硬盘来缓存,速度当然也能提升不少。

4 页面级的缓存

  这个在内容管理系统里面用的最多。也就是生成静态页面。这里面缓存控制机制最为复杂,一般也没有什么包治百病的方法,只有具体情况具体分析。通常生成的静态叶面你需要有一个机制去删除过时的,或访问很少的叶面,以保证检索静态叶面的速度。

5 使用预编译叶面和加载为FastCGI的办法

  对于PHP,可以使用zend等编译引擎,对于JSP本身就是预编译。而FastCGI的原理就是将脚本预先加载起来,不用每次执行都去读,这和JSP预编成Servlet,然后加载的道理是一样的。

6 前置缓存

  可以使用Squid作为Web服务器的前置缓存。

7 做集群

  对数据库作集群,对web服务器作集群,对Squild前置机做集群

  对于新手来说,如果你的程序要是恰死,首先你要检查代码是否有错误,是否存在内存泄漏,如果都没有,那么通常问题出在数据库连接上面。

  综合应用上面的缓存方法,开发高负载的Web应用成就很容易了。

 

web软件设计时考虑你的性能解决方案

* 关键准则:

 1. 选择什么编程语言不是问题

 2. 选择的框架才可能影响系统的扩展和性能

 3. 我倾向于以数据库为中心设计数据结构。

 4.  分从两个方面提升性能:

  1) . 软件设计方面

        * 网页静态化

        * 独立的图片服务器

        * 可能采用中间缓存层服务器,最可能采用第三方成熟的软件

        * 数据库分表(水平分割是最终方案)

  2).  系统、网络、硬件结构

        * 集群:数据库集群,WEB集群

        * 采用:SAN

        * 提升网络接入带宽

      

影响性能的因素有哪些?其实只有下面几个方面:

1.持久性数据查找速度

2.持久性数据读写速度

3.逻辑复杂度

4.物理内存不够导致的虚拟存储频繁交换.

对应的解决方法:

1.建立最合适的索引,建立缓存

2.建立缓存,升级硬件

3.精简,优化逻辑

4.减少内存使用。

分享到:
评论

相关推荐

    大型网站架构演变和知识体系

    大型网站架构演变和知识体系大型网站架构演变和知识体系

    大型网站架构演变和知识体系.pdf

    ### 大型网站架构演变与知识体系解析 #### 架构演变的第一步:物理分离Web服务器与数据库 在网站发展的初期阶段,往往由于资源限制,Web应用与数据库部署在同一台服务器上。随着用户访问量的增长,单一服务器上的...

    大型网站架构演变和知识体系.

    总的来说,大型网站架构演变的知识体系包括:单体架构、垂直拆分、水平扩展、微服务架构、容器化、数据一致性理论、缓存技术、CDN、NoSQL、消息队列、监控和日志分析等多个方面。理解并掌握这些知识,有助于构建高效...

    详解:大型网站架构演变和知识体系

    大型网站架构演变和知识体系 之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再...

    大型的网站架构演变和知识体系

    大型网站架构演变和知识体系 之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上...

    大型网站架构演变和知识体系 讲解

    ### 大型网站架构演变与知识体系详解 #### 架构演变的第一步:物理分离Web服务器与数据库 在网站初创阶段,通常是通过一台主机来承载所有的功能,包括Web服务和数据库服务。随着用户访问量的增长,单一主机的性能...

    大型网站架构演变和知识体系.doc

    《大型网站架构演变和知识体系》是一本深入探讨构建与优化大规模互联网应用的权威文档。在互联网行业快速发展的今天,大型网站的架构设计已经成为技术团队面临的重大挑战之一。本书全面覆盖了从初期的小型网站到应对...

Global site tag (gtag.js) - Google Analytics