大型网站架构设计系列-我的总结如下:
1、 数据结构和产品架构设计,这是基础!
2、 角色分开,各司其职(web服务器,缓存服务器,负载平衡,数据库等)
3、 HTML静态化(用缓存服务器也可)
4、 图片服务器分离,且使用lighttpd等轻量级服务器
5、 数据库集群和库表散列
6、 缓存。
a)架构方面的缓存
,对Apache比较熟悉的人都能知道Apache提供了自己的mod_proxy缓存模块,也可以使用外加的Squid进行缓存,这两种方式均可以有效的提高Apache的访问响应能力。
b)网站程序开发方面的缓存,Linux上提供的Memcached是常用的缓存方案,不少web编程语言都提供memcache访问接口,php、 perl、c和java都有,可以在web开发中使用,可以实时或者Cron的把数据、对象等内容进行缓存,策略非常灵活。一些大型社区使用了这样的架构。各种语言基本都有自己的缓存模块和方法。
7、 镜像。有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路,比如Linux上的rsync等工具。(多个服务器,youtube就是用rsync同步的)
8、 负载均衡。
a) 硬件四层交换。比如Alteon、F5等,这些产品很昂贵,但是物有所值,能够提供非常优秀的性能和很灵活的管理能力。
b) 软件四层交换
。可以使用Linux上常用的LVS来解决,LVS就是Linux Virtual Server,他提供了基于心跳线heartbeat的实时灾难应对解决方案,
提高系统的鲁棒性,同时可供了灵活的虚拟VIP配置和管理功能,可以同时满足多种应用需求,这对于分布式的系统来说必不可少
c) 一个典型的使用负载均衡的策略就是,在软件或者硬件四层交换的基础上搭建squid集群
,这种思路在很多大型网站包括搜索引擎上被采用,这样的架构低成本、高性能还有很强的扩张性,随时往架构里面增减节点都非常容易。
9、常用方式。前层的反向代理加速—Web Server—Cache Server—DB
。而负载均衡的方式也使用了如DNS轮循或部分硬件负载均衡设备来承担大流量.(DIY也未尝不可,一台1U的IA32硬件设备, 板子需要是为fw,switch设计的, 使用FreeBSD?作系统, 主要是FS和slab的改写会是技术活)。做Web 加速和代理的软件如Lighttpd, Nginx,HAproxy
.(可以不用考虑了,配置不好,不能很好的表现)压缩工具BMDiff 和 Zippy(google就用了这两种技术,主要用于压缩网页数据,压缩比达到10:1——估计是存档数据,不是运算数据)
10、 选择ISP注意其地区带宽分布是否平衡一致;区域DNS是否优化等
11、 其他:
a) 缓存,包括CND还是比较昂贵的,在确定缓存时要根据不同内容的访问频度进行划分,特别是注意观察缓存的命中率,如果不能达到50%以上就有问题了
b)log是所有性能调试的起点,从development log到production log,从rails log到web server log,不同的log有不同的侧重点,学会分析log,每个log都可能为你提供解决问题的蛛丝马迹。另外,要熟练使用benchmark结合log做 profiling,当real time远大于db time + rendering time的时候,这点尤其重要。
分享到:
相关推荐
深入地讲述了大型分布式网站架构设计的核心原理,并通过一些架构设计的典型案例,帮助读者了解大型分布式网站设计的一些常见场景及遇到的问题。 作者结合自己在阿里巴巴及淘宝网的实际工作经历展开论述。《大型...
### 知识点梳理 #### 一、系统架构设计概论 **知识点1:系统架构的概念与作用** - **概念**:系统架构是指一个软件系统的结构化设计,它...通过不断的实践和总结,逐步建立起一套属于自己的系统架构设计理念和方法论。
(1)\第一期:Istio架构与技术;目录中文件数:2个 ├─istio-01.mkv ├─【Cloud Native Lives】Istio入门级实训 第1课:Istio架构与技术v1.pdf (2)\第三期:Istio Gateway设计与技术;目录中文件数:2个 ├─istio-03...
### 大型网站架构演变与知识体系详解 #### 架构演变的第一步:物理分离Web服务器与数据库 在网站初创阶段,通常是通过租用或托管单一服务器的方式搭建基础架构。随着时间推移,如果该网站获得了良好的反馈并积累了...
架构真经-互联网技术架构的设计原则-第2版,架构真经-互联网技术架构的设计原则-第2版,全部章节
1. **分布式系统**:大型网站通常采用分布式架构来分摊负载,提高系统的可扩展性和可用性。这包括分布式计算、分布式存储和分布式服务等,如Hadoop、Spark、HBase等技术的应用。 2. **负载均衡**:通过负载均衡技术...
Web信息架构:设计大型网站.pdf 陈建勋 翻译 范炜 审校
1 大型网站架构演化 2 大型网站架构模式 3 大型网站核心架构要素 第2篇 架构 4 瞬时响应:网站的高性能架构 5 万无一失:网站的高可用架构 6 永无止境:网站的伸缩性架构 7 随需应变:网站的可扩展架构 8 ...
本文档详细描述了京东应用架构设计的原则、架构目标以及关键架构组成,这些内容对于理解大型电商平台背后的技术支撑具有重要意义。 首先,架构设计的愿景是构建一个超大型电商平台,这个平台不仅要具有高可用性、...
### 大型门户网站架构设计 #### 一、三层架构简介及其局限性 ##### 1.1 三层架构原理 三层架构是一种常见的软件架构模式,它将应用程序分为三个逻辑层:应用表现层、业务逻辑层和数据访问层。这种分层方式有助于...
### 系统架构设计师教程第二版知识点概览 #### 一、系统架构设计师的基本要求与基础知识 1. **绪论**: - 系统架构设计师的职业定位和发展趋势。 - 系统架构设计师应具备的基本素质和技术能力。 2. **计算机...
《大型网站技术架构:核心原理与案例分析》是李智慧先生的一部著作,该书深入探讨了构建和优化大型网站所需的关键技术和实践经验。在大型互联网公司的日常运营中,技术架构的选择和演进对于系统的稳定性和扩展性至关...
金融-证券:一叶知秋系列一:从组织架构维度复盘国际投行战略变迁.pdf
华为企业数据架构、应用架构及技术架构设计方法 本资源摘要信息来自于一份52页的PPTX文件,标题为"华为企业数据架构、应用架构及技术架构设计方法",描述为"华为企业数据架构、应用架构及技术架构设计方法",标签为...
7. **架构决策与权衡**:每个设计决策都可能带来一系列后果,如选择某一技术可能会牺牲另一方面的性能。因此,架构师需要在不同需求间进行权衡。 8. **架构评估方法**:包括质量模型、场景技术、模拟与建模等,用于...
**ADM(架构开发方法)全称是Architecture Development Method,是一种系统化的、结构化的软件和信息系统架构开发过程。在IT行业中,ADM被广泛应用于大型复杂项目的规划和实施,以确保系统的可扩展性、稳定性和可...
第16章:嵌入式架构设计理论与实践-定稿
基于Web的分布式架构网上商城系统设计与实现-分布式架构网上商城网站-分布式架构网上商城网站代码-分布式架构网上商城平台-分布式架构网上商城平台代码-分布式架构网上商城项目-分布式架构网上商城项目代码-分布式...