- 浏览: 1504589 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (798)
- struts2 (42)
- servlet (20)
- quartz (4)
- jquery & ajax (24)
- tomcat (5)
- javascript (15)
- struts1 (8)
- 搜索关键字及链接 (3)
- fckeditor (3)
- Apache (5)
- spring (22)
- linux (3)
- 企业应用 (8)
- 综合应用 (13)
- 服务器 (2)
- 数据库 (85)
- 性能调优 (21)
- 网络应用 (15)
- 缓存技术 (8)
- 设计模式 (39)
- 面试题 (7)
- 程序人生&前辈程序员 (29)
- java基础 (59)
- hibernate (75)
- log4j (4)
- http (11)
- 架构设计 (28)
- 网页设计 (12)
- java邮件 (4)
- 相关工具 (11)
- ognl (7)
- 工作笔记 (18)
- 知识面扩展 (12)
- oracle异常 (1)
- 正则表达式 (2)
- java异常 (5)
- 项目实践&管理 (1)
- 专业术语 (11)
- 网站参考 (1)
- 论坛话题 (2)
- web应用 (11)
- cxf&webservice (22)
- freemarker (3)
- 开源项目 (9)
- eos (1)
- ibatis (6)
- 自定义标签 (3)
- jsp (3)
- 内部非公开文档(注意:保存为草稿) (0)
- 国内外知名企业 (2)
- 网店 (3)
- 分页 (1)
- 消费者习惯 (2)
- 每日关注 (1)
- 商业信息 (18)
- 关注商业网站 (1)
- 生活常识 (3)
- 新闻 (2)
- xml&JSON (5)
- solaris (1)
- apache.common (3)
- BLOB/CLOB (1)
- lucene (2)
- JMS (14)
- 社会进程 (8)
- SSH扩展 (2)
- 消费心理 (1)
- 珠三角 (1)
- 设计文档 (1)
- XWork&webwork (1)
- 软件工程 (3)
- 数据库及链接 (1)
- RMI (2)
- 国内外知名企业&人物 (1)
最新评论
-
司c马:
简介易懂、
OutputStream和InputStream的区别 -
在世界的中心呼喚愛:
解决我的问题
Java获取客户端的真实IP地址 -
bo_hai:
都是些基本的概念呀!
SSO -
tian_4238:
哥们,你也是搞水利这块的吧。
巧用SQLQuery中的addScalar -
loveEVERYday:
java.util.Date、java.sql.Date、java.sql.Time、java.sql.Timestamp小结
大流量、高并发的网站的底层系统架构
http://www.huomaw.com/website/201009/2093.html
动态应用,是相对于网站静态内容而言, 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 大型动态应用系统又可分为几个子系统: l Web前 端系统 l 负 载均衡系统 l 数 据库集群系统 l 缓 存系统 l 分 布式存储系统 l 分 布式服务器管理系统 l 代 码分发系统 Web前端系统 结构图: 为了达到不同应用的服务器共享、避免单点故障、集中管理、统一配置等目的,不以应用划分服 务器,而是将所有服务器做统一使用,每台服务器都可以对多个应用提供服务,当某些应用访问量升高时,通过增加服务器节点达到整个服务器集群的性能提高,同 时使他应用也会受益。该Web前端系统基于Apache/Lighttpd/Eginx等 的虚拟主机平台,提供PHP程序运行环境。服务器对开发人员是透明的,不需要开发人员介入服务器管理 负载均衡系统 负载均衡系统分为硬件和软件两种。硬件负载均衡效率高,但是价格贵,比如F5等。软件负载均衡系统价格较低或者免费,效率较硬件负载均衡系统 低,不过对于流量一般或稍大些网站来讲也足够使用,比如lvs,nginx。大多数网站都是硬件、软件负载均衡系统并用。 数据库集群系统 结构图: 由于Web前端采用了负载均衡集群结构提高了服务的有效性和扩展性,因此数据库必须也是高可靠的才能保证整个服务体系的高可靠性,如何构建一个高可靠的、可以提供大规模并发处理的数据库体系? 我们可以采用如上图所示的方案: 1) 使用 MySQL 数据库,考虑到Web应用的数据库读多写少的特点,我们主要对读数据库做了优化,提供专用的读数据库和写数据库,在应用程序中实现读操作和写操作分别访问不同的数据库。 2) 使用 MySQL Replication 机制实现快速将主库(写库)的数据库复制到从库(读库)。一个主库对应多个从库,主库数据实时同步到从库。 3) 写数据库有多台,每台都可以提供多个应用共同使用,这样可以解决写库的性能瓶颈问题和单点故障问题。 4) 读数据库有多台,通过负载均衡设备实现负载均衡,从而达到读数据库的高性能、高可靠和高可扩展性。 5) 数据库服务器和应用服务器分离。 6) 从数据库使用BigIP做负载均衡。 缓存系统 缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存。最常用的内存缓存工具是Memcachd。使用正确的缓存系统可以达到实现以下目标: 1、 使用缓存系统可以提高访问效率,提高服务器吞吐能力,改善用户体验。 2、 减轻对数据库及存储集服务器的访问压力 3、Memcached服务器有多台,避免单点故障,提供高可靠性和可扩展性,提高性能。 分布式存储系统 结构图: WEB系统平台中的存储需求有下面两个特点: 1) 存储量很大,经常会达到单台服务器无法提供的规模,比如相册、视频等应用。因此需要专业的大规模存储系统。 2) 负载均衡cluster中的每个节点都有可能访问任何一个数据对象,每个节点对数据的处理也能被其他节点共享,因此这些节点要操作的数据从逻辑上看只能是一个整体,不是各自独立的数据资源。 因此高性能的分布式存储系统对于大型网站应用来说是非常重要的一环。(这个地方需要加入对某个分布式存储系统的简单介绍。) 分布式服务器管理系统 结构图: 随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,原来基于单机的服务器管理模式已经不能够满足我们的需求,新的需求必须能够集中式的、分组的、批量的、自动化的对服务器进行管理,能够批量化的执行计划任务。 在分布式服务器管理系统软件中有一些比较优秀的软件,其中比较理想的一个是 Cfengine。它可以对服务器进行分组,不同的分组可以分别定制系统配置文件、计划任务等配置。它是基于C/S 结构的,所有的服务器配置和管理脚本程序都保存在Cfengine Server上,而被管理的服务器运行着 Cfengine Client 程序,Cfengine Client通过SSL加密的连接定期的向服务器端发送请求以获取最新的配置文件和管理命令、脚本程序、补丁安装等任务。 有了Cfengine 这种集中式的服务器管理工具,我们就可以高效的实现大规模的服务器集群管理,被管理服务器和 Cfengine Server 可以分布在任何位置,只要网络可以连通就能实现快速自动化的管理。 代码发布系统 结构图: 随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,为了满足集群环境下程序代码的批量分发和更新,我们还需要一个程序代码发布系统。 这个发布系统可以帮我们实现下面的目标: 1) 生产环境的服务器以虚拟主机方式提供服务,不需要开发人员介入维护和直接操作,提供发布系统可以实现不需要登陆服务器就能把程序分发到目标服务器。 2) 我们要实现内部开发、内部测试、生产环境测试、生产环境发布的4个开发阶段的管理,发布系统可以介入各个阶段的代码发布。 3) 我们需要实现源代码管理和版本控制,SVN可以实现该需求。 这里面可以使用常用的工具Rsync,通过开发相应的脚本工具实现服务器集群间代码同步分发。
发表评论
-
LAMP网站架构方案分析
2011-09-21 11:09 1315LAMP(Linux-Apache-MySQL-PHP ... -
详细介绍软件架构设计的三个维度
2011-09-07 19:28 1382本文介绍的是软件架构 ... -
十步构建大型网站架构(2)
2011-09-07 16:21 1468架构演变第六步:分库 享受了一段时间的系统访问量高速增长的幸 ... -
十步构建大型网站架构(1)
2011-09-07 16:20 1410今天我们来谈谈一个 ... -
架构、框架、设计模式之间的关系简述
2011-09-07 16:00 1678本文向您讲解架构、框 ... -
UML实践----用例图、顺序图、状态图、类图、包图、协作图
2011-09-07 10:01 1984面向对象的问题的处理 ... -
UML建模之时序图
2011-09-06 20:19 3021http://www.uml.org.cn/oobject/2 ... -
UML 活动图
2011-09-06 20:13 1473UML 活动图记录单个操作 ... -
UML 状态图
2011-09-06 20:04 1328http://www.uml.org.cn/oobject/2 ... -
三种模型
2011-09-06 19:22 1390《uml面向对象建模与设计》本书提出了一套面向对象的表示 ... -
5 款基于 Web 浏览器的建模工具
2011-09-05 10:29 1283http://www.oschina.net/news/209 ... -
UML用例图
2011-09-02 16:31 5062一、UML用例建模简介 ... -
深入浅出REST
2011-08-19 09:48 1172不知你是否意识到,围绕着什么才是实现异构的应用到应用通信的“正 ... -
数据量非常大的照片分享社区网站架构设计
2011-07-21 21:31 9513数据库一向是网站架构中最具挑战性的,瓶颈通常出现在这里。又拍网 ... -
相关知识
2011-07-04 16:34 1287(二) 架构的分类 架构由于应用的不同而存在不同。大体而言, ... -
软件需求分析方法总结--轻巧建模之需求篇(二)
2011-06-27 23:07 2006http://hi.baidu.com/tdskee/blog ... -
软件需求分析方法总结--轻巧建模之需求篇(一)
2011-06-27 23:05 2248需求从哪儿来? 来自于项目甲方,还是直接或间接的用户、经 ... -
软件需求分析方法总结--撰写优秀的需求
2011-06-27 23:04 1633软件需求常常被写得很糟且难于遵循。清楚地阐明你的需求将使每位项 ... -
软件需求分析方法总结--如何分析问题和需求
2011-06-27 23:03 2301如何分析问题和需求 万事开头难,需求没有完全分析清楚,系 ... -
软件需求分析方法总结--如何进行软件需求分析(三)
2011-06-27 23:02 14788.需求分析的过程 需 ...
相关推荐
在构建大流量、高并发的网站时,底层系统架构的设计至关重要。这关乎到系统的稳定性、扩展性和性能。本文将深入探讨这一主题,并基于提供的标签"源码"和"工具"来解析相关技术。 首先,一个高并发的系统通常采用...
【大流量、高并发的网站底层系统架构】是针对处理大量用户访问和高并发场景而设计的复杂系统架构。这种架构通常由多个子系统组成,包括Web前端系统、负载均衡系统、数据库集群系统、缓存系统、分布式存储系统以及...
### 架构大流量稳定交易系统的十大原则 随着互联网技术的发展和用户需求的增长,构建能够稳定处理大流量的交易系统成为各大电商平台面临的关键挑战之一。本文将基于王晓钟在ArchSummit 2014全球架构师峰会上分享的...
* 该平台的安全监控功能包括系统运行安全监控、系统日志监控、对大数据分析的结果分优先级推送给责任人等功能模块。 九、计费管理 * 该平台的计费管理功能包括对客户充电车或电动汽车的健康诊断,并按照项目收取...
在美团点评的移动开发框架中,业务层与底层架构层相互分离,业务层包括团购、外卖、酒店、旅行等各个业务模块,而底层架构层则负责网络通信、移动监控、配置系统等基础功能。这种分层设计有利于实现模块化,提高代码...
最终,宜人贷的移动后台架构形成了一个简化版的模型,通过打散服务边界,消除冗余,形成三级两层的架构划分,底层服务直接面向前端,流量统一出口。这不仅极大地提高了系统的效率,还增强了系统的灵活性和扩展性。 ...
这不仅有助于保持应用与底层架构的解耦,还可以推动系统架构的自我演进和升级。平台化不仅限于对外提供服务,内部服务化也是提高资源利用率和系统模块化的重要手段。 综上所述,构建可扩展系统的入门基础涉及多个...
在这个架构中,系统不仅需要支持海量用户的同时访问,还需应对大规模的商品信息处理和多样化的交易需求。为了满足这些业务场景,系统架构需要具备分布式、高并发、大数据量处理、移动设备兼容以及极强的稳定性和扩展...
在IT行业中,大规模数据计算与底层架构搭建是关键的技术领域,尤其在电商平台如京东这样的公司中,处理海量的商品数据是一项核心挑战。本案例主要探讨了如何有效地管理和计算这些数据,以及构建支持这种复杂业务需求...
云计算系统架构是现代信息技术领域中的核心概念,它涉及到大规模数据处理、分布式计算、虚拟化技术以及服务交付等多个方面。在本文档中,我们将深入探讨中国大型IT企业的云计算系统架构实例,以此来理解这一领域的...
#### 二、常见架构分析 当流量达到亿级别的时候,常见的网站架构大致可以分为以下几层: 1. **浏览器端**:最上层,执行一些JavaScript代码。 2. **站点层**:这一层负责访问后端数据并拼接HTML页面返回给浏览器。...
大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 大型动态应用系统又可分为几个子...
大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。大型动态应用系统又可分为几个子...
在底层存储方面,由于数据的敏感性和大规模性,微信选择自行开发了一套存储系统,而不是依赖开源技术。这一决策是微信在技术迭代中能够保持独立性和灵活性的关键。 3. 微信后台面临的挑战:随着用户数量的迅速增长...
- **逻辑架构**: TFS1.0的最大特点是将一部分元数据嵌入到图片文件名中,通过这种方式极大地简化了元数据管理,避免了管理节点成为整体系统性能的瓶颈。这种设计思路与当前流行的“对象存储”概念相似。 - **集群...
2. 日志监控:记录系统运行日志,便于排查问题,分析系统性能。 3. 数据备份与恢复:定期备份数据库,以防数据丢失,同时应具备数据恢复机制。 总结,采用JSP开发的网站流量统计系统是基于Java生态的成熟解决方案,...
Snort是一款开源的网络入侵检测系统(NIDS),由Gerald Combs于1990年创建,它能够实时监控网络流量,检测并报警潜在的攻击行为。尽管文中提到的是较旧版本Snort 2.2,但其核心工作流程对于理解当前版本仍有很大帮助...
通过以上分析可以看出,《架构设计方法教材》不仅涵盖了软件架构设计的基础理论,还深入探讨了如何根据不同场景和需求设计出既实用又高效的架构方案。该教材强调了模块化设计的重要性,并提出了一套全面的4D坐标系统...