资讯频道 → 企业架构
阅读更多

3顶
3踩

企业架构

原创新闻 漫谈大型网站架构

2015-12-18 14:54 by 副主编 mengyidan1988 评论(0) 有5629人浏览
中间件 互联网 架构

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【编者按】架构无处不在，今天我们请到了《大型分布式网站架构设计与实践》一书的作者陈康贤来分享他对大型网站架构的理解。

大型网站架构从来都不是一个预先定义的架构，而是一个演进式的架构。很少有一个网站从建站开始，就能够因具备大型网站的所有属性而一成不变的，从最简单的LAMP架构，再到基于IOE的大型集中式应用架构，再演变成时下的分布式应用架构，随着网站用户规模的扩大，架构也在不断演进。从实体机到虚拟机再到当前流行的Docker技术，从单机房到同城多机房再到异地多活，从LAMP到J2EE再到各种分布式中间件如服务框架、分布式消息队列、配置管理中间件、分布式数据访问层，由简至繁的艰难蜕变，也正是一个网站从小变大由弱变强的成长历程，哪里有挑战，哪里才会有变革，这正是作为技术人建功立业的时刻。

规模不断扩大，但成本不可能随之线性增长，因此，如何利用规模效应降低资源成本，抽取公共部分，避免重复造轮子，提高开发效率和响应速度，成了必须思考的问题。技术存在的核心价值就是为了生产力的提高，当技术架构制约了生产力发展，就需要进行技术变革。当前支撑大型网站的几大核心技术，分布式、服务化、虚拟化，其中分布式解决的是规模化带来的问题，所谓的规模化即包括数据规模越来越大，访问量越来越高，也包括开发团队规模越来越大，工程代码规模越来越大。单机的存储能力以及负载能力必然有限，从PC到小型机再到中型机、大型机，成本将成指数级升高，而成百上千人开发同一个工程，则导致系统臃肿，开发、发布效率极低，互联网将丧失了赖以生存的灵活性，回到以前传统软件的开发模式。通过应用垂直拆分，集群分布式水平扩展，不仅使系统容量得到提升，存储和负载将分配到大规模的廉价集群上，以降低成本，开发效率和开发模式也得到改变。通过公共业务抽取，将诞生一批处于系统底层的基础服务，避免相同的内容重复造轮子，提高开发效率。作为大型网站架构中最重要的中间件，服务化框架简化了服务调用所涉及的对象序列化与反序列化，通信协议，服务路由等操作，以及到后来诞生的一个新名词—服务治理，去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题。除此之外，在架构师的武器库中，还有众多不同应用场景下使用的中间件，如消息中间件、 分布式数据访问层、配置管理中心、数据迁移工具、分布式文件系统等等，这些都是日常系统架构中的粘合剂。大型网站的另外一个核心技术就是资源的虚拟化，从实体机到Xen、KVM再到基于LXC的轻量级虚拟化方案，再到Docker，技术的更新换代使得资源的利用率越来越高，集群的运维、部署和管理越来越方便。另外不同的场景下如何选择存储也十分重要，高并发和大数据往往都不会单独出现，到底是采用磁盘、SSD还是采用内存，到底是采用分布式文件系统，关系数据库，还是NOSQL，还是采用内存分布式缓存，不同的场景下方案会大相径庭，分布式文件系统存储容量几乎可以理解为无限，但是吞吐低，关系型数据库有严谨的schema以及功能强大的SQL语句，可以满足各种复杂的查询条件，但无奈扩展太麻烦，为了应对高并发读写访问，master-slave、读写分离、分库分表一折腾，不仅工作量大增，且查询维度受限，还需要引入垂直化搜索引擎来扩展查询维度，NOSQL虽然能自动分区扩容，但无奈不支持SQL，而缓存虽快，内存条又太贵，架构就是要不断的权衡取舍。

大公司之所以不如小公司响应速度快，原因在于大公司有太多积累，有时候积累多了也会成为包袱，现有的模型会使得新业务难以快速融入。当遇到问题和挫折的时候，就是思考改进和系统变革的时候，从来没有哪个系统在设计好之后就封存代码永不改变的，技术永远是不断发展，需求和市场也是不断变化的，因此不要指望用一种架构满足所有的需求，系统设计需要满足一段时间内的可扩展性，但千万不要过度设计，因为过了半年之后你回过头来重新review，你会发现需求早已改变，这就是互联网的快节奏。对于系统的架构来说，一段时间之内架构的演变，常常会经历从清晰，再到模糊混乱，再重构，再清晰，然后又变得模糊的过程，市场环境总是瞬息万变的，因此，系统的设计要遵循对扩展开放，对修改封闭的原则，做到这点即可方便及时的接入新流程，又能够不影响既有的流程。从宏观来看，各个系统间的关系一定不是烟囱与烟囱的关系，而是犹如城市里的高楼大厦，通过公路连接起来，因此，要提高建房子的速度，就要充分利用已有的基础设施，已有的中间件，来降低系统构建的成本和风险。架构设计的几个层次，没有架构也是架构，专注于解决现有问题也能称为架构，而好的架构应该是即能够约束开发者又能够解放开发者使其专注于功能的设计。尽量将复杂的事情变的简单，而不要将简单的事情变的复杂，技术从来都不是用来炫的，而是用来解决实际问题的，因此我们不需要花拳绣腿，洛克希德·马丁公司的著名飞机设计师凯利·约翰逊所提出的KISS原则，就是最好的诠释。风险驱动的架构理念告诉我们，避免失败是所有工程技术的核心，架构也是技术，运用架构技术去缓解风险，避免走极端，是架构师的最根本职责。

作者介绍：陈康贤（花名龙隆， 博客），淘宝技术部技术专家，著有《大型分布式网站架构设计与实践》一书，在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验，对新技术有浓厚的兴趣 。
3
顶
3
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 大型分布式网站架构设计与实践.带目录书签.完整版.rar

    《大型分布式网站架构设计与实践》主要介绍了大型分布式网站架构所涉及的一些技术细节，包括SOA架构的实现、互联网安全架构、构建分布式网站所依赖的基础设施、系统稳定性保障和海量数据分析等内容；深入地讲述了...

  • 漫谈《大型网站技术架构》

    本文的内容来自阿里巴巴员工李智慧的著作《大型网站技术架构 核心原理与案例分析》，这本书很值得一看，故整理之。

  • 漫谈软件分层架构

    本文谈谈软件开发中的分层架构。主要包括概述、组件以及主要特性，当然也包括其优缺点及应用场景。 架构定义 软件架构的定义有很多，这里我们理解为软件系统的基本结构，组成系统的各个功能及行为。尽管术语架构...

  • 架构之:软件架构漫谈

    每一个程序员心中都有个架构师的梦想，架构是如此的重要，以至于每个程序员都在谈架构，仿佛没有架构的软件是没有灵魂的，不想做架构师的程序员不是一个好的码农一样。

  • 漫谈分布式架构

    BASE 理论是对 CAP 中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于 CAP 定理逐步演化而来的。 其核心思想是：既是无法做到强一致性（Strong Consistency），但每个应用都可以根据自身...

  • 架构之:微服务架构漫谈

    微服务的架构出现已经很久很久了，微服务架构就是一种将单个应用程序转换为一组小服务的方法，每个小服务都在自己的进程中运行，并使用轻量级的交互方式（如HTTP）进行通信。

  • 重读《架构漫谈》

    架构漫谈（一）： 什么是架构？ 架构漫谈是由资深架构师王概凯Kevin执笔的系列专栏，专栏将会以Kevin的架构经验为基础，逐步讨论什么是架构、怎样做好架构、软件架构如何落地、如何写好程序等问题。专栏的目的是...

  • 架构漫谈

    架构漫谈是由资深架构师王概凯Kevin执笔的系列专栏，专栏将会以Kevin的架构经验为基础，逐步讨论什么是架构、怎样做好架构、软件架构如何落地、如何写好程序等问题。专栏的目的是希望能抛出一些观点，并引发大家思考...

  • Using Middlegen to create the *.hbm and POJO Classes

    Using Middlegen to create the *.hbm and POJO Classes By https://betterpetshop.dev.java.net   This documentation describes how to create the POJO from the *.hbm files created by middlegen.     Requirem

  • 使用open source产品组装你的web应用架构

    使用open source产品组装你的web应用架构 totodo（翻译） CSDN 其实，就算用Java建造一个不是很烦琐的web应用，也不是件轻松的事情。 在构架的一开始就有很多事情要考虑。 从高处看，摆在开发者面前有很多问题：要考虑是怎样建立用户接口？在哪里处理业务逻辑？ 怎样持久化的数据。 而这三层构架中，每一层都有他们要仔细考虑的。 各个层该使用什么技术？ 怎样的设计能松散耦合还能灵活

  • Resin3.0.4 for JBuilder2006 plug-in

    下载后使用方法,同本站另一篇文章介绍:Resin2.1.14 for JBuilder2005 plug-indocument.title="Resin2.1.14 for JBuilder2005 plug-in - "+document.title 相同.有问题可以和我联系.下载地址:http://h.thec.cn/mengxu/resin34jb.jar请问题,可以留言.

  • 表单的验证

    FROM：http://blog.csdn.net/wanghr100/archive/2004/08/23/CheckForm.aspx不管是动态网站,还是其它B/S结构的系统,都离不开表单表单做为客户端向服务器提交数据的载体担当相当重要的角色.这就引出了一个问题,提交的数据合法吗?摆在我们面前的问题就是验证这些数据保证所提交的数据是合法的.所以,我们写了一个大堆的验证函数.当我们开始新

  • 关于 Hibernate 使用外部 Connection 的问题

    最近在一个项目中试用了 Hibernate . 因为项目分两部分来做,在另一个部分中,已经使用了一个连接池(自行开发的).现在两部分要合在一起,于是便出现了如下问题. 开始,我们决定使用Hibernate的外部连接方法进行数据访问: java代码:  1   2  public static DbSession openSession() { ...} 3   

  • 在Linux下安装和使用Mysql(转)

    　·在Linux下安装和使用Mysql　　想使用Linux已经很长时间了，由于没有硬性任务一直也没有系统学习，近日由于工作需要必须使用Linux下的MySQL。本以为有Windows下使用SQL Server的经验，觉得在Linux下安装MySql应该是易如反掌的事，可在真正安装和使用MySQL时走了很多弯路，遇见很多问题，毕竟Linux 和Windows本身就有很大区别。为了让和我一样的初学者在

  • 级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均

    级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿，级联H桥svg无功补偿statcom，采用三层控制策略。 （1）第一层采用电压电流双闭环pi控制，电压电流正负序分离，电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定，电流内环采用前馈解耦控制； （2）第二层相间电压均衡控制，注入零序电压，控制通过注入零序电压维持相间电压平衡； （3）第三层相内电压均衡控制，使其所有子模块吸收的有功功率与其损耗补，从而保证所有H桥子模块直流侧电压值等于给定值。 有参考资料。 639,核心关键词： 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制 以上十个关键词用分号分隔的格式为：不

  • GTX 1080 PCB图纸

    GTX 1080 PCB图纸，内含图纸查看软件

  • 深度优化与应用：提升DeepSeek润色指令的有效性和灵活性指南

    内容概要：本文档详细介绍了利用 DeepSeek 进行文本润色和问答交互时提高效果的方法和技巧，涵盖了从明确需求、提供适当上下文到尝试开放式问题以及多轮对话的十个要点。每一部分内容都提供了具体的示范案例，如指定回答格式、分步骤提问等具体实例，旨在指导用户更好地理解和运用 DeepSeek 提升工作效率和交流质量。同时文中还强调了根据不同应用场景调整提示词语气和风格的重要性和方法。 适用人群：适用于希望通过优化提问技巧以获得高质量反馈的企业员工、科研人员以及一般公众。 使用场景及目标：本文针对所有期望提高 DeepSeek 使用效率的人群，帮助他们在日常工作中快速获取精准的答案或信息，特别是在撰写报告、研究材料准备和技术咨询等方面。此外还鼓励用户通过不断尝试不同形式的问题表述来进行有效沟通。 其他说明：该文档不仅关注实际操作指引，同样重视用户思维模式转变——由简单索取答案向引导 AI 辅助创造性解决问题的方向发展。

  • 基于FPGA与W5500实现的TCP网络通信测试平台开发-Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivad

    基于FPGA与W5500实现的TCP网络通信测试平台开发——Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivado 2019软件的扩展开发,基于FPGA和W5500的TCP网络通信 测试平台 zynq扩展口开发 软件平台 vivado2019.2，纯Verilog可移植 测试环境 压力测试 cmd命令下ping电脑ip，同时采用上位机进行10ms发包回环测试，不丢包（内部数据回环，需要时间处理） 目前实现单socket功能，多路可支持 ,基于FPGA; W5500; TCP网络通信; Zynq扩展口开发; 纯Verilog可移植; 测试平台; 压力测试; 10ms发包回环测试; 单socket功能; 多路支持。,基于FPGA与W5500的Zynq扩展口TCP通信测试：可移植Verilog实现的高效网络通信

Global site tag (gtag.js) - Google Analytics