`

(转)集群、分布式你想好怎么用了吗?

阅读更多

做互联网、做电子商务,我们都盼望着用户数和访问量不断的攀升,这意味着我们将有更多的业务,将有更多的订单,将会有更多的盈利。欣喜之余,我们开始有更多的担忧,我们的应用能不能抗得住啊,当一个个的问题在高访问量的时候一个个的暴露出来时,我们的压力也就接踵而来,我们忙前忙后焦头烂额。这样的景象不知道大家有没有经历过,不好意思我还没有。俗话说,未雨绸缪,早做准备永远都是好事。在设计OECP社区的时候,我早早的设计了OECP社区未来的运行环境,负载均衡,分布式集群,反向代理,缓存,文件系统,并在程序的架构上分离了平台层和应用层,正当我暗自得意的时候,一盆冷水让我从骄傲中苏醒过来。我平时一再吹嘘的通过可无限扩展的服务器集群方式解决系统压力的方案一下子出了问题。我一再提倡要将传统的将压力嫁祸于数据库的做法前置到应用服务器,通过应用服务器可扩展集群的能力来解决系统性能问题,这种思路我始终认为是对的,那又是什么问题让我坐立不安呢?
       独立应用可以透明的迁移到集群结构中,这种认识是错误的。尽管一些供应商宣称他们的J2EE产品有这样的灵活性。不要相信他们!事实你要在开始系统设计时就要准备集群,而这将影响开发和测试的所有阶段。
        1、Http Session
       在集群环境中,使用HTTP Session有很多限制,这取决于你的应用程序服务器采用了哪种会话失效转移的机制。如果负载集群采用的一个会话始终是连接的一个应用服务器,那么带来的影响还是可以容忍的。只是当这个应用服务器断开的时候,用户的此次请求也将断掉无法访问,而不能切换到其他服务器。如果你采取了会话失效转移,或者直接根据压力轮询路由应用服务器,虽然可以保持用户的请求不会断掉,但是其他的问题来了。你必须做的处理的就是session的复制或者同步,虽然很多应用服务器有这方面的能力,但是一个重要的限制就是所有保存的HTTP Session中的对象必须是可序列化的,这将限制设计和应用程序结构。我们可以问一下自己,我们session中放置的都是可序列化的吗?如果不是,你完了。即使我们都是放置的可序列话的对象,对象的序列的反序列化对性能的影响很大,如果你的集群节点很多,session的对象又放了很多,session的同步将会出现形成服务器间的IO阻塞。所以不要什么东西都往session中放。
        2、缓存
        我们采用缓存来提升系统的性能,降低数据库的压力,这种思路绝对是正确的,对于单应用服务器来说也是绝对没有问题的。但是在集群环境下,问题又来了。在集群环境,每个JVM实例都要维护一份缓存的拷贝,这些拷贝必须同步以维持所有服务器实例状态的一致性。有时这种类型的同步会比没有缓存带来更糟的性能。而更可怕的是我们根本就没考虑到同步缓存,造成数据的不一致。集群环境下,我们需要考虑使用的缓存产品支不支持分布式,我们自己写的缓存实现在集群下有没有同步的功能。
        3、单例和静态变量
        当我们设计J2EE应用程序时,在架构上经常会使用一些设计模式。这些如“Singleton”的设计模式会用到静态变量来在多对象之间共享状态。这种方式在单服务中工作得很好,但在集群环境将失效。一个使用静态变量的例子就是用它来保持在线用户数。用静态变量来保存在线用户数是一个很简单的办法,当用户进入或离开时就增加和减少它。这种方式在单服务器中绝对是好的,但在集群环境将失效。在集群中更好的方式是将所有状态保存到数据库,或者全局的缓存中。
       4、文件操作和外部资源
       一些应用会使用文件系统来保存用户上传的文件,或是创建一个动态配置的XML文件。在集群环境是没有办法来在其他实例之间来复制这些文件的。为了在集群中工作,办法是用数据库作为外部文件的存放点,另外也可以使用SAN(存储区域网,Storage Area Network)作为存放点。对于文件上传下载,我们最常用的做法就是采用文件服务器统一存取。
       5、一些特殊服务
       一些特殊的服务只在独立的环境中才有意义,定时服务就一个很好例子,这种服务可以在一个固定的间隔时间有规律的触发。定时服务常用于执行一些自动化管理任务。如日志文件滚动,系统数据备份,数据库一致性检查和冗余数据清理等。对于这些服务,他们大部分不是由请求触发的,负载均衡是没有任何用处的,如果迁移到集群中,有些服务也是固定在某台应用服务器上的,而不是每个服务器上都要开启这些服务。

 

        看了上面总结的这些问题,你还敢拍着胸脯说,我的系统可以迁移到集群中,我们的系统在压力大了之后可以做负载均衡啊?有些问题是可以在系统的演变升级中逐渐完善的,但是有些问题就需要我们在设计和开发阶段就要去思考,并做出相应的解决方案的。WHY总是先于HOW的,先去分析然后再做,多动脑子总比光动手要好得多。从上面的一些问题引申出的一些思考:
       1、一个好的架构师是多么的重要,不要以为他们没有像牛一样的工作就遭到鄙夷,他们在用脑子工作,他们的能力就是分析问题,防患于未然。我们每个人都应该向着能防范问题的方向去思考和发展。
       2、是自我吹嘘也罢,我依然认为我做了一个正确的决定,将系统抽象出了平台层和应用层。以上出现的大部分问题,我们都可以在平台层上去做正确的实现方案,然后将API暴露给应用层。比如我们统一封装支持分布式的缓存,对于静态变量的处理,我们在平台层上可以采用全局分布式缓存或者KEY-VALUE数据库这样的方案来进行替代,并公布API。平台层的建立,有效的降低了应用层的开发难度,让他们更关注业务,而不是太多的技术细节。平台层可以制定相应的技术标准和规范,可以持续不断的积累完善,可以被更多系统复用,对于一个团队发展都是有好处的。
        3、一个建议,尽量不要让一个业务型的项目经理来做架构设计的工作,他们的关注点是截然不同的,他只会关注进度,这对架构设计没有任何好处。
 

参考:http://blog.csdn.net/ESoftWind/category/247686.aspx

 

转自:http://www.po-soft.com/hi/yongtree/blog/1375

分享到:
评论

相关推荐

    集群与分布式的区别

    集群与分布式的区别 单机结构我想大家最最最熟悉的就是单机结构,一个系统业务量很小的时候所有的代码都放在一个项目中就好了,然后这个项目部署在一台服务器...

    用Docker构建分布式Redis集群

    【编者的话】本文介绍了如何使用Docker搭建Redis集群,很多读者都在问Docker能带来哪些实质性的好处,我想本文就是一个很好的例子。不使用Docker你也可以搭建Redis集群,那使用Docker后会有怎么样的优势了?我想可以...

    Redis-Swarm分布式集群部署脚本

    Redis-Swarm分布式集群是通过Docker Swarm模式来实现Redis的集群化部署,它结合了Docker容器编排的强大功能和Redis的数据存储特性。这个“Redis-Swarm分布式集群部署脚本”旨在帮助用户快速、便捷地在多台服务器上...

    谷粒商城2020分布式_2020_谷粒商城_springcloud_谷粒_分布式_

    SpringCloud是基于Spring Boot实现的云应用开发工具集,它为开发者提供了在分布式系统(如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态)中快速...

    RabbitMQ高效部署分布式消息队列实战篇

    总之,《RabbitMQ高效部署分布式消息队列实战篇》是一份全面且实用的指南,它不仅讲解了RabbitMQ的基础知识,还提供了丰富的实战经验,对于想要在分布式环境中运用消息队列的开发者来说,无疑是一份宝贵的参考资料。...

    ZooKeeper-分布式过程协同技术详解(高清PDF)

    总的来说,《ZooKeeper——分布式过程协同技术详解》是一本全面覆盖ZooKeeper技术的指南,对于想要深入了解分布式系统协同的开发者和架构师来说,是一份不可多得的参考资料。通过阅读这本书,读者不仅能学习到...

    大型分布式网站架构设计与实践.rar

    《大型分布式网站架构设计与实践》是一本深入探讨如何构建高效、可扩展的大型网站架构的专业书籍。...通过学习和实践书中的知识,你将能够更好地应对复杂网络环境下的挑战,构建出更强大、更可靠的互联网服务。

    深入了解MongoDB 分布式集群

    要想很好的使用 mongodb,仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识,才能在实际运用中使其更好地服务于应用,遇到问题知道怎么处理,而不是抓瞎抹黑。这篇文章就带你进入 mongodb 集群的大门。 ...

    Hadoop分布式文件系统使用.pdf

    ### Hadoop分布式文件系统使用指南 #### Hadoop分布式文件系统(HDFS)概述 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,主要用于存储和管理大规模数据集。它提供了一种高容错性的文件存储方式,...

    用 Hadoop 进行分布式并行编程

    为了更好地理解Hadoop的工作原理,下面通过一个简单的示例来展示如何使用Hadoop进行分布式计算。 假设我们有一份大型文本文件,想要统计其中每个单词出现的频率。这个任务可以很容易地通过MapReduce模型来实现: 1...

    redis分布式锁实现

    分布式锁是一种在分布式系统中实现锁机制的方法,它允许多个节点在共享资源上进行互斥访问。在微服务架构和大型...通过深入研究这些内容,开发者可以更好地掌握如何在实际项目中安全、高效地使用Redis实现分布式锁。

    微软分布式云计算框架Orleans

    如果你想要深入学习Orleans,可以从"Samples-master"这个压缩包入手。这个包包含了Orleans的示例代码,你可以通过这些示例了解如何创建Grains、设置Silos以及客户端如何与Grains交互等基本操作。同时,官方文档和...

    ZooKeeper分布式协调服务:从入门到实战详解

    使用场景及目标:本指南适用于想要理解和使用ZooKeeper进行分布式应用开发的技术人员,旨在帮助读者掌握ZooKeeper的基本原理和实用技巧,能够在真实项目中有效应用ZooKeeper的功能。 其他说明:文档不仅涵盖理论知识...

    淘宝分布式框架fourinone介绍.pdf

    其中,分布式并行计算模块提供了多种计算模式,包括“农民工”、“包工头”、“职介绍”以及“手工仏库”,这些模式利用了集群中每台计算机的CPU、内存和硬盘资源,从而实现强大的计算能力。分布式缓存模块实现了...

    go开发的分布式crontab任务管理器

    在IT行业中,分布式系统是现代应用架构的重要组成部分,而任务调度是其中不可或缺的一环。Go语言以其高效、简洁和并发能力强的特点,成为了构建...对于想深入学习Go语言和分布式系统的人来说,这是一个极好的实践项目。

    ZK分布式一致性原理与实践

    总的来说,《从PAXOS到ZK分布式一致性原理与实践》是一本深度结合理论与实践的书籍,不仅深入解析了PAXOS算法和Zookeeper的设计思想,还提供了丰富的实战指导,对于想要深入了解分布式一致性问题和Zookeeper的读者来...

    MySQL Cluster集群搭建详解

    对于想要搭建MySQL Cluster集群的新手来说,了解安装过程中的环境配置、软件准备、安装步骤、配置文件编辑等环节是非常重要的。 首先,在搭建MySQL Cluster集群之前,我们需要准备适合的操作系统环境。这里推荐的...

    rqlite:基于SQLite的轻量级分布式关系数据库

    最后,如果您想了解分布式系统的实际工作方式,那么rqlite是一个很好的例子。 在其和实现中已经进行了很多思考,各个组件之间的清晰分离,包括存储,分布式共识和API。 怎么样? rqlite使用在SQLite数据库的所有...

    从Paxos到Zookeeper分布式一致性原理与实践(完整版)

    《从Paxos到Zookeeper分布式一致性原理与...通过学习这本书,读者不仅可以掌握分布式一致性理论,还能具备使用Zookeeper解决实际问题的能力,对于想深入了解分布式系统和Zookeeper的读者来说,无疑是一份宝贵的资源。

    深入探索Zookeeper:从客户端使用到集群特性的全面指南

    总的来说,本文全面介绍了Zookeeper的客户端使用、集群管理和实际应用场景,对想要深入理解和使用Zookeeper的开发者具有很高的参考价值。通过学习和实践,开发者能够更好地掌握Zookeeper这一强大工具,提升分布式...

Global site tag (gtag.js) - Google Analytics