`
huangyongxing310
  • 浏览: 490639 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

分布式、集群的一些认识

阅读更多
分布式、集群的一些认识

分布式的作用:
1.提高可用性(不能叫北京的用户访问广州的服务器吧(网络速度慢))。
2.提高系统性能,不同地区的用户访问不同地区的服务器。
3.如果在数据存储方面,可以提高存储容量。
4.降低单个数据库的压力。


集群的作用:
1.可以进行负载均衡,把多用户请求均衡分给集群中的服务器进行处理,(这个请求给这个服务器处理,另一个请求给另一个服务器处理)
2.如果在数据存储方面,可以提高数据的可靠性,一个宕机了还有另一个在.



Web负载均衡
1.HTTP重定向
当用户发来请求的时候,Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url,然后浏览器再继续请求这个新url,实际
上就是页面重定向。通过重定向,来达到“负载均衡”的目标。

这个重定向非常容易实现,并且可以自定义各种策略。但是,它在大规模访问量下,性能不佳。而且,给用户的体验也不好,实际请求
发生重定向,增加了网络延时。


2.反向代理负载均衡
反向代理服务的核心工作主要是转发HTTP请求,扮演了浏览器端和后台Web服务器中转的角色。可以做反向代理的软件很多,比较常见的
一种是Nginx。




反向代理中,常见的一个问题,就是Web服务器存储的session数据,因为一般负载均衡的策略都是随机分配请求的。同一个登录用户的请求,
无法保证一定分配到相同的Web机器上,会导致无法找到session的问题。
解决方案主要有两种:
1. 配置反向代理的转发规则,让同一个用户的请求一定落到同一台机器上(通过分析cookie),复杂的转发规则将会消耗更多的CPU,也增
加了代理服务器的负担。
2. 将session这类的信息,专门用某个独立服务来存储,例如redis/memchache,这个方案是比较推荐的。


3.IP负载均衡
在负载均衡服务器收到客户端的IP包的时候,会修改IP包的目标IP地址或端口,然后原封不动地投递到内部网络中,数据包会流入到实际Web
服务器。实际服务器处理完成后,又会将数据包投递回给负载均衡服务器,它再修改目标IP地址为用户IP地址,最终回到客户端。



4.DNS负载均衡
一个域名是可以配置成对应多个IP的,当DNS时可以在DNS信息中得到那个服务器离自己最近就选择与那个服务器进行请求.



总结:
数据库集群就是提高可靠性(备份),提高吞吐量(每个都可以提供数据(但要求一致性,否则数据可能不是最新的))。

数据库分布式提高数据的容量和分区管理。

但现在大多数大型系统都是分布式与集群一起使用来完成的。


参考原文:http://kb.cnblogs.com/page/509402/
  • 大小: 7.7 KB
  • 大小: 20 KB
分享到:
评论

相关推荐

    DFS命令行工具操作Hadoop分布式集群初体验

    2. Hadoop分布式集群:Hadoop分布式集群是指运行Hadoop平台的多个计算机节点组成的集群,这些节点协同工作,共同处理大量数据。Hadoop的核心组件包括HDFS(用于存储数据)和MapReduce(用于处理数据)。 3. Hadoop...

    深入了解MongoDB 分布式集群

    在分布式应用系统中,mongodb 已经成为 NoSQL 经典数据库。要想很好的使用 mongodb,仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识,才能在实际运用中使其更好地服务于应用,遇到问题知道怎么处理,...

    中科大分布式云计算实验

    这些内容将帮助我们构建对分布式云计算的全面认识。 接着,我们会接触到实际操作的部分,这通常涉及到编程和配置。在【SA15225107+沈坚+分布式云计算实验 2】这个文件中,可能包含了一些实验代码、配置文件和指导...

    基于hadoop的分布式搜索代码

    Hadoop是一种开源框架,专为处理和存储大量数据而设计,它支持在分布式集群中进行计算,是大数据处理的基石。分布式搜索引擎在此背景下,通过将索引分片到多台服务器上,可以高效地处理海量数据的查询请求,提供快速...

    基于异构GPU集群的并行分布式编程解决方案.pdf

    本文提出了一套针对异构GPU集群的并行分布式编程解决方案,旨在解决这一挑战。 GPU由于其强大的计算能力和高速访存带宽,成为了超级计算机和高性能计算(HPC)集群的首选加速器。GPU集群的异构化表现在两个层面:...

    分布式数据库 SequoiaDB 初步认识.rar

    1. 数据分布与复制:SequoiaDB将数据按预设的策略分片,并在集群中的多个节点进行复制,以实现冗余和故障恢复。每个分片都有一个主副本和多个从副本,主副本负责写操作,从副本用于读负载均衡。 2. 并发控制:在...

    分布式数据库课程知识体系扩展探索(英文).pdf

    总之,《分布式数据库课程知识体系扩展探索》强调了教学内容与工业实践的对接,提倡在教学中引入实际案例,尤其是像MongoDB这样的现代分布式数据库系统,以提升学生对分布式数据库系统的全面认识和实际操作能力。...

    postgresql分布式数据库架构

    PostgreSQL分布式数据库架构的...同时,我们也能够对项目的现状、已知的限制和未来的发展方向有一个全面的认识。这些知识对于数据库管理员、系统架构师和任何有兴趣在生产环境中部署分布式数据库系统的人都非常重要。

    《ZooKeeper分布式过程协同技术详解》PDF

    这将帮助读者拓宽视野,认识到ZooKeeper在分布式系统中的广泛价值。 最后,书中可能会包含一些实战教程,引导读者进行实际的项目开发,以巩固理论知识,并提升实际操作技能。 总的来说,《ZooKeeper分布式过程协同...

    Hadoop入门概述

    Hadoop概述,初步认识,分布式系统概述,离线数据分析流程,伪分布式环境搭建,分布式集群环境搭建,集群使用效果演示

    56 solrCloud分布式搜索与索引过程

    在深入了解SolrCloud的分布式搜索与索引过程之前,我们需要对SolrCloud有一个基本的认识。SolrCloud是Apache Solr的一个扩展模块,它提供了一种简单的方式来构建可扩展、高可用的全文搜索应用。SolrCloud通过引入...

    分布式计算环境遥感图像水体识别技术.pdf

    在分布式集群中,通过配置一定数量的主机作为集群节点,搭建实验环境。集群中的主机需要安装必要的软件,如Linux系统、Hadoop分布式文件系统、Java编程软件等。 在遥感图像水体识别的具体技术方面,文中介绍了几种...

    企业分布式创新:概念、特征与类型.pdf

    分布式创新的理论研究目前尚未形成统一认识,但在实践中已被广泛应用,尤其在跨国公司和大型企业中表现明显。 分布式创新的特点可以从五个方面来分析:动态性、开放性、本地根植性、网络性和知识互补性。动态性指的...

    分布式文件系统Hadoop

    这包括设置Hadoop环境变量、配置Hadoop集群(单机、伪分布式和完全分布式)、启动和停止Hadoop服务等步骤。此外,还会讲解如何使用Hadoop自带的工具进行数据操作,如HDFS的文件上传、下载和管理。 "Hadoop和Hbase...

    远程控制的分布式环境管理及其数据安全配置分析.pdf

    最佳实践表明,没有两个环境是完全相同的,但遵循一些通用原则有助于实现最优配置。 选择合适的分布式环境管理工具也是关键一步。管理工具能帮助管理员远程管理数据中心资源。控制模式下,管理员使用管理工具观察和...

Global site tag (gtag.js) - Google Analytics