`
huangyongxing310
  • 浏览: 491971 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

分布式、集群的概念和工作原理

    博客分类:
  • Java
阅读更多
分布式:
1.将不同功能数据放到不能的机器上。
2.将同一数据放到不同的服务器上(数据副本),服务器之间通过网络互通。(涉及到数据的一致局性问题)。


分布式系统的CAP理论:
● 一致性(C):在分布式系统中的所有数据备份,在同一时刻是同样的值。(等同于所有节点访问同一份最新的数据副本)
● 可用性(A):在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。
    1.对数据更新具备高可用性(一个坏了由另一个自动成为主节点进行处理。
    2.不要因为一个节点通信不上(通过网络连接有时连接不上正常),就出现用户请求出错,
      在强一致性要求下特别不可用(因为要求每个节点的数据都是最新的才返回成功,有
      一个失败都返回失败)。
● 分区容错性(P):以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在C和A之间做出选择。
    1.就是是否能接受分区(分区就是意味着节点之间可能会通信不上,可能会长时间连接不上。
    2.因为是分布式所以是肯定选择了分区的,所以你只能在C和A中权衡进行选择了:
      1)、选择C,可能会因为有节点通信不上,所以用户请示可能长时间得不到正确的回应,影响A。
      2)、先择了A,就意味你要牺牲C,道理同选择C是类似的。



集群:
就是用多个服务器来处理同一个功能或存储数据(这个有点像分布式(数据备份)),来提高对多用户请求的处理,防止一个服务器处理不过来。一般会通过反向代理(分发请求)来实现集群的功能(nginx:一个反向代理的软件)。


nginx:反向代理软件
1.用户的请求都先到达nginx,nginx再跟据配置计算出把这个请求发到集群里的那个服务器进行处理,nginx再接收它处理完的结果,再把结果返回给用户。




分享到:
评论

相关推荐

    spark 分布式集群搭建

    以上步骤涵盖了 Spark Standalone 分布式集群的基本搭建方法及其核心概念,对于理解和应用 Spark 在分布式环境中至关重要。通过这些步骤,开发者可以快速搭建起一个可扩展且高效的 Spark 集群。

    分布式集群技术.pdf

    Linux 网络是分布式集群技术的基础,Linux 网络的介绍、Linux 网络的配置和维护、iptables 原理和操作等内容将为读者提供了 Linux 网络的基础知识。 Shell 编程是分布式集群技术的基础,Shell 介绍、Shell 脚本的...

    hadoop 分布式集群大数据云计算源码视频教程.zip

    该教程旨在帮助学习者理解和掌握Hadoop在分布式集群环境中的核心概念、工作原理以及实际应用,从而提升在大数据处理和云计算领域的专业技能。 首先,Hadoop是Apache基金会开发的一个开源框架,主要用于存储和处理大...

    zookeeper3.4.6+window伪分布式集群

    总的来说,通过在Windows环境下搭建Zookeeper的伪分布式集群,我们可以更方便地学习和理解Zookeeper的工作原理和功能,为后续的分布式系统开发打下基础。在这个过程中,了解和掌握Zookeeper的核心概念、配置以及操作...

    大规模分布式存储系统:原理解析与架构实战 完整版 PDF

    本书全面覆盖了分布式存储系统的核心概念、设计原理以及实际应用,旨在帮助读者理解和构建大规模的分布式存储解决方案。在当今数据爆炸的时代,这样的知识显得尤为重要。 分布式存储系统是解决海量数据存储和处理的...

    Java分布式开发与集群技术.pdf

    3. Web集群技术概念:文档描述了Web集群技术的工作原理,即通过前端服务器将用户请求分发到后台多台Web负载服务器上,并将负载服务器生成的结果返回给用户。集群技术使得对单个服务器的高依赖转化为对服务器池的依赖...

    MongoDB分布式集群.pdf

    在MongoDB分布式集群中,副本集的概念是核心组成部分。副本集是由多个mongod实例组成的,每个实例称为一个节点。副本集的主要目的是提供数据的冗余和高可用性,确保数据的持久性和一致性的同时,提供读取操作的负载...

    分布式系统原理与范型答案(第二版)答案

    《分布式系统原理与范型(第二版)》这本书深入浅出地介绍了这一主题,旨在帮助读者理解分布式系统的概念、设计模式以及实际应用。现在我们来详细探讨一下该书可能涵盖的关键知识点。 1. **分布式系统定义**:...

    《分布式系统原理与范型(第二版)》复习资料

    分布式系统原理与范型是计算机科学领域的一个重要研究方向,它涉及如何构建和管理由多个独立计算机组成的系统,这些系统能够协调工作,对外表现得就像单一的、协调一致的系统一样。在分布式系统中,透明性、开放性、...

    JavaEE分布式集群架构设计与实践复习资料.docx

    ### JavaEE分布式集群架构设计与实践复习资料知识点...通过以上知识点的详细介绍,我们可以了解到JavaEE分布式集群架构设计与实践中RMI技术的基本原理及其实现步骤,这对于理解和掌握分布式系统的设计有着重要的意义。

    大规模分布式存储系统:原理解析与架构实战.杨传辉

    1. 分布式存储基础:介绍分布式存储的基本概念,包括数据分布策略(如哈希分布、一致性哈希),副本机制(如主从复制、多副本策略)以及数据的一致性模型(如强一致性和最终一致性)。 2. 存储节点与集群架构:阐述...

    从PAXOS到ZOOKEEPER分布式一致性原理与实践

    PAXOS算法和ZOOKEEPER是这个领域内的两个重要概念。 PAXOS,由Leslie Lamport提出,是一种解决分布式系统中一致性问题的协议。该算法的核心在于通过多轮提案和投票机制,使得在存在网络延迟和故障的情况下,系统仍...

    一键安装伪分布式zk集群-solr集群脚本

    这里的“伪分布式”意味着Zookeeper集群是在单机上模拟的多节点环境,尽管所有实例都在同一台机器上运行,但它们之间可以像真实分布式集群一样进行通信和协调。 Solr是Apache Lucene的一个子项目,是一款高性能、可...

    分布式系统原理与范型课件

    分布式系统原理与范型是计算机科学中的一个重要领域,它涉及到多台计算机协同工作,共同处理一个任务或数据,以提供高可用性、可扩展性和性能优化。这些课件旨在为学习者提供一个全面且系统的分布式系统知识框架。...

    Java分布式开发与集群技术

    接下来,我们将具体探讨Java并发编程、分布式开发原理以及Java分布式开发与集群技术的细节。 首先,Java并发编程是分布式开发的基础。Java提供了强大的并发工具,例如线程、同步器、并发集合和并发框架等,这些工具...

    星系分组算法的并行设计与优化:SGI系统与分布式集群对比.pdf

    文章中提到了分布式内存集群的概念,它在并行计算中起到了关键作用,通过两级并行设计,能够更好地利用局部性原理。 内存管理是任何计算系统性能的关键因素之一。文中提到的半随机性远端内存访问问题是并行计算中...

    从Paxos到Zookeeper分布式一致性原理与实践 + ZooKeeper-分布式过程协同技术详解 pdf

    《从Paxos到Zookeeper分布式一致性原理与实践》与《ZooKeeper-分布式过程协同技术详解》这两本书深入探讨了分布式系统中的一个重要概念——一致性,以及如何通过ZooKeeper这一工具来实现高效的分布式协同。...

    Java企业级电商项目架构演进之路 Tomcat集群与Redis分布式-课程章节1

    这部分内容会讲解如何利用Redis来提高系统的响应速度和处理能力,可能会涵盖Redis的数据结构、主从复制、Sentinel哨兵系统或Cluster集群等概念。 通过这门课程,学员不仅能提升Java开发的专业技能,还能了解到企业...

Global site tag (gtag.js) - Google Analytics