`
woodding2008
  • 浏览: 292493 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

RedisCluster

 
阅读更多

        Redis集群是Redis提供分布式数据库方案,集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能。

 

节点

        一个Redis集群通常由多个节点(node)组成,在刚开始的时候,每个节点都是互相独立的,他们都处于一个只包含自己的集群当中,要组建一个真正可工作的集群,必须将各个独立的节点连接起来,构成一个包含多个节点的集群。

         连接各个节点的工作可以使用CLUSTER MEET命令来完成:CLUSTER MEET $IP $PORT

         向一个节点node发送CLUSTER MEET命令,可以让node节点与ip和port所指定的节点进行握手(handshake),当握手成功时,node节点就会将ip和port所指定的节点添加到node节点当前所在的集群中。

        下面将三个独立节点组建一个集群,127.0.0.1:7000~7002,在节点7000通过发送CLUSTER NODES命令可以看到只有一个节点,然后添加7001和7002到集群里。

7000>CLUSTER NODES
7000>CLUSTER MEET 127.0.0.1 7001
7000>CLUSTER NODES
7000>CLUSTER MEET 127.0.0.1 7002
7000>CLUSTER NODES

        一个节点就是一个运行在集群模式下的Redis服务器,Redis服务器在启动时会根据cluster-enabled配置选项是否为yes来决定是否开启服务器的集群模式。

        clusterNode结构保存了一个节点的当前状态,比如节点的创建时间,节点的名字,节点当前配置的纪元,节点的IP地址和端口等信息。

         每个节点都会使用一个clusterNode结构来记录自己的状态,并为集群中的所有其他节点(包括主节点和从节点)都创建一个相应的clusterNode结构,以此来记录其他节点状态。

        通过CLUSTER MEET命令,节点握手的过程:

  • 将节点A与节点B进行握手(handshake),以此来确认彼此的存在。
  • 节点A会为节点B创建一个clusterNode结构,并将该结构添加到自己的clusterState.nodes字典里面。
  • 节点A根据CLUSTER MEET命令给定的IP地址和端口,向B节点发送一条MEET消息
  • 如果一切顺利,节点B将收到A发送的MEET消息,节点B会为节点A创建一个clusterNode结构,并将该结构添加到自己的clusterState.nodes字典里面
  • 节点B将向A返回一条PONG消息。
  • 节点A将收到节点B返回的PONG消息,通过PONG消息节点A可以知道节点B已经成功的接收到自己发送的MEET消息
  • 节点A将向节点B返回一条PING消息
  • 节点B将接收到节点A返回的PING消息,通过这条PING消息节点B可以知道节点A已经成功地接收到了自己返回的PONG消息,握手完成
  • 节点A会将节点B的信息通过gossip协议传播给集群中的其他节点,让其他节点与B进行握手,最终经过一段时间后,节点B会被集群中所有节点认识


槽指派

         Redis集群通过分片的方式来保存数据库 中的键值对:集群的整个数据库被分为16384个槽(slot),数据库中的每个键都属于这16384个槽的其中一个,集群中的每个节点可以处理0~16384个槽。

         当数据库中的16384个槽都有节点处理时,集群处于上线状态,如果任何一个槽没有得到处理,那么集群处于下线状态。通过CLUSTER MEET将7000~7002连接到一个集群中,不过这个集群仍然是下线状态,因为没有处理任何槽。通过CLUSTER ADDSLOTS命令,我们可以将一个或多个槽指派给节点。

 

7000>CLUSTER INFO
7000>CLUSTER ADDSLOTS 0 1 2 3 4 ... 5000
7000>CLUSTER NODES
7001>CLUSTER ADDSLOTS 5001 ... 10000
7002>CLUSTER ADDSLOTS 10000 ... 16383
7000>CLUSTER INFO

       clusterNode结构的slots属性和numslot属性保存槽信息,slots是一个二进制数组,一个节点除了将自己负责处理的槽记录在clusterNode结构中之外,它还会将自己的slots数据通过消息发送给集群中的其他节点,以此来告知其他节点自己目前负责那些槽。

 

命令执行

        在对数据库中的16384个槽都进行了指派之后,集群就会进入上线状态,这时客户端就可以向集群中的节点发送数据命令了。

        当客户端节点发送与数据库键有关的命令时,接收命令的节点会计算出命令要处理的数据键属于哪个槽,并检查这个槽是否指派给了自己:

  • 如果键所在的槽正好在当前节点,那么节点直接执行这个命令
  • 如果键所在的槽不再当前节点,那么会向客户端返回一个MOVED错误,指引客户端转向(redirect)正确的节点,并再次发送要执行的命令。

       计算key属于哪个槽

CLUSTER KEYSLOT "stevenDing"

       MOVED错误的格式

  

MOVED $slot  $ip:port

     单机的redis-cli会直接将MOVED错误输出,集群模式redis-cli会直接向目标地址请求。

 

重新分片

        Redis集群的重新分片操作可以将任意数量已经指派给某个节点(源节点)的槽改为指派给另一个节点(目标节点),并且相关槽所属的键值对也会从源节点移动到目标节点。重新分片操作可以在线进行,在重新分片过程中,集群不需要下线,并且源节点和目标节点都可以继续处理命令请求。

        目前有7000~7002三个节点的集群,增加一个7003节点,将15001-16383槽指派给7003节点。

 

7000>CLUSTER NODES
7003>CLUSTER ADDSLOTS 15001-16383
7000>CLUSTER NODES
       Redis集群的重新分片操作是由Redis集群管理软件redis-trib负责执行的,Redis提供了重新分片所需的所有命令,而redis-trib则通过向源节点和目标节点发送命令来进行重新分片操作,步骤如下:

 

  • redis-trib对目标节点发送CLUSTER SETSLOT <slot> IMPORTING <source_id>命令,让目标节点准备好从源节点导入(import)属于槽slot的键值对。
  • redis-trib对源节点发送CLUSTER SETLOT <slot> MIGRATING <target_id>命令,让源节点准备好将属于槽slot的键值对迁移(migrate)至目标节点。
  • redis-trib向源节点发送CLUSTER GETKEYSINSLOT <slot> <count>命令,获得最多count个属于槽slot的键值对的键名(key name)。
  • 对于步骤3获得的每个键名,redis-trib都向源节点发送一个MIGRATE <target_ip> <target_port> <key_name> 0 <timeout>命令,将被选中的键原子的从源节点迁移至目标节点。
  • 重复执行步骤3和步骤4,直到源节点保存的所有属于槽slot的键值都被迁移至目标节点为止,迁移过程见下图。
  • redis-trib向集群中的任意一个几点发送CLUSTER SETSLOT <slot> NODE <target_id>命令,将槽slot指派给目标节点,这一指派信息会通过消息发送至整个集群,最终集群中所有节点都会知道槽slot已经指派给了目标节点。

 

ASK错误

     在进行充分片期间,源节点向目标节点迁移一个槽的过程中,可能会出现这样一种情况,属于被迁移槽的一部分键值对保存在源节点里面,而另一部分保存在目标节点里面。当客户端向源节点发送一个与数据库键有关的命令,并且命令要处理的数据库敲好就属于正在被迁移的槽时:

源节点会先在自己的数据库里面查找指定的键,如果找到的话,就直接执行客户端发送的命令。

如果源节点没能在自己的数据库里面找到指定的键,那么这个键有可能已经被迁移到了目标节点,节点将向客户端返回一个ASK错误,指引客户端转向正在导入槽的目标节点,并再次发送之前想要执行的命令。

 

ASKING命令

      ASKING命令唯一要做的就是打开发送命令的客户端的REDIS_ASKING标识符,在一般情况下,如果客户端向节点发送一个关于槽i的命令,而槽i有没有指派给这个节点的话,那么将向客户端返回一个MOVED错误,如果节点显示正在导入i槽,并且发送命令的客户端带有REDIS_ASKING标识,那么节点将破例执行一次关于槽i的命令一次。

 

ASK错误和MOVED错误的区别

  • MOVED错误代表槽的负责权已经从一个节点转移到了另一个节点:在客户端收到关于槽i的MOVED错误之后,客户端每次遇到关于槽i的命令请求时,都可以直接将命令请求发送至MOVED错误所指向的节点,因为该节点就是目前负责槽i的节点。
  • ASK错误是两个节点在迁移槽的过程中使用的一种临时措施:在客户端收到关于槽i的ASK错误之后,客户端只会在接下来的一次命令请求中将关于槽i的命令请求发送至ASK错误所指示的节点,但这种转向不会对客户端今后发送的关于槽i的命令请求产生任何影响,客户端仍然会将关于槽i的命令请求发送至目前负责处理槽i的几点,除非ASK错误再次出现。

 

故障转移

 

 

消息

  • 大小: 337.9 KB
  • 大小: 230.2 KB
  • 大小: 319.9 KB
  • 大小: 160.6 KB
  • 大小: 290.2 KB
  • 大小: 406.7 KB
  • 大小: 368.2 KB
分享到:
评论

相关推荐

    22T挖掘机回转减速器设计说明书.doc.doc

    22T挖掘机回转减速器设计说明书.doc.doc

    步进式推刚机设计说明书.doc

    步进式推刚机设计说明书.doc

    《单片机技术》课程设计说明书 8x8x8的光立方设计.docx

    《单片机技术》课程设计说明书 8x8x8的光立方设计.docx

    累加平均算法verilog

    累加平均算法verilog

    时间序列预测中SVM、BP神经网络与LSTM的应用及MATLAB实现

    内容概要:本文详细介绍了支持向量机(SVM)、BP神经网络和LSTM网络在时间序列预测中的应用及其MATLAB实现。首先,针对SVM部分,文章讲解了如何将时间序列数据转化为特征矩阵并通过滑动窗口进行预测,强调了交叉验证的重要性。对于BP神经网络,则着重于数据归一化以及网络结构的选择,并指出BP网络容易陷入局部最优的问题。最后,在LSTM部分,文章展示了如何利用MATLAB的深度学习工具箱实现LSTM网络,解决了输入数据格式转换的问题,并实现了滚动预测。文中提供了具体的代码示例,确保读者能够轻松替换数据源并运行程序。 适用人群:适用于有一定MATLAB基础的时间序列预测初学者和技术爱好者。 使用场景及目标:帮助读者掌握三种不同类型的机器学习模型在时间序列预测任务中的具体应用,理解各自的特点和优缺点,从而选择合适的模型应用于实际项目中。 其他说明:文章不仅提供了详细的理论解释,还给出了完整的代码实现,使得读者可以直接上手实践。同时,作者提醒了一些常见的错误和注意事项,如数据格式、归一化等问题,有助于提高预测准确性。

    基于S7-200 PLC与组态王的花式喷泉控制系统设计及其实现

    内容概要:本文详细介绍了利用S7-200 PLC和组态王构建智能花式喷泉控制系统的设计思路和技术细节。首先阐述了喷泉系统的基本构成,包括硬件部分如PLC、喷嘴及其连接方式,以及软件部分如喷嘴控制逻辑、喷泉变换逻辑和控制画面设计。接着展示了具体的梯形图接线图和代码实现,解释了关键变量的作用和程序流程。最后讨论了系统测试与调试的方法,强调了硬件配置、IO分配、通信配置等方面的注意事项,并分享了一些实用技巧。 适合人群:对工业自动化感兴趣的工程技术人员,特别是从事PLC编程和组态软件应用的从业者。 使用场景及目标:适用于需要设计和实施智能喷泉控制系统的项目,旨在提高喷泉展示的效果和管理效率。通过学习本文,读者可以掌握如何使用PLC和组态王创建复杂的喷泉控制系统,实现多样化的喷水模式。 其他说明:文中提供了丰富的实践经验,包括常见问题的解决方案和优化建议,有助于读者更好地理解和应用相关技术。同时,附带的实际案例使理论更加生动具体,便于理解和模仿。

    基于S7-200 PLC的饮料灌装机控制系统设计与实现

    内容概要:本文详细介绍了基于西门子S7-200 PLC的饮料灌装机控制系统的设计与实现。首先阐述了硬件设计,包括瓶体输送、定位检测、液体灌装、计数统计等环节的具体配置,如CPU224搭配EM221数字量扩展模块及其I/O分配。接着深入解析了梯形图程序的核心代码,涵盖系统启停控制、灌装流程控制以及产量统计等功能模块。此外,还展示了如何利用WinCC Flexible进行组态画面设计,实现了动态液位显示、实时计数器和电磁阀状态指示灯等功能。最后分享了一些调试过程中遇到的实际问题及解决方案,如接近开关接线错误、电磁阀动作引起的输出抖动等问题,并提出了效率优化技巧。 适合人群:从事PLC编程、自动化控制系统的工程师和技术人员,尤其是对西门子S7-200系列PLC感兴趣的读者。 使用场景及目标:适用于饮料行业或其他类似行业的灌装生产线控制系统开发项目。目标是帮助读者掌握S7-200 PLC在实际生产环境中的应用方法,提高系统的稳定性、可靠性和效率。 其他说明:文中不仅提供了详细的理论讲解,还包括了许多实用的经验分享和注意事项,有助于读者更好地理解和应用于实际工作中。同时,对于初学者而言,可以作为学习PLC编程和控制系统设计的良好参考资料。

    6156铝合金平板对接焊焊接工艺及夹具设计 设计说明书.doc

    6156铝合金平板对接焊焊接工艺及夹具设计 设计说明书.doc

    中兴U30高级web后台app

    中兴U30高级web后台app

    基于LABVIEW的西门子PLC数据采集处理程序设计与实现

    内容概要:本文详细介绍了一款基于LABVIEW开发的通用型PLC通讯与数据处理程序。该程序主要用于与西门子PLC进行通讯,完成数据采集、存储、回放、处理及报警显示等功能。文中具体介绍了各个功能模块的实现方法和技术要点,包括OPC协议通讯、内存和CSV文件存储、数据回放与处理、报警逻辑等。此外,作者还分享了一些开发过程中遇到的问题及其解决方案。 适合人群:从事工业自动化领域的工程师、技术人员,尤其是熟悉LABVIEW和PLC编程的专业人士。 使用场景及目标:适用于需要进行工业数据采集和处理的各种项目,旨在帮助开发者快速构建稳定可靠的数据采集系统,提高工作效率。 其他说明:文中提供了详细的代码示例和注意事项,有助于读者更好地理解和应用相关技术。同时,该程序具有良好的扩展性和灵活性,可以根据具体需求进行定制化开发。

    Realtek PCIe GBE Family Controller网卡驱动程序 v2.1 Win7 or above

    老网卡驱动程序,给老电脑老系统(XP,WIN7等)留存备用啦

    新能源汽车领域的电动汽车方案详解:涵盖BMS、电机控制与PCB设计

    内容概要:本文详细介绍了最新的电动汽车设计方案,涉及电池管理系统(BMS)、电机控制以及PCB设计等方面。文中首先展示了高压平台的BMS控制板及其采用的Rust语言实现的主动均衡算法,该算法通过移动平均替代传统阈值判断,提高了均衡效率。接着讨论了电机控制部分,特别是FOC算法的实现细节,强调了硬件设计中的关键组件选择和布局技巧,如MOSFET驱动电路和DC-Link电容的放置。此外,文章还探讨了CAN总线通信协议的应用,确保各模块间稳定的数据传输。最后提到了一些实用的设计建议,如热管理和防呆设计等。 适合人群:从事新能源汽车研究与开发的专业人士,尤其是对电动汽车硬件设计和软件实现感兴趣的工程师。 使用场景及目标:帮助读者深入了解电动汽车的关键技术和设计理念,为实际项目提供理论支持和技术指导。同时,也为初学者提供了入门级别的理解和实践方法。 其他说明:文章不仅包含了详细的代码示例和技术解析,还附带了一些实用的小贴士,如硬件防护措施和设计注意事项。

    (整理)平压印刷机运动方案和主要机构设计课程设计说明书.doc

    (整理)平压印刷机运动方案和主要机构设计课程设计说明书.doc

    蛋壳清洁机设计说明书.pdf

    蛋壳清洁机设计说明书.pdf

    二氧化硫填料吸收塔设计_毕业设计说明书.doc

    二氧化硫填料吸收塔设计_毕业设计说明书.doc

    三相与单相整流仿真:基于双闭环PI控制、SVPWM及PLL的应用与优化

    内容概要:本文详细探讨了三相和单相整流仿真中的关键技术,重点介绍了双闭环PI控制、空间矢量脉宽调制(SVPWM)以及锁相环(PLL)的应用。文章首先解释了三相整流中的电压外环和电流内环的作用机制,强调了电流内环PI参数调节的重要性,并提供了具体的MATLAB代码示例。接着讨论了PLL在电网电压跌落情况下的表现及其改进方法,如采用二阶广义积分器(SOGI)结构提高稳定性。对于SVPWM部分,则讲解了扇区判断逻辑和波形生成的具体步骤,指出调制比过高会导致波形畸变的问题并提出解决方案。此外,还涉及了单相整流中SPWM的实现方式,包括虚拟正交生成和电流环设计,以及如何应对二次谐波干扰。最后,文章总结了一些实用的经验和技术要点,如参数整定、仿真步长选择等。 适合人群:从事电力电子研究的技术人员、高校相关专业师生、对电力电子控制系统感兴趣的工程师。 使用场景及目标:适用于希望深入了解三相和单相整流仿真原理的研究者,旨在帮助他们掌握双闭环控制、SVPWM和PLL的实际应用技巧,从而更好地进行系统设计和故障排除。 其他说明:文中不仅包含了详细的理论分析,还附有大量的代码片段供读者参考实践,有助于加深理解和提高动手能力。同时提醒读者关注一些常见的陷阱和注意事项,确保仿真结果更加可靠。

    joblib-0.12.2-py2.py3-none-any.whl

    该资源为joblib-0.12.2-py2.py3-none-any.whl,欢迎下载使用哦!

    基于PLC的电阻炉温度控制系统设计与实现:从梯形图到组态画面的实战解析

    内容概要:本文详细介绍了基于PLC的电阻炉温度控制系统的完整设计方案,涵盖硬件配置、IO分配、梯形图编程以及组态画面设计。首先,文章展示了硬件架构的选择与配置,包括选用西门子S7-1200 CPU、热电偶、固态继电器等组件。接着,深入探讨了梯形图编程的关键部分,特别是PID控制算法的应用及其优化方法,如抗积分饱和设置、分段PID参数调整等。此外,文章还强调了组态画面设计的人机交互体验,确保操作简便且直观。最后,分享了一些调试经验和常见问题解决方案,如热电偶补偿导线的正确接线、环境温度补偿算法等。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是有志于深入了解PLC温度控制系统设计的专业人士。 使用场景及目标:适用于冶金、化工等行业中涉及高温加热工艺的企业,旨在提高温度控制精度,降低能耗,保障生产安全。通过学习本文,读者能够掌握完整的PLC温度控制系统设计流程,应用于实际工程项目中。 其他说明:文中提供的技术细节仅供参考,在具体应用时需根据实际情况进行适当调整。建议在实施前进行充分的仿真测试,确保系统的稳定性和可靠性。

    LabVIEW调用VisionPro实现工业级机器视觉应用的关键技术和最佳实践

    内容概要:本文详细介绍了如何利用LabVIEW调用VisionPro框架进行工业级机器视觉应用开发。主要内容涵盖加载和运行VPP文件、相机采集与图像处理、图像保存、标定流程、实时图像采集显示以及内存管理和参数设置等方面。文中不仅提供了具体的代码示例,还分享了许多实用技巧和注意事项,如避免内存泄漏的方法、正确的标定步骤、图像格式转换等。 适合人群:从事机器视觉开发的技术人员,尤其是那些需要将LabVIEW与VisionPro结合使用的开发者。 使用场景及目标:适用于需要开发复杂机器视觉系统的场合,旨在提高图像处理效率、精度和稳定性。具体应用场景包括但不限于自动化生产线的质量检测、产品外观缺陷检测等。 其他说明:文章强调了在开发过程中应注意的问题,如内存管理、图像格式转换、标定精度等,并提供了一些优化建议和技术细节,有助于开发者更好地理解和掌握这两款工具的联合使用方法。

    2023年建筑工程项目管理简答题历年自考真题整理.docx

    2023年建筑工程项目管理简答题历年自考真题整理.docx

Global site tag (gtag.js) - Google Analytics