本文转载自
http://skynetdoc.com/?p=119
本人顺便修正了一些文字上的复制粘贴小错误,以及更新了一些文字以和英文版保持一致。
Partitioning 能够将你的数据发布在多个redis node(node和instance一个意思)上,因此每一个node仅仅保存了你keys的一个subset。这个文档的第一部分将会给你介绍Partitioning 的概念,第二部分将会描述Redis Partitioning可供选择的方案。
为什么Partitioning 是有用的?
redis Partitioning 主要有2个目标:1.通过使用多台计算机的内存总和使得我们可以得到一个更大的数据库。如果不使用partitioning 将局限于单台计算机的内存限制。2.它能够测试多核机器和多计算机的计算能力,以及多台机器的网络带宽和网络适配器问题。
Partitioning 的基本要素
有一些不同的Partitioning 算法。假设我们有redis node
R0, R1, R2, R3,并且有许多keys代表users比如user:1, user:2…等等。我们可以使用不同的方式来选择node保存key。换句话说,可以采用不同的方式来实现key-redis_node之间的映射。一个简单的实现叫
range partitioning,在objects范围内映射到特殊的redis_node。例如,可以将users ID [0, 10000]映射到R0,users ID[10001, 20000]映射到R1…等等。这种实现实际上有被使用,但是这里有个缺点是这里将这个table的范围映射到了redis_node上。因此,这个table需要你手工去管理,需要包含我们有的各种类型。一般来讲对于redis这不是一个好的主意。
另外一种可供选择的策略是
hash partitioning。这种策略可以用于任何key,并且不需要一个由object_name:id组成的key,更加简单。1.使用一个hash函数将一个key_name转换成一个number。例如,我使用crc32哈希函数,对于key_name foobar: -> crc32(foobar)将输入类似于93024922的值。2.我对这个计算出来的number进行取模运算得到[0, 3]的值,这样我就可以将这个number映射到4个redis_node之一了。93024922 %4 = 2,因此 key_name foobar就应该被存储在R2 redis_node里面。NOTE: %仅仅是除法运算的余数,在很多编程语言中通常它被实现为%操作符。
还有其他一些partitioning的实现方法,但是看了这2种你应该有想法了。其中一个哈希partitioning 叫做
consistent hashing(一致性哈希算法),并且它被一些redis 的clients和proxies所实现。
partitioning不同的实现
Partitioning由一个软件栈的不同部分所负责
·
Client side partitioning 这种方法意味着客户端在在读写key的时候,直接选择一个正确的redis_node。许多redis client都实现了这种方法。
·
Proxy assisted partitioning 这种方法client发送请求到proxy而不是直接发送到redis_node,proxy能够解析redis协议。proxy能够根据预先配置好的 partitioning schema将请求发送到正确的redis_node,并且将redis_node的返回发送给client。Redis和Memcached proxy
Twemproxy实现了proxy assisted partitioning。
·
Query routing 这种方法你将你的请求发送到一个随机的node,这个node会将你的请求发送到正确的node。redis Cluster(redis集群服务)实现了一个混合query routing,实现依赖于client将请求从一个redis_node发送到另外一个,但是返回的时候是得到重定向的正确的node。
partitioning的弊端
readis的一些特性在partitioning表现不是特别好
1.包含多个key的操作通常是不被支持的。例如:如果2个set它们保存的keys被映射到了不同的redis_node,你就不能再它们之间形成交叉。(事实上也有方法解决这个问题,只是不直接。)
2.包含多个keys的事务不被支持
3.由于分区的粒度是关键,所以不可能切分一个巨大的key,比如一个大型的排好序的set。
4.当partitioning被使用的时候,数据处理将更加复杂。比如,有些时候你需要处理多个RDB/AOF文件来恢复你的数据, 你需要从多个node或者多台机器上收集这些文件。
5.添加或者删除节点将变得复杂。例如,redis集群支持在运行时透明地添加和删除redis节点,但是其他像client side partitioning 和 proxies 都不支持这个特性。然而,一项叫做
Presharding技术 被考虑中。
数据存储或者作为Cache?
对于Partitioning而言使用redis作为数据存储或者Cache是相同的概念,然而这里也有一个巨大的不同。当我们使用redis作为一个存储时你必须确保同一个key每次都映射到相同的redis_node, 但是如果你使用redis作为一个Cache,如果node不可用这不是什么大的问题,系统将使用一个不同的node,并且修改key-node之间的映射关系,这样将提高系统的可用性。这样系统就可以响应我们的请求。Consistent hashing经常用于解决node不可用的问题。同样地,如果你添加了一个新的节点,新keys将被存储在new node。主要的概念如下:
·如果redis被当做cache来用,使用一致性哈希算法来
scaling up and down是容易的。
·但是如果把redis作为存储数据的服务器,
就需要在key和节点之间实现一个map,节点的数量也必须固定。否则的话我们需要一个系统来维护key_nods之间的平衡,当我们添加或者删除nodes的时候。目前只有redis集群服务能做这个,但是目前集群服务还是beta版,还不足以在产品中使用它。
Presharding技术
对于redis partitioning 上的一些问题,我们知道除非我们使用redis作为一个cahe这样add和remove nodes都是比较容易管理的,并且更加的简单的方法是使用归哪个的key-node映射。然而我们数据存储通常变化是很大的,今天我需要10个redis_nodes,明天我就可能需要50个。
因为redis node是非常轻量的(一个空闲的node仅仅使用1M内存),所以一个简单的方案是可以在一开始就启动大量的node。你甚至可以在一台服务器上启动多个redis实例来达到partition的效果。
你可以一开始就选择一个大的数字作为redis的实例数量,比如,32或者64个nodes能解决大多数人的需求,并且对于空间的增长提供足够的需求。
这样当需要存储的数据增加,你需要更多的redis服务器,通过这种方式你可以简单的将这些nodes从一台服务器迁移到另一台。一旦你添加了新的服务器,你需要将redis node的一半数据迁移到新的服务器…等等。
使用redis的
replication(复制)功能,你可以使停机时间最小化甚至为零。
·在新的服务器上启动空的node
·配置这些新的nodes作为你原来node的从服务器(slaves)
·stop所有的clients
·更新那些被移动节点的配置,使用新的IP地址.
·发送命令 SLAVEOF NO ONE 到新的服务器上
·重启clients 使用新的配置
·关闭老服务器上那些很久没有使用的nodes
Redis partitioning 的实现
到目前为止我们涵盖了Redis partitioning 的理论知识,但是实际中呢?你应该使用什么系统?
redis 集群
Redis集群是推荐的方法,可以实现自动sharding和高可用性。现在处于beta阶段还没有发布,建议你可以开始尝试一下。你可以在
Cluster tutorial得到更多的信息。(有中文版)
一旦redis的集群功能可用了,而且支持集群的客户端(相应语言的)也有了,实际上redis集群将成为Redis partitioning的事实标准。
redis集群是一个query routing 和 client side partitioning的混合实现。
Twemproxy
Twemproxy是Twitter开发的一个proxy,用于Redis 协议和Memcached ASCII 。它是c的单线程程序但是非常快。它支持自动的partitioning ,并且如果一个node不可用了可以剔除掉。(这会改变key-node的映射,因此你应该使用它,当把 redis作为一个Cach时)
客户端支持consistent hashing
相对于Twemproxy,一种可供选择的方法是使用实现 client side partitioning的客户端(通过一致性哈希或者别的算法)。
比如著名的有
Redis-rb(ruby) 和
Predis(php)
请检查
完整的客户端列表,看一下你需要的语言的客户端是否实现了一致性哈希算法。
分享到:
相关推荐
Redis is the most popular in-memory key-value data store. It is very lightweight and its data types give it an edge over other competitors. If you need an in-memory database or a high-performance ...
3. **数据分布**:使用哈希函数将数据映射到特定的节点上。 ##### Singleton设计模式 **静态内部类方式**实现Singleton模式: ```java public class Singleton { private Singleton() {} private static class ...
内容概要:本文介绍了如何利用CST软件进行三维超材料的能带计算。首先概述了三维超材料的独特性质及其广泛应用前景,接着简要介绍了CST软件的功能特点。随后详细阐述了能带计算的具体步骤,包括模型建立、材料参数设置、网格划分与求解设置以及最终的计算与结果分析。最后给出了一段Python代码示例,展示了如何处理CST输出的数据并绘制能带图。文章强调了计算机模拟技术对于深入了解超材料电子结构和物理性质的重要性。 适合人群:从事材料科学研究的专业人士,尤其是对三维超材料和电磁场模拟感兴趣的科研工作者和技术人员。 使用场景及目标:适用于希望借助CST软件开展三维超材料能带计算的研究项目,旨在提高对超材料的理解,推动相关领域的技术创新和发展。 其他说明:文中提供的Python代码仅为示例,在实际操作时可根据具体情况进行调整优化。同时,掌握CST软件的基本操作和电磁理论基础知识有助于更好地理解和应用本文内容。
内容概要:本文详细介绍了基于FPGA的永磁同步伺服系统的矢量控制设计,涵盖了从电流环到速度环的关键模块实现。具体包括Clarke和Park变换、PI调节器、AD7606采样、正交编码器反馈以及SVPWM生成等部分。文中提供了详细的Verilog代码片段,展示了各个模块的具体实现方法和技术细节。特别强调了定点数处理、时序设计和跨时钟域处理等方面的技术挑战及其解决方案。 适合人群:具备一定FPGA开发经验和电机控制基础知识的研发人员。 使用场景及目标:适用于希望深入了解FPGA在电机控制应用中的具体实现方式,特别是矢量控制和电流环设计的专业人士。目标是掌握FPGA平台下高效、低延迟的电机控制系统设计方法。 阅读建议:由于涉及大量具体的Verilog代码和硬件设计细节,建议读者在阅读过程中结合实际项目进行实验和调试,以便更好地理解和掌握相关技术。
经典飞机大战游戏是理解实时交互系统设计的绝佳载体。本文将深入剖析现代空战游戏的核心模块,涵盖刚体运动学、弹道轨迹优化、碰撞检测算法等关键技术,揭示二维游戏背后复杂的三维数学建模过程。
scratch少儿编程逻辑思维游戏源码-冰塔.zip
scratch少儿编程逻辑思维游戏源码-弹跳(4).zip
内容概要:本文详细介绍了COMSOL软件中三种常见的焊接热源模型——双椭球热源、高斯旋转体热源和柱状体热源。双椭球热源适用于模拟移动热源(如激光焊、电弧焊),通过调整轴向系数a1和a2来控制热流分布;高斯旋转体热源适合小范围焊接,采用三维高斯函数描述热流密度;柱状体热源则用于深熔焊场景,特点是计算速度快。文中还提供了每种模型的具体代码实现,并强调了调试时需要注意的关键点,如时间步长、网格加密等。此外,作者分享了一些实用技巧,如将热源参数设置为全局变量并利用参数扫描功能提高调试效率。 适合人群:从事焊接工艺仿真、材料加工领域的研究人员和技术人员,以及对COMSOL建模感兴趣的工程技术人员。 使用场景及目标:帮助用户选择合适的热源模型进行焊接模拟,确保模拟结果的准确性;提供具体的代码实现和调试方法,使用户能够快速掌握并应用于实际项目中。 其他说明:文中提到的热源模型不仅限于理论介绍,还包括实际操作中的注意事项和优化建议,有助于提升模拟效果和工作效率。
内容概要:本文介绍了将基于RBF神经网络的PID控制器应用于永磁同步电机(PMSM)转速环控制的方法及其性能优势。传统的PID控制器在面对非线性和时变系统时存在参数整定困难的问题,而引入RBF神经网络可以实现实时在线调参,提高系统的灵活性和鲁棒性。文中详细描述了Simulink模型的设计,特别是Matlab s-function模块中RBF神经网络的具体实现,包括高斯函数激活和带惯性的权值更新机制。实验结果显示,在转速突变情况下,改进后的控制器能够迅速稳定系统,超调量控制在2%以内,调节时间较传统方法缩短约40%,并且在负载变化时表现出色,无需重新整定参数。 适合人群:从事电机控制系统研究和开发的技术人员,尤其是对PID控制器优化感兴趣的工程师。 使用场景及目标:适用于需要提升PMSM转速环控制精度和响应速度的应用场合,如工业自动化设备、机器人等领域。目标是通过引入智能算法解决传统PID控制器参数整定难题,提高系统性能。 阅读建议:关注RBF神经网络与PID控制器结合的具体实现细节,特别是在Matlab s-function模块中的编码技巧以及参数调整策略。同时,注意学习率的选择和动量项的作用,这对于实际应用至关重要。
scratch少儿编程逻辑思维游戏源码-GTA 6.zip
scratch少儿编程逻辑思维游戏源码-仓鼠跑酷.zip
scratch少儿编程逻辑思维游戏源码-超级麦克世界.zip
scratch少儿编程逻辑思维游戏源码-400年.zip
少儿编程scratch项目源代码文件案例素材-气球足球.zip
少儿编程scratch项目源代码文件案例素材-沙漠迷城.zip
scratch少儿编程逻辑思维游戏源码-比谁高.zip
少儿编程scratch项目源代码文件案例素材-乾坤大挪移.zip
scratch少儿编程逻辑思维游戏源码-菜鸟跳跃.zip
内容概要:本文档详细介绍了C++语言的基础知识、高级特性及其应用。首先,文档回顾了C++对C语言的扩展,包括面向对象编程的支持、增强的语法特性(如命名空间、引用、常量处理等)。接着,深入探讨了类和对象的使用,涵盖构造函数、析构函数、拷贝构造函数、深浅拷贝等重要概念。文档还讲解了单例模式的设计与实现、C++面向对象模型的核心要素(如this指针、静态成员、友元函数)、继承与派生的关系及其实现细节、多态性的原理与应用。此外,文档详细介绍了C++的模板机制、类型转换、异常处理机制、输入输出流操作、STL(标准模板库)的容器和算法等内容。每个部分都通过具体的代码示例和解释,帮助读者理解和掌握C++的关键特性和最佳实践。 适合人群:具备一定编程基础,尤其是熟悉C语言的开发者;希望深入了解C++语言特性和面向对象编程思想的程序员;从事C++开发工作的工程师和技术爱好者。 使用场景及目标:①掌握C++语言的核心概念和高级特性;②理解并能够应用面向对象编程的基本原则和模式;③学习如何使用STL容器和算法优化代码性能;④提升C++程序的健壮性和可维护性,特别是在处理复杂数据结构和算法时;⑤掌握异常处理和类型转换的最佳实践,确保程序的稳定性和安全性。 其他说明:本文档不仅提供了理论知识,还结合了大量实例代码,便于读者边学边练。对于每一个知识点,文档都力求做到详尽解释,确保读者能够透彻理解并灵活运用。文档内容全面覆盖了C++编程的各个方面,从基础语法到高级特性,适合不同层次的学习者逐步深入学习。
内容概要:本文详细探讨了电气铁路柔性过分相技术中的60°换相波形稳定问题。首先介绍了柔性过分相的基本概念及其重要性,接着重点讨论了60°换相波形稳定对系统运行效率和稳定性的影响。文中还阐述了实现换相波形稳定的多种方法,如先进控制算法、实时监测设备以及滤波器的应用。最后,通过引用相关文献和实例,进一步验证了换相波形稳定的重要性和可行性。 适合人群:从事电气铁路系统设计、维护的技术人员,以及对该领域感兴趣的科研人员。 使用场景及目标:适用于希望深入了解电气铁路柔性过分相技术的专业人士,旨在帮助他们掌握60°换相波形稳定的相关理论和技术手段,提升系统性能。 其他说明:文章结合了理论分析与实际案例,提供了丰富的参考资料,有助于读者全面理解并应用于实际工作中。