`
jaesonchen
  • 浏览: 309990 次
  • 来自: ...
社区版块
存档分类
最新评论

高性能网站架构之缓存篇—Redis集群搭建

 
阅读更多

1.  Redis Cluster的架构图。          

         (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

         (2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

         (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

         (4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

2.  redis-cluster投票:容错

          

         (1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

         (2):什么时候整个集群不可用(cluster_state:fail)?

         a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

        b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

        ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。

 

3.  安装环境

        Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。

4.  集群搭建

        本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!

        我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示

主节点:127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003

从节点:127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006

在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:

        

         然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。

        

         然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

        修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。

        

        准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。

       

       实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。

  1. ./redis-trib.rbcreate --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004127.0.0.1:7005 127.0.0.1:7006。
  2. >>> Creating cluster
  3. Connecting to node 127.0.0.1:7001: OK
  4. Connecting to node 127.0.0.1:7002: OK
  5. Connecting to node 127.0.0.1:7003: OK
  6. Connecting to node 127.0.0.1:7004: OK
  7. Connecting to node 127.0.0.1:7005: OK
  8. Connecting to node 127.0.0.1:7006: OK
  9. >>> Performing hash slotsallocation on 6 nodes...
  10. Using 3 masters:
  11. 127.0.0.1:7001
  12. 127.0.0.1:7002
  13. 127.0.0.1:7003
  14. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001
  15. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002
  16. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003
  17. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001
  18. slots:0-5460 (5461 slots) master
  19. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002
  20. slots:5461-10922 (5462 slots) master
  21. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003
  22. slots:10923-16383 (5461 slots) master
  23. S: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004
  24. replicates 5a8523db7e12ca600dc82901ced06741b3010076
  25. S: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005
  26. replicates bf6f0929044db485dea9b565bb51e0c917d20a53
  27. S: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006
  28. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca
  29. Can I set the above configuration? (type'yes' to accept): yes
  30. >>> Nodes configuration updated
  31. >>> Assign a different configepoch to each node
  32. >>> Sending CLUSTER MEET messagesto join the cluster
  33. Waiting for the cluster to join.....
  34. >>> Performing Cluster Check(using node 127.0.0.1:7001)
  35. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001
  36. slots:0-5460 (5461 slots) master
  37. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002
  38. slots:5461-10922 (5462 slots) master
  39. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003
  40. slots:10923-16383 (5461 slots) master
  41. M: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004
  42. slots: (0 slots) master
  43. replicates 5a8523db7e12ca600dc82901ced06741b3010076
  44. M: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005
  45. slots: (0 slots) master
  46. replicates bf6f0929044db485dea9b565bb51e0c917d20a53
  47. M: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006
  48. slots: (0 slots) master
  49. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca
  50. [OK] All nodes agree about slotsconfiguration.
  51. >>> Check for open slots...
  52. >>> Check slots coverage...
  53. [OK] All 16384 slots covered.
复制代码

 

这样就表示我们的集群创建成功了!

5.  集群测试

        我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!

        

         关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。

分享到:
评论

相关推荐

    redis集群搭建手册.docx

    **Redis集群搭建手册** Redis,全称Remote Dictionary Server,是一种高性能的键值对数据库,以其丰富的数据类型、高效的内存管理以及支持持久化等特性,在分布式系统中被广泛应用于缓存、消息中间件以及数据存储等...

    自学Redis集群搭建过程--全网最详细.docx

    Redis作为一款高性能的键值存储系统,在互联网行业中被广泛应用于缓存、消息队列等多个领域。随着业务规模的不断扩大,单个Redis实例往往难以满足大规模数据处理的需求,因此引入Redis集群成为一种必然的选择。Redis...

    Redis集群搭建教程(含搭建文档和所需软件).zip

    Redis是一款高性能的键值对数据库,常用于缓存和数据持久化。它的集群(Redis Cluster)功能能够提供数据分片、容错性和扩展性,使得单一服务器无法满足需求时,可以构建分布式系统来处理海量数据。本教程将详细介绍...

    Redis集群搭建资料大整合

    Redis是一种高性能的键值对数据存储系统,常用于缓存、数据库和消息中间件等场景。Redis集群(Redis Cluster)是其提供的一种分布式解决方案,旨在提高数据的可用性和可扩展性,通过数据分片(Sharding)实现多节点...

    Redis集群搭建及使用

    ### Redis集群搭建及使用 #### 一、Redis简介与特性 Redis(REmote DIctionary Server)是一款开源的键值存储系统,以其高性能、低延迟的特点被广泛应用于缓存、消息队列以及实时数据分析等领域。它支持多种数据...

    redis集群搭建小结

    总的来说,Redis集群搭建是一个涉及网络配置、数据分片和客户端适配的复杂过程。了解和掌握这些知识对于构建高效、可靠的分布式系统至关重要。在实践中,还需要关注集群的监控、故障转移以及性能优化等方面,确保...

    redis集群搭建.docx

    ### Redis集群搭建详解 #### 一、Redis集群概述 Redis是一种高性能的键值对存储系统,在互联网行业中被广泛应用于服务器端缓存。然而,在Redis 3.0版本之前,其仅支持单实例模式,尽管引入了主从模式及哨兵模式以...

    redis集群搭建(一主一从一哨兵)

    Redis 集群搭建是分布式...以上就是关于 Redis 集群搭建(一主一从一哨兵)的基本知识,通过这样的配置,可以为应用程序提供高可用和高读写性能的缓存服务。在实际应用中,还需要根据业务需求和规模灵活调整集群架构。

    redis集群搭建(linux).zip

    Redis是一款高性能的键值对数据库,常用于缓存和数据持久化。在Linux环境下搭建Redis集群,我们需要了解以下几个关键知识点: 1. **Redis基础**:首先,你需要理解Redis的基本概念,如数据类型(字符串、哈希、列表...

    搭建Redis缓存高可用集群环境搭建

    ##### 2.2 Redis集群搭建 接下来,我们将搭建一个包含三个Master节点及对应的Slave节点的伪集群。 1. **创建文件夹结构** 在`/usr/local`下创建`redis-cluster`文件夹,并在其中创建六个子文件夹,分别命名为`...

    Java企业级电商项目架构演进之路 Tomcat集群与Redis分布式-课程章节1

    作为高性能的分布式缓存,Redis在电商项目中扮演着重要角色。这部分内容会讲解如何利用Redis来提高系统的响应速度和处理能力,可能会涵盖Redis的数据结构、主从复制、Sentinel哨兵系统或Cluster集群等概念。 通过...

    讲义-使用docker搭建redis集群.pdf

    在进行Redis集群搭建的过程中,课程也会涉及基础的Docker命令,比如如何创建和启动容器、如何配置容器网络以及如何使用Docker Compose定义和运行多个容器的应用。通过本课程,学员将掌握如何在Docker环境中部署和...

    redis多级缓存搭建资料

    Redis作为一款高性能的键值数据库,常被用作应用程序的缓存系统,以提高数据读取速度。在大型系统中,构建多级缓存架构是常见的优化策略,它能够更有效地利用资源,减少对主数据库的压力。本资料将详细介绍如何使用...

    centos7下kafka和zookeeper和Redis集群搭建.zip

    Redis是一个开源的、高性能的键值数据库,它支持多种数据结构,如字符串、哈希、列表、集合、有序集合等,常用于缓存、消息中间件、实时分析等领域。 **集群搭建步骤** 1. **安装Java环境**:Kafka、Zookeeper和...

    redis集群环境搭建

    ### Redis集群环境搭建详解 #### 一、Redis简介与应用场景 **Redis**(REmote DIctionary Server)是一款由 Salvatore Sanfilippo 开发的开源内存数据结构存储系统,使用 C 语言编写,支持多种数据结构,如字符串、...

    Redis集群详解

    #### 二、Redis集群搭建与配置 **1. 安装Redis** 为了搭建一个简单的Redis集群环境,我们需要先安装Redis。假设您已经在Linux环境下准备好了服务器,并且拥有root权限,下面是一个基于CentOS 7的操作步骤: ```...

    Redis集群搭建

    Redis是一款高性能的键值存储系统,常用于数据库缓存、消息队列等场景。当单机Redis无法满足高可用性、高并发性或大数据量的需求时,我们会选择搭建Redis集群。下面将详细介绍如何构建和配置一个Redis集群。 一、...

    redis教程及主从配置和集群搭建

    **Redis**(Remote Dictionary Server)是一种开源的键值(Key-Value)存储系统,使用 C 语言编写,以其高性能和丰富的数据结构而闻名。Redis 支持多种数据类型,包括字符串(Strings)、散列(Hashes)、列表...

Global site tag (gtag.js) - Google Analytics