`
maosheng
  • 浏览: 565174 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

在Kubernetes上部署 Redis 三主三从 集群

 
阅读更多
NFS搭建见: Linux NFS搭建与配置(https://www.iteye.com/blog/maosheng-2517254)

一、创建pv

# cat redis-pv.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv1
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv1
    server: 192.101.11.156
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv2
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv2
    server: 192.101.11.156
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv3
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv3
    server: 192.101.11.156
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv4
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv4
    server: 192.101.11.156
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv5
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv5
    server: 192.101.11.156
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv6
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis-cluster"
  nfs:
    path: /data/pv6
    server: 192.101.11.156


# kubectl apply -f redis-pv.yml
persistentvolume/redis-pv1 created
persistentvolume/redis-pv2 created
persistentvolume/redis-pv3 created
persistentvolume/redis-pv4 created
persistentvolume/redis-pv5 created
persistentvolume/redis-pv6 created

# kubectl get pv
NAME           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                      STORAGECLASS    REASON   AGE
alertmanager   10Gi       RWO            Recycle          Bound       kube-system/alertmanager                            133d
grafana        10Gi       RWO            Recycle          Bound       kube-system/grafana                                 137d
prometheus     10Gi       RWO            Recycle          Bound       kube-system/prometheus                              134d
redis-pv1      5Gi        RWO            Recycle          Available                              redis-cluster            10s
redis-pv2      5Gi        RWO            Recycle          Available                              redis-cluster            10s
redis-pv3      5Gi        RWO            Recycle          Available                              redis-cluster            10s
redis-pv4      5Gi        RWO            Recycle          Available                              redis-cluster            10s
redis-pv5      5Gi        RWO            Recycle          Available                              redis-cluster            10s
redis-pv6      5Gi        RWO            Recycle          Available                              redis-cluster            10s


二、创建statefulset

# cat redis-sts.yml
apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-cluster
data:
  update-node.sh: |
    #!/bin/sh
    REDIS_NODES="/data/nodes.conf"
    sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
    exec "$@"
  redis.conf: |+
    cluster-enabled yes
    cluster-require-full-coverage no
    cluster-node-timeout 15000
    cluster-config-file /data/nodes.conf
    cluster-migration-barrier 1
    appendonly yes
    protected-mode no
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
spec:
  serviceName: redis-cluster
  replicas: 6
  selector:
    matchLabels:
      app: redis-cluster
  template:
    metadata:
      labels:
        app: redis-cluster
    spec:
      containers:
        - name: redis
          image: redis:6.2
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 6379
              name: client
            - containerPort: 16379
              name: gossip
          command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
          volumeMounts:
            - name: conf
              mountPath: /conf
              readOnly: false
            - name: data
              mountPath: /data
              readOnly: false
      volumes:
        - name: conf
          configMap:
            name: redis-cluster
            defaultMode: 0755
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: [ "ReadWriteOnce" ]
        resources:
          requests:
            storage: 5Gi
        storageClassName: redis-cluster


# kubectl apply -f redis-sts.yml
configmap/redis-cluster created
statefulset.apps/redis-cluster created
You have mail in /var/spool/mail/root

# kubectl get pods -l app=redis-cluster
NAME              READY   STATUS    RESTARTS   AGE
redis-cluster-0   1/1     Running   0          11s
redis-cluster-1   1/1     Running   0          11s
redis-cluster-2   1/1     Running   0          8s
redis-cluster-3   1/1     Running   0          5s
redis-cluster-4   1/1     Running   0          5s
redis-cluster-5   1/1     Running   0          2s

三、创建service

# cat redis-svc.yml
apiVersion: v1
kind: Service
metadata:
  name: redis-cluster
spec:
  externalIPs:
    - 192.101.11.159
    - 192.101.11.160
    - 192.101.11.161
  type: ClusterIP
  ports:
    - port: 6379
      targetPort: 6379
      name: client
    - port: 16379
      targetPort: 16379
      name: gossip
  selector:
    app: redis-cluster


# kubectl apply -f redis-svc.yml
service/redis-cluster created

# kubectl get svc
NAME                TYPE        CLUSTER-IP       EXTERNAL-IP                                    PORT(S)              AGE
redis-cluster       ClusterIP   10.97.104.201    192.101.11.159,192.101.11.160,192.101.11.161   6379/TCP,16379/TCP   8s

四、初始化 Redis Cluster

# kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items
  • }{.status.podIP}:6379 ')
  • >>> Performing hash slots allocation on 6 nodes...
    Master[0] -> Slots 0 - 5460
    Master[1] -> Slots 5461 - 10922
    Master[2] -> Slots 10923 - 16383
    Adding replica 10.244.1.19:6379 to 10.244.1.17:6379
    Adding replica 10.244.2.28:6379 to 10.244.2.26:6379
    Adding replica 10.244.2.27:6379 to 10.244.1.18:6379
    M: 029cfe88022f45da4dbbee030697326248cefb3c 10.244.1.17:6379
       slots:[0-5460] (5461 slots) master
    M: fbd3883ba110068474c80154718cc58bbf36a2c5 10.244.2.26:6379
       slots:[5461-10922] (5462 slots) master
    M: 222742c9e2f8e12becb3e6ea4019ae0da563b841 10.244.1.18:6379
       slots:[10923-16383] (5461 slots) master
    S: 46a2f4aed697e347b79b4a09bfb719bfd30c57a3 10.244.2.27:6379
       replicates 222742c9e2f8e12becb3e6ea4019ae0da563b841
    S: b8f32d48b94436d39f854717c18f3c322f1c3c39 10.244.1.19:6379
       replicates 029cfe88022f45da4dbbee030697326248cefb3c
    S: 3a7d20346ace9afa4558b3ff8e41c507c72a9f46 10.244.2.28:6379
       replicates fbd3883ba110068474c80154718cc58bbf36a2c5
    Can I set the above configuration? (type 'yes' to accept): yes
    >>> Nodes configuration updated
    >>> Assign a different config epoch to each node
    >>> Sending CLUSTER MEET messages to join the cluster
    Waiting for the cluster to join

    >>> Performing Cluster Check (using node 10.244.1.17:6379)
    M: 029cfe88022f45da4dbbee030697326248cefb3c 10.244.1.17:6379
       slots:[0-5460] (5461 slots) master
       1 additional replica(s)
    S: b8f32d48b94436d39f854717c18f3c322f1c3c39 10.244.1.19:6379
       slots: (0 slots) slave
       replicates 029cfe88022f45da4dbbee030697326248cefb3c
    S: 3a7d20346ace9afa4558b3ff8e41c507c72a9f46 10.244.2.28:6379
       slots: (0 slots) slave
       replicates fbd3883ba110068474c80154718cc58bbf36a2c5
    M: fbd3883ba110068474c80154718cc58bbf36a2c5 10.244.2.26:6379
       slots:[5461-10922] (5462 slots) master
       1 additional replica(s)
    S: 46a2f4aed697e347b79b4a09bfb719bfd30c57a3 10.244.2.27:6379
       slots: (0 slots) slave
       replicates 222742c9e2f8e12becb3e6ea4019ae0da563b841
    M: 222742c9e2f8e12becb3e6ea4019ae0da563b841 10.244.1.18:6379
       slots:[10923-16383] (5461 slots) master
       1 additional replica(s)
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.

    # kubectl exec -it redis-cluster-0 -- redis-cli cluster info
    cluster_state:ok
    cluster_slots_assigned:16384
    cluster_slots_ok:16384
    cluster_slots_pfail:0
    cluster_slots_fail:0
    cluster_known_nodes:6
    cluster_size:3
    cluster_current_epoch:6
    cluster_my_epoch:1
    cluster_stats_messages_ping_sent:11
    cluster_stats_messages_pong_sent:17
    cluster_stats_messages_sent:28
    cluster_stats_messages_ping_received:12
    cluster_stats_messages_pong_received:11
    cluster_stats_messages_meet_received:5
    cluster_stats_messages_received:28
    [root@hadoop008 redis-cluster]# ^C
    [root@hadoop008 redis-cluster]# ^C
    You have mail in /var/spool/mail/root


    五、验证集群部署

    # for x in $(seq 0 5); do echo "redis-cluster-$x"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done
    redis-cluster-0
    master
    518
    10.244.1.19
    6379
    518

    redis-cluster-1
    master
    518
    10.244.2.28
    6379
    518

    redis-cluster-2
    master
    518
    10.244.2.27
    6379
    518

    redis-cluster-3
    slave
    10.244.1.18
    6379
    connected
    518

    redis-cluster-4
    slave
    10.244.1.17
    6379
    connected
    518

    redis-cluster-5
    slave
    10.244.2.26
    6379
    connected
    518











    分享到:
    评论

    相关推荐

      kubernetes集群部署redis

      kubernetes集群部署redis ,本资源为kubernetes集群部署redis高可用读写分离数据库,内含所有需要的yaml文件,有需要的可进行下载

      rancher2.3.6部署redis集群配置教程.pdf

      标题中的“rancher2.3.6部署redis集群配置教程.pdf”暗示了这份文档是针对特定版本的Rancher软件(版本号...总的来说,这份文档是一个指导用户在Rancher平台上部署Redis集群的重要资源,涵盖从配置到运行的全过程。

      redis-on-kubernetes:在Kubernetes上部署Redis集群和cachecloud

      一个redis集群对应一个statefulsetredis集群管理工具redis-trib:使用Kubernetes的Deployment控制器部署redis集群的管理工具redis-trib,可管理多个redis集群redis可视化监控cachecloud:使用Kubernetes的Deployment...

      k8s部署redis所需要的配置文件

      在Kubernetes(k8s)环境中部署Redis集群是一项常见的任务,尤其当需要高可用性和数据持久化时。这里我们将深入探讨如何使用Redis集群,并结合Ceph作为持久化存储的配置方法。 首先,Redis是一个高性能的键值存储...

      k8s集群搭建redis集群

      k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群

      Redis-Operator:Redis Operator在Kubernetes上创建配置管理Redis集群

      Redis集群将通过独特的部署进行部署。 Redis集群的每个节点都在自己的Pod中运行; 在启动时,每个节点都没有活动角色(不是从属节点也不是带插槽的主节点),它只是作为不带插槽的主节点加入集群。 请参阅下面的模式...

      redis-operator:一个基于golang的redis运算符,它将覆盖Kubernetes顶部的Redis独立集群模式设置

      它可以使用Cloud和Bare metal环境上的最佳实践来创建Redis集群设置。 此外,它使用redis-exporter提供了内置的监视功能。 有关文档,请参阅建筑学目的创建该操作员的目的是在Kubernetes上提供Redis的简单且生产级的...

      redis-cluster:在Kubernetes上运行的Redis集群设置

      在Kubernetes上部署Redis集群(redis-cluster)是现代云原生应用中常见的数据存储解决方案。本文将深入探讨如何在Kubernetes环境下配置和管理一个高可用的Redis集群。 首先,了解Redis Cluster的基本概念至关重要。...

      redis-operator:Redis Operator通过Kubernetes上的哨兵自动故障转移创建配置管理高可用性Redis

      图片Redis运算符在Kubernetes上部署操作员为了在Kubernetes集群中创建Redis故障转移,必须部署操作员。 可以通过或提供的来完成。使用部署要创建运算符,可以直接使用kubectl创建它: kubectl create -f ...

      redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群

      部署样本Redis集群 扩展Redis集群 缩减Redis集群 备份还原 普罗米修斯发现 使用密码创建Redis集群 持续量 自定义配置 客户服务 自订资源 验证Webhook 端到端测试 先决条件 转到v1.13 +版本。 访问Kubernetes v...

      helm部署应用到k8s集群(helm+k8s)-详细文档

      Helm 是一个 Kubernetes 的包管理工具,能够方便地将之前打包好的 YAML 文件部署到 Kubernetes 上。 Helm 有三个重要概念:helm、Chart 和 Release。 一、为什么使用 Helm 传统的部署方式面临的挑战是,对于一个...

      kubernetes 部署giltab

      在Kubernetes集群中部署GitLab涉及到的关键组件包括Redis、PostgreSQL和GitLab自身。下面将详细介绍每个组件的部署过程及其重要性。 一、部署 Redis 服务 Redis 是一个内存数据存储系统,常用于缓存和数据库,对于...

      自动化部署Redis Shell脚本

      本文将详细讲解如何使用Shell脚本来自动化部署Redis 6.2.0。 首先,确保你的服务器环境已经安装了基础的依赖,如GCC编译器、Make工具等,因为Redis源码安装需要这些工具。可以通过以下命令检查: ```bash sudo apt...

      kubernetes-redis-cluster:萝卜团团长在州长

      Kubernetes上的Redis集群 该k8s模块旨在简化Kubernetes中Redis Cluster部署的创建和操作。 要求 Kubernetes 1.5.0+ Minikube在本地运行模块 这个怎么运作 这些说明假定您对有所了解。 当您在Kubernetes中创建资源...

      redis-operator-1.1.1.tar.gz

      Redis Operator 是一个用于 Kubernetes 集群的工具,它允许用户在 Kubernetes 上以声明式的方式管理 Redis 集群。这个“redis-operator-1.1.1.tar.gz”压缩包包含的是 Redis Operator 的 v1.1.1 版本,这是一个...

      K8s 应用 - Redis(集群)

      在Kubernetes(K8s)环境中部署Redis集群,是云原生应用架构中的常见实践。Redis是一种高性能的键值存储系统,常被用作数据库、缓存和消息中间件。Kubernetes和Docker的结合使得容器化部署Redis变得更加灵活和可扩展。...

      kubernetes-redis-cluster

      在Kubernetes中部署Redis集群,可以利用其强大的水平扩展能力和故障转移机制,确保服务的高可用性。 要创建"kubernetes-redis-cluster",我们需要以下步骤: 1. **准备YAML文件**:使用YAML配置文件定义Redis集群...

      redis-yaml.tar.gz

      通过以上步骤,我们就成功在 Kubernetes 集群上部署了 Redis Cluster。随着业务的增长,可以随时添加更多节点来扩展集群,k8s 将自动处理新节点的加入和数据迁移。同时,如果某个节点出现问题,k8s 会自动检测并替换...

    Global site tag (gtag.js) - Google Analytics