redis+keepalived+haproxy集群的简单搭建

haoningabc

浏览: 1478012 次
性别:
来自: 北京

最近访客更多访客>>

zfyq124

bartontang

dlzdy

cnnlush0605

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

服务器

redis keepalived haproxy

#############################redis集群
参考
http://www.cnblogs.com/wuxl360/p/5920330.html

redis-3.2.9
make PREFIX=/usr/local/redis install

cp redis-3.2.9/src/redis-trib.rb /usr/local/redis/bin/
cp redis-3.2.9/redis.conf 到
一台机器
/opt/redis_cluster/7000/redis.conf
/opt/redis_cluster/7001/redis.conf
/opt/redis_cluster/7002/redis.conf

另一台机器
/opt/redis_cluster/7003/redis.conf
/opt/redis_cluster/7004/redis.conf
/opt/redis_cluster/7005/redis.conf

每台配置如下，端口按照编号改
#############
port 7000                                        //端口7000,7002,7003
bind 本机ip                                       //默认ip为127.0.0.1 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口，无法创建集群
daemonize    yes                               //redis后台运行
pidfile /var/run/redis_7000.pid          //pidfile文件对应7000,7001,7002
cluster-enabled yes                           //开启集群把注释#去掉
cluster-config-file nodes_7000.conf   //集群的配置配置文件首次启动自动生成 7000,7001,7002
cluster-node-timeout 15000                //请求超时默认15秒，可自行设置
appendonly yes                           //aof日志开启有需要就开启，它会每次写操作都记录一条日志　
######################################

每台机器上启动redis
#/bin/sh
/usr/local/redis/bin/redis-server /opt/redis_cluster/7001/redis.conf
/usr/local/redis/bin/redis-server /opt/redis_cluster/7002/redis.conf
/usr/local/redis/bin/redis-server /opt/redis_cluster/7003/redis.conf

ps -ef|grep redis
3个进程
netstat -nltp|grep redis
6个端口

安装ruby
yum -y install ruby ruby-devel rubygems rpm-build -y
gem install redis

关联集群
./redis-trib.rb create --replicas 1 192.168.139.161:7000 192.168.139.161:7001 192.168.139.161:7002 192.168.139.193:7003 192.168.139.193:7004 192.168.139.193:7005

任意节点写入任意节点接收
./redis-cli -h 192.168.139.161 -c -p 7000
set hao ning
./redis-cli -h 192.168.139.193 -c -p 7005
get hao

redis cluster在设计的时候，就考虑到了去中心化，去中间件，也就是说，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。
Redis 集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们set一个key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set 和 get 的时候，直接跳转到了7000端口的节点。
Redis 集群会把数据存在一个 master 节点，然后在这个 master 和其对应的salve 之间进行数据同步。当读取数据时，也根据一致性哈希算法到对应的 master 节点获取数据。只有当一个master 挂掉之后，才会启动一个对应的 salve 节点，充当 master 。
需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节点数小于总节点数的一半时，整个集群就无法提供服务了。

######################keepalived########################
通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。
当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。
keepalived的工作原理是VRRP（Virtual Router Redundancy Protocol）虚拟路由冗余协议。
在VRRP中有两组重要的概念：VRRP路由器和虚拟路由器，主控路由器和备份路由器。
VRRP路由器是指运行VRRP的路由器，是物理实体，虚拟路由器是指VRRP协议创建的，是逻辑概念。一组VRRP路由器协同工作，共同构成一台虚拟路由器。 Vrrp中存在着一种选举机制，用以选出提供服务的路由即主控路由，其他的则成了备份路由。当主控路由失效后，备份路由中会重新选举出一个主控路由，来继续工作，来保障不间断服务

wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz
./configure --prefix=/usr/local/keepalived
make
make install
设置虚ip 192.168.139.201

cat /usr/local/keepalived/etc/keepalived/keepalived.conf
一台机器上
#################
global_defs {
    router_id NodeA
}

vrrp_instance VI_1 {
    state MASTER #设置为主服务器
    interface br-ex #监测网络接口
    virtual_router_id 51   #主、备必须一样
    priority 100   #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
    advert_int 1   #VRRP Multicast广播周期秒数
    authentication {
        auth_type PASS #VRRP认证方式，主备必须一致
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.139.201/20    #VRRP HA虚拟地址
    }
}
###############

另一台机器上
#################
global_defs {
    router_id NodeB
}

vrrp_instance VI_1 {
    state BACKUP
    interface br-ex
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.139.201/20
    }
}
###############
启动
/usr/local/keepalived/sbin/keepalived -D -f /usr/local/keepalived/etc/keepalived/keepalived.conf

ifconfig br-ex
ip a show br-ex
看ip地址
ip link show br-ex
看mac地址

ping 192.168.139.201
arp -a 看201的mac地址

然后kill掉主节点上的keepalived
再arp -a 看201的mac地址变为backup节点的mac了

在两台机器上都tailf /var/log/message 看log变化

##########################haproxy################
yum install haproxy -y

haproxy 配置中分成五部分内容，分别如下：
1、global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改
2、defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件
3、frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend
4、backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器
5、Listen Fronted和backend的组合体

作为redis的haproxy
需要配置
/etc/haproxy/haproxy.cfg
frontend 和 backend 先注释掉
使用tcp
###################
defaults
    #mode                    http
    mode                    tcp
    log                     global
#    option                  httplog
#    option                  dontlognull
#    option http-server-close
#    option forwardfor       except 127.0.0.0/8
#    option                  redispatch
##############
最后加
##################
listen test1 0.0.0.0:6380
        server s1 192.168.139.161:7000 check inter 2000 rise 2 fall 5
        server s2 192.168.139.161:7001 check inter 2000 rise 2 fall 5
        server s3 192.168.139.161:7002 check inter 2000 rise 2 fall 5
        server s4 192.168.139.193:7003 check inter 2000 rise 2 fall 5
        server s5 192.168.139.193:7004 check inter 2000 rise 2 fall 5
        server s6 192.168.139.193:7005 check inter 2000 rise 2 fall 5
##############

./redis-cli -h 192.168.139.161 -c -p 6380

####################################
综上加了keepalived之后
./redis-cli -h 192.168.139.201 -c -p 6380

挂了任何以一个节点都可以正常访问

分享到：