Twemproxy-缓存代理分片机制

资料参考:

(1) http://www.cnblogs.com/gomysql/p/4413922.html

常用命令：

nutcracker.init {start|stop|status|restart|reload|condrestart}

nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

 

 

1.介绍

1.1 一句话介绍Twemproxy是一个Redis/Memcached代理中间件，可以实现诸如分片逻辑、HashTag、减少连接数等功能；尤其在有大量应用服务器的场景下Twemproxy的角色就凸显了，能有效减少连接数。

1.2 特点

Twemproxy是一种代理分片机制，由Twitter开源。

Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题，通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免单点故障问题

当然，Twemproxy本身也是单点，需要用Keepalived做高可用方案。

虽然使用Twemproxy需要更多的硬件资源和在redis性能有一定的损失（twitter测试约20%），但是能够提高整个系统的HA也是相当划算的。

twemproxy不光实现了redis协议，还实现了memcached协议，什么意思？换句话说，twemproxy不光可以代理redis，还可以代理memcached，官方说明：

twemproxy (pronounced "two-em-proxy"), aka nutcracker is a fast and lightweight proxy for memcachedand redis protocol. It was built primarily to reduce the number of connections to the caching servers on the backend. This, together with protocol pipeling and sharding enables you to horizontally scale your distributed caching architecture.

 

Twemproxy架构：

 

 

 通常会结合keepalived来实现Twemproxy的高可用。架构图如下：

 

 

 

 

2.安装、配置与启动

 

2.1环境准备：

>>安装路径 /usr/local/twemproxy

>>需要安装autoconf、automake、libtool工具

说明：twemproxy的安装要求autoconf的版本在2.64以上，否则提示"error: Autoconf version 2.64 or higher is required"。

使用以下命令下载的autoconf版本如果小于2.64，方案如下：

(1) 查询当前版本  rpm -qf /usr/bin/autoconf

autoconf-2.63-5.1.el6.noarch

(2) 卸载当前版本  rpm -e --nodeps autoconf-2.63-5.1.el6.noarch

(3) 安装最新版本

[root@BobServerStation twemproxy]# wget ftp://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# tar zxvf autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# cd autoconf-2.68

[root@BobServerStation twemproxy]# ./configure --prefix=/usr/

[root@BobServerStation twemproxy]# make && make install

 

[ubuntu]

apt-get install autoconf automake  

apt-get install libtool

 

[centos]

#autoconf这一步使用此命令装的版本是小于2.64的，需要上面的方法安装

yum -y install autoconf

yum -y install automake

yum -y install libtool

 

2.2 安装及配置

2.2.1安装

cd /usr/local

wget https://github.com/twitter/twemproxy/archive/v0.4.0.tar.gz  

tar -xvf v0.4.0.tar.gz    

cd twemproxy-0.4.0/ 

autoreconf -fvi

mkdir /usr/local/twemproxy

./configure --prefix=/usr/local/twemproxy
make -j 8
make install

注意:如上安装方式在有些服务器上可能在大量如mset时可能导致Twemproxy崩溃，需要使用如 CFLAGS="-O1" ./configure && make或CFLAGS="-O3 -fno-strict-aliasing" ./configure && make安装。

 

2.2.2配置变量

#设置环境变量：
echo "PATH=$PATH:/usr/local/twemproxy/sbin/" >> /etc/profile
source /etc/profile

 

#创建目录

cd /usr/local/twemproxy
mkdir run conf

 

#添加proxy配置文件
vi /usr/local/twemproxy/conf/nutcracker.yml

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

#把conf目录复制到/usr/local/twemproxy/sbin/目录下

cp -r  /usr/local/twemproxy-0.4.0/conf /usr/local/twemproxy/sbin/

 

2.3启动及测试

（1）启动命令：nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

Options:
-h, –help                        : 查看帮助文档，显示命令选项
-V, –version                     : 查看nutcracker版本
-t, –test-conf                   : 测试配置脚本的正确性
-d, –daemonize                   : 以守护进程运行
-D, –describe-stats              : 打印状态描述
-v, –verbosity=N                 : 设置日志级别 (default: 5, min: 0, max: 11)
-o, –output=S                    : 设置日志输出路径，默认为标准错误输出 (default: stderr)
-c, –conf-file=S                 : 指定配置文件路径 (default: conf/nutcracker.yml)
-s, –stats-port=N                : 设置状态监控端口，默认22222 (default: 22222)
-a, –stats-addr=S                : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)
-i, –stats-interval=N            : 设置状态聚合间隔 (default: 30000 msec)
-p, –pid-file=S                  : 指定进程pid文件路径，默认关闭 (default: off)
-m, –mbuf-size=N                 : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

 

（2）查看是否启动成功

ps -ef | grep nutcracker | grep -v grep

ps aux | grep nutcracker  

 

（3）简单测试

redis-cli  -p 1111 

127.0.0.1:1111> set i 1  

OK  

127.0.0.1:1111> get i  

"1"  

Twemproxy文档请参考https://github.com/twitter/twemproxy。到此基本的安装就完成了。接下来做一些介绍。

 

（4）配置启动/重启/停止脚本方便操作

# cp /usr/local/twemproxy-0.4.0/scripts/nutcracker.init /usr/local/twemproxy

# chmod +x /usr/local/twemproxy/sbin/nutcracker.init 

# vi /usr/local/twemproxy/sbin/nutcracker.init  

-- 将OPTIONS改为 OPTIONS="-d -c /usr/local/twemproxy/conf/nutcracker.yml"

-- 注释掉. /etc/rc.d/init.d/functions；

-- 将daemon --user ${USER} ${prog} $OPTIONS改为${prog} $OPTIONS；

-- 将killproc改为killall。

 

这样就可以使用如下脚本进行启动、重启、停止了。

nutcracker.init {start|stop|status|restart|reload|condrestart}

 

[报错]：若nutcracker没设置为全局变量，则会报此错

 nutcracker: command not found

写了全路径：/usr/local/twemproxy/run/${prog} $OPTIONS

 

 

（5）附加：（暂未实现）

将 Twemproxy配置成服务：

已下是相关资料：
按上面的操作步骤，Redis 的启动脚本为：/usr/local/src/redis3.0/utils/redis_init_script
将启动脚本复制到/etc/rc.d/init.d/目录下，并命名为 redis:
# cp /usr/local/src/redis3.0/utils/redis_init_script /etc/rc.d/init.d/redis
编辑/etc/rc.d/init.d/redis，修改相应配置，使之能注册成为服务：
# vi /etc/rc.d/init.d/redis

 2.4Twemproxy集群(分片)设置

一旦涉及到一台物理机无法存储的情况就需要考虑使用分片机制将数据存储到多台服务器，可以说是Redis集群；

如果客户端都是如Java没什么问题，但是如果有多种类型客户端（如PHP、C）等也要使用那么需要保证它们的分片逻辑是一样的；

另外随着客户端的增加，连接数也会随之增多，发展到一定地步肯定会出现连接数不够用的；

此时Twemproxy就可以上场了。主要作用：分片、减少连接数。另外还提供了Hash Tag机制来帮助我们将相似的数据存储到同一个分片。

注：另外也可以参考豌豆荚的https://github.com/wandoulabs/codis。

 

 

>>1.基本配置

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

server1：是给当前分片配置起的名字，一个配置文件可以有多个分片配置；

listen ： 监听的ip和端口；

hash：散列算法；

distribution：分片算法，比如一致性Hash/取模；

timeout：连接后端Redis或接收响应的超时时间；

redis：是否是redis代理，如果是false则是memcached代理；

servers：代理的服务器列表，该列表会使用distribution配置的分片算法进行分片；

 

>>2.分片算法

  hash算法： 

    one_at_a_time

    md5

    crc16

    crc32 (crc32 implementation compatible with libmemcached)

    crc32a (correct crc32 implementation as per the spec)

    fnv1_64

    fnv1a_64

    fnv1_32

    fnv1a_32

    hsieh

    murmur

    jenkins

 

  分片算法：

    ketama(一致性Hash算法)

    modula(取模)

    random(随机算法)

 

>>3.服务器列表

  servers:

   - ip:port:weight alias

如

  servers:

   - 127.0.0.1:6660:1

   - 127.0.0.1:6661:1

或者

  servers:

   - 127.0.0.1:6660:1 server1

   - 127.0.0.1:6661:1 server2

 

推荐使用后一种方式，默认情况下使用ip:port:weight进行散列并分片，这样假设服务器宕机换上新的服务器，那么此时得到的散列值就不一样了，因此建议给每个配置起一个别名来保证映射到自己想要的服务器。即如果不使用一致性Hash算法来作缓存服务器，而是作持久化存储服务器时就更有必要了（即不存在服务器下线的情况，即使服务器ip:port不一样但仍然要得到一样的分片结果）。

 

>>4.一致性Hash与服务器宕机

如果我们把Redis服务器作为缓存服务器并使用一致性Hash进行分片，当有服务器宕机时需要自动从一致性Hash环上摘掉，或者其上线后自动加上，此时就需要如下配置：

#是否在节点故障无法响应时自动摘除该节点，如果作为存储需要设置为为false

auto_eject_hosts: true

#重试时间（毫秒），重新连接一个临时摘掉的故障节点的间隔，如果判断节点正常会自动加到一致性Hash环上

server_retry_timeout: 30000

#节点故障无法响应多少次从一致性Hash环临时摘掉它，默认是2

server_failure_limit: 2

 

3.HashTag

 

3.1作用

比如一个商品有：商品基本信息(p:id:)、商品介绍(d:id:)、颜色尺码(c:id:)等，假设我们存储时不采用HashTag将会导致这些数据不会存储到一个分片，而是分散到多个分片，这样获取时将需要从多个分片获取数据进行合并，无法进行mget；那么如果有了HashTag，那么可以使用“::”中间的数据做分片逻辑，这样id一样的将会分到一个分片。

 

3.2配置

# vi /usr/local/twemproxy/conf/nutcracker.yml 

nutcracker.yml配置如下

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true

  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1 server1
   - 192.168.1.107:6379:1 server2

   - 192.168.1.108:6379:1 server3

 

3.3 测试HashTag

redis-cli  -p 1111 

127.0.0.1:1111> set p:12: 1  

OK  

127.0.0.1:1111> set d:12: 1  

OK  

127.0.0.1:1111> set c:12: 1  

OK 

 

在我的某台服务器上：

redis-cli  -p 6660  

127.0.0.1:6660> get p:12:   

"1"  

127.0.0.1:6660> get d:12:   

"1"  

127.0.0.1:6660> get c:12:   

"1"  

 

4.支持的Redis命令

不是所有Redis命令都支持，请参考https://github.com/twitter/twemproxy/blob/master/notes/redis.md。

 

5.对于扩容最简单的办法是：

1、创建新的集群；

2、双写两个集群；

3、把数据从老集群迁移到新集群（不存在才设置值，防止覆盖新的值）；

4、复制速度要根据实际情况调整，不能影响老集群的性能；

5、切换到新集群即可，如果使用Twemproxy代理层的话，可以做到迁移对读的应用透明。

 

6.twemproxy主从备份和集群相结合

6.1 设置从库

192.168.1.106:6660 为 192.168.1.106:6660的从库，配置方法见主从配置
192.168.1.107:6660 为 192.168.1.107:6660的从库，配置方法见主从配置
192.168.1.108:6660 为 192.168.1.108:6660的从库，配置方法见主从配置

 

6.2 配置nutcracker.yml

vi /usr/local/twemproxy/conf/nutcracker.yml

配置server-slave:
server-slave:
  listen: 127.0.0.1:1112
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6660:1 server1
   - 192.168.1.107:6660:1 server2
   - 192.168.1.108:6660:1 server3
  
注：这里需写成server1 server2 server3和之前的一致

 

6.3 测试

redis-cli -p 6379 > set

redis-cli -p 6660 > get

 

============生产目标的架构=============

>>>>正经本地LocalRedis做法：106 107 108是一个主集群； 然后在116 117 118作为其从集群；需要修改：将主集群移到新的集群上面。
我的做法是：在某台新机器上，构建 6379 6660 6661作为3台分片机器，106：6379(6379从机)  107：6379(6660从机) 108:6379(6661从机)
待做