Redis学习初步

工作需要，从零开始学习redis，这里把我的一篇工作日志共享一下，希望和大家共同学习。

Redis(linux)
**********************************************************************
Install:
  Download Address: http://redis.io
  解压以后到解压目录:
  make
  启动redis server:
  redis-server
 
  备注：make install的时候permission detied，使用sudo
**********************************************************************
Data Types:
  key的限制:
    1. 使用分离器构成key => cache:blog:custmor
    2. 尽量短小
    3. 兼可读性和常规长度

  Strings:
    任何string，甚至存储二进制数据，或者缓存图片，但是单个value不应该超过 512MB
  Lists:
    向链表头和尾增加element比较快，适合做队列
  Hashes:
    存储复杂对象，一个value中有几个field
  Sets and Sorted Set:
    Set不允许element重复.允许典型的操作，比如交集，合集.但是内存使用比list高
    Sorted Set是set的一个特例，允许排序
**********************************************************************
Client:
  1.命令行对数据进行操作:
  连接远程服务器
    redis-cli -h <serverip:eg:127.0.0.1>
    redis-cli --version  //查看版本为2.2.11
  非默认端口连接本地服务器
    redis-cli -p 6380
      本机测试，结果为not connected，如果改为默认的6379则可以登录
  2.使用Ruby进行对数据进行操作
    gem install redis    //安装redis-rb library，版本为2.2.2，注意不要装两个版本的redis，最新的为2.4.8，如果你已经安装了redis，就不要进行这步操作了
      >require 'redis'   //测试
      =>true   //good to go
      >r = Redis.new     //建立一个新的连接
      >r.set 'key','value'
      >r.get 'key'       //=>value
      >r.sadd 'key', 'value1'
      >r.sadd 'key', 'value2'
      >r.smember 'key'   //=>[value1,value2]
  3.在RoR应用程序中，使用Redis存储读取数据
    在Gemfile中，增加 gem 'redis' ，删除Gemfile.lock，重新bundle install
    在/appname/config/initializers/下建立一个文件filename.rb并加入如下字段:$redis = Redis.new， 则在rails中产生了一个全局变量$redis连接数据库的对象,可以在rails console中调试
    使用它的时候，在控制器中调用$redis就可以了
**********************************************************************
Leveraging Redis:
  1.将Redis用作KEY/VALUE存储器
    increment
    storing in hash   //Redis official documentation for hash commands
      hset/hget/hgetall/
      hmset hash-name key1 value1 key2 value2.. 
      hget hash-name key
      hdel hash-name key
 
    storing in sets
      sadd/smembers/sinter/sunion
    inpecting data //检查数据:
      keys *
      type keyname
      keys h*llo  //key with h as head and with llo as end
      keys h?llo  //key with one charactor inside
      keys h[ac]llo //key between hallo and hcllo
      //keys命令会查询整个服务器，因此一般做法时把我们需要的的键列表加入到一个set，然后query它

**********************************************************************
Some Functions In Redis

    1.Redis顶部实现OAuth:    //功能貌似无关
______________________________________________________________________
    2.使用Redis的Pub/Sub功能创建一个聊天系统:
      command line方式实现 :
         一个终端启动redis-server
         一个终端连接服务器,并作为消息订阅: psubscribe news.share  //选择单个通道接收，多个通道接收，可以定义为news.*
         另一个终端连接服务器，并作为消息发布:publish news.share "share a link http://baidu.com"
         在消息订阅端，就可以接收到redis server广播过来的消息
______________________________________________________________________
    3.实现反向索引法的text查找
______________________________________________________________________
    4.分析和时间的数据(作为大型数据库的缓存使用):
      使用哈西表来存储计数器，使用hincrby来进行增长，通过hget和hmget来获取这些计数器,通过使用sort命令，来获取顶端的元素也是相当容易的:
______________________________________________________________________
    5.实现工作队列 :
      使用list实现任务队列 
______________________________________________________________________
    6.扩展Redis  (it won’t be included in Redis 2.4)
      Redis脚本在2.4版本中不会包含


*********************************************************************
Redis 管理员和维护:
  1.配置数据持久化 Configure Persistence
      在redis.conf文件中，databases default=16
        redis>select <dbid>   //选择不同数据库
  持久化方式：snapshotting和append-only file
     i) snapshotting:
       save 900 1     //900秒后如果至少1个key变化，则保存到dump.rdb
       save 300 10    //300秒后如果至少10个key变化
       save 60 10000  //60秒后如果至少10000个key变化
       //可以根据项目需求进行配置save为主线程功能，会造成主线程阻塞，bgsave命令在后台运行
       client端也可以使用save命令，但是操作结果是内存中的数据全部写入db而不是增量写入，导致内存中有大量数据的时候，会严重影响性能.
       注意：快照方式是在一定间隔时间做一次的，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改.如果应用要求不能丢失任何修改的话，可以采用aof持久化方式.
    ii)append-only file
      该方式时每一个写命令都会通过write函数追加到文件中.在redis重启的时候，会将整个文件中的数据，重建到内存当中appendonly.aof.
      appendonly yes              //启用aof持久化方式
      # appendfsync always        //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用
      appendfsync everysec        //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐
      # appendfsync no            //完全依赖os，性能最好,持久化没保证

快照和appendonly比较：
    快照为间歇性将内存数据写入磁盘，dump.rdb可以设置为1小时快照一次，作为数据库备份.如果快照给redis server的负担过大的话，那么考虑使用从站.
    append only file将内存数据写入磁盘，redis重启后内存中重建数据库.如果有庞大的数据，并且这些数据不经常改变的话，那么考虑使用AOF.

数据库的恢复:
  默认保存的dump.rdb和appendonly.aof均可以作为数据库恢复的源，重新启动server的时候，自动根据conf文件中配置的地址，调用这些文件来恢复内存数据库.

  2.开启一个Redis从站(Redis支持1主N从的方式)
      简单来说就是使用不同配置文件启动两个服务
      主server的conf文件中配置:
      slaveof <masterip:eg:127.0.0.1> <slaveport:6379>
  3.处理大于物理内存的数据集:
     Redis VM  //弃用
  4.Redis的升级 
    方案from 《Redis Cookbook》
     1)不重启现有服务的情况下，安装新的Redis版本
     2)创建新的redis.conf文件，指定redis在6380端口运行(因为默认主server在6379启动)和一个不同的DB路径
     3)开启新的服务
     4)连接到新服务，并且输入如下命令:
         SLAVEOF localhost 6379   //同步数据,使用INFO命令查看6380的连接状态，如果master_link_status:up，则复制时有效的
     5)目前位置新的服务已经升级完成，你可以开始将客户端移动到新的服务.你可以通过INFO命令检查连接到一个服务的客户端数量，检查connected_clients
     6)当所有的客户端都连接到了从服务，你仍然有两个任务需要完成:disable复制并且关闭主服务:
       6-1)连接到从服务，输入如下命令: SLAVEOF NO ONE
       6-2)连接到旧的主服务，输入如下命令: SHUTDOWN   //如果出现如下错误:(error) ERR Errors trying to SHUTDOWN. Check logs.则可能是权限问题，因为在shutdown命令的时候，会进行save操作，而save需要操作dump.rdb文件，如果没有权限则会报这个错.


     6-3)你的新Redis系统上线运行了，但是要确认你所有的配置，初始脚本，备份等，均要只想正确的位置并开启正确的服务.忘记那些常规的操作很容易，但是你应该至少确认万一服务重启的时候不会出问题.
//以上操作结束后，通过INFO命令查看，从服务已经切换位主服务，并且是升级以后的版本.
   

关于配置文件的另一些有用的设置:
  最大可使用内存
  最大可连接客户端数

***********************************************************
Redis 命令总结
连接操作相关的命令

Ÿ   quit：关闭连接（connection）

Ÿ   auth：简单密码认证
对value操作的命令

Ÿ   exists(key)：确认一个key是否存在

Ÿ   del(key)：删除一个key

Ÿ   type(key)：返回值的类型

Ÿ   keys(pattern)：返回满足给定pattern的所有key

Ÿ   randomkey：随机返回key空间的一个key

Ÿ   rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key

Ÿ   dbsize：返回当前数据库中key的数目

Ÿ   expire：设定一个key的活动时间（s）

Ÿ   ttl：获得一个key的活动时间

Ÿ   select(index)：按索引查询

Ÿ   move(key, dbindex)：将当前数据库中的key转移到有dbindex索引的数据库

Ÿ   flushdb：删除当前选择数据库中的所有key

Ÿ   flushall：删除所有数据库中的所有key
对String操作的命令

Ÿ   set(key, value)：给数据库中名称为key的string赋予值value

Ÿ   get(key)：返回数据库中名称为key的string的value

Ÿ   getset(key, value)：给名称为key的string赋予上一次的value

Ÿ   mget(key1, key2,…, key N)：返回库中多个string（它们的名称为key1，key2…）的value

Ÿ   setnx(key, value)：如果不存在名称为key的string，则向库中添加string，名称为key，值为value

Ÿ   setex(key, time, value)：向库中添加string（名称为key，值为value）同时，设定过期时间time

Ÿ   mset(key1, value1, key2, value2,…key N, value N)：同时给多个string赋值，名称为key i的string赋值value i

Ÿ   msetnx(key1, value1, key2, value2,…key N, value N)：如果所有名称为key i的string都不存在，则向库中添加string，名称key i赋值为value i

Ÿ   incr(key)：名称为key的string增1操作

Ÿ   incrby(key, integer)：名称为key的string增加integer

Ÿ   decr(key)：名称为key的string减1操作

Ÿ   decrby(key, integer)：名称为key的string减少integer

Ÿ   append(key, value)：名称为key的string的值附加value

Ÿ   substr(key, start, end)：返回名称为key的string的value的子串
对List操作的命令

Ÿ   rpush(key, value)：在名称为key的list尾添加一个值为value的元素

Ÿ   lpush(key, value)：在名称为key的list头添加一个值为value的 元素

Ÿ   llen(key)：返回名称为key的list的长度

Ÿ   lrange(key, start, end)：返回名称为key的list中start至end之间的元素（下标从0开始，下同）

Ÿ   ltrim(key, start, end)：截取名称为key的list，保留start至end之间的元素

Ÿ   lindex(key, index)：返回名称为key的list中index位置的元素

Ÿ   lset(key, index, value)：给名称为key的list中index位置的元素赋值为value

Ÿ   lrem(key, count, value)：删除count个名称为key的list中值为value的元素。count为0，删除所有值为value的元素，count>0从头至尾删除count个值为value的元素，count<0从尾到头删除|count|个值为value的元素。

Ÿ   lpop(key)：返回并删除名称为key的list中的首元素

Ÿ   rpop(key)：返回并删除名称为key的list中的尾元素

Ÿ   blpop(key1, key2,… key N, timeout)：lpop命令的block版本。即当timeout为0时，若遇到名称为key i的list不存在或该list为空，则命令结束。如果timeout>0，则遇到上述情况时，等待timeout秒，如果问题没有解决，则对key i+1开始的list执行pop操作。

Ÿ   brpop(key1, key2,… key N, timeout)：rpop的block版本。参考上一命令。

Ÿ   rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部
对Set操作的命令

Ÿ   sadd(key, member)：向名称为key的set中添加元素member

Ÿ   srem(key, member) ：删除名称为key的set中的元素member

Ÿ   spop(key) ：随机返回并删除名称为key的set中一个元素

Ÿ   smove(srckey, dstkey, member) ：将member元素从名称为srckey的集合移到名称为dstkey的集合

Ÿ   scard(key) ：返回名称为key的set的基数

Ÿ   sismember(key, member) ：测试member是否是名称为key的set的元素

Ÿ   sinter(key1, key2,…key N) ：求交集

Ÿ   sinterstore(dstkey, key1, key2,…key N) ：求交集并将交集保存到dstkey的集合

Ÿ   sunion(key1, key2,…key N) ：求并集

Ÿ   sunionstore(dstkey, key1, key2,…key N) ：求并集并将并集保存到dstkey的集合

Ÿ   sdiff(key1, key2,…key N) ：求差集

Ÿ   sdiffstore(dstkey, key1, key2,…key N) ：求差集并将差集保存到dstkey的集合

Ÿ   smembers(key) ：返回名称为key的set的所有元素

Ÿ   srandmember(key) ：随机返回名称为key的set的一个元素
对zset（sorted set）操作的命令

Ÿ   zadd(key, score, member)：向名称为key的zset中添加元素member，score用于排序。如果该元素已经存在，则根据score更新该元素的顺序。

Ÿ   zrem(key, member) ：删除名称为key的zset中的元素member

Ÿ   zincrby(key, increment, member) ：如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment

Ÿ   zrank(key, member) ：返回名称为key的zset（元素已按score从小到大排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”

Ÿ   zrevrank(key, member) ：返回名称为key的zset（元素已按score从大到小排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”

Ÿ   zrange(key, start, end)：返回名称为key的zset（元素已按score从小到大排序）中的index从start到end的所有元素

Ÿ   zrevrange(key, start, end)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素

Ÿ   zrangebyscore(key, min, max)：返回名称为key的zset中score >= min且score <= max的所有元素

Ÿ   zcard(key)：返回名称为key的zset的基数

Ÿ   zscore(key, element)：返回名称为key的zset中元素element的score

Ÿ   zremrangebyrank(key, min, max)：删除名称为key的zset中rank >= min且rank <= max的所有元素

Ÿ   zremrangebyscore(key, min, max) ：删除名称为key的zset中score >= min且score <= max的所有元素

Ÿ   zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX)：对N个zset求并集和交集，并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score，在进行AGGREGATE运算前，都要乘以对于的WEIGHT参数。如果没有提供WEIGHT，默认为1。默认的AGGREGATE是SUM，即结果集合中元素的score是所有集合对应元素进行SUM运算的值，而MIN和MAX是指，结果集合中元素的score是所有集合对应元素中最小值和最大值。
对Hash操作的命令

Ÿ   hset(key, field, value)：向名称为key的hash中添加元素field<—>value

Ÿ   hget(key, field)：返回名称为key的hash中field对应的value

Ÿ   hmget(key, field1, …,field N)：返回名称为key的hash中field i对应的value

Ÿ   hmset(key, field1, value1,…,field N, value N)：向名称为key的hash中添加元素field i<—>value i

Ÿ   hincrby(key, field, integer)：将名称为key的hash中field的value增加integer

Ÿ   hexists(key, field)：名称为key的hash中是否存在键为field的域

Ÿ   hdel(key, field)：删除名称为key的hash中键为field的域

Ÿ   hlen(key)：返回名称为key的hash中元素个数

Ÿ   hkeys(key)：返回名称为key的hash中所有键

Ÿ   hvals(key)：返回名称为key的hash中所有键对应的value

Ÿ   hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value
持久化

Ÿ   save：将数据同步保存到磁盘

Ÿ   bgsave：将数据异步保存到磁盘

Ÿ   lastsave：返回上次成功将数据保存到磁盘的Unix时戳

Ÿ   shundown：将数据同步保存到磁盘，然后关闭服务
远程服务控制

Ÿ   info：提供服务器的信息和统计

Ÿ   monitor：实时转储收到的请求

Ÿ   slaveof：改变复制策略设置

Ÿ   config：在运行时配置Redis服务器