Memcached介绍

Memcached介绍

1．memcached是什么？

memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。

这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。力，让Memcache作为一个缓存区域，把部分信息保存在内存中，在前端能够迅速的进使用Memcache的网站一般流量都是比较大的，为了缓解数据库的压行存取。

 

 

 

 

2. 协议简单

memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。

协议文档位于memcached的源代码内，也可以参考以下的URL。

http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

 

3. 基于libevent的事件处理

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。 memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以参考Dan Kegel的The C10K Problem。

libevent: http://www.monkey.org/~provos/libevent/

The C10K Problem: http://www.kegel.com/c10k.html

4. 内置内存存储方式

为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。 memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。

5. memcached不互相通信的分布式

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。

 

图2 memcached的分布式

安装memcached

memcached的安装比较简单，这里稍加说明。

memcached支持许多平台。

l         Linux

l         FreeBSD

l         Solaris (memcached 1.2.5以上版本)

l         Mac OS X

另外也能安装在Windows上。

1. Linux下Memcache服务器端的安装

memcached安装与一般应用程序相同，configure、make、make install就行了。

服务器端主要是安装memcache服务器端，目前的最新版本是 memcached-1.4.8 。
下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz
另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.4。（如果你的系统已经安装了libevent，可以不用安装）
官网：http://www.monkey.org/~provos/libevent/
下载：http://www.monkey.org/~provos/libevent-1.3.tar.gz

1.分别把memcached和libevent下载回来，放到你指定的目录中，例如： /tmp 目录下：

2.先安装libevent：
# tar zxvf libevent-1.2.tar.gz
# cd libevent-1.2   //进入linux系统中libevent所在目录
# ./configure --prefix=/usr/local/libevent
# make
# make install

3.测试libevent是否安装成功：
# ls -al /usr/lib | grep libevent

lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3
-rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3
-rw-r–r– 1 root root 454156 11?? 12 17:38 libevent.a
-rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la
lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3
还不错，都安装上了。

4.安装memcached，同时需要安装中指定libevent的安装位置：
# cd /tmp
# tar zxvf memcached-1.2.0.tar.gz
# cd memcached-1.2.0       //进入linux系统中memcached所在目录
# ./configure –-prefix=/usr/local/memcached  --with-libevent=/usr/local/libevent
# make
# make install
如果中间出现报错，请仔细检查错误信息，按照错误信息来配置或者增加相应的库或者路径。

5.测试是否成功安装memcached：
# ls -al /usr/local/mem*
-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached
-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

6.作软连接，否则运行memcached的时候将找不到libevent模块(注意你安装的libevent 的版本，以下为libevent安装目录中libevent-1.2.so.1)

    # ln -s /usr/local/libevent/lib/libevent-1.2.so.1 /usr/lib

7.启动memcached (/usr/local/memcached为memcached的安装路径，到memcached的bin中启动memcached)

# /usr/local/memcached/bin/memcached -d -m 256 -p 11211 -u root

2. Windows下的Memcache安装

1. 下载memcache的windows稳定版 (在http://www.splinedancer.com/memcached-win32/  下载 memcached 1.2.4 Win32 Beta Binaries)，解压放某个盘下面，比如在c:\memcached
2. 在终端（也即cmd命令界面）下输入 ‘c:\memcached\memcached.exe -d install’ 安装
3. 再输入： ‘c:\memcached\memcached.exe -d start’ 启动。NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。

 

3. Memcached启动、关闭参数

启动参数注释如下：

-p <num>  指定服务TCP端口，默认为11211

-U <num>   指定服务UDP端口  默认11211表示打开，设置0表示关闭

-s <file> 指定unix domain socket的文件名，则关闭端口绑定

-a <mask> 文件属性屏蔽字。8进制，默认0700（和-s配合使用）

-l <ip_addr>  指定监听IP地址（默认对所有网卡IP都生效）

-d   run as a daemon 以精灵程序的方式运行

-r   设置coredump文件SIZE至上限

-u <username> 指定进程用户身份（只有以root运行时才有效，且root身份必须指定用户身份，memcached禁止以进程用户身份为root)

-m <num>  分配给memcached用作缓存的内存大小，单位为MB。默认64MB。

注意32位系统最大可管理的内存上限为3G，预留一些，测试分配2.8G是有效的。不要给memcached分配超过机器内存数，否则会自动使用swap分区，让性能大降，产生超时。（调优参数）

-M  LRU算法开关。缓存满时不使用LRU算法替换旧的数据，返回错误

每个slab内的数据使用LRU，不是全局的。因此，在一些情况下，反而会影响命中率（例如多数KEY-VALUE大小近似，都保存在同一slab的情况下）

-c <num>   最大并发连接数。默认1024。 memcached使用libevent, 可以支持10K个连接。且memcached推荐客户端缓存连接（长连接）（调优参数）

-k   是否调用mlockall()锁定内存页。

     注意：如果锁定了内存页，则若申请内存大小超过锁定值（可以通过ulimit -l查看）时就有可能失败（不建议使用。默认ulimit -l只有64KB）

-v    输出详细信息（在event轮询时输出错误或警告信息，以daemon方式运行无效）

-vv   输出更详细的信息（包括输出客户端的命令及回应信息）

-vvv  输出最详细的信息（包括输出内部的状态信息）

-h   打印版本、帮助信息及退出

-i   打印memcached及libevent的licence

-P <file> 保存进程ID到指定文件。与-d配合使用

-f <factor>   chunk size的增长因子（合理范围1.05~2，默认：1.25）（1.2版本之前默认是2）

（调优参数）

-n <bytes>  每个ITEM保存数据占用的最小空间。最小空间大小=KEY的长度+value的长度+flags的长度（默认为48字节） 而每个ITEM的实际占用空间为 ITEM保存占用数据保存的最小空间 + ITEM结构占用的空间 = 48 + 32 = 80字节。因此chunk size的默认初始值为80字节（调优参数）

-L    尝试使用大容量内存页（如果可能的话）。增加内存页容量可以减少虚存-物理内存映射页表缓冲命中失败（TLB-MISSED）的次数， 并提高性能。但memcached会在启动的时候立即向OS申请-m参数指定的最大缓存块。（调优参数）

-D <char>  指定统计报告时ID同KEY之间的分隔符。默认的分隔符为“:”。 如果指定了此参数，统计采集功能就会自动启动；否则，可以通过发送“stats detail on”命令启动统计采集功能。

-t <num>  默认会创建4个工作线程，主线程用于监听客户建立的连接请求、accpet请求，然后通过管道通知子线程，由子线程处理读写请求。 memcached的多线程主要是通过实例化多个libevent实现的，分别是一个主线程和n个工作（workers）线程，无论是主线程还是workers线程全部通过libevent 管理网络事件， 实际上每个线程都是一个单独的libevent实例。建议不要超过系统CPU的个数。（调优参数）

-R  每次事件触发响应新连接的最大数目。设置此限制是防止其他I/O事件“挨饿”，得不到响应。每个工作线程都单独建立了libevent事件触发。（调优参数，一般不需要调整）

-C    Disable use of CAS 关闭'CAS'指令。意思是说如果这个值我最后一次取的没有被修改的话才存储这个值，比如我先获取一个key为”update_time”的值，然后有其他进程修改了这个值，此时我再调用cas设置这个值时则会返回一个EXSISTS的错误表示修改失败。默认支持cas指令。则每次value的修改，都会记录一个CAS序列号（CAS_UNIQUE）。gets指令会返回CAS_UNIQUE。

-b   指定监听队列长度（listen()的参数）。默认为1024。（调优参数。不需要调整，内核对监听队列长度有个上限）

-B    指定绑定的memcached协议。包括：ascii: 文本协议；binary: 二进制协议；auto: 自动检测（默认选项）

-I    改变slab page的容量大小，以调整ITEM容量的最大值，默认为1MB。设置参数：<number>[k|K|m|M]不能少于1024bytes（即1K），不能大于128MB。memcached不推荐大于1MB，大于1MB增加了最低的内存要求，并会减少记忆效率。调优参数）注：低版本memcached 如memcached-1.2.6不支持该参数，1.4以上可以；测试时，我分配了2M的Page，但是实际上缓存的数据大小仍不能大于1M,其他资料说memcached缓存的item不能大于1M

-S   Turn on Sasl authentication

     启动SSL认证。需要在编译支持SSL。使用SSL认证时，只能使用二进制协议，不能使用文本协议。

 

 

Java使用Memcached的例子

许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出的语言就有

l          Perl

l          PHP

l          Python

l          Ruby

l          C#

l          C/C++

l          Lua

l          Java

等等。

1．下载java客户端

可以从https://github.com/gwhalin/Memcached-Java-Client下载java客户端

 

点击Downloads进入下载页面

 

选择要下载的版本下载，一般选择版本稍低的包，版本高的还有些bug，不够稳定。

 

解压，获取jar包。建立一个基本的Java工程吧。引入jar包。如图示：

 

?

2．Java中如何使用Memcached

 

package com.memcahce;

 

import java.io.File;

import java.io.FileWriter;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;

import java.util.Map;

 

import com.danga.MemCached.MemCachedClient;

import com.danga.MemCached.SockIOPool;

 

public class MemCachedManager {

       // 创建全局的唯一实例  

    protected static MemCachedClient mcc = new MemCachedClient();

 

    protected static MemCachedManager memCachedManager = new MemCachedManager();  

 

    // 设置与缓存服务器的连接池  

    static {  

        // 服务器列表和其权重

        String[] servers = { "192.168.1.107:11211","127.0.0.1:11211" };  

        Integer[] weights = { 3 };

 

        // 获取socke连接池的实例对象  

        SockIOPool pool = SockIOPool.getInstance();  

 

        // 设置服务器信息  

        pool.setServers(servers);  

        pool.setWeights(weights);  

 

        // 设置初始连接数、最小和最大连接数以及最大处理时间  

        pool.setInitConn(5);  

        pool.setMinConn(5);  

        pool.setMaxConn(250);

              //设置最大空闲时间为6小时

        pool.setMaxIdle(1000 * 60 * 60 * 6);  

 

        // 设置主线程的睡眠时间  

        pool.setMaintSleep(30);  

 

        // Tcp的规则就是在发送一个包之前，本地机器会等待远程主机对上一次发送的包的确认信息到来；这个方法就可以关闭套接字的缓存，以至这个包准备好了就发；  

        pool.setNagle(false);  

//连接建立后对超时的控制

        pool.setSocketTO(3000);

//连接建立时对超时的控制

        pool.setSocketConnectTO(0);  

 

        // initialize the connection pool,初始化一些值并与MemcachedServer段建立连接  

        pool.initialize();  

 

        // 压缩设置，超过指定大小（单位为K）的数据都会被压缩  

        mcc.setCompressEnable(true);  

        mcc.setCompressThreshold(64 * 1024);  

    }  

 

    /** 

     * 保护型构造方法，不允许实例化！ 

     *  

     */ 

    protected MemCachedManager() {  

 

    }  

 

    /** 

     * 获取唯一实例. 

     *  

     * @return 

     */ 

    public static MemCachedManager getInstance() {  

        return memCachedManager;  

    }  

 

    /** 

     * 添加一个指定的值到缓存中. 

     *  

     * @param key 

     * @param value 

     * @return 

     */ 

    public boolean add(String key, Object value) {  

        return mcc.add(key, value);  

    }  

   

    public boolean add(String key, Object value, Date expiry) {  

        return mcc.add(key, value, expiry);  

    }  

    public boolean set(String key,Object value){

           return mcc.add(key, value);

    }

    public boolean replace(String key, Object value) {  

        return mcc.replace(key, value);  

    }  

 

    public boolean replace(String key, Object value, Date expiry) {  

        return mcc.replace(key, value, expiry);  

    }

    /**

     * 删除缓存中指定的值

     * @param key

     * @param value

     * @param expiry

     * @return

     */

    public boolean delete(String key, Date expiry){

           return mcc.delete(key, expiry);

    }

   

 

    /** 

     * 根据指定的关键字获取对象. 

     *  

     * @param key 

     * @return 

     */ 

    public Object get(String key) {

        return mcc.get(key);

    }

    public Map<String,Object> get(String[] keys){

           return mcc.getMulti(keys);

    }

 

    public static void main(String[] args) {  

        try {

               MemCachedManager cache = MemCachedManager.getInstance();

            List<String> list = new ArrayList<String>();//List集合

           //创建文件实例

            File file = new File("E:\\my.txt");

            if (!file.exists()) {

                            file.createNewFile();

                     }else{

                            file.delete();

                     }

                     //文件写入器实例

            FileWriter fw = new FileWriter(file); 

            //测试文件大于1M时，memcached是否仍缓存数据

            for (int i = 0; i < 40000; i++) {

                    String s = "abcderghijklmn"+i;

                   fw.write(s,0,s.length()); //写入文件

                         list.add(s);  //加入集合

                  }

            fw.flush();

           

            cache.add("hello", 23445,new Date(20000));

            cache.add("list", list,new Date(20000));

//cache.delete("hello", new Date(1000));

//cache.add("hello", 234,new Date(15000));

 

            System.out.println("get value : " + cache.get("hello"));

            List lst = (List)cache.get("list");

            System.out.println("get Size:" + lst.size());

          

              } catch (Exception e) {

                     e.printStackTrace();

              }

    }  

}

3．保存数据

向memcached保存数据的方法有

1.    add

2.    replace

3.    set

public boolean add(String key, Object value) {  

    return mcc.add(key, value);  

}  

public boolean add(String key, Object value, Date expiry) {  

    return mcc.add(key, value, expiry);  

}  

public boolean set(String key,Object value){

    return mcc.add(key, value);

}

public boolean replace(String key, Object value) {  

    return mcc.replace(key, value);  

}  

public boolean replace(String key, Object value, Date expiry) {  

    return mcc.replace(key, value, expiry);  

}

 

向memcached保存数据时可以指定期限(秒)。不指定期限时，memcached按照LRU算法保存数据。这三个方法的区别如下：

 

选项	说明
add	仅当存储空间中不存在键相同的数据时才保存
replace	仅当存储空间中存在键相同的数据时才保存
set	与add和replace不同，无论何时都保存

4．获取数据

获取数据可以使用get和get_multi方法。

public Object get(String key) {

    return mcc.get(key);

}

public Map<String,Object> get(String[] keys){

     return mcc.getMulti(keys);

}

 

一次取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键值，其速度要比循环调用get快数十倍。

 

5．删除数据

删除数据使用delete方法，不过它有个独特的功能。

    public boolean delete(String key, Date expiry){

           return mcc.delete(key, expiry);

    }

 

 

删除第一个参数指定的键的数据。第二个参数指定一个时间值，在指定的时间内可以禁止使用同样的键保存新数据。此功能可以用于防止缓存数据的不完整。但是要注意，set函数忽视该阻塞，照常保存数据