使用spy memcached导入大量数据到memcache server中,避免Out Of Memory错误。

MemcachedClient的set方法其实是异步的。 并不是当set执行完时， 数据就已经存在server上了。所以set的返回值是Future<Boolean>， 你可以通过这个值来判定是否已经保存到server上了。可以通过以下的代码来确认值已经保存到server了。

Future<boolean> b = client.set("testkey",3600,"value");
boolean done = false;
do{
 Thread.sleep(200);
 done = b.get().booleanValue();
}while(!done);
System.out.println("value has been saved.");

MemcachedClient在本地存在一个队列，这个队列存放着需要set的任务。如果你需要一次调用非常多次的set方法的话， 这时候就会发生out of memory的error。解决办法就是调用waitForQueues方法。 如下：

    public void testPutBatchContent(){

        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            client.set("testkey" + i, 0, content);
            if (i % 10000 == 0) {
                System.out.println("finished. " + i);
                boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
                System.out.println("finished. " + b);
            }
        }
        boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
        System.out.println("Costs " + (System.currentTimeMillis() - start) + " ms.");
    }

waitForQueues方法会等待队列完全被消费掉。 有个参数可以设置timeout时间。 我这里是300秒。总共要set10万次， 每10000次就让队列消费掉。这样就不会发生out of memory的问题了。

评论

1 楼 xzh_endless 2010-01-18  

我遇到了和你完全一样的问题。
我用了spy memcache ,同样是因为memcache client for java和另外一个mmclient
连自带的例子都有问题，放的进去去不出来。

内存溢出的问题我也遇到了，set过多过快。
dump对象出来之后发现很多storeImpl的实例
也有大量的调用接口返回的结果的对象，Future<XXX>这个东西也是必须返回的。
所以我通过获取一下返回结果就可以解决了OOM的问题。
没大细看SPY的CLIENT ，总感觉现在的三方包都太不靠谱了。