在项目中用到了memcached 做缓存,在实际应用中发现spymemcached 客户端在网络状态比较差是(大概延迟60ms左右)时的读取超时现象比较严重,而且造成应用的内存被消耗尽了(用jmap 查看过,发现memcache 的客户端用到的异步线程类占用很大的内存,估计是由于超时不断创建的缘故)。于是便换了http://www.whalin.com/memcached 这个的客户端。。在更换过程中也出现了一些问题,由于是晚上才发现,害得我晚上因为这事睡都睡不着。。。想好一些调试的办法,然后在明早进行测试。。
问题一:当key 为中文的时候,value取错了。
遇到这个问题时,由于对业务的理解,排除了是键重复的问题。由于是更换客户端后才出现的问题,也首选反应到是客户端的问题,但为了确定下,想在服务器端进行验证,然而在SecureCRT终端中输入不了中文,没办法在memcache服务器端进行测试。。在上线过程中也在测试机上测试,发现测试机上不会出现这个问题。。随后也反应到,中文经常是会涉及编码问题。。然后便查看了两边的操作系统默认编码,发现确实不一样。。线上服务器是默认的LANG=C,测试机是LANG=en_US.UTF-8。然后在测试机上也调成LANG=C,发现问题重现,大喜。。之后更加确定这个问题出现的原因。。然后便是对whalin memcache客户端源码进行研究了。
private Object get(String cmd, String key, Integer hashCode, boolean asString) {
if (key == null) {
log.error("key is null for get()");
return null;
}
try {
//注意这里,可以对key进行URLEncode
key = sanitizeKey(key);
} catch (UnsupportedEncodingException e) {
log.error("failed to sanitize your key!", e);
return null;
}
// get SockIO obj using cache key
SchoonerSockIO sock = pool.getSock(key, hashCode);
if (sock == null) {
if (errorHandler != null)
errorHandler.handleErrorOnGet(this, new IOException("no socket to server available"), key);
return null;
}
String cmdLine = cmd + " " + key;
try {
sock.writeBuf.clear();
//cmdLine.getBytes() 这个是出错的关键
sock.writeBuf.put(cmdLine.getBytes());
sock.writeBuf.put(B_RETURN);
// write buffer to server
sock.flush();
//......
}
//可以看出这里对key做了URLEncode ,当然这里要进行设定才会
private String sanitizeKey(String key) throws UnsupportedEncodingException {
return (sanitizeKeys) ? URLEncoder.encode(key, "UTF-8") : key;
}
由于我把key的编码给关了mcc1.setSanitizeKeys(false); 所以对中文不会进行URLEncode编码。。然后查看了Java API 发现了 cmdLine.getBytes()方法的描述是:
使用平台的默认字符集将此 String 编码为 byte 序列,并将结果存储到一个新的 byte 数组中。
当此字符串不能使用默认的字符集编码时,此方法的行为没有指定。如果需要对编码过程进行更多控制,则应该使用 CharsetEncoder 类。
关键字在于平台默认编码。。假如当用户输入中文时,是utf8编码,然后在getBytes方法的时候,不是用utf8解码,那就会出现问题了。我也在memcache 客户端中加入了一些调试代码后,再进行测试,发现中文打印的是“??”,每个中文解码由于解码不对称问题都统一转成一样的二进制编码。。。这就是原因所在了。。
解决办法:mcc1.setSanitizeKeys(true).但这种解决办法的缺点是由于对key做了URLEncode编码,在memecache 服务器中测试就比较困难了,因为我们也要首先把key转成URLEncode编码,然后在测试。
问题二:key中间出现空字符串,客户端一直未结束
这个问题是在问题一的测试中突然发现的。。经代码调试发现阻塞在下面的方法中。。
/**
* Constructor.
*
* @param sock
* {@link SchoonerSockIO}, read from this socket.
* @param limit
* limited length to read from specified socket.
* @throws IOException
* error happened in reading.
*/
public SockInputStream(final SchoonerSockIO sock, int limit) throws IOException {
this.sock = sock;
willRead(limit);
sock.readBuf.clear();
//阻塞在这里。。这个通道处于阻塞模式
sock.getChannel().read(sock.readBuf);
sock.readBuf.flip();
}
SocketChannel.read(ByteBuffer des)的JavaDoc的描述是
public abstract int read(ByteBuffer dst)
throws IOException
将字节序列从此通道中读入给定的缓冲区。
尝试最多从该通道中读取 r 个字节,其中 r 是调用此方法时缓冲区中剩余的字节数,即 dst.remaining()。
假定读取的字节序列长度为 n,其中 0 <= n <= r。此字节序列将被传输到缓冲区中,序列中的第一个字节位于索引 p 处,最后一个字节则位于索引 p + n - 1 处,其中 p 是调用此方法时缓冲区的位置。返回时,该缓冲区的位置将等于 p + n;其限制不会更改。
读取操作可能不填充缓冲区,实际上它可能根本不读取任何字节。是否如此执行取决于通道的性质和状态。例如,处于非阻塞模式的套接字通道只能从该套接字的输入缓冲区中读取立即可用的字节;类似地,文件通道只能读取文件中剩余的字节。但是可以保证,如果某个通道处于阻塞模式,并且缓冲区中至少剩余一个字节,则在读取至少一个字节之前将阻塞此方法。
可在任意时间调用此方法。但是如果另一个线程已经在此通道上发起了一个读取操作,则在该操作完成前此方法的调用被阻塞。
然后我在初始化memcache 这个客户端的时候已经设定了超时时间为3秒pool.setSocketTO(3000),但为什么到了3秒后依然没有报超时错误,这个我也纳闷,暂时也想不到原因。。不知道谁知道不。。
在调试中也发现了出现这个的读取一直阻塞的原因是memcache 命令的组装未检查key中带有特殊字符,下面是源码中key的组装
// build command
StringBuilder command = new StringBuilder("sync ").append(key);
command.append("\r\n");
memcache 服务器端的协议也表明了,key 中不能有制表符和空白字符,并且长度不能超高250个字符。不然服务器端不会响应任何数据。。这个我也确实试了下,发现真没反应。。对memcache 服务器端表示不解。。
解决办法:和问题一的一样mcc1.setSanitizeKeys(true),对key进行URLEncode编码。。
问题三:批量获取接口取值和单个接口取值不一致
这个问题还是上去后不就发现的。。批量接口(getMutil())的应用比较少,所以才迟几天发现。。初始以为是我的程序问题,担心了一场,后来慢慢调试发现一些规律,就是key的Encoder的问题的,在getMutil()里竟然不会去判断key是否要编码,都按照未编码的key进行获取,当然获取不了了,晕死。。源码就不发了,想看的自己可以去下载看下,另外批量获取接口是用NIO来实现的和单个获取的方法不一样,暂时也没去深究了。。。没想到的是用了这么久的客户端,竟然有这样的bug存在。。不过在官网上还是挺给力的,最近才更新了2.5.3版本解决了这个问题。。
解决办法:更换2.5.3版本包。
分享到:
相关推荐
**标题:“danga memcached使用”** memcached是一款高性能、分布式内存对象缓存系统,它广泛应用于Web应用中,用于减轻数据库的负载,通过在内存中缓存数据和对象来减少读取数据库的次数。Danga是memcached的原始...
import com.danga.MemCached.*; import java.util.Date; public class MemCached { protected static MemCachedClient mcc; protected static Logger log; protected static MemCached memCached = new ...
Memcached 是一套由 danga.com(LiveJournal 技术团队)开发的分布式内存对象缓存系统,旨在减少数据库负载并提升应用性能。它通过将数据存储在内存中,使得高并发环境下的数据访问更为快速。本文档主要涵盖了 ...
它最初由 Danga Interactive 开发,为 LiveJournal.com 提供服务,处理高流量的动态页面访问。Memcached 的核心功能是存储和检索数据,以减轻后端数据库的压力。 Memcached 采用 C 语言编写,作为一个独立的服务...
- Memcached 最初是由 Danga Interactive 开发的,目的是提高 LiveJournal.com 的访问速度。LiveJournal 每秒有数千次动态页面请求,拥有 700 万用户。 - 通过使用 Memcached,LiveJournal 大幅度降低了数据库负载,...
在IT领域,尤其是在JavaWeb开发中,Memcached作为一种高性能、分布式的内存对象缓存系统,被广泛用于加速动态网络应用的加载速度。本文将详细解析如何在Java项目中使用Memcached,包括其配置方法以及一个具体的示例...
首先到http://danga.com/memcached/下载memcached的windows版本和java客户端jar包,目前最新版本是memcached-1.2.1-win32.zip和java_memcached-release_1.6.zip,分别解压后即可!首先是安装运行memcached服务器,...
Memcached由Danga Interactive公司开发,最初服务于LiveJournal,现在已经成为一种开源、高性能、分布式的内存对象缓存系统。它的工作原理是将数据存储在内存中,避免了频繁读取硬盘带来的I/O延迟,从而提高了数据...
- memcached 是由 Danga Interactive 开发的开源软件,最初为 LiveJournal 服务设计,现在广泛应用在各种 Web 应用中。 - 它基于一个简单的键值对存储模型,能够存储任意类型的数据,如字符串、整数或二进制数据。...
Memcached 通过在内存中存储数据,实现了快速访问,避免了每次请求时对数据库的读写操作,从而提高了系统的响应速度。 **Java与Memcached的交互** Java 与 Memcached 的交互通常通过客户端库来实现,这些库允许 ...
"memcached-win32-bin"是一个32位Windows版的Memcached服务端安装包,提供了在Windows环境中部署和运行Memcached的基础。配合客户端库(如dll文件),可以方便地在各种编程语言中与Memcached服务端进行交互,实现...
wget http://danga.com/memcached/dist/memcached-1.2.5.tar.gz tar zxvf memcached-1.2.5.tar.gz cd memcached-1.2.5 ./configure make && make install ``` **三、启动 memcached** 在安装完成后尝试启动 ...
memcached是一款高性能、分布式内存对象缓存系统,最初由Danga Interactive开发,用于减少数据库负载,通过缓存数据和对象来加速Web应用程序。它以key-value的形式存储数据,支持多种编程语言,如Perl、PHP、Python...
Memcached基于键值对(key-value)存储机制,应用程序可以将数据以键值对的形式存储在Memcached中。当需要访问这些数据时,应用程序首先会尝试从缓存中查找,如果找到就直接返回,否则再去数据库查询,将结果存入缓存...
Memcached是Danga Interactive公司开发的一个开源项目,主要用于存储和检索数据,以减少对数据库的访问。它的设计目标是简单、快速和分布式的,采用键值对(key-value)存储模式,支持多线程,并且数据存储在内存中...
Memcached基于键值对(key-value)存储模式,将数据临时存储在内存中。当应用程序需要读取数据时,首先检查这些数据是否在Memcached中,如果存在则直接返回,避免了数据库查询的开销。若数据不在缓存中,则从数据库...
Memcached 是一个高性能、分布式的内存对象缓存系统,最初由 Danga Interactive 创建,现已成为许多Web应用程序中的标准组件。它被设计用来减轻数据库的负载,通过将数据存储在内存中,快速响应对这些数据的频繁请求...
Memcached最初由Danga Interactive开发,主要用于服务像LiveJournal这样的高流量网站,如今已成为许多大型网站的首选缓存解决方案。 ### 1. Memcached 的工作原理 Memcached基于键值对(key-value)存储模式,...