danga.memcached2.0.1存在nio管道句柄泄漏问题

转于自己在公司的Blog:
http://pt.alibaba-inc.com/wp/experience_766/danga_memcached_nio_leak.html

某次，服务器出现故障，分析日志：
最先开始的是danga.memcached报"too many open files"，句柄数达到上限(ulimit上限已经是加大的)，
导致danga.memcached无法创建新的套接字，连接缓存服务器失败，
紧接着压力全部转移到数据库，数据库连接池用完，很快就撑不住，
因为数据库响应慢，线程占用率变高，接收请求的线程池也达到上限，很多请求被拒绝，
页面出现时而可以访问，时而访问不了，重启后恢复正常，
lsof查看Java进程持有的句柄，大部分为pipe和event poll，
初步判断是danga.memcached中使用的nio管道未正确关闭。
为了进一步了解问题，分析源码：
首先来看danga是怎么获取套接字的：
SocketIO.getSocket()

SocketChannel sock = SocketChannel.open();
sock.socket().connect( new InetSocketAddress( host, port ), timeout );
return sock.socket(); // 直接拿到Socket使用，把SocketChannel的引用丢了，并且没有注册Selector

再来看应用调用API发生了什么：
MemCachedClient.get()

// 省略了不相关代码
sock.write( cmd.getBytes() );
String line = sock.readLine();

内部调用关系等价于：

// sock.write( cmd.getBytes() ); 等价于
out = new BufferedOutputStream( sock.getOutputStream() ); // 把nio当bio用
out.write( b );
// String line = sock.readLine(); 等价于
in  = new DataInputStream( sock.getInputStream() ); // 把nio当bio用
in.read( b );

再看看它是怎么关闭的：
SockIO.trueClose()

// 省略了不相关代码
in.close();
out.close();
sock.close(); // Soket内部会同时关闭Channel，但不会关闭Selector

这种把非阻塞式管道当作阻塞式套接字用法，我们来看看SunJDK是怎么处理的：
SocketChannelImpl.socket().connect()最终调用的是：
SocketAdaptor.connect()

// 省略了部分代码
sel = Util.getTemporarySelector(sc); // 当没有注册Selector时，JDK会获取一个临时Selector
sk = sc.register(sel, SelectionKey.OP_CONNECT);

再看看Util.getTemporarySelector()怎么实现的：

// 省略了部分代码
private static ThreadLocal localSelector = new ThreadLocal(); // 放在ThreadLocal中缓存
SoftReference ref = (SoftReference)localSelector.get(); // 并使用了软引用
sel = sc.provider().openSelector();
localSelector.set(new SoftReference(new SelectorWrapper(sel)));
return sel;

通过上面的代码，基本结论是：
danga.memcached2.0.1使用nio非阻塞式管道，
但却把非阻塞式管道当作阻塞式套接字用，没有注册Selector，
JDK会注册一个临时的Selector，使用Soft引用，并使用ThreadLocal做缓存，
当线程池剧烈收缩和扩张时，就会出现很多垃圾Soft引用的Selector，
如果内存够用，这些Soft引用都不会释放，句柄数就有可能达到上限。
而danga.memcached1.6.0使用的是常规阻塞式套接字，性能稍慢，但资源管理都比较正确，
降级使用1.6.0版本后，服务器恢复正常，
但1.6.0版本存在memcached服务器重启后，客户端无法自动恢复连接的问题，需将连接超时设置足够短(50ms以内)。
另外，将接收请求的线程池最大值和最小值设为一样，固定大小，避免收缩。

评论

7 楼 thinkingmysky 2013-12-06  

楼主分析的很好，透彻，只是分析的不全，而且部分好像还是错误的呢！如下代码：

----------------------------------------------------------
// 省略了部分代码 
sel = Util.getTemporarySelector(sc); // 当没有注册Selector时，JDK会获取一个临时Selector 
sk = sc.register(sel, SelectionKey.OP_CONNECT); 
----------------------------------------------------------

其实，这个有可能就根本没有执行，就是说非阻塞通道，没有指定selector，也没有使用默认的selector！

具体看connect方法代码如下：

public void connect(SocketAddress paramSocketAddress, int paramInt) throws IOException {
/*  69 */     if (paramSocketAddress == null)
/*  70 */       throw new IllegalArgumentException("connect: The address can't be null");
/*  71 */     if (paramInt < 0) {
/*  72 */       throw new IllegalArgumentException("connect: timeout can't be negative");
/*     */     }
/*  74 */     synchronized (this.sc.blockingLock()) {
/*  75 */       if (!(this.sc.isBlocking())) {
/*  76 */         throw new IllegalBlockingModeException();
/*     */       }
/*     */       try
/*     */       {
/*  80 */         if (paramInt == 0) {
/*  81 */           this.sc.connect(paramSocketAddress);
/*  82 */           monitorexit; return;
/*     */         }
/*     */
/*  86 */         SelectionKey localSelectionKey = null;
/*  87 */         Selector localSelector = null;
/*  88 */         this.sc.configureBlocking(false);
/*     */         try {
/* ====================================================================== */
/*  90 */           if (this.sc.connect(paramSocketAddress)) { jsr 158;
/*     */             return; }
/* ====================================================================== */
/*  92 */           localSelector = Util.getTemporarySelector(this.sc);
/*  93 */           localSelectionKey = this.sc.register(localSelector,;
/*  94 */           long l1 = paramInt;
/*     */           while (true) {
/*  96 */             if (!(this.sc.isOpen()))
/*  97 */               throw new ClosedChannelException();
/*  98 */             long l2 = System.currentTimeMillis();
/*  99 */             int i = localSelector.select(l1);
/* 100 */             if ((i > 0) && (localSelectionKey.isConnectable()) && (this.sc.finishConnect())) {
/*     */               break;
/*     */             }
/* 103 */             localSelector.selectedKeys().remove(localSelectionKey);
/* 104 */             l1 -= System.currentTimeMillis() - l2;
/* 105 */             if (l1 <= 0L) {
/*     */               try {
/* 107 */                 this.sc.close(); } catch (IOException localIOException) {
/*     */               }
/* 109 */               throw new SocketTimeoutException();
/*     */             }
/*     */           }
/*     */         } finally {
/* 113 */           jsr 6; } localObject2 = returnAddress; if (localSelectionKey != null)
/* 114 */           localSelectionKey.cancel();
/* 115 */         if (this.sc.isOpen())
/* 116 */           this.sc.configureBlocking(true);
/* 117 */         if (localSelector != null)
/* 118 */           Util.releaseTemporarySelector(localSelector); ret;
/*     */       }
/*     */       catch (Exception localException)
/*     */       {
/* 122 */         Net.translateException(localException, true);
/*     */       }
/*     */     }
/*     */   }

仔细看的会发现，如果它使用原始的socket连接成功，就根本不会使用临时默认的selector了！

楼主是否确认？

6 楼 bukebuhao 2012-08-23  

javatar 写道

bukebuhao 写道

楼主，问个问题，memchached设计为session服务，是否要设置失效时间，1.如果不设置失效时间，就需要一个进程定时去清理失效的用户信息；2.如果设置失效时间，例如利用filter，每次请求就replace，更新一下失效时间。不过，第2种，服务器网络开销大些，导致很多缓存失效，不到失效时间就失效啦。不知道楼主对利用memchached做为session服务，有什么好的建议和措施?

可以考虑用第二种方式，用redis存储，直接用expire指令。

谢谢，我尝试一下。

5 楼 javatar 2012-08-23  

bukebuhao 写道

楼主，问个问题，memchached设计为session服务，是否要设置失效时间，1.如果不设置失效时间，就需要一个进程定时去清理失效的用户信息；2.如果设置失效时间，例如利用filter，每次请求就replace，更新一下失效时间。不过，第2种，服务器网络开销大些，导致很多缓存失效，不到失效时间就失效啦。不知道楼主对利用memchached做为session服务，有什么好的建议和措施?

可以考虑用第二种方式，用redis存储，直接用expire指令。

4 楼 bukebuhao 2012-08-22  

楼主，问个问题，memchached设计为session服务，是否要设置失效时间，1.如果不设置失效时间，就需要一个进程定时去清理失效的用户信息；2.如果设置失效时间，例如利用filter，每次请求就replace，更新一下失效时间。不过，第2种，服务器网络开销大些，导致很多缓存失效，不到失效时间就失效啦。不知道楼主对利用memchached做为session服务，有什么好的建议和措施?

3 楼 wenson 2010-04-27  

最近也遇到了這個問題，不過現在danga.memcached2.5.1版本出來了，修正了這個問題。

2 楼 dennis_zane 2010-01-21  

不过这个是sun的jdk这样实现，其他jdk可能未必如此。

1 楼 dennis_zane 2010-01-21  

非阻塞connect的时候确实会在ThreadLocal创建selector，因此如果连接池没有限制的话很容易超过文件句柄限制。