servlet容器僵死 - ITeye问答

0 0

servlet容器僵死3

使用工具对resion容器进行大量并发访问   resion容器不久后出现僵死.
执行 kill -3 后获得大量如下信息 (所有线程都是.)
"resin-tcp-connection-192.168.253.72:61318-593" daemon prio=1 tid=0x00002aaaae1f0b10 nid=0x5051 in Object.wait() [0x000000005c717000..0x000000005c717c20]
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00002b0e07627750> (a java.util.ArrayList)
        at java.lang.Object.wait(Object.java:474)
        at com.caucho.server.log.AccessLogWriter.write(AccessLogWriter.java:132)
        - locked <0x00002b0e07627750> (a java.util.ArrayList)
        at com.caucho.server.log.AccessLog.flush(AccessLog.java:604)
        - locked <0x00002b0e07627598> (a java.lang.Object)
        at com.caucho.server.log.AccessLog.log(AccessLog.java:317)
        - locked <0x00002b0e07627598> (a java.lang.Object)
        at com.caucho.server.webapp.WebAppFilterChain.doFilter(WebAppFilterChain.java:191)
        at com.caucho.server.dispatch.ServletInvocation.service(ServletInvocation.java:208)
        at com.caucho.server.http.HttpRequest.handleRequest(HttpRequest.java:259)
        at com.caucho.server.port.TcpConnection.run(TcpConnection.java:363)
        at com.caucho.util.ThreadPool.runTasks(ThreadPool.java:490)
        at com.caucho.util.ThreadPool.run(ThreadPool.java:423)
        at java.lang.Thread.run(Thread.java:595)

"resin-tcp-connection-192.168.253.72:61318-595" daemon prio=1 tid=0x00002aaaae1f0220 nid=0x5050 waiting for monitor entry [0x000000005c616000..0x000000005c616ca0]
        at com.caucho.server.log.AccessLog.log(AccessLog.java:315)
        - waiting to lock <0x00002b0e07627598> (a java.lang.Object)
        at com.caucho.server.webapp.WebAppFilterChain.doFilter(WebAppFilterChain.java:191)
        at com.caucho.server.dispatch.ServletInvocation.service(ServletInvocation.java:208)
        at com.caucho.server.http.HttpRequest.handleRequest(HttpRequest.java:259)
        at com.caucho.server.port.TcpConnection.run(TcpConnection.java:363)
        at com.caucho.util.ThreadPool.runTasks(ThreadPool.java:490)
        at com.caucho.util.ThreadPool.run(ThreadPool.java:423)
        at java.lang.Thread.run(Thread.java:595)

1. 请问 waiting for monitor entry 具体是什么含义.
2. 还有这样的问题要如何解决呢

问题补充：

OpenMind 写道

初看好像是死锁，waiting for monitor entry是等待相应锁的释放吧，信息还不全吧，你可以根据每隔线程的堆栈分析出它的行为，然后综合所有线程的行为判断实在哪里死锁了。
比如第一个线程：执行WebAppFilterChain.doFilter时获得了对象锁0x00002b0e07627598，然后再获得一个锁0x00002b0e07627750，并在此对象上面等待然后释放锁;
而第二个线程等待获得锁0x00002b0e07627598，第一个线程没有释放这个锁。

单纯从这些信息来看，需要有线程notify这个锁0x00002b0e07627750的对象，线程1和2才会继续往下走。

看了下. 我上面发的第一个线程同步list 并且没有被唤醒.并且
锁住了2个对象. 而这个2个对象被后面的线程进行了同步.并等待释放.

导致后面400个线程都僵死了.

但是我发现这个list是resion的类. 不知道是干嘛用的. 这要怎么定位呢?

去看AccessLogWriter.java:132的源码?

问题补充：

OpenMind 写道

resin自身应该不会有这种bug，应该是使用不当造成的。
给几个建议：
1,是否有自定义的filter里面对某些对象进行了同步，尤其查看一下和日志相关的代码;
2,如果有resin源码，可以搜索一下代码，看看那个ArrayList在哪里被notify了，到底同步的是什么资源，是不是日志文件等等;

谢谢你. 查了下资料. 好像别的项目组使用了这个resion服务器的确有这个问题.
做了个例子. 删除业务代码. 建立一个只有servlet的web工程. 然后service 方法中
休眠100 秒. 并发访问就能重现. 说明应该是resion 实现有问题. (这个resion可能被平台开发人员改过了. 应该是改出了问题, 你看到的日志类也是resion内部的类) 已经提交公司平台研发部门定位.

目前写了个shell脚本去规避这个问题.发现容器日志超过1小时不打印则自动重启服务.

谢谢你.