一次生产系统经常假死的问题排查

系统经常出现假死情况，出发了自动重启脚本，基本每台机器每台都会重启一两次

在其中一台机器去掉自动重启脚本，在机器假死的时候

1. 使用jstat -gcutil 查看，发现jvm无法进行垃圾回收

2.尝试把内存从原来的4G增加到8G,其中新生代4G,

机器没有触发自动重启，但是运行一段时间经常响应缓慢

3 .再次使用jstat -gcutil查看，发现yangGc 十分频繁，fullGc完 old区占用内存50%左右，也就是有2G多没有被回收

4.使用 jmap -dump:format=b,file=xxx.hprof $pid 把内存dump下来，使用mat工具分析

4.1发现有410.3M内存空间比较可疑

使用Dominator Tree查看如下

FTPFile对象有412940个，估计是把远程FTP文件夹里面的所有的文件信息都读取了，用来判断文件是否存在。

经过对业务功能的了解，有一个功能需要读取别的系统的FTP文件，由于读取FPT文件太慢了，所以使用定时任务定期从别的系统FTP同步数据到本地作为本地文件缓存。

这里的同步实现方式有问题，需要从业务实现角度来解决。

4.2另外两个可疑的内存对象，一个是hibernate另一个是eache的，考虑到hibernate跟eache都有设计到缓存相关，暂时没有去分析。

 

5.第二天，系统没有自动重启，但是多次缓慢告警后自行恢复。

使用jstat -gcutil查看，发现yangGc 十分频繁，fullGc完 old区占用内存80%左右3G多

重新把内存dump下来，这次分析的结果如下：

5.1没有发现FTP相关的，但是hibernate跟ecache都增大了很多。

使用Dominator Tree查看如下

这下发现是hibernate的一级缓存，

查看hql语句

SELECT DISTINCT NEW org.openkoala.auth.application.vo.ResourceVO( r.identifier,'',r.name,r.desc) FROM Resource r JOIN r.authorizations auth JOIN auth.identity i WHERE i.id IN (:x10_, :x11_, :x12_, :x13_,......:x124948_) AND r.abolishDate>?2 and auth.abolishDate>?3

红色的.....省略的成千上万个

经过查阅资料在一篇博客中找到了思路：https://blog.csdn.net/dream_lixiang/article/details/77248292

QueryPlanCache会缓存sql，以便于后边的相同的sql重复编译，如果in后的参数不同，hibernate会把其当成不同的sql进行缓存，从而缓存大量的sql导致heap内存溢出。（拼凑sql也会导致这个情况出现）。

经过了一番代码的排查，果然是由于上述的原因引起的。

其中in里面的参数是查询出来的角色id

修改方式，新增一个不启用hibernate一级缓存的查询方法（对应这个业务场景来说，一级缓存可以说是多余的），

JPA API与hibernate API有一点点区别：

5.2 ecache确实使用占用堆内存，对外内，本地存在的，所以暂时不分析

5.3 既然都分析到这里，顺便分析一下172.3M的内存里面到底是什么

javax.crypto.JceSecurity，这个似曾相识的感觉

使用Dominator Tree查看如下

5.3.1查找到代码：

5.3.2首先对Cipher.getInstance("RSA", "BC")与

Cipher.getInstance("RSA", new org.bouncycastle.jce.provider.BouncyCastleProvider());

这两个api区别

Cipher.getInstance("RSA", "BC") 会根据第二参数去查找一个已经注册的BouncyCastleProvider对象所以要先在静态块把BouncyCastleProvider对象注册进入

static {

if (Security

.getProvider(org.bouncycastle.jce.provider.BouncyCastleProvider.PROVIDER_NAME) == null) {

Security.addProvider(new org.bouncycastle.jce.provider.BouncyCastleProvider());

}

 

}

而

Cipher.getInstance("RSA", new org.bouncycastle.jce.provider.BouncyCastleProvider());

 

 

每次都会往verifyingProviders里面put一个对象，verifyingProviders是static final的不会被垃圾回收

所以会导致内存泄露

5.3.4 解决办法

1） 使用静态块预先注册

static {

if (Security

.getProvider(org.bouncycastle.jce.provider.BouncyCastleProvider.PROVIDER_NAME) == null) {

Security.addProvider(new org.bouncycastle.jce.provider.BouncyCastleProvider());

}

 

}

 

Cipher cipher = Cipher.getInstance("RSA", "BC");

2）

使用单例

private static org.bouncycastle.jce.provider.BouncyCastleProvider bouncyCastleProvider = null; public static synchronized org.bouncycastle.jce.provider.BouncyCastleProvider getInstance() { if (bouncyCastleProvider == null) { bouncyCastleProvider = new org.bouncycastle.jce.provider.BouncyCastleProvider(); } return bouncyCastleProvider; }

 

Cipher cipher = Cipher.getInstance("RSA", getInstance() );