作为Groovy重度用户,踩了新版本因为无法unload class导致perm oom的坑,踩了classLoader.parallelLockMap不断添加新锁导致old oom的坑。本文的意图就是记录一点埋坑心得。
踩坑详情可见:https://my.oschina.net/chenxiaojie/blog/835934
其实Groovy轻度使用是完全没有问题的,语法优雅简单方便。以下是两个坑都是因为业务有不断动态加载类的需求才会导致的,如果你有持续不断动态加载新的动态class(特指闭包)的场景,请往下看。
闭包:如果是一段动态脚本也算是一个闭包,没有className的都可以认为是闭包
以下就分成两部分来阐述下这个坑的样子
-
Perm OOM(permanent generation out of memory)
永久代内存泄露,了解JVM的读者应该清楚,永久代里面放的主要是一些静态不可变对象如class definitions,structures,methods, field, method (data and code) 和 constants等,永久代泄露可以简单理解为加载的Class无法卸载了。这个坑是groovy2.3.7以后出现的,也向官方提交过bugfix,详细可见https://issues.apache.org/jira/browse/GROOVY-7913
这个坑比较好填,使用2.3.7及以下版本都不会踩中这个坑,所以使用高版本的读者可要自行注意。
<dependency>
<groupId>org.codehaus.groovy</groupId>
<artifactId>groovy-all</artifactId>
<version>2.3.7</version>
</dependency>
另添一句,class卸载十分严格,但是groovy很好的做到了这一点。groovy动态加载和动态卸载的设计十分巧妙,非常推荐读者去深入研究一番,收获颇深。
-
Old OOM(old generation out of memory)
老年代内存泄露,老年代里面装的很多,大概有一直持有根节点引用导致无法回收的对象、大对象等。所以对于老年代溢出只能通过一些jvm命令如jmap或者工具如:VisualVM、JProfile、MAT、ha456.jar等。
以下是一张ha456.jar分析出来的截图:
如果你支持不断的去加载动态class,就算class可以unload,java自带的classLoader[AppClassLoader、ExtClassLoader]中都有一个parallelLockMap变量,这个变量里面存放这一个简单的ObjectLock,意图作为一个类加载锁,避免并发两次加载同一个类。
简单理解,也就说只要加载一个class,就会map往里放一把锁。
java的类加载机制比较复杂,是典型的双亲委托模型。就算用户自定义classLoader也不能防止AppClassLoader、ExtClassLoader再次添加这把锁。
我研究过多种解决方案都被其复杂性拒之门外,因为load class的时候发现class内部还有依赖其他的class还会递归的继续load其他的class,而且groovy要将动态脚本转换成标准的java class,需要进行多层加工与验证,一般动态加载一个groovy class,大概会添加以下锁script1512923102925048000MetaClass[AppClassLoader、ExtClassLoader]、script1512923102925048000BeanInfo[CustomClassLoader、AppClassLoader、ExtClassLoader]、script1512923102925048000Customizer[CustomClassLoader、AppClassLoader、ExtClassLoader]
共需要加8把lock,具体细节不在此赘述,有兴趣的读者可以自己断点查看详情。
bug提报:https://stackoverflow.com/questions/37992822/groovy-templateengines-and-outofmemory-possible-memory-leak/37995084#37995084
https://bugs.openjdk.java.net/browse/JDK-8037342
如果你不断的在加载新的动态class,日积月累肯定会导致oldgen oom,怎么办呢?
最后只能从反射着手了,以下是示例代码,亲测主逻辑是通的。
如有更好的解决方案,还请分享交流~
/**
* Created by chenxiaojie on 2017/12/10.
*/
@Slf4j
public class GroovyClassLoaderUtils {
private static final GroovyClassLoader classLoader = new AutoCleanGroovyClassLoader();
public static Script loadScript(String clazz) {
return loadScript(clazz, new Binding());
}
public static Script loadScript(String clazz, Binding binding) {
Class _clazz = loadClass(clazz);
if (_clazz == null) {
return null;
}
return InvokerHelper.createScript(_clazz, binding);
}
public static Class loadClass(String clazz) {
if (StringUtils.isEmpty(clazz)) {
return null;
}
Class _clazz = null;
try {
_clazz = classLoader.parseClass(clazz);
log.info("load class:" + clazz + " success!");
} catch (Exception e) {
log.error(e.getMessage(), e);
} finally {
classLoader.clearCache();
}
return _clazz;
}
private static class AutoCleanGroovyClassLoader extends GroovyClassLoader {
private final List<ClassLoader> classLoaders = new ArrayList<ClassLoader>();
private final Pattern pattern = Pattern.compile("script\\d+");
public AutoCleanGroovyClassLoader() {
this(Thread.currentThread().getContextClassLoader());
}
public AutoCleanGroovyClassLoader(ClassLoader parent) {
super(parent);
if (parent == null) {
throw new RuntimeException("父类加载器不能为空!");
}
classLoaders.add(this);
while (parent != null) {
classLoaders.add(parent);
parent = parent.getParent();
}
Field _parallelLockMap = null;
try {
_parallelLockMap = ClassLoader.class.getDeclaredField("parallelLockMap");
_parallelLockMap.setAccessible(true);
} catch (NoSuchFieldException e) {
}
if (_parallelLockMap != null) {
final Field parallelLockMap = _parallelLockMap;
new Thread(new Runnable() {
@Override
public void run() {
while (true) {
try {
for (ClassLoader classLoader : classLoaders) {
Map<String, Object> map = (Map<String, Object>) parallelLockMap.get(classLoader);
if (map != null && map.size() > 10000) {
Iterator<Map.Entry<String, Object>> iterator = map.entrySet().iterator();
while (iterator.hasNext()) {
Map.Entry<String, Object> lockEntry = iterator.next();
if (pattern.matcher(lockEntry.getKey()).find()) {
iterator.remove();
log.info("auto clean lock " + lockEntry.getKey());
}
}
}
}
Thread.sleep(60000);
} catch (Throwable e) {
log.error(e.getMessage(), e);
}
}
}
}).start();
}
}
}
}
相关推荐
问题原因分析:使用ScriptEngine.eval每次都会对脚本进行编译,生成一个新的类,被GroovyClassLoader加载,大量执行计算后,将导致被加载的类数量不断增加,最终OOM。 解决办法:对计算的表达式expression进行预...
首先,Groovy是一种与Java高度兼容的脚本语言,它可以无缝地与Java代码集成,共享Java类库。Groovy代码可以被Java编译器理解,并且在运行时,GroovyShell或GroovyClassLoader等工具能够即时编译和执行Groovy脚本,这...
Groovy结合了Python、Ruby和Perl等脚本语言的简洁性和灵活性,并且完全兼容Java,可以无缝地与Java代码集成。在"groovy-2.3.6-installer"这个版本中,我们聚焦于Windows操作系统上的安装过程。 Groovy 2.3.6是该...
apache-groovy-3.0.8.zip apache官网的groovy3.0.8版本,希望大家多多下载,apache-groovy-3.0.8.zip apache官网的groovy3.0.8版本,希望大家多多下载,apache-groovy-3.0.8.zip apache官网的groovy3.0.8版本,希望...
Groovy的语法与Java类似,但更简洁。例如,类定义可以省略public关键字,变量声明可以省略类型,只需写出变量名即可。Groovy也支持使用`def`关键字来定义未指定类型的变量。 闭包是Groovy的一个核心特性,它类似于...
Groovy代码可以直接与Java代码互操作,因为它们都被编译为Java字节码。这种兼容性使得Groovy成为Java开发者的理想选择,尤其是在需要快速原型、脚本编写或增强现有Java项目时。 二、语法特性 1. 更简洁的语法:...
Groovy 是一种基于 Java 语言的脚本语言,运行在 JVM 中,语法与 Java 相似,但抛弃了 Java 的一些烦琐的语法规则,提供了更加简洁和灵活的编程体验。 Groovy 的特点 1. 简洁的语法:Groovy 语法简洁,减少了代码...
Groovy结合了Python、Ruby和Smalltalk等语言的特性,同时保留了与Java的无缝集成能力,使得它在脚本编写、Web开发、自动化测试等领域有着广泛的应用。 标题“groovy-all”暗示这是一个包含Groovy完整实现的库,通常...
#### 一、Groovy简介与特性 Groovy是一种为Java虚拟机(JVM)设计的动态语言。它具备完全的对象导向性、可选的类型系统、操作符定制能力、简洁的数据类型声明、闭包(Closures)、范围表达(Ranges)、紧凑的属性...
### Eclipse 安装 Groovy 插件的详细步骤与使用指南 #### 一、Groovy 插件的安装 为了能够在 Eclipse 中使用 Groovy 进行开发,首先需要安装 Groovy 插件。以下是详细的安装步骤: 1. **下载 GroovyEclipse.zip ...
这种Java与Groovy的交互能力使得开发者可以灵活地利用两种语言的优势,比如Groovy的简洁语法和Java的广泛库支持。这种混合编程方式在构建复杂的系统,特别是那些需要快速原型设计和迭代的系统时,可以提供更大的灵活...
Groovy是一种基于Java平台的动态编程语言,它与Java语法高度兼容,但提供了更简洁、更灵活的写法,使得开发效率得以提升。本讲主要介绍Groovy的基础知识,包括如何进行项目演示以及如何搭建Groovy的开发环境。 首先...
2. **无缝集成Java**:Groovy代码可以直接与Java代码混合编写,生成的都是字节码,可以无缝集成到Java项目中。这意味着Groovy程序可以在任何Java框架和库中使用,同时也继承了Java的安全性。 3. **对象和API兼容**...
- Groovy是一种基于Java虚拟机(JVM)的编程语言,它与Java高度兼容,可以直接调用Java库。 - 它引入了脚本语言的简洁性和灵活性,同时保留了静态类型的强类型特性,支持动态类型和静态类型的代码编写。 - Groovy...
Apache Groovy SDK 4.0.1 是一个重要的软件开发工具包,专为使用Groovy编程语言进行开发的程序员设计。Groovy是一种基于Java平台的动态、灵活的编程语言,它扩展了Java语言的功能,提供了简洁的语法和强大的元编程...
赠送jar包:groovy-3.0.9.jar; 赠送原API文档:groovy-3.0.9-javadoc.jar; 赠送源代码:groovy-3.0.9-sources.jar; 赠送Maven依赖信息文件:groovy-3.0.9.pom; 包含翻译后的API文档:groovy-3.0.9-javadoc-API...
Groovy的语法与Java非常相似,但更简洁。比如,你可以直接在命令行使用Groovy Shell (`groovysh`) 编写和运行简单的Groovy脚本,如下所示: ``` groovysh > println "Hello, Groovy!" ``` 这将在控制台打印出...
Spring Boot与Groovy的结合也是常见的应用场景,Groovy的简洁语法使得配置Spring Bean变得简单易懂。 Groovy还广泛应用于持续集成工具Jenkins的脚本编写,通过Jenkinsfile来定义构建流程。此外,Spock是一个用于...