`
boendev
  • 浏览: 242686 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论
阅读更多

为什么用MAT

 

之前的观点,我认为使用实时profiling/monitoring之类的工具,用一种非常实时的方式来分析哪里存在内存泄漏是很正确的。年初使用了某profiler工具测试消息中间件中存在的内存泄漏,发现在吞吐量很高的时候profiler工具自己也无法响应,这让人很头痛。后来了解到这样的工具本身就要消耗性能,且在某些条件下还发现不了泄漏。所以,分析离线数据就非常重要了,MAT正是这样一款工具。

 

为何会内存溢出

 

我们知道JVM根据generation()来进行GC,根据下图所示,一共被分为young generation(年轻代)tenured generation(老年代)permanent generation(永久代, perm gen)perm gen(或称Non-Heap 非堆)是个异类,稍后会讲到。注意,heap空间不包括perm gen


绝大多数的对象都在young generation被分配,也在young generation被收回,当young generation的空间被填满,GC会进行minor collection(次回收),这次回收不涉及到heap中的其他generationminor collection根据weak generational hypothesis(弱年代假设)来假设young generation中大量的对象都是垃圾需要回收,minor collection的过程会非常快。young generation中未被回收的对象被转移到tenured generation,然而tenured generation也会被填满,最终触发major collection(主回收),这次回收针对整个heap,由于涉及到大量对象,所以比minor collection慢得多。

 

JVM有三种垃圾回收器,分别是throughput collector,用来做并行young generation回收,由参数-XX:+UseParallelGC启动;concurrent low pause collector,用来做tenured generation并发回收,由参数-XX:+UseConcMarkSweepGC启动;incremental low pause collector,可以认为是默认的垃圾回收器。不建议直接使用某种垃圾回收器,最好让JVM自己决断,除非自己有足够的把握。

 

Heap中各generation空间是如何划分的?通过JVM-Xmx=n参数可指定最大heap空间,而-Xms=n则是指定最小heap空间。在JVM初始化的时候,如果最小heap空间小于最大heap空间的话,如上图所示JVM会把未用到的空间标注为Virtual。除了这两个参数还有-XX:MinHeapFreeRatio=n -XX:MaxHeapFreeRatio=n来分别控制最大、最小的剩余空间与活动对象之比例。在32Solaris SPARC操作系统下,默认值如下,在32windows xp下,默认值也差不多。


参数

默认值

MinHeapFreeRatio

40

MaxHeapFreeRatio

70

-Xms

3670k

-Xmx

64m


由于tenured generationmajor collection较慢,所以tenured generation空间小于young generation的话,会造成频繁的major collection,影响效率。Server JVM默认的young generationtenured generation空间比例为1:2,也就是说young generationedensurvivor空间之和是整个heap(当然不包括perm gen)的三分之一,该比例可以通过-XX:NewRatio=n参数来控制,而Client JVM默认的-XX:NewRatio8。至于调整young generation空间大小的NewSize=nMaxNewSize=n参数就不讲了,请参考后面的资料。

 

young generation中幸存的对象被转移到tenured generation,但不幸的是concurrent collector线程在这里进行major collection,而在回收任务结束前空间被耗尽了,这时将会发生Full Collections(Full GC),整个应用程序都会停止下来直到回收完成。Full GC是高负载生产环境的噩梦……

 

现在来说说异类perm gen,它是JVM用来存储无法在Java语言级描述的对象,这些对象分别是类和方法数据(与class loader有关)以及interned strings(字符串驻留)。一般32OSperm gen默认64m,可通过参数-XX:MaxPermSize=n指定,JVM Memory Structure一文说,对于这块区域,没有更详细的文献了,神秘。

 

回到问题“为何会内存溢出?”。

要回答这个问题又要引出另外一个话题,既什么样的对象GC才会回收?当然是GC发现通过任何reference chain(引用链)无法访问某个对象的时候,该对象即被回收。名词GC Roots正是分析这一过程的起点,例如JVM自己确保了对象的可到达性(那么JVM就是GC Roots),所以GC Roots就是这样在内存中保持对象可到达性的,一旦不可到达,即被回收。通常GC Roots是一个在current thread(当前线程)call stack(调用栈)上的对象(例如方法参数和局部变量),或者是线程自身或者是system class loader(系统类加载器)加载的类以及native code(本地代码)保留的活动对象。所以GC Roots是分析对象为何还存活于内存中的利器。知道了什么样的对象GC才会回收后,再来学习下对象引用都包含哪些吧。

 

从最强到最弱,不同的引用(可到达性)级别反映了对象的生命周期。

l  Strong Ref(强引用):通常我们编写的代码都是Strong Ref,于此对应的是强可达性,只有去掉强可达,对象才被回收。

l  Soft Ref(软引用):对应软可达性,只要有足够的内存,就一直保持对象,直到发现内存吃紧且没有Strong Ref时才回收对象。一般可用来实现缓存,通过java.lang.ref.SoftReference类实现。

l  Weak Ref(弱引用):比Soft Ref更弱,当发现不存在Strong Ref时,立刻回收对象而不必等到内存吃紧的时候。通过java.lang.ref.WeakReferencejava.util.WeakHashMap类实现。

l  Phantom Ref(虚引用):根本不会在内存中保持任何对象,你只能使用Phantom Ref本身。一般用于在进入finalize()方法后进行特殊的清理过程,通过 java.lang.ref.PhantomReference实现。

 

有了上面的种种我相信很容易就能把heapperm gen撑破了吧,是的利用Strong Ref,存储大量数据,直到heap撑破;利用interned strings(或者class loader加载大量的类)把perm gen撑破。

 

关于shallow sizeretained size

 

Shallow size就是对象本身占用内存的大小,不包含对其他对象的引用,也就是对象头加成员变量(不是成员变量的值)的总和。在32位系统上,对象头占用8字节,int占用4字节,不管成员变量(对象或数组)是否引用了其他对象(实例)或者赋值为null它始终占用4字节。故此,对于String对象实例来说,它有三个int成员(3*4=12字节)、一个char[]成员(1*4=4字节)以及一个对象头(8字节),总共3*4 +1*4+8=24字节。根据这一原则,对String a=”rosen jiang”来说,实例ashallow size也是24字节(很多人对此有争议,请看官甄别并留言给我)。

 

Retained size是该对象自己的shallow size,加上从该对象能直接或间接访问到对象的shallow size之和。换句话说,retained size是该对象被GC之后所能回收到内存的总和。为了更好的理解retained size,不妨看个例子。

 

把内存中的对象看成下图中的节点,并且对象和对象之间互相引用。这里有一个特殊的节点GC Roots,正解!这就是reference chain的起点。

retained_objects.gifretained_objects_2.gif

obj1入手,上图中蓝色节点代表仅仅只有通过obj1才能直接或间接访问的对象。因为可以通过GC Roots访问,所以左图的obj3不是蓝色节点;而在右图却是蓝色,因为它已经被包含在retained集合内。

所以对于左图,obj1retained sizeobj1obj2obj4shallow size总和;右图的retained sizeobj1obj2obj3obj4shallow size总和。obj2retained size可以通过相同的方式计算。

 

Heap Dump

 

heap dump是特定时间点,java进程的内存快照。有不同的格式来存储这些数据,总的来说包含了快照被触发时java对象和类在heap中的情况。由于快照只是一瞬间的事情,所以heap dump中无法包含一个对象在何时、何地(哪个方法中)被分配这样的信息。

 

在不同平台和不同java版本有不同的方式获取heap dump,而MAT需要的是HPROF格式的heap dump二进制文件。想无需人工干预的话,要这样配置JVM参数:-XX:-HeapDumpOnOutOfMemoryError,当错误发生时,会自动生成heap dump,在生产环境中,只有用这种方式。如果你想自己控制什么时候生成heap dump,在Windows+JDK6环境中可利用JConsole工具,而在Linux或者Mac OS X环境下均可使用JDK56自带的jmap工具。当然,还可以配置JVM参数:-XX:+HeapDumpOnCtrlBreak,也就是在控制台使用Ctrl+Break键来生成heap dump。由于我是windows+JDK5,所以选择了-XX:-HeapDumpOnOutOfMemoryError这种方式,更多配置请参考MAT Wiki

 

参考资料

 

MAT Wiki

Interned Strings

Strong,Soft,Weak,Phantom Reference

Tuning Garbage Collection with the 5.0 Java[tm] Virtual Machine

Permanent Generation

Understanding Weak References译文

Java HotSpot VM Options

Shallow and retained sizes

JVM Memory Structure

GC roots


分享到:
评论

相关推荐

    mat工具,mat工具,mat工具,mat工具,mat工具,mat工具

    MAT工具以其丰富的特性和易用性,在Java性能优化领域备受推崇。 MAT工具的核心功能包括以下几个方面: 1. **内存泄漏检测**:MAT可以分析heap dump文件(由Java虚拟机在运行时生成的内存快照),通过比较不同时间...

    内存分析工具MAT

    MAT(Memory Analyzer Tool)是一款由Eclipse基金会开发的专业Java堆内存分析工具,它同样适用于Android应用的内存管理。MAT可以帮助开发者识别内存泄漏、查找对象生命周期问题以及优化内存使用效率。 标题中的...

    Android MAT 内存分析 工具

    MAT工具不仅适用于Android应用,也适用于任何基于Java的系统。 **一、MAT的下载与安装** 由于MAT不是Android Studio的标准组件,开发者需要单独下载。通常,MAT会作为一个独立的Eclipse插件形式存在。在下载过程中...

    MAT分析工具window64位.rar

    非常牛皮,独立版,点击即用。Eclipse MAT分析工具window64位(独立使用)eclipse的MAT工具,可以对jmap的dump文件进行堆栈分析,导入dump文件时请将dump文件后缀改为bin即可导入

    ubuntu 14.0 MAT 内存分析工具

    MAT(Memory Analyzer Tool)是Eclipse基金会开发的一款强大的Java内存分析工具,特别适用于诊断和优化Java应用程序的内存管理问题。它可以帮助开发者定位内存泄漏、分析堆转储文件,从而提高应用的性能和稳定性。在...

    MAT工具mac版本-亲测好用

    MAT工具mac版本-亲测好用

    mat内存分析工具win64.zip

    MAT工具通过解析Java heap dump文件,能够展示详细的内存占用情况,包括对象实例、类、包和库的内存分布,以及引用链路,帮助开发者定位内存泄漏的源头。 MAT主要功能及知识点包括: 1. **对象视图**:展示堆中...

    mat工具,可以分析hprof文件

    标题中提到的"mat工具,可以分析hprof文件",这正是MAT的核心功能之一。HProf是Java虚拟机(JVM)生成的一种标准的内存剖析数据格式,它记录了JVM运行时的内存信息,包括对象分配、存活状态、引用关系等。 MAT通过...

    JVM 排查工具 mat JDK 11

    《JVM排查工具MAT在JDK 11中的应用与OOME问题解决》 Java虚拟机(JVM)是Java程序运行的基础,然而在复杂的系统环境中,内存管理问题时常出现,其中最典型的便是OutOfMemoryError(OOME)。为了解决这类问题,...

    内存泄露分析工具Memory_Analyzer_Tool(MAT)介绍.docx

    在使用MAT工具时,需要先dump出内存,然后通过MAT工具分析内存使用情况,找到问题的关键。例如,可以设置JVM启动参数,增加set JAVA_OPTS= -verbose:gc -Xloggc:../logs/gclog.log -XX:+PrintGCDetails -XX:+...

    MAT工具(基于Eclipse的内存分析工具)+MAT工具使用说明.docx

    MAT工具使用说明.docx MAT(Memory Analyzer Tool)工具入门 一MAT简介 MAT(Memory Analyzer Tool),一个基于Eclipse的内存分析工具,是一个快速、功能丰富的JAVA heap分析工具,它可以帮助我们查找内存泄漏和减少...

    mat 内存分析工具 mat 内存分析工具 part1

    mat 内存分析工具 mat 内存分析工具

    mat工具测试类

    本文将深入探讨MAT工具及其在测试类中的应用。 首先,MAT工具的核心功能是对heap dump文件进行分析。heap dump是Java虚拟机在内存溢出时生成的一种文件,包含了程序运行时的所有对象和类装载信息。通过对heap dump...

    IBM MAT分析工具+JDK8_64位

    IBM MAT(Memory Analyzer Tool)是IBM提供的一款强大的Java内存分析工具,主要用于诊断和解决Java应用程序中的内存泄漏问题。MAT分析工具结合了先进的分析算法和直观的用户界面,使得开发者能够深入理解内存消耗...

    Android 内存泄露 Mat工具分析

    "Android 内存泄露 Mat工具分析" Android 内存泄露是一个常见的问题,它会导致应用程序的性能下降,甚至崩溃。Memory Analyzer Tool(MAT)是一个功能强大且广泛使用的内存泄露分析工具。本文将详细介绍如何使用 ...

    Java+内存分析工具+MAT

    总结起来,MAT作为一款强大的Java内存分析工具,具备了深度分析、自动化检测内存泄漏、直观的内存结构展示等功能,是Java开发者必备的调试利器。无论是排查生产环境的内存问题,还是在开发阶段优化代码,MAT都能提供...

    (二)MATJVM 内存分析工具.MAT JVM 内存分析工具.MAT JVM 内存分析工具.

    MAT(Memory Analyzer Tool)是IBM开发的一款强大的Java内存分析工具,专用于诊断和解决Java应用程序中的内存泄漏问题。MAT JVM内存分析工具可以帮助开发者深入理解Java虚拟机(JVM)的内存管理机制,通过分析堆内存...

Global site tag (gtag.js) - Google Analytics