- 浏览: 482237 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
alvin198761:
renzhengzhi 写道我参与过12306余票查询系统的开 ...
别给12306 辩解了 -
renzhengzhi:
我参与过12306余票查询系统的开发,用户请求被前面3层缓存拦 ...
别给12306 辩解了 -
renzhengzhi:
写的很好。
JAVA线程dump的分析 -
liyonghui160com:
说好的附件呢
分布式服务框架 Zookeeper -- 管理分布式环境中的数据 -
ghpaas:
orbeon作为xforms标准的实现,不论其设计器还是运行时 ...
XForms 1.1 中文翻译—第1章 关于XForms标准
From http://www.ibm.com/developerworks/cn/java/j-lo-optimize-gc/
某个大型项目的 CPU100% 的压力性能测试, 用以检查在系统运行环境不正常的情况下,系统可以运行到何种程度。测试过程是:请求测试的模拟器向系统不断发出大量请求, 系统接受由模拟器发出的请求,然后将请求置于一个任务池中,如果当前有空闲的线程,则该线程会从任务池中取出一个任务进行处理,如果没有空闲的线程,则该任务一直会待在任务池中,直到有空闲的线程来处理它。因此,任务池的队列的长度从某种意义上可以代表整个系统的处理能力,任务池队列的长度用 Q 值来表示,如果 Q 值超出了一定限额,将会有流量控制的线程将超出限额的待处理任务丢弃,以保证系统的稳定性。
整个测试要求得到系统所在服务器的负载达到将近 100% 时,系统的吞吐量,相应时间以及在超负荷下业务请求成功率。
在测试过程中,任务池中累积的任务数起伏很大,正常时累积的任务数很小,但是每隔一段时间会累积大量的任务。由于累积的任务数超出任务池流量控制所定义的限额,所以 每隔一段时间,大量的待处理任务被清除。因此测试结束后得到的在超负荷下业务请求成功率也不是很理想。
一台AIX服务器(4CPU,4GMemory)来部署本Web应用程序;Web应用程序部署在中间件应用服务器上;部署了一个节点(Node),只配置一个应用服务器实例(Instance),没有做 Cluster 部署。
|
检测 WebSphere Application Server 上的 Web Container,EJB Container , ORB Service,数据库连接池等设置均合理,然后怀疑问题的现象是不是与系统 GC 有关。当前 Java Virtual Machine 的配置为:Initial Heap Size:256 , Maximum Heap Size:3072。
为了验证任务池中累积的任务数的大幅度变化和系统 GC 是否存在一定的关系,通过对任务池的累积任务数和系统 GC 进行采样, 将采样后的数据进行分析,用以得出二者的关系。采样时遵循 Nyquist 采样定例:采样频率要大于被采集对象的频率的 2 倍。 否则,采样点很可能每次位于被采集对象的波形的某个点上,从而不能正确反映被采集对象的变化规律。
通过观察,发现任务池的任务数目(以下用 Q 值代替)的变化周期大概是 5 到 6 秒,因此根据 Nyquist 采样定例,采样的时间间隔不能超过 2-3 秒,所以按照每秒来采样。 测试时间是 3 分钟,采样 180 次,系统的当前负载率是 99%。采样图如下所示:
由于系流量控制要求的限额是 450 个任务,也就是任务池中最多能累积 450 个任务,当任务池中累积的任务数超过 450 时,多余的任务会被流量控制直接丢弃,从上图可以看出,系统的Q值在很多时刻都大于 450,因此多次被丢弃任务,从而导致了任务请求成功率不高。
系统 GC 的采样
- 在 WebSphere Administrative Console 上, 点击进入 Servers, 然后 Application servers > server1 > Process Definition > Java Virtual Machine, 在 Configuration 面板上,选上 Verbose garbage collection 选项。
图二 WebSphere Application Server的JVM配置示图
- 进入 <%WebSphere Application Server 的安装目录 %>/profiles/<% 所在的 profiles%>/logs/ <% 所在的 Server%>, 可以看到 native_stderr.log 文件,将其清空
- 在高负载的条件下,进行高压测试 3 分钟
- 将 native_stderr.log 文件拷贝出来,用 GCCollector 工具进行分析,其中 native_stderr.log 文件上记录了系统 GC 的数据。
- 安装 GCCollector 工具:下载完 GCCollector.zip 后,解压缩,将里面 Lib 里的 3 个文件 jfreechart-1.0.0-rc1.jar,jcommon-1.0.0-rc1.jar 和 GCCollector.jar 拷贝至 JRE 的 lib 目录下,然后在命令行控制台上进入JRE的安装目录,而后运行:
java -classpath jfreechart-1.0.0-rc1.jar;jcommon-1.0.0-rc1.jar -jar GCCollector.jar
。接着可以看到 GCCollector 的用户界面,在它的 Parser 菜单中选择 JRE 的版本,而后在 File 菜单中选择并打开刚才拷出的 native_stderr.log 文件。
下图是在高负载情况下,系统在当前配置下的 GC 分析图。
图三 系统的 GC 分析图
由图三可以看出,系统没有内存泄漏的现象,每次 GC 所花的时间为 220ms 左右,从 GCCollector 的 Spreadsheet 可以查到,GC 的时间周期为 5-6 s,每次具体 GC 发生的时间,每次 GC 所花的时间。
- 同样遵循 Nyquist 采样定例,对 GC 进行采样,采样后的数据同任务池中 Q 值的采样数据进行比较和分析,得出两者之间存在着密切的关系。下图为任务池 Q 值和 GC 数据采样分析图,由图中可以看出,每次任务池的 Q 值大幅度增长时,系统刚好发生 GC。二者的时间和周期几乎可以完全匹配。因此可以初步下一个结论,由于系统的 GC,导致了系统在某些时刻不能有足够的能力来处理请求,因此任务池的 Q 值在这些时候会因为任务的大量累积而巨幅涨大,即而超出限额的任务被流控所清除,导致了在超负荷下任务请求成功率不是很理想。
图四 任务池 Q 值和 GC 数据采样分析图
|
|
当前的 GC 发生的频率和每次所花的时间还算正常,但是如果每次 GC 所花的 CPU 时间能减少,就能空出系统更多的能力处理任务池里的任务,用以降低任务池中的任务数,使得 Q 值基本上位于任务池的限额以下,这样可以提高在超负荷下业务请求的总的成功率。
当前 Java Virtual Machine 的配置为:Initial Heap Size:256 , Maximum Heap Size:3072。相对而言, Maximum Heap Size 设的有点偏大。对于不同的应用程序,最优化堆大小的设置都有可能不同。堆设置变大,GC 的频率会降低,应用程序会运行更长的时间后,才会进行 GC,带来的就是每次 GC 也会花更长的时间。从而 GC 调用占用系统更长的时间,使系统没有足够的能力处理请求,使得此刻任务池中的任务累积很多,Q 值很大,形成很高的峰值,超过流量控制的限额,超过限额数的任务被流量控制给直接丢弃,从而导致总的成功率不高。
因此,必须降低堆大小,使得 GC 的频率增大,每次 GC 所花时间降低,从而降低 Q 的峰值,使之位于系统的流量控制的范围之内,从而提高业务请求的总的成功率。
当前的流量控制所允许的峰值是 450,因此我们需要通过试验来验证,堆大小降低到什么值时,Q 值的峰值将低于 450,以保证总的成功率。 同时在峰值低于 450 的条件下,什么样的堆大小设置可以让系统的性能最佳。因为如果堆设置过小,会使得对象可分配空间变小,从而会频繁的使用垃圾收集机制来释放内存空间,而每次垃圾收集,都会耗用一定的系统资源。所以,我们要通过试验和监控数据,设法使的我们所设置的堆大小能够使得我们的程序运行最优化。
通过多次试验,我们得出结论:当 Java Virtual Machine 的配置为:Initial Heap Size:512 , Maximum Heap Size:1024 时,该系统性能最佳。
从 WebSphere Administrative Console上,依次点击 Servers->Application Servers,然后选择需要的 server,接着点击 Process Definition->Java Virtual Machine,而后在那里设置 Initial Heap Size:512 和 Maximum Heap Size:1024。 这时的配置对于该应用系统相对较为合理。这时再次分析 3 分钟内的 GC 的数据,从下图可以看出,GC 的周期缩短了,每 1-2 秒就会发生一次 GC,但是每次 GC 所花费的 CPU 时间降低了,平均 130ms 左右。
相应地,在 JVM 配置改进后,对任务池的 Q 值再进行一次采样,并且和改进前的采样值进行比价,采样图如下图六所示,改进后任务池的 Q 值分布在 50-450 之间,数值的起伏相对改进前要均衡些。不再出现忽然间 Q 值大小涨到 500 以上的情况,基本在流控的限制范围之类,进而提高了在超负荷下业务请求的总的成功率。
|
|
通过本文,我们可以看到系统 JVM 的配置和系统的性能有着比较大的关系,特别当系统的处理能力成某种变化趋势时,要考虑到系统 GC 对系统性能的影响,为了找到两者的关系,可以通过采样,图形比较来进行分析。如果发现二者之间有密切的联系,可以考虑对 JVM 的配置进行优化,比如:对最优化堆的大小进行调整。
对于不同的应用程序,最优化堆大小的设置都有可能不同。如果堆设置较大,可能导致 GC 的次数变少,但每次 GC 所花的时间很长,从而导致系统的处理能力抖动很大。此外如果堆设置过大,会占用过多的内存,使内存资源耗尽,从而会频繁的进行 IO 操作来使用虚拟内存。 如果堆设置较小,可能导致 GC 变的频繁,但每次 GC 所花的时间不会太长,每次 GC 对系统的性能影响相对也会小些。但是如果堆设置过小, 会使得对象可分配空间变小,从而会频繁的 GC 来释放内存空间,而每次 GC,都会耗用一定的系统资源。因此,要通过试验和监控数据,设法使的我们所设置的堆大小能够使得系统运行最优化。
学习
-
Java 理论与实践: JVM 1.4.1 中的垃圾收集(developerWorks,2003 年 12 月,Brian Goetz):探讨 JVM 1.4.1 是如何实际处理垃圾收集的。
-
关注性能: 调优垃圾收集(developerWorks,2004 年 7 月,Jack Shirazi , Kirk Pepperdine):介绍如何将 100 MB 的垃圾打包成 50 MB 的包。
-
WebSphere Application Server 信息中心:更多产品信息。
- 在 IBM developerWorks Java 技术专区 中可以找到数百篇有关 Java 编程各个方面的文章。
发表评论
-
.NET开源核心运行时,且行且珍惜
2014-12-25 15:39 1869背景 2014年11月12日,ASP.NET之父、微软云 ... -
常用 Java Profiling 工具的分析与比较
2010-08-15 22:04 1203相对于静态代码分析,Profiling 是通过收集程序运行 ... -
监控系统内存
2010-07-01 14:15 1217public CollectorThread(int seco ... -
Debugging the JNI
2010-06-18 14:03 1002If you think you have a JNI p ... -
JNI原理2
2010-06-18 13:31 162115.2 调用C程序 JNI规范 ... -
JNI原理1
2010-06-18 13:14 1263在某些Java的忠实支持者眼中,JNI(Java Nati ... -
JNI的crash终于搞定<转>
2010-06-18 13:08 1677今天终于搞定困扰我一周的一个问题了。我们的算法通过jni封装, ... -
java的volatile是什么意思
2010-04-20 15:39 1338我们知道,在Java中设置变量值的操作,除了long和d ... -
Concurrent kickoff
2010-04-19 15:55 1390This example shows you the ... -
IBM JDK和sun jdk区别
2010-04-19 15:52 2592在IBM的虚拟机官方指导文档中明确指出,禁止将虚拟机的最大 ... -
如何在IBM JDK 1.4.2的环境中避免Java堆空间的碎片问题
2010-04-19 15:48 880用户在使用WebSphere Applic ... -
Concurrent mark
2010-04-15 19:39 1023Concurrent mark gives reduced ... -
Java 技术,IBM 风格: 垃圾收集策略,第 1 部分
2010-04-15 16:51 1004可以使用 4 种不同的策略配置 IBM Developer ... -
Java 网页浏览器组件介绍
2010-04-12 23:44 1506前言 在使用 Java 开发客户端程序时,有时会需要在界 ... -
利用 Java dump 进行 JVM 故障诊断
2010-04-06 16:54 1987引言 对于大型 java 应用程序来说,再精细的测试都难 ... -
IBM JVM垃圾回收原理——1
2010-04-06 15:42 1621原文下载:IBM Garbage Collection ... -
Java 理论与实践: 垃圾收集简史
2010-04-06 14:34 834垃圾收集的好处是无 ... -
关注性能: 调优垃圾收集
2010-04-06 14:08 841随着网志作为公共日 ... -
Java 理论与实践: JVM 1.4.1 中的垃圾收集
2010-04-06 10:42 899老对象和年轻对象 ... -
搞懂java中的synchronized关键字
2010-04-01 19:54 816实际上,我关于java的基 ...
相关推荐
### 性能工程师指南:玩转OpenJDK HotSpot垃圾收集器 ...特别是在Java应用中,合理配置和优化JVM的垃圾收集器是提高系统性能的关键之一。通过对GC的深入理解以及合理的调优策略,可以显著提升Java应用的整体性能表现。
这是现代Java垃圾收集器主要采用的方法。 三、Java内存区域与垃圾收集 1. 堆内存:主要用于存储对象实例,是垃圾收集的主要区域。 2. 方法区:存储类信息、常量、静态变量等,部分现代JVM将其合并到堆中。 3. 栈...
《实战JAVA虚拟机—JVM故障诊断与性能优化》是一本深入探讨Java虚拟机(JVM)技术的书籍,旨在帮助开发者和系统管理员诊断并优化JVM相关的性能问题。本书内容丰富,涵盖了大量的实践案例,使得即便是初学者也能理解...
Java虚拟机的垃圾收集器通常采用增量式收集器(Incremental Garbage Collector),这种收集器可以将整个垃圾收集过程分散成多个小步骤,这样可以降低单次垃圾收集导致的暂停时间,从而更适合实时性环境。增量式收集...
18. **Java 9及以后版本的新特性**:了解新版本带来的性能改进,如模块系统、响应式流、JEPs(Java Enhancement Proposals)等。 19. **并行与分布式计算**:探索Fork/Join框架,以及如何利用Spark、Hadoop等大数据...
5. 垃圾收集优化算法:为了提升嵌入式Java虚拟机的性能,研究者们提出了多种垃圾收集优化算法。这些算法可能包括改进标记-清除(Mark-Sweep)、复制(Copying)、标记-压缩(Mark-Compact)等基本垃圾收集算法,或者...
通过调整堆栈大小、优化线程模型等参数,可以进一步优化Java应用的性能。 3. **应用程序实现**:关注代码质量,尤其是找出性能瓶颈。使用性能分析工具(如JProfiler、Optimizit、Vtune等)可以帮助定位耗时的函数或...
### Java虚拟机中的垃圾收集(GC)运行机制及种类 #### 概述 垃圾收集(Garbage Collection,简称GC)是Java虚拟机(JVM)自动管理...理解各种垃圾收集器的工作原理及其适用场景,对于优化Java应用程序的性能至关重要。
3. **兼容性**:支持多种Java垃圾收集器的日志格式,如Serial、Parallel、Concurrent Mark Sweep (CMS) 和G1等。 4. **自定义配置**:用户可以根据需要配置不同的视图和参数,定制化分析体验。 5. **源代码开放**:...
为了进一步提升Java虚拟机在实时环境下的性能,研究人员提出了多种改进方案,尤其是在增量式收集器中堆空间的划分方式和引用追踪技术方面。 - **堆空间的优化划分**:通过对堆空间进行更细致的划分,可以实现更精确...
此外,通过设置合理的堆大小和垃圾收集策略,如新生代与老年代的比例,可以优化垃圾回收的效率。 并发优化是现代多核处理器环境下不可或缺的部分。Java提供了多种并发工具类,如ExecutorService、Semaphore、...
4. **Java垃圾收集器**: - **垃圾回收的基本概念**:Java通过垃圾收集器自动回收不再使用的对象,以释放内存。不同的垃圾收集器有不同的性能特点和适用场景。 - **调整GC参数**:通过调整垃圾收集器的参数,如...
常见的性能瓶颈可能出现在数据结构选择不当、I/O操作频繁、锁竞争激烈、垃圾收集问题等。识别并解决这些瓶颈是提升性能的关键。 优化Java程序性能的步骤包括: a) 明确性能需求:在项目开始前,清晰定义性能指标,...
在探讨Java垃圾收集(GC)机制时,我们首先要了解与C++在内存管理和对象分配方面的根本区别。C++倾向于在堆栈上分配对象,这允许程序在进入作用域时快速分配和释放内存,因为堆栈的内存管理是顺序的且不需要复杂的...
垃圾回收的优化通常涉及到调整堆大小、设置新生代和老年代的比例、选择合适的垃圾收集器组合(如Serial、ParNew、Parallel Scavenge、CMS、G1等)以及使用并发模式、并行度、暂停时间目标等参数。理解这些概念和原理...
Java垃圾收集器是JVM管理Java对象生命周期的核心组件。常见的垃圾收集器包括串行收集器、并行收集器、CMS收集器等。串行收集器是最基本的垃圾收集器,它使用单线程进行垃圾回收。并行收集器是串行收集器的多线程化...