HP-UX下Weblogic占用高cpu的解决

今天应该不是貌似了，到了该终结的时候，总结一下两个多月来过程吧

环境：
HP-UX11.23 IA64 4C8G  (CPU=1300m)
Weblogic 8.1 sp3 (后升级到sp6)
HP jdk 1.4.2.10(曾经升级到20)
Oracle 10.1.0.2

现象：
每天有1到5次weblogic挂起，挂起是cpu占用100%或者200%，http访问不响应，kill -3 <pid>打不出thread dump，telnet <ip> 7001没有反应，weblogic console不相应。从console的gc回收曲线上能看出每次挂起都是在gc开始的时候（处于曲线的顶点）

排查过程：
网络上有几百个FIN_WAIT2_2连接，怀疑dos攻击，用ndd修改系统参数，设置超时时间是1s；
排查应用是否有数据库连接未释放；
使用hpjconfig工具，把建议的HP-UX的patch全部打上；
根据后台的错误，联系明宇报表的厂家，模板过大或者数据量大导致的后台错误，不影响使用；
发现在jvm heap的old未满的情况下频繁full gc，调整gc参数；
优化数据库系统，重建索引，索引表空间分离
根据HP工程师的要求，使用HPJMETER,HPJTUNE,tusc，gdb等工具调试，生成coredump,文件比较大，一般生成再startweblogic的目录下面，jvm heap+Perm+weblogic的内存

结果：
应用中一个MAP出了问题，“Need to add Synchronized access to the tables.”，这个map是一个类的私有，这个类在另外一个类中定义成了静态对象，在应用过程中需要对这个map反复插入数据，导致了这个问题。HP的专家是这么说的：
“They have a hashmap that has gone circular”
“The reason why the app hangs is this thread never comes to a safepoint and there is a GC active.”
至于为什么这么写会让hashmap“gone circular”，以及为什么此时恰巧"GC active”就会hangs，我还没有搞明白，会不会是hp jvm的bug？ 没有在sun jvm，jrocket下测试过

在问题的解决过程中得到了很多朋友的帮助，在此一并感谢：
beckdim、wangchao等bea专家，一直关注，并给予weblogic的调优、调试指导；
朱远翔先生，在最无助的时候给予我很多的建议和资料
cats_tiger，最早关注本问题，并提出了自己的看法;
最后是HP的Gene、XiaYang、Lihuawei等工程师

问题代码：

public class EnumerationBean {
    private Map enums;
    public EnumerationBean(String name) {
        enums=new HashMap();
        this.name=name;
    }
    public void add(Object key, Object value) {
        this.enums.put(key,value);
    }
... ...

public class EnumerationType {
    private static EnumerationBean staenumBean = null;
    public static EnumerationBean getEnu(String type) {
	staenumBean = new EnumerationBean(type);		   
	staenumBean.add(...);
... ...

评论

3 楼 cyqplay 2009-01-23  

gao，跟着你太长知识了。要继续写下去昂

2 楼 linuxgao 2008-12-25  

zhuyuanxiang 写道

写得不错，我也长知识了。
希望博主可以把最终如何解决的再详细说明一下，如果有更详细的分析过程就好了，因为CPU 100%经常会遇到，但是为什么是Map，如何才能发现是这个问题，特别是那几个工具能够再开篇文章总结一下就更好了。
辛苦了，恭喜一下。

您的疑问也是我没有弄清楚的地方。过程倒是可以说的更详细一点。
文中的E文都是Gene给回复的原文，我猜想Gene不是hp国内的工程师，是用gdb生成的coredump发现的问题，但是我们用gdb就没有发现这个情况，目前对gdb还不是很清楚，联系hp国内的工程师也不是很清楚，现在又无法直接联系Gene。
最后修改代码是这样的：

public class EnumerationType {  
    public static EnumerationBean getEnu(String type) {  
        EnumerationBean  staenumBean = new EnumerationBean(type);             
        staenumBean.add(...);  
    ... ...  

1 楼 zhuyuanxiang 2008-12-25  

写得不错，我也长知识了。
希望博主可以把最终如何解决的再详细说明一下，如果有更详细的分析过程就好了，因为CPU 100%经常会遇到，但是为什么是Map，如何才能发现是这个问题，特别是那几个工具能够再开篇文章总结一下就更好了。
辛苦了，恭喜一下。