系统线上问题分析处理流程

先通过系统命令,从大的方向上确定系统异常原因,操作流程如下:

 

通过上面流程排除是系统方面的问题后,再确认业务系统方面的问题,处理流程如下:

 

通过top命令,确定系统负载情况,查看具体是CPU,IO 还是内存占用高

通过查看top命令输出结果,获取到占用资源异常的进程id:PID

 

如果是CPU或IO占用高

可以通过top -Hp PID 查看当前异常进程的全部线程信息

通过上述命令,查看具体占用资源较高的线程,获取此线程的TID,并通过printf '%x\n' 将线程id转成16进制 nid

通过jstack PID | grep nid 查看此线程运行状态和信息,最后在结合代码分析定位最终问题

 

如果是内存占用高

先分析进程的GC情况,jstat -gccause pid 5000 每隔5s查看一次gc情况,确认YGC,FGC是否异常

再分析该进程的内存使用情况,获取内存占用较大的对象实例

<!--?xml version="1.0" encoding="UTF-8"?-->

jmap -histo:live pid | head -n 100

如上述流程仍没有定位到问题代码,再通过jmap获取当前进程的堆栈信息或者通过oom时触发的heap dump文件进一步分析内存和gc情况,最终定位问题代码