- 浏览: 468600 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
mrshen:
很棒,在其他大神的博客上理清了思路看懂之后,来lz这里用例子学 ...
RED-BLACK(红黑)树的实现TreeMap源码阅读 -
a939639017:
yanf4j check不下来 ?
Java nio 2.0 AIO -
hellostory:
又是抄来的 - -
mysql分表方案 -
davidluoye:
为什么不说下支持的数据库呢?
模糊查询的优化 -
oliveevilo:
表示没看懂
Synchronized和java.util.concurrent.locks.Lock的区别
I、Java进程无故退出的故障查找过程:
如果是Java进程不知道什么原因退出或被杀死,想要分析具体原因,一般来说分下面几步:
1. 拿到Java应用程序的日志文件。
一般来说日志文件中会有很应用相关的错误信息。Java进程异常退出的原因最有可能就是应用程序本身的问题。因此检查Java应用程序的日志文件可能是最快定位到错误的方法。
2. 查找JVM的致命错误日志
如果应用程序日志文件中没有发现什么线索。那么还可以查看 JVM的致命错误日志。有些致命的错误,比如JNI或虚拟机本身产生的错误,可能使得Java应用程序来不及写日志就退出了。这时候可以查一个以 "hs_err_pid" 开头的日志名,例如hs_err_pid1125.log,其中1125是进程号。这个文件中也记录了一些宝贵的信息来提供一些线索,特别是Java自身的一些Bug。这个文件一般为于当前的工作目录中。用户可以用find命令自己搜索到。
3. 查找操作系统的core dump文件
作为被操作系统所调度的进程,Java进程也会在不同的信号下产生Core Dump文件,例如Sig_ill和Seg_segv。这些非常严重的错误的确会使得Java虚拟机根本来不及产生任何日志就宕了。拿到core dump文件就可以使用很多工具来分析具体原因了,例如jmap, jstack等等都可以友好的进行Java进程的Core文件的分析。一般来说,Core文件也放到进程的当前工作目录,用户可以用find命令搜索 “core”。另外可以用coreadm来预先指定core文件存放的地方以及文件名的格式,例如:coreadm -g /var/core/core.%f.%p.%t
4. 使用Dtrace查找“是谁杀死了Java进程”
但是,有很多情况,进程被杀死的原因很复杂。有可能被别的进程以外杀掉,或被一些脚本不小心kill掉,或者被管理员(或入侵者kill -9)处理掉。这些情况都不会产生日志文件和core dump文件。这些情况很难跟踪。但如果是Solaris10下,可以使用下面的Dtrace脚本来确定“是谁杀死了Java进程”
#!/usr/sbin/dtrace -qs
proc:::signal-send
/args[1]->pr_pid == $1/
{
printf("%s(pid:%d) is sending signal %d to %s"n", execname, pid, args[2],args[1]->pr_fname);
}
如何运行(1125)是进程号
$ ./sig1.d 1125
sched(pid:0) is sending signal 24 to bc
sched(pid:0) is sending signal 24 to bc
bash(pid:3987) is sending signal 15 to bc
bash(pid:3987) is sending signal 15 to bc
bash(pid:3987) is sendg signal 9 to bc
II.JVM的致命错误日志java_errorpid.log的分析方法:
Java的应用有时候会因为各种原因Crash,这时候会产生一个类似java_errorpid.log的错误日志。可以拿到了这个日志,怎样分析Crash的原因呢?下面我们来详细讨论如何分析java_errorpid.log的错误日志。
一. 如何得到这个日志文件如果有一个严重的错误引起Java进程非正常退出,我们叫Crash,这时候会产生一个日志文件。缺省情况下,这个文件会产生在工作目录下。但是,可以在Java启动参数通过下面的设置,来改变这个文件的位置和命名规则。例如:
java -XX:ErrorFile=/var/log/java/java_error_%p.log
就将这个错误文件放在/var/log/java下,并且以java_error_pid.log的形式出现。
二.产生错误的原因造成严重错误的原因有多种可能性。Java虚拟机自身的Bug是原因之一,但是这种可能不是很大。在绝大多数情况下,是由于系统的库文件、API或第三方的库文件造成的;系统资源的短缺也有可能造成这种严重的错误。在发生了Crash之后,如果无法定位根本原因,也应该迅速找到Work Around的方法。
三.对日志文件的分析首先要检查日志的文件头:例如,下面是从一个客户发过来的错误日志的文件头
-------------------------------------
#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0815e87e, pid=7268, tid=4360
#
# Java VM: Java HotSpot(TM) Server VM (1.4.2_13-b06 mixed mode)
# Problematic frame.:
# V [jvm.dll+0x15e87e]
#
--------------------------------------
文件头中有很多有用的信息,“EXCEPTION_ACCESS_VIOLATION ”意味着Java应用Crash的时候,正在运行JVM自己的代码,而不是外部的Java代码或其他类库代码。这种情况很可能是JVM的Bug,但是也不一定。除了“EXCEPTION_ACCESS_VIOLATION ”,还有可能是别的信息,例如“SIGSEGV(0xb)”,意味着JVM正在执行本地或JNI的代码;“EXCEPTION_STACK_OVERFLOW”意味着这是个栈溢出的错误。
另外一个有用的信息就是:
# Problematic frame.:
# V [jvm.dll+0x15e87e]
它说明Crash的时候,JVM正在从哪个库文件执行代码。除了“V”以外,还有可能是“C”、“j”、“v”、“J”。具体的表示意思如下:
FrameType Description:
C: Native C frame
j: Interpreted Java frame
V: VMframe
v: VMgenerated stub frame
J: Other frame. types, including compiled Java frames
文件头之后,是当前线程的DUMP信息,线程之后是JVM进程的DUMP信息,包括所有线程的状态、地址和ID。最后还有JVM状态,Heap状态,动态连接库等等的信息。这些烦乱的信息中,包含有非常有用的信息。下面我们根据几个具体的实例来分析Java虚拟机Crash的典型例子。
四.内存回收引起的Crash内存回收引起的Crash有以下的特点:在日志文件头一般有“ EXCEPTION_ACCESS _VIOLATION”和“# Problematic frame. # V [jvm.dll+....”的信息,意味着这是在JVM内部处理,而且多半是JVM的Bug。对于这类问题,最快的方法就是绕过它。
另外,在Thread的DUMP信息最后,还能看到有关内存回收的行为例如:
--------------- T H R E A D ---------------
Current thread (0x00a56668): VMThread [id=4360]
siginfo: ExceptionCode=0xc0000005, reading address 0x00000057
Registers:
........
Stack: [0x03cf0000,0x03d30000), sp=0x03d2fc18, free space=255k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
V [jvm.dll+0x15e87e]
VM_Operation (0x063efbac): full generation collection, mode: safepoint, requested by thread 0x040f83f8
------------------------------------------------------------
可以清楚的看到JVM正在做 “full generation collection”。另外还有可能看到,其他的回收行为:
generation collection for allocation
full generation collection
parallel gc failed allocation
parallel gc failed permanent allocation
parallel gc system gc
对于内存回收的错误,一般采取改变回收的算法和参数的方法来绕过去。例如,来自客户的日志除了上面的日志信息,在日志中Heap信息中还能发现一些其他信息:
--------------------------------------------------------------
Heap
def new generation total 22592K, used 19530K [0x10010000, 0x11890000, 0x138f0000)
eden space 20096K, 97% used [0x10010000, 0x11322bd8, 0x113b0000)
from space 2496K, 0% used [0x113b0000, 0x113b0000, 0x11620000)
to space 2496K, 0% used [0x11620000, 0x11620000, 0x11890000)
tenured generation total 190696K, used 100019K [0x138f0000, 0x1f32a000, 0x30010000)
the space 190696K, 52% used [0x138f0000, 0x19a9cf38, 0x19a9d000, 0x1f32a000)
compacting perm gen total 38656K, used 38588K [0x30010000, 0x325d0000, 0x34010000)
the space 38656K, 99% used [0x30010000, 0x325bf038, 0x325bf200, 0x325d0000)
----------------------------------------------------------------
上面的信息能看出在Crash的时候,JVM的PermSize空间几乎已经消耗完了,并且回收算法在压缩Perm空间的时候出了错。因此,建议改变内存回收的算法,或扩大PermSize和MaxPermSize的数值。
五.栈溢出引起的CrashJava代码引起的栈溢出,通常不会引起JVM的Crash,而是抛出一个Java异常:java.lang.StackOverflowError。但是在Java虚拟机中,Java的代码和本地C或C++代码公用相同的Stack。这样,在执行本地代码所造成的栈溢出,就有可能引起JVM的Crash了。
栈溢出引起的Crash会在日志的文件头中看到“EXCEPTION_STACK_OVERFLOW”字样。另外,在当前线程的Stack信息中也能发现一些信息。例如下面的例子:
-----------------------------------------------------------------------------------
在上面的信息中,可以发现这是个栈溢出的错误。并且当前栈剩余的空间已经很小了(free space =4k)。因此建议将JVM的Stack的尺寸调大,主要设计两个参数:“-Xss” 和“-XX:StackShadowPages=n”。但是,将栈的尺寸调大,也意味着在有限的内存资源中,能打开的最大线程数会减少。
发表评论
-
JDK内置工具使用(转)
2012-08-09 10:56 1220JDK内置工具使用 一、javah命令(C Header a ... -
jstack使用
2012-08-09 10:37 1570Java综合 我们使用jdk自带的jstack来分析。当lin ... -
jstat使用
2012-08-09 09:51 1175如何判断JVM是否存在内 ... -
java应用crash案例
2012-08-08 22:05 1230最近,应用总会时不时c ... -
一个java crash的故障分析过程
2012-08-08 22:01 2278一个应用在周五 ... -
使用CORE DUMP
2012-08-08 20:59 1705程序出现SIGSEGV ,Segmenta ... -
( 转)JVM执行篇:使用HSDIS插件分析JVM代码执行细节
2012-08-08 20:10 965在《Java虚拟机规范》之 ... -
Java Crash问题分析
2012-08-05 18:36 1951如果是Java进程不知道 ... -
JVM性能优化
2012-04-26 10:30 1156本文主要根据这篇PDF(G ... -
Java编译器、JVM、解释器
2012-04-25 16:43 3020Java 虚拟机(JVM)是可运行 ... -
JVM执行篇:使用HSDIS插件分析JVM代码执行细节
2012-04-10 13:27 1338在《Java虚拟机规范》之 ... -
HotSpot VM里的解释器在client与server模式上的一点区别
2011-12-28 11:12 1410可能许多人都读到过资料,听说过在Sun的HotSpot VM ... -
IcedTea在开源与OpenJDK的鸿沟上架起了桥梁
2011-11-22 23:54 17152008-06-12 18:06 作者: 来源:来自论坛 [ ... -
Sun的JDK7、OpenJDK及IcedTea释疑
2011-11-22 23:44 1281http://www.infoq.com/cn/news/20 ... -
在XUbuntu 10.10上以JRL源码构建Oracle JDK 6 update 23
2011-11-22 23:00 1965http://rednaxelafx.iteye.com/bl ... -
n JDK 和 OpenJDK 的区别
2011-11-22 13:34 2261http://hi.baidu.com/openware/bl ... -
线程局部存储Thread Local Storage-TLS(总结整理)
2011-10-27 18:18 1781在线程的学习中我们知道每个线程除了共享进程的资源外还拥有各 ... -
c++阿里笔试
2011-10-26 14:43 17171、有一个虚拟存储系统 ... -
GDB调试精粹及使用实例
2011-10-12 14:41 1071一:列文件清单 1. List (gdb) list li ... -
Mercurial学习笔记
2011-10-11 13:06 6708录 •1 Mercurial 一览: 基础 ◦1.1 ...
相关推荐
### Java进程高CPU占用故障排查 在日常的运维与开发工作中,经常遇到Java应用出现高CPU占用的问题。这类问题不仅会影响系统的稳定性和响应速度,还可能导致服务不可用。因此,对于此类故障的快速定位和解决变得尤为...
Arthas是一个Java诊断工具,它可以直接attach到运行中的Java进程上,帮助开发者获取方法调用的统计数据、实时查看JVM状态、分析线程情况等。 在进行故障排查时,GC监控(GC Monitoring)是不可或缺的一步。GC监控...
通过理解和学习这些关键技术,开发者可以构建自己的Java进程监控系统,不仅可以提高系统运维的效率,也能为故障排查和性能优化提供有力支持。此外,这个源代码也适合作为学习JMX、RMI和Web应用开发的实践案例。
JDK自带了一系列强大的诊断工具,如jps(Java进程查看器)、jstat(统计信息工具)、jinfo(配置信息工具)、jmap(内存映射工具)、jhat(堆转储分析工具)和jstack(线程堆栈跟踪工具)。熟练掌握这些工具的使用,...
Java线程 Dump(Thread Dump)是Java应用程序在特定时间点的线程状态快照,它包含每个线程的详细信息,如线程ID...Thread Dump是Java故障排查的重要工具,熟练掌握其分析方法对于提升Java应用的稳定性和性能至关重要。
- **日志记录**:记录进程变化历史,便于分析系统行为和故障回溯。 - **报警机制**:设置阈值,当某个进程超出预设范围时,自动发送警报。 - **多平台支持**:利用Java的跨平台特性,可以扩展到Linux、MacOS等其他...
在 WebSphere Application Server 中,javacore 文件可以帮助我们分析和判断一些故障,如:100% CPU Usage、Crash、Hang/Performance 问题。 需要注意的是,在某些情况下,javacore 文件可能不能正常产生,可能是...
本文档将详细介绍 Java 线上故障排查的完整套路,涵盖 CPU、磁盘、内存、网络和 GC 等多个方面的故障排查方法。 一、CPU 故障排查 CPU 故障排查是 Java 线上故障排查的重要一步。我们可以使用 jstack 工具来分析 ...
1. **生成线程堆栈**:首先,你需要通过`jstack`命令对目标Java进程进行dump,命令格式通常为`jstack <pid>`,其中`pid`是Java进程的ID。这会生成一个包含所有线程信息的文本文件。 2. **上传线程日志**:将生成的...
其次,Java进程自身的故障也可能导致进程消失。当JVM遇到无法恢复的错误时,它会生成一个名为 `hs_err_pid_xxx.log` 的错误报告文件,其中包含详细的崩溃信息。这个文件通常位于工作目录下,但可以通过 `-XX:Error...
在IT领域,进程崩溃自动重启是一项重要的系统管理和故障恢复机制,尤其在服务器和高可用性应用中至关重要。本文将深入探讨“进程崩溃自动重启”这一主题,包括其原理、应用场景、实现方法以及相关的编程概念。 首先...
4. **实例与进程分析**:理解Oracle的进程架构至关重要,包括系统全局区(SGA)、后台进程(如DBWR、PMON、LGWR等)以及用户进程,它们各自的作用和异常时的表现。 5. **数据字典**:数据字典存储了数据库的所有元...
1.Java线程堆栈分析 2.通过Java线程堆栈进行性能瓶颈分析 3.Java内存泄漏分析和堆内存设置 4.关于并发和多线程 5.幽灵代码 6.常见的Java泥潭 7.JVM 8.关于字符集与编码 9.常用分析工具 10.Java最佳实践 11.关于...
本文主要介绍了 Linux 服务器 Java 进程消失问题的解决方法,通过示例代码对问题进行了详细的讲解,对大家的学习或者工作具有一定的参考学习价值。下面是对该问题的详细解释和解决方法: 一、Java 应用程序的问题 ...
syslog协议是网络设备、操作系统和应用程序之间广泛使用的标准日志记录协议,它允许系统将日志消息...结合`syslogd`服务,我们可以确保日志数据的安全存储和有效分析,这对于故障排查、性能监控和安全审计至关重要。
为了监控Java应用的性能,可以使用`jps`(Java进程状态)列出运行中的Java进程,`jstat`(JVM统计监测工具)查看JVM的统计信息,`jmap`(内存映射工具)生成堆转储,以及`jhat`(堆分析工具)分析堆转储。...
- **执行Ping操作**:`doPingCmd`方法实现了核心的Ping功能,它使用操作系统自带的Ping命令并通过Java进程控制API来捕获命令的输出结果。 ```java public Integer doPingCmd(String destIp, int maxCount) { ...
掌握这些工具的使用方法,能够大大提高Java应用的维护效率,降低故障发生的可能性,确保系统的稳定运行。在实际工作中,我们需要根据具体问题选择合适的工具,结合日志、性能监控等手段,综合分析并解决问题。