如果有一個(gè)嚴重的錯誤引起Java進(jìn)程非正常退出,我們叫Crash,這時(shí)候會(huì )產(chǎn)生一個(gè)日志文件。缺省情況下,這個(gè)文件會(huì )產(chǎn)生在工作目錄下。但是,可以在Java啟動(dòng)參數通過(guò)下面的設置,來(lái)改變這個(gè)文件的位置和命名規則。例如:
java -XX:ErrorFile=/var/log/java/java_error_%p.log
就將這個(gè)錯誤文件放在/var/log/java下,并且以java_error_pid.log的形式出現。
造成嚴重錯誤的原因有多種可能性。Java虛擬機自身的Bug是原因之一,但是這種可能不是很大。在絕大多數情況下,是由于系統的庫文件、API或第三方的庫文件造成的;系統資源的短缺也有可能造成這種嚴重的錯誤。在發(fā)生了Crash之后,如果無(wú)法定位根本原因,也應該迅速找到Work Around的方法。
首先要檢查日志的文件頭:例如,下面是從一個(gè)客戶(hù)發(fā)過(guò)來(lái)的錯誤日志的文件頭
-------------------------------------
#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0815e87e, pid=7268, tid=4360
#
# Java VM: Java HotSpot(TM) Server VM (1.4.2_13-b06 mixed mode)
# Problematic frame:
# V [jvm.dll+0x15e87e]
#
--------------------------------------
文件頭中有很多有用的信息,“EXCEPTION_ACCESS_VIOLATION ”意味著(zhù)Java應用Crash的時(shí)候,正在運行JVM自己的代碼,而不是外部的Java代碼或其他類(lèi)庫代碼。這種情況很可能是JVM的Bug,但是也不一定。除了“EXCEPTION_ACCESS_VIOLATION ”,還有可能是別的信息,例如“SIGSEGV(0xb)”,意味著(zhù)JVM正在執行本地或JNI的代碼;“EXCEPTION_STACK_OVERFLOW”意味著(zhù)這是個(gè)棧溢出的錯誤。
另外一個(gè)有用的信息就是:
# Problematic frame:
# V [jvm.dll+0x15e87e]
它說(shuō)明Crash的時(shí)候,JVM正在從哪個(gè)庫文件執行代碼。除了“V”以外,還有可能是“C”、“j”、“v”、“J”。具體的表示意思如下:
FrameType Description:
C: Native C frame
j: Interpreted Java frame
V: VMframe
v: VMgenerated stub frame
J: Other frame types, including compiled Java frames
文件頭之后,是當前線(xiàn)程的DUMP信息,線(xiàn)程之后是JVM進(jìn)程的DUMP信息,包括所有線(xiàn)程的狀態(tài)、地址和ID。最后還有JVM狀態(tài),Heap狀態(tài),動(dòng)態(tài)連接庫等等的信息。這些煩亂的信息中,包含有非常有用的信息。下面我們根據幾個(gè)具體的實(shí)例來(lái)分析Java虛擬機Crash的典型例子。
內存回收引起的Crash有以下的特點(diǎn):在日志文件頭一般有“ EXCEPTION_ACCESS _VIOLATION”和“# Problematic frame: # V [jvm.dll+....”的信息,意味著(zhù)這是在JVM內部處理,而且多半是JVM的Bug。對于這類(lèi)問(wèn)題,最快的方法就是繞過(guò)它。
另外,在Thread的DUMP信息最后,還能看到有關(guān)內存回收的行為例如:
--------------- T H R E A D ---------------
Current thread (0x00a56668): VMThread [id=4360]
siginfo: ExceptionCode=0xc0000005, reading address 0x00000057
Registers:
........
Stack: [0x03cf0000,0x03d30000), sp=0x03d2fc18, free space=255k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
V [jvm.dll+0x15e87e]
VM_Operation (0x063efbac): full generation collection, mode: safepoint, requested by thread 0x040f83f8
------------------------------------------------------------
可以清楚的看到JVM正在做 “full generation collection”。另外還有可能看到,其他的回收行為:
generation collection for allocation
full generation collection
parallel gc failed allocation
parallel gc failed permanent allocation
parallel gc system gc
對于內存回收的錯誤,一般采取改變回收的算法和參數的方法來(lái)繞過(guò)去。例如,來(lái)自客戶(hù)的日志除了上面的日志信息,在日志中Heap信息中還能發(fā)現一些其他信息:
--------------------------------------------------------------
Heap
def new generation total 22592K, used 19530K [0x10010000, 0x11890000, 0x138f0000)
eden space 20096K, 97% used [0x10010000, 0x11322bd8, 0x113b0000)
from space 2496K, 0% used [0x113b0000, 0x113b0000, 0x11620000)
to space 2496K, 0% used [0x11620000, 0x11620000, 0x11890000)
tenured generation total 190696K, used 100019K [0x138f0000, 0x1f32a000, 0x30010000)
the space 190696K, 52% used [0x138f0000, 0x19a9cf38, 0x19a9d000, 0x1f32a000)
compacting perm gen total 38656K, used 38588K [0x30010000, 0x325d0000, 0x34010000)
the space 38656K, 99% used [0x30010000, 0x325bf038, 0x325bf200, 0x325d0000)
----------------------------------------------------------------
上面的信息能看出在Crash的時(shí)候,JVM的PermSize空間幾乎已經(jīng)消耗完了,并且回收算法在壓縮Perm空間的時(shí)候出了錯。因此,建議改變內存回收的算法,或擴大PermSize和MaxPermSize的數值。
Java代碼引起的棧溢出,通常不會(huì )引起JVM的Crash,而是拋出一個(gè)Java異常:java.lang.StackOverflowError。但是在Java虛擬機中,Java的代碼和本地C或C++代碼公用相同的Stack。這樣,在執行本地代碼所造成的棧溢出,就有可能引起JVM的Crash了。
棧溢出引起的Crash會(huì )在日志的文件頭中看到“EXCEPTION_STACK_OVERFLOW”字樣。另外,在當前線(xiàn)程的Stack信息中也能發(fā)現一些信息。例如下面的例子:
-----------------------------------------------------------------------------------
# An unexpected error has been detected by HotSpot Virtual Machine:
#
# EXCEPTION_STACK_OVERFLOW (0xc00000fd) at pc=0x10001011, pid=296, tid=2940
#
# Java VM: Java HotSpot(TM) Client VM (1.6-internal mixed mode, sharing)
# Problematic frame:
# C [App.dll+0x1011]
#
--------------- T H R E A D ---------------
Current thread (0x000367c0): JavaThread "main" [_thread_in_native, id=2940]
:
Stack: [0x00040000,0x00080000), sp=0x00041000, free space=4k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
C [App.dll+0x1011]
C [App.dll+0x1020]
C [App.dll+0x1020]
:
C [App.dll+0x1020]
C [App.dll+0x1020]
...<more frames>...
Java frames: (J=compiled Java code, j=interpreted, Vv=VM code)
j Test.foo()V+0
j Test.main([Ljava/lang/String;)V+0
v ~StubRoutines::call_stub
--------------------------------------------------------------------------------
在上面的信息中,可以發(fā)現這是個(gè)棧溢出的錯誤。并且當前棧剩余的空間已經(jīng)很小了(free space =4k)。因此建議將JVM的Stack的尺寸調大,主要設計兩個(gè)參數:“-Xss” 和“-XX:StackShadowPages=n”。但是,將棧的尺寸調大,也意味著(zhù)在有限的內存資源中,能打開(kāi)的最大線(xiàn)程數會(huì )減少。
未完,待續
如果是Java進(jìn)程不知道什么原因退出或被殺死,想要分析具體原因,一般來(lái)說(shuō)分下面幾步:
1 拿到Java應用程序的日志文件。
一般來(lái)說(shuō)日志文件中會(huì )有很應用相關(guān)的錯誤信息。Java進(jìn)程異常退出的原因最有可能就是應用程序本身的問(wèn)題。因此檢查Java應用程序的日志文件可能是最快定位到錯誤的方法。
2 查找JVM的致命錯誤日志
如果應用程序日志文件中沒(méi)有發(fā)現什么線(xiàn)索。那么還可以查看 JVM的致命錯誤日志。有些致命的錯誤,比如JNI或虛擬機本身產(chǎn)生的錯誤,可能使得Java應用程序來(lái)不及寫(xiě)日志就退出了。這時(shí)候可以查一個(gè)以 "hs_err_pid" 開(kāi)頭的日志名,例如hs_err_pid1125.log,其中1125是進(jìn)程號。這個(gè)文件中也記錄了一些寶貴的信息來(lái)提供一些線(xiàn)索,特別是Java自身的一些Bug。這個(gè)文件一般為于當前的工作目錄中。用戶(hù)可以用find命令自己搜索到。
3 查找操作系統的core dump文件
作為被操作系統所調度的進(jìn)程,Java進(jìn)程也會(huì )在不同的信號下產(chǎn)生Core Dump文件,例如Sig_ill和Seg_segv。這些非常嚴重的錯誤的確會(huì )使得Java虛擬機根本來(lái)不及產(chǎn)生任何日志就宕了。拿到core dump文件就可以使用很多工具來(lái)分析具體原因了,例如jmap, jstack等等都可以友好的進(jìn)行Java進(jìn)程的Core文件的分析。一般來(lái)說(shuō),Core文件也放到進(jìn)程的當前工作目錄,用戶(hù)可以用find命令搜索 “core”。另外可以用coreadm來(lái)預先指定core文件存放的地方以及文件名的格式,例如:coreadm -g /var/core/core.%f.%p.%t
4使用Dtrace查找“是誰(shuí)殺死了Java進(jìn)程”
但是,有很多情況,進(jìn)程被殺死的原因很復雜。有可能被別的進(jìn)程以外殺掉,或被一些腳本不小心kill掉,或者被管理員(或入侵者kill -9)處理掉。這些情況都不會(huì )產(chǎn)生日志文件和core dump文件。這些情況很難跟蹤。但如果是Solaris10下,可以使用下面的Dtrace腳本來(lái)確定“是誰(shuí)殺死了Java進(jìn)程”
#!/usr/sbin/dtrace -qs
proc:::signal-send
/args[1]->pr_pid == $1/
{
printf("%s(pid:%d) is sending signal %d to %s\n", execname, pid, args[2],args[1]->pr_fname);
}
如何運行(1125)是進(jìn)程號
$ ./sig1.d 1125
sched(pid:0) is sending signal 24 to bc
sched(pid:0) is sending signal 24 to bc
bash(pid:3987) is sending signal 15 to bc
bash(pid:3987) is sending signal 15 to bc
bash(pid:3987) is sendg signal 9 to bc
Posted at 12:00上午 四月 11, 2007 by 王昱 in Java | 評論[3]
聯(lián)系客服