kill -3 事故记录

kill -3 pid。是将应用的运行情况dump下来。由于可以吧所有线程当前运行到哪里的情况输出，因此可以用来诊断当应用load很高的时候具体哪行代码可能存在问题。


应用运行了一阵后，load突然飙升，新的请求不再响应，初步排查后局限到了应用本身。
执行kill -3，在应用标准输出中看到了thread dump信息。几次dump后，发现个别线程一直在runnable状态，这意味着他们一直在运行，并很有可能存在死循环导致了cpu的飙升。

研究后发现普通map类型在put的时候，并发状态下可能导致问题，于是加入了concurrentmap替换，问题遂解决。


应用运行一阵后，某三方库狂报读取数据超时。在排除了数据库问题后，开始dump线程。几次dump后发现三方库代码正在等待线程执行，而有几个线程都在同一个方法中。检查方法后发现，这几个方法运行时间很长，极端情况一直占用资源导致其他task无法被执行。优化那几个方法后解决。