tomcat服务器cpu占用率居高不下的原因分析及解决

偶遇服务器cpu飙升,过段时间后正常,反反复复

尝试通过百度,谷歌等搜索,获取可行的解决方案无果,偶然的机会得知 fastthread 可视化分析工具,问题才能顺利解决。

获取cpu占用高的java进程运行中的堆栈信息

通过top命令查看cpu占用率高的进程,并记录pid;
tomcat服务器cpu占用率居高不下的原因分析及解决
分析得到进程9934时不时的就cpu使用了居高不下,最高达到200%,下定决心解决掉;
在高cpu的占用情况下,下载该进程的运行中堆栈信息:jstack -l 9934 >> 9934.txt
压缩日志文件 zip 9934.zip 9934.txt
下载本地分析,通过https://fastthread.io分析日志数据
tomcat服务器cpu占用率居高不下的原因分析及解决
重点关注 cpu threads 的日志情况:
tomcat服务器cpu占用率居高不下的原因分析及解决
发现该CaoCaoNotifyApiHandler类在150行存在异常情况
打开源码 发现
tomcat服务器cpu占用率居高不下的原因分析及解决
罪恶的源头出现了,修改循环休息1秒,而非原有的无限循环,问题解决。

总结:
运行中的定位比较复杂,有时候看着日志也是一头雾水,之前一段时间也是自己看指日志文本不断的分析也没有定位到正真的问题,今天偶然的机会知道了 fastthread 网站,可视化的日志分析工具,使得问题被迅速定位解决 。