OOM(四):201911080845再一次溢出

继20191105后,再一次OOM。

起因:7号晚上gtrace报警,早上报警,排查,发现redis连接超时。OOM(四):201911080845再一次溢出

于是找DBA一阵分析,结果监控显示redis健康的不得了:

OOM(四):201911080845再一次溢出

很幸运也很不幸的是,线上一个劲的警报警报,发现一个异常,显示OOM了,老夫前几天才解决了,怎么又来了。

据说那扇门被打开,快乐再也不回来。驾轻就熟,挺身直刺G点,老姿势,老动作。于是就有下面的结果。

OOM(四):201911080845再一次溢出

 

OOM(四):201911080845再一次溢出

 

OOM(四):201911080845再一次溢出

 

Biggest string found so far 'account-provider-scope:6300' with 185471 bytes.
Biggest string found so far 'account-provider-scope:14101' with 198691 bytes.
Biggest string found so far 'account-provider-scope:46052' with 203345 bytes.
Biggest string found so far 'account:6561' with 357520 bytes.
Biggest string found so far 'account-provider-scope:47670' with 60159729 bytes.
Biggest string found so far 'account-provider-scope:48152' with 60574321 bytes

复盘整个过程:

主从同步延迟,导致动态sql全表查,存入缓存,淘汰时间一天,每天都有查询,一直没有淘汰。昨天晚上,今天早上大批量该数据的请求打过来,jvm内存溢出。redis读取超时。。。