模拟pid_max超限导致的Couldn't fork a new process -- Cannot allocate memory
一、先检查并设置系统各项参数,主要为:
1、通过xshell登录多个ssh会话,方便下面测试。
2、手动设置最大文件数为655350,设置最大进程数为655350。这是为了排除我们下面测试时,这两项的影响。
3、检查当前系统默认支持的最大线程数为131072,当前系统的线程数为46,当前系统的进程数为126,当前root打开的文件数为1167。
二、手动设置当前系统默认支持的最大线程数为1024。
三、创建测试脚本和计划任务
1、脚本test.sh模拟创建1200个线程。(我们已设置最大线程为1024)
2、计划任务模拟应用创建新进程
四、执行测试脚本
五、验证
1、在另外一个ssh会话输入命令,如下报错
2、尝试ssh登录系统,发现登录不了。
3、在vmvare控制台登录,或者输入密码后直接跳回登录界面,或者提示如下报错。
4、重启服务器(如果无法重启,就强制关机再启动),并检查/var/log/cron日志发现报错
can't fork (do_command): Cannot allocate memory
5、检查/var/log/secure日志,同样发现因账号登录失败产生的告警
sshd[2344]: error: fork: Cannot allocate memory
六、反向验证
1、先将pid_max修改会原来的值或者更大的值。(如果之前默认的值不够用,就需要修改为更大的值)
2、重新执行test.sh脚本
3、检查系统正常,ssh也可以登录。
七、结论
据此我们可以推断Couldn't fork a new process -- Cannot allocate memory或者error: fork: Cannot allocate memory
的告警是因为超过pid_max导致的。
解决方法:
增加pid_max参数的值
KB:
https://access.redhat.com/solutions/1434943
https://access.redhat.com/solutions/22105