模拟pid_max超限导致的Couldn't fork a new process -- Cannot allocate memory

一、先检查并设置系统各项参数，主要为：

1、通过xshell登录多个ssh会话，方便下面测试。

2、手动设置最大文件数为655350，设置最大进程数为655350。这是为了排除我们下面测试时，这两项的影响。

3、检查当前系统默认支持的最大线程数为131072，当前系统的线程数为46，当前系统的进程数为126，当前root打开的文件数为1167。

二、手动设置当前系统默认支持的最大线程数为1024。

三、创建测试脚本和计划任务

1、脚本test.sh模拟创建1200个线程。（我们已设置最大线程为1024）

2、计划任务模拟应用创建新进程

四、执行测试脚本

五、验证

1、在另外一个ssh会话输入命令，如下报错

2、尝试ssh登录系统，发现登录不了。

3、在vmvare控制台登录，或者输入密码后直接跳回登录界面，或者提示如下报错。

4、重启服务器（如果无法重启，就强制关机再启动），并检查/var/log/cron日志发现报错

can't fork (do_command): Cannot allocate memory

5、检查/var/log/secure日志，同样发现因账号登录失败产生的告警

sshd[2344]: error: fork: Cannot allocate memory

 

六、反向验证

1、先将pid_max修改会原来的值或者更大的值。（如果之前默认的值不够用，就需要修改为更大的值）

2、重新执行test.sh脚本

 

3、检查系统正常，ssh也可以登录。

 

七、结论

据此我们可以推断Couldn't fork a new process -- Cannot allocate memory或者error: fork: Cannot allocate memory

的告警是因为超过pid_max导致的。

解决方法：

增加pid_max参数的值

 

KB：

https://access.redhat.com/solutions/1434943

https://access.redhat.com/solutions/22105