非功能故障分析之服务安全侵入导致CPU偏高问题

   疫情期间我们要做好人身安全防护同时，信息系统服务器也要做好安防控制，不然还是会有不法分子趁机转空袭黑我们服务器，

    问题原因：

   2月28日下午临近六点时，开发人员突然发了截图给我说187服务器无法登陆，问我是否修改了密码，如下图一:

 （图一）

想想这段时间除了安装验测运维监控工具有用到187服务，但是也是10天前的事情，但是没有去修改过密码，于是我也好奇登录下看看，发现确实出现问题，重新输入密码也不行，如下图二：

（图二）

 

 发现187确实无法正常登录，但是该提示信息说明该服务器没有被关闭，只是ssh链接被串改了，这是脑门第一反应是，攻击者使用了一个可执行的SSH后门，而且这些组件以服务服务的形式安装来为恶意软件提供驻留。

诊断分析：

  出于好奇和对刚部署监控工具的可用性，我登录zabbix查看是否能查看187服务是否还被监控，发现竟然还能收集187服务CPU等资源信息，如下图三，只是CPU使用率偏高，应该是使用了什么恶意软件在为他自己提供服务，但也说明187服务还是可用，只是新建的ssh连接无法链接，

，

（图三）

  还好之前有一个懒的习惯，在另外一台电脑有打开一个CRT，刚好有打开187等服务器没关，发现还可以用，发现是tsm服务导致CPU 高，cron的内存使用率偏高，问了下开发人员没有该服务，

 

tsm64是负责通过SSH暴力**传播挖矿机和后门的扫描器，可以发送远程命令来下载和执行恶意软件。

于是就直接先kill掉，然后修改了下系统登录密码，但是还是要把问题追究到底，发现kill该进程后发现CPU立马掉下来，如下图四

（图四）

看了下该进程对应的服务，安装路径配置路径如下：

root 31803 31798 84 07:44 ? 08:36:57 /tmp/.X19-unix/.rsync/c/lib/64/tsm --library-path /tmp/.X19-unix/.rsync/c/lib/64/ /usr/sbin/httpd rsync/c/tsm64 -t 505 -f 1 -s 12 -S 8 -p 0 -d 1 p ip

发现该服务应该只是一个shell服务，而且看了下远程监控收集的记录，发现是2月27日凌晨四点多的时候被侵入，植入病毒，导致CPU使用率高，也导致我们CRT无法正常登录，如下图五和图六：

（图五）

（图六）

分析下应该是有开启服务进程，才会导致CPU和内存偏高，而引起内存偏高的是cron进程，于是通过crontab -e发现确实被开启了进程服务，如下图七

（图七）

接下来直截了当，停止服务，然后删除对应路径下文件和定时作业，继续观察两天，如下图8发现确实没有在复现问题。

（图八）

图九