公司内网有一台服务器上部署的服务，前两天突然无法访问了，SSH连接服务器失败，由于这台服务器是刀片机上虚拟出来的，遂决定重启虚拟机，竟然无法正常重启，最后强制重启后，连接服务器启动了应用的服务，但是过了一会儿，同事反馈说又无法访问应用了。随即SSH连接服务器，检查内存资源充足，磁盘空间充足，唯独CPU把几个核全部耗尽。通过top命令查看，发现有一个bash进程消耗了大量的CPU资源。
通过ps -ef|grep 22671查询进程号为22671的进程，可以发现是一个system的进程在执行。
那么好了，我们去看看他到底是个什么玩意儿。进入目录/proc/22671，可以看到exe被指向了一个 删除了的bash进程。
这就不正常了，正常人谁会干这种事情啊。那么不管三七五十八了， 祭出大杀器，直接kill -9 22671，果然把它杀掉了。CPU资源消耗降低后，启动应用程序，一切正常 。正当要关闭xshell继续改bug时，同事又反馈说无法访问应用了。继续排查，发现CPU又被吃完了，我了个乖乖，这是个神马情况过top命令查询，发现还是这个bash进程消耗了大量的CPU资源。此时我的脑中闪过一个念头，该不会是被挖矿了吧。于是检查定时任务crontab -l，没有任何crontab的配置。再次来到/etc目录下，可以看到有多个以cron开头的目录。
依次进入每个目录，发现他们都共同有一个脚本sync，内容如下：
上面的脚本很清楚的写了，将/bin/sysdrr拷贝到/usr/bin/-bash，执行他后删除，并且所有的操作都将操作记录写给了null，隐藏了他在系统内的踪迹，更加确定了我的想法，绝壁是被当矿机了。我们用vim打开这个sysdrr文件，发现里面全是乱码，说明这还不是一个简单的文本脚本文件。
找到问题的源头了事情就好解决了，进入/bin/目录，将sysdrr修改名称，让脚本找不到他，从而无法调用。
执行修改名称操作时，竟然提示没有操作权限，这个臭不要脸的操作。可是你不要脸我要啊，我给你搞一下。猜测可能是文件被设置了不能修改，于是乎查看文件属性lsattr，果然被设置了i属性，不可以被修改，即使我使用的是root用户也不可以。
那么简单了，你设置我就取消。执行chattr -i命令，将i属性去掉。这不就可以修改了嘛。
接下来，到/etc下的那几个cron目录中去，把调用的脚本也按照上述方式修改一下。
以上一顿猛如虎的操作过后，再使用kill命令，那把他杀掉简直就是手拿把掐。
CPU资源降低了，正常启动应用程序，观察了两天，没有死灰复燃，打完收工。
来源：Earl_yuan
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！