/var/spool/clientmqueue文件夹小文件数量暴涨！

Question

每过几天，网站都会挂一下，跑到后台一查，空间平时占用10%，现在占用50%。再查了下磁盘节点数，发现占满了。

跑到/var/spool/clientmqueue文件夹下用ls -l |grep "^-"|wc -l统计文件，根本统计不出来就卡死了。

用ls |xargs rm -rf删掉所有文件，磁盘占用恢复10%，一切恢复，可是不用过几天，又这样了。

从上图中，明显看到这些文件是由www用户建立的，我查了一些资料，说是跟一个系统内核参数kernel.msgmni有关，于是参照http://www.cnblogs.com/imparser/archive/2010/05/13/1734608.html 把参数改成128，但是几个小时还是产生了上万个小文件。

1.crontab -l查看是空的
2.没有启用sendmail

我打开其中一个文件，内容是：

V8
T1465278241
K1465278241
N1
P30414
MDeferred: Connection refused by [127.0.0.1]
Fbs
$_www@localhost
${daemon_flags}c u
Swww
[e-mail]
MDeferred: Connection refused by [127.0.0.1]
C:www
rRFC822; [e-mail]
RPFD:www
H?P?Return-Path: <乬>
H??Received: (from www@localhost)
    by v1008-92.members.vrtul.com (8.13.8/8.13.8/Submit) id u575i1YR030245;
    Tue, 7 Jun 2016 05:44:01 GMT
H?D?Date: Tue, 7 Jun 2016 05:44:01 GMT
H?x?Full-Name: CronDaemon
H?M?Message-Id: <[e-mail]>
H??From: root (Cron Daemon)
H??To: www
H??Subject: Cron <www@li1008-92> /www/web/xxx_com/public_html/includes/msn/1.sh
H??Content-Type: text/plain; charset=UTF-8
H??Auto-Submitted: auto-generated
H??X-Cron-Env: <SHELL=/bin/sh>
H??X-Cron-Env: <HOME=/dev/null>
H??X-Cron-Env: <PATH=/usr/bin:/bin>
H??X-Cron-Env: <LOGNAME=www>
H??X-Cron-Env: <USER=www>

我该怎样排查这个问题呢?

Answer 1

貌似是你系统的crond+sendmail的锅？

而且你这个ls -l |grep "^-"|wc -l为何不使用find -type f|这种呢。。

update: /www/web/xxx_com/public_html/includes/msn/1.sh这个是什么？

Answer 2

用 systemtap 或者 audit 记录一下是什么程序弄出来的吧。当然如果它生成得很频繁，用 sysdig 也可以弄到。

也可以打开 htop 看看有哪些进程，然后猜猜看（可以按 u 然后选用户）。然后去 strace 看看运气够不够好。

Answer 3

问题解决了，说下过程：

在4月底的时候，网站中过木马，当时通过排查把木马删除了。

就在前天，早上一来发现网站账号登不进付出了，经验判断是由于服务器满了，df -h一看，磁盘占用51%，再看一下节点数确实是满了。

接下来找到/var/spool/clientmqueue里面有大量的qfu-xxxx这样的零碎文件。用ll都会死机。于是手工删掉了，可是不到几个小时，又是上万个。

接下来就是经过漫无目的搜索，也没有找到好办法，通过别人的一些文章，大概感觉是因为一个什么程序调用sendmail，但sendmail根本没有安装，所以产生大量的日志。

就在刚才，突然想起去看看那些零散文件中写的是什么，www cron sendmail这几个忘带提醒了我，跑到www的crontab看看，有几十条调用/www/web/xxx_com/public_html/includes/msn/1.sh的记录。

删掉，问题解决。