Linux 下使用 Logrotate 旋转和压缩日志文件

在 Linux 系统中，当涉及到检查和故障排除错误时，几乎所有系统日志文件都非常重要。它们提供了关于各种系统服务在失败之前可能出现的问题的重要线索。

Linux 系统上安装的任何服务，例如 Apache 服务器或 MySQL 服务器生成通常存储在 /var/log 目录。如果您检查此目录的内容，您将看到类似于下面的内容：

随着时间的推移，日志文件的大小会增加，并占用更多的空间。在您意识到这一点之前，日志文件的大小已经膨胀，稍有疏忽，很容易耗尽磁盘空间。

考虑到这一点，谨慎的做法是将日志文件保持在可管理的大小，并删除占用磁盘空间的旧日志，这就是 log rotation 的由来。

什么是 log rotation ?

Log rotation 是一个创建新日志文件和存档&删除旧文件以节省磁盘空间的过程。例如：apport.log 变为 apport.log.1，并创建一个新的 apport.log 日志文件记录新的日志项。旧的日志文件通常被压缩，并显示为apport.log.2.gz，apport.log.3.gz，apport.log.4.gz，等等。

当日志文件的大小增长并超过某个限制时，通常会激活日志轮换。

轮换程序如何工作 ？

在我们讲解轮换程序如何工作之前，请确保在您的系统上安装了 logrotate。

For Debian / Ubuntu System:

$ sudo apt-get install logrotate -y

For CentOS / RHEL / Fedora System:

$ sudo yum install logrotate -y
or 
$ sudo dnf  install logrotate -y

运行以下命令检查 logrotate 版本

linuxtechi@ubuntu-server:~$ logrotate --version
logrotate 3.14.0
    Default mail command:       /usr/bin/mail
    Default compress command:   /bin/gzip
    Default uncompress command: /bin/gunzip
    Default compress extension: .gz
    Default state file path:    /var/lib/logrotate/status
    ACL support:                yes
    SELinux support:            yes
linuxtechi@ubuntu-server:~$

默认情况下，logrotate 在现代 Linux 发行版中是预安装的，因此不需要安装它。

logrotate 配置文件

logrotate 作为 cron 作业每天运行，遍历各种日志文件，轮换它们，并清除配置文件中定义的旧日志文件，您需要密切关注两个主要的配置源。

（1）/etc/logrotate.conf

这是 logrotate 工具的主要配置文件，它使用 include 指令来包含位于 /etc/logrotate.d 目录中的配置，让我们看一下配置文件。

$ cat /etc/logrotate.conf

（2）/etc/logrotate.d

这是一个目录，包含已安装包的日志配置，这些包的日志文件需要日志轮换。您还可能找到系统工具的配置文件，例如 apt & dpkg (用于 Debian 系统)、rsyslog、ufw 和 cups-daemon。

linuxtechi@ubuntu-server:~$ ls -l /etc/logrotate.d/
total 60
-rw-r--r-- 1 root root 120 Sep  5  2019 alternatives
-rw-r--r-- 1 root root 126 Dec  4 20:25 apport
-rw-r--r-- 1 root root 173 Apr  9 11:21 apt
-rw-r--r-- 1 root root  91 Apr  1 10:49 bootlog
-rw-r--r-- 1 root root 130 Jan 21  2019 btmp
-rw-r--r-- 1 root root 181 Feb 17 08:19 cups-daemon
-rw-r--r-- 1 root root 112 Sep  5  2019 dpkg
-rw-r--r-- 1 root root 329 Feb  4  2019 nginx
-rw-r--r-- 1 root root  94 Feb  8  2019 ppp
-rw-r--r-- 1 root root 501 Mar  7  2019 rsyslog
-rw-r--r-- 1 root root 677 Nov 29 02:08 speech-dispatcher
-rw-r--r-- 1 root root 119 Mar 30 21:49 ubuntu-advantage-tools
-rw-r--r-- 1 root root 178 Jan 21 22:16 ufw
-rw-r--r-- 1 root root 235 Apr 13 23:37 unattended-upgrades
-rw-r--r-- 1 root root 145 Feb 19  2018 wtmp
linuxtechi@ubuntu-server:~$

让我们看一下 dpkg 包管理器工具的配置文件

$ cat -n /etc/logrotate.d/dpkg

自定义 logrotate 配置文件示例

假设我们有一个以 linuxtechi 用户运行的应用程序，生成的日志文件存储在 /home/linuxtechi/logs 目录中，日志文件需要每周轮换旋转。

首先，我们在主目录中创建一个 logrotate 配置文件

$ vim /home/linuxtechi/logrotate.conf

写入如下配置内容

/home/linuxtechi/logs/*.log {
    weekly
    missingok
    rotate 14
    compress
    create
}

日志文件将每周轮换一次，如果有任何日志文件丢失，则会抑制任何错误消息。在这个月中，将备份 14 个日志文件，并在轮换当前日志文件后创建一个新的日志文件。

Now we are going to create a logs directory that will contain the log
files of the application and then create a log file called app.log.

接下来，我们创建一个 logs 目录，其中将包含应用程序的日志文件，然后创建一个名为 app.log 的日志文件。

linuxtechi@ubuntu-server:~$ mkdir logs && cd logs
linuxtechi@ubuntu-server:~/logs$ touch app.log
linuxtechi@ubuntu-server:~/logs$ ls
app.log
linuxtechi@ubuntu-server:~/logs$

接下来，我们运行 logrotate 命令在主目录中创建一个 logrotate 状态文件，以验证日志条目是否已经创建。

$ logrotate /home/linuxtechi/logrotate.conf --state /home/linuxtechi/logrotate-state --verbose

从输出来看，日志文件没有被轮换，因为轮换每周发生一次，而日志文件只有一个小时。

检查日志记录文件，以验证是否记录了关于日志旋转运行的任何信息。

linuxtechi@ubuntu-server:~$ cat logrotate-state
logrotate state -- version 2
"/home/linuxtechi/logs/app.log" 2020-5-24-17:0:0
linuxtechi@ubuntu-server:~$

从输出中，我们可以看到 logrotate 程序确认最后一次考虑日志文件进行旋转，并打印时间戳。

我们强制 logrotate 旋转日志文件，否则它现在不会旋转日志文件。

$ logrotate /home/linuxtechi/logrotate.conf --state /home/linuxtechi/logrotate-state --verbose --force

返回 logs 目录，您将看到一个额外的日志文件，该文件已被旋转和压缩。

linuxtechi@ubuntu-server:~$ cd logs/
linuxtechi@ubuntu-server:~/logs$ ls
app.log  app.log.1.gz
linuxtechi@ubuntu-server:~/logs$

根据大小对日志文件进行压缩和旋转

有时，日志文件会在指定的轮换间隔 (每天 / 每周 / 每月) 之前变得更大并占用空间。

解决该问题的一种方法是指定文件的最大尺寸，超过该大小时将触发日志文件的旋转。要实现这一点，请在 logrotate 文件中指定 maxsize 选项。

假设我们在 /etc/logrotate.d 目录下为应用程序创建一个自定义日志旋转配置文件

linuxtechi@ubuntu-server:~$ cd /etc/logrotate.d/
linuxtechi@ubuntu-server:/etc/logrotate.d$ sudo vi custom-app
/home/linuxtechi/logs/app-access.log
{
    daily
    missingok
    maxsize 40M
    rotate 4
    compress
    create
}

可以使用 -d 选项对日志文件进行 logrotate 的试运行

$ logrotate -d /etc/logrotate.d/custom-app

除了增强基于大小的日志文件的旋转之外，谨慎的做法是确保使用 cron 作业定期调用 logtate 配置文件。这对于日志文件来说尤其重要，因为它们的大小会迅速膨胀，有可能会填满磁盘空间。

您可以将 logrotate 脚本从 /etc/cron.daily 目录复制到 /etc/cron.hourly 位置。这将把日志旋转转换为一个小时，而不是每日的日志旋转。

另一种方法是在 /etc /crontab 文件中指定 cron 作业，这样每隔 10 分钟就会触发旋转。

*/10 * * * * /etc/cron.daily/logrotate

除了使用 maxsize 指令指定最大大小外，还使用 crontab 调用 logrotate 脚本，这是一个完美的组合，可以确保及时旋转日志文件，以避免填满硬盘驱动器。

有关 logrotate 工具的其他选项，请查看手册页

我的开源项目

• course-tencent-cloud（酷瓜云课堂 - gitee仓库）
• course-tencent-cloud（酷瓜云课堂 - github仓库）