采集 Kubernetes 容器日志最佳实践

前言

指标、日志、链路是可观测的三大支柱，日志主要用于记录代码执行的痕迹，方便定位和排查问题。当前主流的应用都是以容器的方式运行在 Kubernetes 集群，由于容器的动态性，容器可能会频繁地创建和销毁。日志的采集和持久化变得尤为重要，以确保在容器生命周期结束后，仍然能够访问到运行时的信息。以下内容介绍如何利用观测云采集 Kubernetes 容器日志，并对采集的日志进行解析、查询、可视化分析和备份的整个流程。

接入方案

部署 DataKit 采集器

采集 Kubernetes 容器日志需要先部署 DataKit。

登录观测云控制台，点击「集成」 -「DataKit」 - 「Kubernetes」，下载 datakit.yaml ，拷贝第 3 步中的 token 。

编辑 datakit.yaml ，把 token 粘贴到 ENV_DATAWAY 环境变量值中“token=”后面，设置环境变量 ENV_CLUSTER_NAME_K8S 的值并增加环境变量 ENV_NAMESPACE，这两个环境变量的值一般和集群名称对应，一个工作空间集群名称要唯一。

        - name: ENV_NAMESPACE
          value: k8s-prod

把 datakit.yaml 上传到可以连接到 Kubernetes 集群的主机上，执行如下命令。

kubectl apply -f datakit.yaml
kubectl get pod -n datakit

当看到状态是 “Running”后表示部署 DataKit 成功。

控制台日志采集

DataKit 默认采集了所有容器输出到控制台的日志（stdout/stderr），这些日志的特点是通过 kubectl logs 可以查看到。登录观测云控制台，点击「日志」 -「查看器」，可以看到已经采集到的日志，其中数据源默认展示的是容器的名称，接下来的采集中，会使用自定义数据来源。

DataKit 也提供了自监控功能，实时查看采集情况。DataKit 默认部署在 datakit namespace 下面，执行 kubectl exec 命令进入 DataKit 容器。

kubectl exec -it datakit-6rjjp -n datakit bash

再执行 datakit monitor，右下方的 logging/ 开头的行即是采集容器日志的实时监控数据。

默认的采集方式不是太灵活，这里推荐一种最佳的采集方式，把默认采集所有输出到控制台的日志关掉，通过染色的方式，在需要采集日志的 Deployment 部署文件中增加 annotation 方式指定是否需要采集、更改数据源名称以及为日志打 tags。

在 datakit.yaml 中增加下面的环境变量，即不采集任何控制台日志。

        - name: ENV_INPUT_CONTAINER_CONTAINER_EXCLUDE_LOG
          value: image:*

然后在应用的 Deployment yaml 文件中添加 annotation。

      annotations:
        datakit/logs: |
          [
            {
             "disable" : false,
             "source": "log_stdout_demo",
             "tags": {
               "region": "hangzhou"
               }
            }
          ]

字段说明：

disable 是否禁用该容器的日志采集，默认是 false。
source 日志来源，非必填项。
tags key/value 键值对，添加额外的 tags，非必填项。

登录观测云控制台，点击「日志」 -「查看器」，可以看到已经采集到的日志。

容器内日志文件采集

对于容器内日志文件的采集，也是通过添加 annotations 的方式来实现采集的。

      annotations:
        datakit/logs: |
          [
            {
             "disable": false,
             "type": "file",
             "path":"/data/app/logs/log.log",
             "source": "log_file_demo",
             "tags": {
               "region": "beijing"
               }
            }
          ]

字段说明：

disable 是否禁用该容器的日志采集，默认是 false。
type 默认为空是采集 stdout/stderr，采集文件必须写 file。
path 配置文件路径。如果是采集容器内文件，必须填写 volume 的 path，注意不是容器内的文件路径，是容器外能访问到的路径。
source 日志来源，非必填项。
tags key/value 键值对，添加额外的 tags，非必填项。

注意：需要把日志路径目录挂载到 emptyDir，这里挂的是 /data/app/logs。

        volumeMounts:
        - mountPath: /data/app/logs
          name: varlog
      ......
      volumes:
      - name: varlog
        emptyDir: {}

日志路径支持 glob 规则进行批量指定，比如日志文件是 /tmp/opt/*/.log ，挂载的目录必须高于通配的目录，比如挂载 /tmp 或 /tmp/opt。

登录观测云控制台，点击「日志」 -「查看器」，可以看到已经采集到的日志，当然也可以使用自定义的 tags 进行检索。

日志解析

为了通过日志中特定内容进行快捷筛选、关联分析，就需要使用 Pipeline 对日志进行结构化处理，比如提取trace_id、日志状态等。

下面是一条业务日志和对应的 Pipeline。

2024-04-11 11:10:17.921 [http-nio-9201-exec-9] INFO  c.r.s.c.SysRoleController - [list,48] - ry-system-dd 2350624413051873476 1032190468283316 - 查询角色列表开始

grok(_, "%{TIMESTAMP_ISO8601:time} %{NOTSPACE:thread_name} %{LOGLEVEL:status}%{SPACE}%{NOTSPACE:class_name} - \\[%{NOTSPACE:method_name},%{NUMBER:line}\\] - %{DATA:service} %{DATA:trace_id} %{DATA:span_id} - %{GREEDYDATA:msg}")
default_time(time, "Asia/Shanghai")