Logstash 业务日志接入可观测最佳实践

前言

随着信息技术的飞速发展，主机、容器、kubernetes 集群等环境业务越来越复杂，产生的日志数据也呈爆炸式增长。日志数据作为记录系统运行状态、用户行为以及异常事件的重要信息，对于业务分析、故障排查和安全审计等方面具有不可替代的作用。然而，传统的主机日志查询分析方式往往存在数据割裂、查询效率低下等问题，难以满足现代主机环境业务的需求。

本文的主旨在于探讨如何利用 Logstash 的工具，实现从多个数据源同时采集、转换数据，并最终将这些数据上传至观测云。通过观测云平台，我们能够对数据进行采集和展示，从而构建起一套完善的日志查询与存储以及分析的系统。

接入方案

1、安装采集器 DataKit

登录观测云控制台，点击[集成]->[DataKit]

复制安装命令并执行

安装成功后，可在观测云控制台的[基础设施]中查看该主机的对象和指标数据

2、Datakit 配置 Logstash 日志采集

进入 DataKit 安装目录下的 /usr/local/datakit/conf.d/log 目录，复制 logstreaming.conf.sample 并命名为 logstreaming.conf 。示例如下：

修改 logging.conf 文件中的日志文件路径，并自定义编写一个容易区分的 source 名称。示例如下：

[inputs.logstreaming]
  ignore_url_tags = true

重启 DataKit

在终端输入以下命令重启 DataKit 。

datakit service -R

3、Logstash 修改上报地址

修改 logstash 配置

默认 logstash.conf 文件。

## 将收集到的数据发送给 DataKit
output {  
    http {
        http_method => "post"
        format => "json"
        url => "http://127.0.0.1:9529/v1/write/logstreaming?source=logstash-demo"
    }
}
# url 中的ip 为 Datakit安装的ip机器地址， 本次实验在本机安装，所以是127.0.0.1
# source 标识数据来源，即行协议的 measurement。例如 nginx 或者 redis，或者其他标识即可

重启 Logstash 使之配置生效

systemctl restart logstash

4、查看上报结果

日志查询

观测云支持通过多种操作对日志数据进行查询和分析。

文本搜索

日志查看器支持关键词查询、通配符查询，* 表示匹配 0 或多个任意字符，? 表示匹配 1 个任意字符；若要将多个术语组合到一个复杂查询中，可以使用布尔运算符（AND/OR/NOT）连接。

术语可以是单词或者短语。比如：

单个单词：guance；
多个单词：guance test；（等同于 guance AND test）
短语："guance test"； (使用双引号可以将一组单词转换为短语)

搜索查询示例：

JSON 搜索

查看器原生支持对 JSON 格式 message 内容进行精确检索，搜索格式为： @key:value ，若为多层级 JSON 可用 “.” 承接，即 @key1.key2:value ，如图所示：

日志解析

Pipeline 支持对不同格式的日志数据进行文本解析，通过编写 Pipeline 脚本，可以自定义切割出符合要求的结构化日志，并把切割出来的字段作为属性使用。通过属性字段，我们可以快速筛选相关日志、进行数据关联分析，帮助我们快速去定位问题并解决问题。

下面是一条日志原文和对应的 pipeline 脚本示例：

# 日志原文
2024-03-29 11:54:54,535 WARN  http-nio-8081-exec-1 (org.jasig.cas.web.view.CasReloadableMessageBundle:76) - The code [screen.logout.security] cannot be found in the language bundle for the locale [zh_CN]

# pipeline脚本
grok(_, "%{TIMESTAMP_ISO8601:time} %{LOGLEVEL:status}  %{NOTSPACE:thread_name} \\(%{NOTSPACE:class_name}\\:%{NUMBER:line}\\) - %{GREEDYDATA:msg}")

default_time(time,"Asia/Shanghai")