序
本文主要研究一下如何使用filebeat收集并解析springboot日志
安装
在官网的下载页面filebeat/downloads提供了一些特定平台的安装包,不过对应linux最为省事的安装方式就是直接下载x86_64压缩包,然后解压即可
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.0-linux-x86_64.tar.gz
解析
filebat.yml主要有input和output组成
json
比如对于json格式的日志,其input示例如下
filebeat.inputs:
- type: log
paths:
- "/data/logs/*/error.log"
document_type: json
json.message_key: log
json.keys.under_root: true
json.overwrite_keys: true
fields:
logType: errJson
fields_under_root: true
对于json类型的指定document_type为json,其中json.message_key
用于指定json中哪个字段为message
logback
springboot logback默认的file pattern为
org/springframework/boot/spring-boot/2.7.14/spring-boot-2.7.14.jar!/org/springframework/boot/logging/logback/defaults.xml
<property name="FILE_LOG_PATTERN" value="${FILE_LOG_PATTERN:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
打印出来的示例如下
2023-08-05 20:47:11.069 INFO 3396 --- [ main] org.example.Main : Started Main in 1.662 seconds (JVM running for 2.228)
针对这个,可以用filebeat的dissect来解析,如下
filebeat.inputs:
- type: stdin
processors:
- dissect:
tokenizer: "%{logDate} %{logTime} %{logLevel} %{pid} --- [%{thread}] %{logger} : %{message}"
field: "message"
output.console:
enabled: true
pretty: true
解析出来的json如下
{
"@timestamp": "2023-08-05T12:53:28.738Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "8.9.0"
},
"log": {
"offset": 0,
"file": {
"path": ""
}
},
"message": "2023-08-05 20:47:11.069 INFO 3396 --- [ main] org.example.Main : Started Main in 1.662 seconds (JVM running for 2.228)",
"input": {
"type": "stdin"
},
"dissect": {
"logTime": "20:47:11.069",
"logLevel": "INFO",
"pid": "3396",
"thread": " main",
"logger": "org.example.Main ",
"message": "Started Main in 1.662 seconds (JVM running for 2.228)",
"logDate": "2023-08-05"
},
"agent": {
"name": "dembp",
"type": "filebeat",
"version": "8.9.0",
"ephemeral_id": "4e4a9ee3-4682-41ab-ad9b-f4821543d991",
"id": "597a1a87-8165-492b-a9e8-d6530376b179"
},
"ecs": {
"version": "8.0.0"
},
"host": {
"name": "dembp"
}
}
处理换行
上面给的例子其实没有处理换行的情况,这个时候可以使用filebeat的multiline来指定,比如
filebeat.inputs:
- type: stdin
multiline:
pattern: '^\d{4}-\d{2}-\d{2}'
negate: true
match: after
这里指定用^\d{4}-\d{2}-\d{2}
来匹配日期开头的日志,匹配上了就是一条日志;negate为true表示没有匹配上的那一行归属上面一条日志,而match的after代表合并到上一行的末尾,before代表合并到下一行的开头
输出
对于大型的应用,一般filebeat做轻量级的收集,不做解析,解析交给logstash或者elasticsearch pipeline或者其他中间服务;而对于一些小型规模的或者是非生产环境,在多部署一个logstash显得有点繁琐,可以用dissect替代logstash的grok进行日志解析,然后就可以直接output到目标服务,比如elasticsearch
logstash
output:
logstash:
hosts: ["192.168.99.100:5044"]
elasticsearch
output.elasticsearch:
hosts: ["192.168.99.100:9200"]
username: "xxxx"
password: "xxxx"
小结
filebeat提供了processor能力,其中dissect替代logstash的grok进行日志解析,非常便捷。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。