号称下一代日志收集系统！来看看它有多强

头像
民工哥
    阅读 7 分钟
    English
    8

    关于日志收集、处理、分析的方案，其实是很多，常见的就是ELK组合，即：Elasticsearch + Logstash + Kibana，官方网站：https://www.elastic.co/products

    image.png

    后面随着架构的优化与演进，又引入另一个轻量级的组件 Filebeat，Filebeat和Logstash一样属于日志收集处理工具，基于原先 Logstash-fowarder 的源码改造出来的。与Logstash相比，filebeat更加轻量，占用资源更少。

    Logstash 和Fluentd相比，它在效能上表现略逊一筹，故而逐渐被fluentd取代，ELK也随之变成EFK。EFK由ElasticSearch、Fluentd和Kiabana三个开源工具组成，这三款开源工具的组合为日志数据提供了分布式的实时搜集与分析的监控系统。

    Fluentd 简介

    Fluentd 是一个免费，而且完全开源的日志管理工具，简化了日志的收集、处理、和存储，你可以不需要在维护编写特殊的日志处理脚本。

    image.png

    特性介绍

    使用json来记录log

    Fluentd使用Json来结构化数据，这让Fluentd统一了数据处理果层，包括日志收集，过滤，并输出日志缓冲（多个源和目标），这使得下游数据处理也变的容易得多。

    插件式体系结构

    Fluentd具有灵活的插件系统，让社区来扩展它的功能。我们的300 +社区贡献的插件可以连接几十个数据源和数据输出。通过使用插件，你可以充分利用你的日志。目前开源社区已经贡献了下面一些存储插件：MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl 等等。

    最小所需资源

    Fluentd 使用C和Ruby语言编写，仅需要很少的系统资源，一个运行再30-40MB内存的实例单核每秒可以处理13000次事件。

    可靠性

    fluentd支持基于内存或文件的数据缓冲，以防止数据丢失。fluentd还有强大的容错性，并且可设置高可用性。2000 +的数据驱动的企业依靠fluentd，通过他们日志数据的理解和使用来提供更好的产品和服务。

    安装

    https://docs.fluentd.org/inst...

    Centos 系统

    curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

    image.png

    启动服务

    systemctl start td-agent

    image.png

    更多平台的安装方式：https://docs.fluentd.org/inst...

    默认启动是通过td-agent用户启动的，如果需要修改成其它用户，使用下面的方法：

    [root@centos7 ~]# vim /usr/lib/systemd/system/td-agent.service

[Unit]
Description=td-agent: Fluentd based data collector for Treasure Data
Documentation=https://docs.treasuredata.com/articles/td-agent
After=network-online.target
Wants=network-online.target

[Service]
User=td-agent  #用户
Group=td-agent #用户组
LimitNOFILE=65536
Environment=LD_PRELOAD=/opt/td-agent/embedded/lib/libjemalloc.so
Environment=GEM_HOME=/opt/td-agent/embedded/lib/ruby/gems/2.4.0/
Environment=GEM_PATH=/opt/td-agent/embedded/lib/ruby/gems/2.4.0/
Environment=FLUENT_CONF=/etc/td-agent/td-agent.conf
Environment=FLUENT_PLUGIN=/etc/td-agent/plugin
Environment=FLUENT_SOCKET=/var/run/td-agent/td-agent.sock
Environment=TD_AGENT_LOG_FILE=/var/log/td-agent/td-agent.log
Environment=TD_AGENT_OPTIONS=
EnvironmentFile=-/etc/sysconfig/td-agent
PIDFile=/var/run/td-agent/td-agent.pid
RuntimeDirectory=td-agent
Type=forking
ExecStart=/opt/td-agent/embedded/bin/fluentd --log $TD_AGENT_LOG_FILE --daemon /var/run/td-agent/td-agent.pid $TD_AGENT_OPTIONS
ExecStop=/bin/kill -TERM ${MAINPID}
ExecReload=/bin/kill -HUP ${MAINPID}
Restart=always
TimeoutStopSec=120

    配置文件介绍

    配置文件目录： /etc/td-agent/td-agent.conf

    [root@centos7 ~]# cd /etc/td-agent/
[root@centos7 td-agent]# ll
total 4
drwxr-xr-x 2 root root    6 Jun  4 05:15 plugin
-rw-r--r-- 1 root root 2381 Jun  4 05:15 td-agent.conf

    可以通过下面的命令来检测配置的配置是否正确

    [root@centos7 ~]# /opt/td-agent/embedded/bin/fluentd -c /etc/td-agent/td-agent.conf

    配置文件包含以下指令：

    source   #输入源，数据的来源
match    #确定输出目的地
filter   #确定事件处理管道
system   #设置系统范围的配置 
label    #对内部路由的输出和过滤器进行分组  
@include #包括其他文件

    官方文档：https://docs.fluentd.org/conf...

    配置文件中还包括 fluentd 支持的数据格式，有下列这些：

    string：字符串，最常见的格式
integer：整数
float：浮点数
size 大小，仅支持整数
  <INTEGER>k 或 <INTERGER>K；
  <INTEGER>m 或 <INTERGER>M；
  <INTEGER>g 或 <INTERGER>G；
  <INTEGER>t 或 <INTERGER>T。
time：时间，也只支持整数；
  <INTEGER>s 或 <INTERGER>S；
  <INTEGER>m 或 <INTERGER>M；
  <INTEGER>h 或 <INTERGER>H；
  <INTEGER>d 或 <INTERGER>D。
array：按照 JSON array 解析；
hash：按照 JSON object 解析。

    去除注释之后的完整配置文件

    [root@centos7 ~]# egrep -v "^#|^$" /etc/td-agent/td-agent.conf
<match td.*.*>
  @type tdlog
  @id output_td
  apikey YOUR_API_KEY
  auto_create_table
  <buffer>
    @type file
    path /var/log/td-agent/buffer/td
  </buffer>
  <secondary>
    @type file
    path /var/log/td-agent/failed_records
  </secondary>
</match>
<match debug.**>
  @type stdout
  @id output_stdout
</match>
<source>
  @type forward
  @id input_forward
</source>
<source>
  @type http
  @id input_http
  port 8888
</source>
<source>
  @type debug_agent
  @id input_debug_agent
  bind 127.0.0.1
  port 24230
</source>

    官方也给出一个简单有demo，如下

    [root@centos7 ~]# netstat -utpln |grep ruby
tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      7008/ruby           
tcp        0      0 0.0.0.0:24224           0.0.0.0:*               LISTEN      7013/ruby           
tcp        0      0 127.0.0.1:24230         0.0.0.0:*               LISTEN      7013/ruby           
udp        0      0 0.0.0.0:24224           0.0.0.0:*                           7013/ruby

    通过8888端口提交一条测试日志并查看

    [root@centos7 ~]# curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
[root@centos7 ~]# tail -n 1 /var/log/td-agent/td-agent.log
2021-06-04 05:56:11.728512891 -0400 debug.test: {"json":"message"}

    插件介绍及安装

    插件介绍

    Fluentd 常用插件如下：

    Input：完成输入数据的读取，由source部分配置
常用类型：tail、http、forward、tcp、udp、exec
https://docs.fluentd.org/input

Parser：解析插件，常与输入、输处配合使用，多见于format字段后面
常用类型：ltsv、json、自定义等
https://docs.fluentd.org/parser

Output：完成输出数据的操作，由match部分配置
常用配置：file、forward、copy、stdout、exec
https://docs.fluentd.org/output

filter：过滤插件
常用配置：grep、ignore、record_transformer
https://docs.fluentd.org/filter

Buffer：缓存插件，用于缓存数据
常用配置：file、mem
https://docs.fluentd.org/buffer

Formatter：消息格式化的插件，用于输出，允许用户扩展和重新使用自定义输出格式
常用类型：ltsv、json等
https://docs.fluentd.org/formatter
    安装

    官方也有详细的介绍，不做过多的赘述，比较简单

    image.png

    文档：https://docs.fluentd.org/depl...

    简单的应用实例

    解析系统日志
    [root@centos7 ~]# vim /etc/rsyslog.conf 
#增加下面的配置行
*.* @127.0.0.1:5140

    重启服务

    [root@centos7 ~]# systemctl restart rsyslog
[root@centos7 ~]# ps -ef|grep rsys
root       7492      1  0 06:20 ?        00:00:00 /usr/sbin/rsyslogd -n
root       7497   6893  0 06:20 pts/0    00:00:00 grep --color=auto rsys

    配置Fluentd

    [root@centos7 td-agent]# vim td-agent.conf
#增加下面的配置行
<source>
  @type syslog
  port 5140
  tag system
</source>

<match system.**>
  @type stdout
</match>

    重启服务

    [root@centos7 td-agent]# systemctl restart td-agent

    查看收集的日志

    2021-06-04 06:40:02.000000000 -0400 system.daemon.info: {"host":"centos7","ident":"systemd","message":"Started Session 119 of user root."}
2021-06-04 06:40:02.000000000 -0400 system.cron.info: {"host":"centos7","ident":"CROND","pid":"7658","message":"(root) CMD (/usr/lib64/sa/sa1 1 1)"}
    收集Nginx服务器的日志

    fluentd配置文件

    <source>
  @type tail
  path /var/log/nginx/access.log
  pos_file /var/log/nginx/access.log.pos

  tag nginx.access
  format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$/
  time_format %d/%b/%Y:%H:%M:%S %z
</source>
<match nginx.access>
  @type elasticsearch
  host localhost
  port 9200
#  index_name fluentd
  flush_interval 10s
  logstash_format true
#  typename fluentd
</match>

    然后在/var/log/nginx/目录下创建.pos文件

    [root@centos7 nginx]# touch access.log.pos
[root@centos7 nginx]# chown a+rw access.log.pos

    重启Fluentd服务

    [root@centos7 ~]# systemctl restart td-agent

    重启nginx

    [root@centos7 ~]# nginx -s reload

    最后，还可以将日志统一整合至Kinbana界面显示，这个和之前的ELK操作没有区别，创建 fluentd-* 索引。

    image.png

    以上就是今天，民工哥给大家带的开源日志收集系统 Fluentd的介绍，有兴趣的读者可以查阅官方文档，更深入的学习与探索，也欢迎前来交流使用经验。

    日志管理后端运维服务器程序员
    民工哥
    26.4k 声望56.7k 粉丝

    10多年IT职场老司机的经验分享，坚持自学一路从技术小白成长为互联网企业信息技术部门的负责人。2019/2020/2021年度 思否Top Writer

    « 上一篇
    发现一款数据备份恢复神器！开源免费、快速高效、安全
    下一篇 »
    灰度发布架构设计！值得品鉴

    引用和评论

    推荐阅读
    头像
    早知道有这么个吊炸天的 CI&CD 工具，我就不用 Jenkins 了！

    民工哥赞 1阅读 2k

    头像
    在Java程序中监听mysql的binlog

    huan1993赞 13阅读 5.4k

    头像
    喜大普奔，适用于 VS Code 的 GitHub Copilot 全新免费版本正式推出，GitHub 全球开发者突破1.5亿

    鸣飞赞 8阅读 12.3k评论 1

    头像
    Spring 实现 3 种异步流式接口，干掉接口超时烦恼

    程序员小富赞 6阅读 2.4k

    头像
    估算工作时间的 3 条规则（在软件开发项目中）

    大发明家赞 4阅读 807

    头像
    Scrum 四个会议及正确召开方式

    用户bPcMdO赞 3阅读 910

    头像
    每一个前端，都要拥有属于自己的埋点库~

    幸福的闹钟赞 3阅读 862

    0 条评论
    得票最新